JP4745715B2 - 撮像装置、ネットワークカメラシステム、情報処理装置、ネットワークカメラシステムの制御方法、及び制御方法 - Google Patents

Description

本発明は、撮像装置、ネットワークカメラシステム、情報処理装置、ネットワークカメラシステムの制御方法、及び制御方法に関し、特に、撮像画像を補正するために用いて好適なものである。

近年、遠隔地にあるカメラからの画像を、パケット通信網を介して受信してビューワ（viewer：閲覧端末装置）で見ることが可能な、いわゆるネットワークカメラシステムが注目されている。このネットワークカメラシステムは、画像を配信するカメラであるネットワークカメラと、このネットワークカメラからの画像を受信して見るビューワ（クライアント端末装置）とを備えて構成される。

このネットワークカメラシステムにおいて、出願人はダイナミックレンジの広いワイドダイナミックレンジカメラ（以下、ＷＤカメラと称する）を検討している。ＷＤカメラは、例えば室内に設置された状態から窓の外あるいは戸口に対して撮影する場合でも、室内の風景や人物の画像が黒つぶれせず、しかも室外の風景や人物などの画像が白とびしないように撮影できるように、通常取り扱える光量よりもさらに広い範囲の光量を取り扱うことのできるものである。
被写体の光量に対して取り扱えるダイナミックレンジをカメラにおいて拡大する手法としては、様々な手法が存在する。

例えば、撮影画像の画像データから低周波明るさ成分を抽出し、前記画像における明るさ成分の特徴量を検出し、前記特徴量に基づきパラメータを設定し、前記低周波明るさ成分と前記パラメータを用いて、前記画像データの明るさ成分を補正する覆い焼き処理が行われている（特許文献１を参照）。

ところで、従来のビデオカメラなどの撮像装置において、露出制御は自動的に行なうようになっている。ビデオカメラのように動画を長時間にわたって撮影するような場合においては、撮影中にも刻々と変化する撮影状況や、撮影環境に対して露出動作を自然に追従させ、安定でかつ最適な露出制御が常に行なわれなければならない。したがって、これらの条件を満たすビデオカメラの露出制御の実現が強く望まれる。露出制御を行なう方法として、従来は、主に中央重点平均測光方式が使われてきた（特許文献２を参照）。

特開２００５−０３９４６０号公報 特開２０００−３５４１９６号公報

しかしながら、従来のネットワークカメラで行なわれている露出制御方法では、中央重点平均測光方式を行なっているが、ネットワークカメラの設定場所によっては逆光などにより不十分な場合がある。そのため、露出制御された撮像画像に対して従来用いられているような覆い焼き処理を行なう画像処理部をネットワークカメラに設けることも考えられるが、既に遠隔地に設置されたネットワークカメラにこのような処理を設けることは面倒であり、また、ネットワークカメラの処理にも負担がかかることが想定される。

本発明は、このような課題を鑑みてなされたものであり、ネットワークカメラに負担をかけることなく適切な明るさ補正を行なうことを目的とする。

本発明の撮像装置は、撮像手段によって撮像された画像を情報処理装置に配信する撮像装置であって、前記撮像手段の露出を制御する露出制御手段と、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更手段と、前記変更手段による前記露出制御方式の変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知手段と、を有することを特徴とする。
本発明のネットワークカメラシステムは、撮像装置の撮像手段によって撮像された画像を情報処理装置に配信するネットワークカメラシステムにおいて、前記情報処理装置は、前記撮像装置から配信された画像の明るさを補正する明るさ補正指示を検出する検出手段と、前記検出手段による明るさ補正指示の検出に応じて、前記撮像装置から配信された画像の明るさを補正するとともに、前記撮像装置に制御情報を通知する制御手段とを有し、前記撮像装置は、露出を制御する露出制御手段と、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更手段と、前記変更手段による変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知手段と、を有することを特徴とする。
本発明の撮像装置及び情報処理装置は、前記ネットワークカメラシステムに設けられることを特徴とする。

本発明の制御方法は、撮像手段によって撮像された画像を情報処理装置に配信する撮像装置が行う制御方法であって、前記撮像手段の露出を制御する露出制御ステップと、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更ステップと、前記変更ステップによる前記露出制御方式の変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知ステップと、
を有することを特徴とする。
本発明のネットワークカメラシステムの制御方法は、撮像装置の撮像手段によって撮像された画像を情報処理装置に配信するネットワークカメラシステムの制御方法であって、前記情報処理装置は、前記撮像装置から配信された画像の明るさを補正する明るさ補正指示を検出する検出ステップと、前記検出ステップにおける明るさ補正指示の検出に応じて、前記撮像装置から配信された画像の明るさを補正するとともに、前記撮像装置に制御情報を通知する制御ステップとを有し、前記撮像装置は、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更ステップと、前記変更ステップによる変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知ステップと、を有することを特徴とする。

本発明によれば、ネットワークカメラに負担をかけることなく適正な明るさ補正を行なうことができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
（第１の実施形態）
図１は、本実施形態におけるネットワークカメラシステムの概略構成の一例を示した図である。図１において、ネットワークカメラシステムは、ネットワークカメラ（撮像装置）１００、パーソナルコンピュータなどの情報処理装置からなるクライアント端末装置２００、および蓄積サーバ７００が、ＬＡＮ５００を介して相互に接続されている。本願発明は、ＬＡＮ５００の代わりにインターネットに置き換え可能である。

ネットワークカメラ１００は、MPEG2、MPEG4、H.264などの動画ストリームや、MJPEG、JPEGなどの静止画や、付属のマイクあるいは外部からの音声入力に基づく音声ストリームデータを、パケット通信網であるＬＡＮ５００に配信する。なお、本実施形態では、３台のネットワークカメラ１００ａ〜１００ｂが設けられている場合を例に挙げて示しているが、ネットワークカメラ１００の数は３台に限定されないということは言うまでもない。

クライアント端末装置２００は、ビューワとして機能し、ネットワークカメラ１００から配信された各ストリームデータを受信し、様々なフォーマットによって符号化された各ストリームデータを復号化してモニタ６００へ出力する。また、クライアント端末装置２００は、ハードディスクなどの蓄積装置３００にネットワークカメラ１００から受信したストリームデータを蓄積し、その蓄積したストリームデータを後後で再生する録画、録音機能を有する。なお、本実施形態では、２つのクライアント端末装置２００ａ、２００ｂが設けられている場合を例に挙げて示しているが、クライアント端末装置２００の数は２つに限定されないということは言うまでもない。

蓄積サーバ７００は、蓄積装置３００と同様に、ネットワークカメラ１００から受信したストリームデータを蓄積するものである。そして、クライアント端末装置２００の要求に応じて蓄積したストリームデータを、クライアント端末装置２００へ配信する。

このようなネットワークカメラシステムの構成において、ネットワークカメラ１００において予め露出制御され、配信された動画あるいは静止画をクライアント端末装置２００にてデジタル覆い焼き処理によって明るさ補正を行なう一例を詳細に説明する。

図２は、ネットワークカメラ１００の構成の一例を示したブロック図である。
図２において、１００はネットワークカメラの本体を示す。１０１は、焦点合わせを行なうための撮像レンズ（フォーカスレンズ）であり、１０２は、撮像レンズ１００から入射した光の光量を調節するアイリスである。１０３は、アイリス１０２により光量が調節され、撮像面に結像された光像を光電変換により画像信号に変換するＣＣＤセンサー，ＣＭＯＳセンサーなどの撮像素子である。なお、撮像素子１０３は、ＣＣＤセンサーに限定されるものでない。

ＣＤＳ／ＡＧＣ部１０４は、撮像素子１０３の蓄積電荷ノイズを低減する相関二重サンプリング部と、撮像素子１０３からのアナログ画像信号のゲインを調節する自動利得制御部とを備える。ビデオＡ／Ｄ変換器１０５は、ＣＤＳ／ＡＧＣ部１０４を介して撮像素子１０３から入力されたアナログ画像信号をデジタル画像信号に変換する。信号処理部１０６は、デジタル画像信号にガンマ補正、ニー補正、ホワイトクリップ処理などの所定の信号処理を行なって、Y、Cr/Cb形式のデジタル画像信号を生成する。

ビデオ符号化部１０７は、信号処理部１０６から出力されたY、Cr/Cb形式のデジタル画像信号を圧縮して符号化する。ゲート回路１１２は、ビデオＡ／Ｄ変換器１０５から出力されたデジタル画像信号から、撮像画面を分割した複数の領域に対して設定された任意の測光枠内に相当する信号だけを抽出する測光領域形成用のゲート回路である。積分器１１３は、ゲート回路１１２によって選択された撮像画面上の測光枠内の画像信号を積分してその平均輝度レベル（平均光量）を求める。積分器１１３で求められた平均輝度レベルは、後述するシステム制御部１２０へ出力される。

タイミングパルス発生器１１１は、撮像素子１０３における電荷の蓄積時間を制御するための操作タイミングパルスを出力する。なお、以下の説明では、タイミングパルス発生器１１１をＴＧと称する。１０８は、アイリス１０２を駆動するアイリスモーターであり、１１０は、アイリスモーター１０８を駆動するアイリス駆動回路である。

アイリスエンコーダ１０９は、アイリス１０２の開口量、すなわち絞り値を検出するホール素子などを備えて構成される。マイクユニット１１４は、音声を入力するためのものであり、外部マイク入力部１１５は、外付けのマイクから音声を入力するためのものである。オーディオアンプ１１６は、マイクユニット１１４又は外部マイク入力部１１５からのアナログ音声信号を増幅させる。オーディオＡ／Ｄ変換器１１７は、オーディオアンプ１１６から出力されたアナログ音声信号をデジタル音声信号に変換する。オーディオ符号化部１１８は、オーディオＡ／Ｄ変換器１１７から出力されたデジタル音声信号を圧縮して符号化する。ビデオ・オーディオエンコーダー１１９は、ビデオ符号化部１０７及びオーディオ符号化部１１８を備え、ＤＳＰ（Digital Signal Processor）などを用いて実現される。

パケット化多重化部１２１は、符号化されたデジタル画像信号及びデジタル音声信号を、それぞれビデオパケット及びオーディオパケットにするパケット化処理を行なう。さらに、送信されるビデオストリーム、オーディオストリーム、及び制御ストリームを、ＬＡＮ Ｉ／Ｆ部１２２に出力するために、所定のフォーマットに従って配置してパケットの多重化処理を行なう。

システム制御部１２０は、自動的に露出を制御し、さらにネットワークカメラ１００のシステム全体を制御する。ＬＡＮ Ｉ／Ｆ部１２２は、網と端末との間に必要な適応化を図るためのものである。

図３は、クライアント端末装置２００の構成の一例を示したブロック図である。なお、図３に示すように、本実施形態のクライアント端末装置２００は、専用の組み込み機器であっても、パーソナルコンピュータなどに本実施形態を実行するためのソフトウェアをインストールすることによっても実現可能である。

図３のクライアント端末装置２００において、ＬＡＮ Ｉ／Ｆ部２０１は、外部と通信を行なうためのインターフェースである。デパケット化分離部２０２は、まず、所定のフォーマットによって多重化されたデータであるメディアパケット（ストリームデータ）をビデオ、オーディオ及び制御の各メディアに分離する。そして、分離したビデオパケット及びオーディオパケットをデパケット化し、符号化画像情報及び符号化音声情報を構成する。

ビデオ復号化部２０３は、デパケット化分離部２０２から出力された符号化画像情報を伸張及び復号化して、デジタル動画データ又はデジタル静止画データにする。オーディオ復号化部２０４は、デパケット化分離部２０２から出力された符号化音声情報を伸張及び復号化して、デジタル音声データにする。ビデオ・オーディオコーデック２０５は、ビデオ復号化部２０３及びオーディオ復号化部２０４を備え、ＤＳＰなどを用いて実現される。

明るさ補正部２０８は、ビデオ復号化部２０３によって復号化されY、Cr/Cb形式のデジタル画像データ（デジタル動画データ又はデジタル静止画データ）のうち、Y（輝度）デジタル画像データの明部をそのままにして暗部のみを補正するデジタル覆い焼き処理によって明るさ補正を行なう。ビデオＤ／Ａ変換器２０９は、明るさ補正部２０８で補正されたデジタル動画データ又はデジタル静止画データをアナログの映像信号に変換して、モニタ６００に出力する。

オーディオＤ／Ａ変換器２１０は、オーディオ復号化部２０４によって復号化されたデジタル音声データをアナログの音声信号に変換して、モニタ６００に出力する。蓄積装置Ｉ／Ｆ部２０７は、ＬＡＮ Ｉ／Ｆ部２０１で入力されたメディアパケット、又はデパケット化分離部２０２で構成された符号化画像情報及び符号化音声情報を蓄積装置３００へ転送したり、蓄積装置３００に蓄積されている符号化画像情報及び符号化音声情報を、デパケット化分離部２０２を介してビデオ・オーディオコーデック２０５へ転送し、ビデオおよびオーディオを再生させるようにしたりするためのである。蓄積装置３００は、ネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームを蓄積させる。具体的に蓄積装置３００は、例えばハードディスク装置や記録型ＤＶＤ装置などを用いて構成される。システム制御部２０６は、クライアント端末装置２００のシステム全体を制御し、操作部２１１は、明るさ補正部２０８の補正のオン、オフを含めたクライアント端末装置２００の操作や、ネットワークカメラ１００からの各メディアの配信開始を指示する操作などをユーザが行なう操作デバイスである。操作部２１１は、例えばキーボード，マウス，タッチパネルなどを用いて構成される。

図４は、蓄積サーバ７００の構成の一例を示したブロック図である。
図４において、ＬＡＮ Ｉ／Ｆ部７０１はネットワークを介して他の装置とデータの通信を行なうためのものであり、画像・音声蓄積部７０３は、ネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームを蓄積する。画像・音声蓄積部７０３は、例えばハードディスク装置や記録型ＤＶＤ装置などを用いて構成される。

画像・音声蓄積部Ｉ／Ｆ部７０２は、ＬＡＮ Ｉ／Ｆ部７０１を介してネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームをそのまま画像・音声蓄積部７０３へ転送したり、画像・音声蓄積部７０３に蓄積されているビデオストリーム及びオーディオストリームをクライアント端末装置２００へ配信するためにＬＡＮ Ｉ／Ｆ部７０１へ転送したりする。画像・音声蓄積部Ｉ／Ｆ部７０２は、クライアント端末装置２００へ配信するビデオストリームを最適化するために、ネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームを、画像変換部７０６にも転送する。

７０６は、クライアント端末装置２００の復号化能力に応じて、配信するビデオストリームに基づく画像のフォーマット・サイズなどを変換する画像変換部である。７０４は、蓄積サーバ７００のシステム全体を制御するシステム制御部であり、７０５は、画像変換部７０６の変換制御の指示など、蓄積サーバ７００の操作をユーザが行なうようにするための操作部である。

次に、以上のような構成でネットワークカメラ１００からクライアント端末装置２００に対してＬＡＮ５００を介して映像および音声を伝送させる本実施形態のネットワークカメラシステムにおける露出制御方法の動作の一例を説明する。なお、以下の説明では、クライアント端末装置２００の操作部２１１よりネットワークカメラ１００から映像及び音声が配信されたものとする。

まず、ネットワークカメラシステムの動作を説明する。
ネットワークカメラ１００の撮像レンズ１０１からの光学像がアイリス１０２を介して撮像素子１０３上に結像されると、撮像素子１０３は、結像された光学画像を、ＴＧ１１１から出力される操作タイミングパルスに合わせて電気的な画像信号に変換し出力する。

出力された画像信号は、ＣＤＳ／ＡＧＣ部１０４で調整される。調整された後の画像信号は、ビデオＡ／Ｄ変換器１０５へ供給されてデジタル画像信号となる。このデジタル画像信号は、信号処理部１０６により、所定の色処理や、ホワイトバランス調整などの処理がデジタル的に施され、適正レベルに調整される。そして、適正レベルに調整されたデジタル画像信号は、Y、Cr/Cb形式のデジタル画像信号として出力される。

また、信号処理部１０６では、撮像レンズ１０１を駆動するために必要な尖鋭度信号などを取り出してシステム制御部１２０に出力する。そして、システム制御部１２０は、その尖鋭度信号を基に合焦動作を制御する。

ゲート回路１１２は、ビデオＡ／Ｄ変換器１０５より出力されたデジタル画像信号のＹ（輝度）信号から、システム制御部１２０によって設定された測光枠内の信号を抽出する。そして、抽出された信号は、積分器１１３により積分されて平滑され、平均輝度レベルとして出力される。この出力された平均輝度レベルの信号を、露出を制御するための信号としてシステム制御部１２０に取り込む。

システム制御部１２０は、この平均輝度レベルの信号，アイリス１０２および撮像素子１０３の電子シャッタ速度の現在の状態に基づいて、アイリス１０２、ＴＧ１１１、及びＣＤＳ／ＡＧＣ部１０４を適宜制御して、露出制御を行なうための露出制御データを演算する。そして、システム制御部１２０は、その露出制御データに応じて、積分器１１３より出力される平均輝度レベルが、所定の範囲内に入るように、アイリス駆動回路１１０を制御する。アイリス駆動回路１１０は、システム制御部１２０からの制御に基づいて、アイリスモーター１０８へ出力する駆動電流を制御する。この駆動電流の制御によりアイリスモーター１０８は、アイリス１０２の開口量を制御する。

さらに、システム制御部１２０は、撮像素子１０３における蓄積時間、つまり電子シャッタ速度を制御する信号をＴＧ１１１に供給する。そして、撮像素子１０３の出力レベルを制御する信号をＣＤＳ／ＡＧＣ部１０４へ供給する。本実施形態のネットワークカメラ１００では、以上のような制御を基にして閉ループ自動露出制御が行なわれる。

信号処理部１０６から出力されたデジタル画像信号は、Y、Cr/Cbの形式でビデオ符号化部１０７に供給される。ビデオ符号化部１０７は、Y、Cr/Cbの形式のデジタル画像信号に対し、配信用の圧縮方式で圧縮する処理を施したり、フレームレートの設定などを施したりして符号化画像情報を生成する。ここでの配信用の圧縮方式は、所定の例えば、MPEG2、MPEG4、H.264、MJPEGまたはJPEGなどの規格に基づくものである。

音声は、マイクユニット１１４を通して、又は多種の外部マイクを使用する場合には外部マイク入力部１１５を通してアナログ音声信号に変換され、オーディオアンプ１１６で増幅される。増幅されたアナログ音声信号は、オーディオＡ／Ｄ変換器１１７へ供給されて、８ＫＨｚ、１６ＫＨｚ、４４．１ＫＨｚなどの周波数によりサンプリングが行なわれてデジタル音声データとなる。このデジタル音声データは、オーディオ符号化部１１８に供給され、配信用の圧縮方式で圧縮されたり、フレームレートが設定されたりするなどの処理が施される。これにより符号化音声情報が生成される。ここでの配信用の圧縮方式は、所定の例えば、MPEG1、G.711、G.722またはAMRなどの規格に基づくものである。なお、デジタル音声データを圧縮せずにそのままのレベルのL-PCMフォーマットで出力するようにしてもよい。

ビデオ符号化部１０７から供給された符号化画像情報、及びオーディオ符号化部１１８から供給された符号化音声情報は、パケット化多重化部１２１にて、それぞれビデオパケット、及びオーディオパケットにパケット化される。さらに、パケット化されたデータをＲＴＰ（Real time Transport Protocol）などのプロトコルに従って、配置して多重化処理を行ない、多重化処理を行ったパケットをメディアパケットとして、ＬＡＮ Ｉ／Ｆ部１１７よりＬＡＮ５００を介してクライアント端末装置２００へ配信する。

配信された各メディアパケットは、クライアント端末装置２００のＬＡＮ Ｉ／Ｆ部２０１より受信される。デパケット化分離部２０２は、受信された各メディアパケットを、外部から配信された多重化フォーマットに従って分離し、分離した各メディアパケットをデパケット化し、符号化画像情報及び符号化音声情報を、それぞれビデオ復号化部２０３及びオーディオ復号化部２０４へ出力する。

さらに、配信された各メディアパケットを録画する場合には、システム制御部２０６からの制御により、配信された各メディアパケットまま、蓄積装置Ｉ／Ｆ部２０７へ転送した後、さらに蓄積装置３００へ出力して記録する。もちろん、配信された各メディアパケットを分離及びデパケット化して構成された符号化画像情報および符号化音声情報を蓄積装置３００へ出力して記録してもよい。

オーディオ復号化部２０４へ出力された符号化音声情報は、圧縮方式に基づき伸張及び復号化され、オーディオＤ／Ａ変換器２１０にてアナログの音声信号に変換されてモニタ６００に出力される。
ビデオ復号化部２０３へ出力された符号化画像情報も同様に、圧縮方式に基づき伸張及び復号化され、Y、Cr/Cbの形式のデジタル画像信号にされた後に、明るさ補正部２０８に出力される。この明るさ補正部２０８では、操作部２１１を用いた操作に応じてシステム制御部２０６から制御を行なって明るさ補正のオン、オフを行なう。

明るさ補正がオンの場合は、操作部２１１の操作によるパラメータ設定に基づいて、Y、Cr/Cbの形式のデジタル画像信号におけるY（輝度）信号についてデジタル覆い焼き処理による明るさ補正を行なう。明るさ補正がオフの場合は、出力されたY、Cr/Cbの形式のデジタル画像信号を、補正せずにそのままビデオＤ／Ａ変換器２０９にてアナログの映像信号に変換してモニタ６００に出力する。

図５は、デジタル覆い焼き処理による明るさ補正を行なう場合のクライアント端末装置２００内の明るさ補正部２０８の機能構成の一例を示したブロック図である。
図５において、原画像５０１のデジタル画像信号におけるY（輝度）信号レベルを上下させることにより、原画像５０１に対するボケ画像５０２を作成し、原画像５０及びボケ画像５０２の輝度情報などに基づいて、テーブル５０３を用いて、原画像５０１の暗部に対して掛けるγ値や、原画像５０１のどのレベルの暗部に対して補正するかなどを決定して補正処理部５０４で明るさ補正を行ない、明るさのダイナミックレンジが広い補正画像５０５を生成する。明るさ補正部２０８において生成された補正画像５０５は、ビデオＤ／Ａ変換器２０９にてアナログの映像信号に変換された後に、モニタ６００に出力される。録画されたデータを再生させる場合にもシステム制御部２０６からの制御によって、データを蓄積装置３００から読み出し、蓄積装置Ｉ／Ｆ部２０７、及びデパケット化分離部２０２を介して、前述したのと同様に、モニタ６００に出力する。

クライアント端末装置２００内のデジタル覆い焼き処理による明るさ補正がオフの場合、ネットワークカメラ１００における露出制御のみが行われた画像がモニタ６００上に出力されることになる。
図７に、ネットワークカメラ１００によって行われる測光方式である中央重点平均測光方式の撮像画面上の測光領域を示す。中央重点平均測光方式では、撮像画面７０の中央付近の領域にあるＢ枠７０１に一番大きな重み付けを行なう。次に、その周辺部の領域にあるＣ２枠７０２に二番目に大きな重み付けを行なう。次に、撮像画面７０の上辺部付近の領域にあるＣ１枠７０３に重み付けを行なう。このように中央重点平均測光方式は、撮影者が撮影するときに被写体を中央部に位置させるであろうという思想のもとに考え出された方式である。また、特に、Ｃ１枠７０３に対する重み付けを一番小さくするのは、屋外の撮影時には、画面の上部は青空が入ってくることが多く、そのような場合、青空の輝度が非常に高いことから画面全体が暗くなってしまうのを防ぐためである。例えば、Ｂ枠７０１、Ｃ１枠７０２、及びＣ２枠７０３に対する重み付けを、Ｂ枠：Ｃ１枠：Ｃ２枠＝１０：２：５というようにする。

図８は、ネットワークカメラ１００の露出制御の切り替え処理を示すフローチャートである。ステップＳ１０１において、操作部２１１の操作に応じてデジタル覆い焼き処理による明るさ補正がオンされると、明るさ補正のレベルに関する制御情報をシステム制御部２０６によりパケット化し、パケット化した制御情報をＬＡＮ Ｉ／Ｆ部２０１からＬＡＮ５００を介してネットワークカメラ１００に伝送する。そして、ネットワークカメラ１０１はこの制御情報を受信したか否か判断する。このとき、ＬＡＮ５００の代わりにネットワークがインターネットの場合、基本的にはTCP/IPによる通信を行なうが、HTTPあるいはSIPなどによるアプリケーション通信プロトコルにしたがって通信することも可能である。なお、前記明るさ補正のレベルに関する制御情報の詳細については後述する。

ステップＳ１０２において、ネットワークカメラ１００で受け取った制御情報は、ＬＡＮ Ｉ／Ｆ部１２２を介してシステム制御部１２０に通知される。通知を受けたシステム制御部１２０は、ゲート回路１１２を制御し、新たに撮像画面内の輝度レベル高い領域の画像信号を参照するための測光枠を設定することにより、露出制御方式の変更処理を行なう。
図６は、デジタル覆い焼き処理による明るさ補正がオンされたときに設定されるゲート回路１１２における測光枠の一例を示した図である。
図６において、Ｂ枠６０１、Ｃ１枠６０２、及びＣ２枠６０３に加え、Ａ枠が設定される。Ａ枠６０４を設定する具体的な方法を説明すると、例えば、撮像画面６０を水平方向に８つの領域Ｈ０〜Ｈ７に分割すると共に、垂直方向に８つの領域Ｖ０〜Ｖ７に分割して、６４個の領域を形成する。これら６４個の領域の中で最も高い輝度を有する領域を選択し、選択した領域がＡ枠６０４となる。

このＡ枠６０４内の画像信号は、積分器１１３により積分及び平滑され、この積分及び平滑された画像信号は、平均輝度レベルとして出力される。このように、図６に示した例では、領域Ｈ１、Ｖ３で囲まれるＡ枠６０４が最も高い輝度を有する測光枠として選択され、このＡ枠６０４の画像信号の平均輝度レベルがシステム制御部１２０に出力される。このＡ枠６０４の画像データと、Ｂ枠６０１、Ｃ１枠６０２、及びＣ２枠６０３の画像データとの平均輝度レベルのデータに重み付けを行ない、この計算結果から露出制御を行なう。例えば、Ａ枠、Ｂ枠、Ｃ１枠、及びＣ２枠の重み付けの割合を、Ａ枠：Ｂ枠：Ｃ１枠：Ｃ２枠＝５：４：１：２というようにする。そして、このような重み付けを行なうことにより求められた測光値に基づいて、前述したような露出制御が行なわれる。すなわち、この測光値が所定の範囲内に収まるようにアイリス１０２、ＴＧ１１１、及びＣＤＳ／ＡＧＣ部１０４が制御される。

一方、このデジタル覆い焼き処理による明るさ補正のレベルは、クライアント端末装置２００の操作部２１１の操作に基づく設定によって変えることができる。明るさ補正されたネットワークカメラ１００からの画像をモニタ６００に表示しているので、ユーザはこれを見ながら明るさ補正のレベルに関するパラメータを設定する。この設定に応じて、このＡ枠６０４の選択を最も高い輝度を有する領域だけではなく、ｎ番目（ｎは２以上の自然数）に輝度が高い領域とすることもできる。
ステップＳ１０３において、露出制御方式の変更処理にともなって、制御通知をネットワークカメラ１００に対して行ったクライアント端末装置以外のネットワークカメラ１００にアクセスしているクライアント端末装置に対して、露出制御方式を変更した旨の通知を行なう。もちろん、確認のために制御通知をネットワークカメラ１００に対して行ったクライアント端末装置に対しても露出制御方式の変更通知を行ってもよい。なお、ネットワークカメラ１００は、クライアント端末装置のアクセス時にアクセス情報を取得しているものとする。

このようにしてユーザにより設定された結果を前述したように制御情報としてパケット化し、クライアント端末装置２００のシステム制御部２０６からＬＡＮ５００を介してネットワークカメラ１００のシステム制御部１２０に通知する。通知を受けたシステム制御部１２０は、設定された明るさ補正のレベルに応じてＡ枠６０４の選択を行なう。そして、前述したようにして測光値を求め、求めた測光値に基づいて露出制御を行なう。

なお、本実施形態では、図１に示した３台のネットワークカメラ１００ａ〜１００ｃの１台から、複数のクライアント端末装置２００ａ、２００ｂに動画あるいは静止画を配信する場合、制御権を取った１台のクライアント端末装置２００だけが、そのネットワークカメラ１００の露出を制御できるようにしている。制御権を取る方法は、例えば、一定時間が経過する度に制御権を交代させるようにしたり、ネットワークカメラシステムの管理者からの許可に従って制御権を取得したりするなどいろいろあるが、どのような方法でもかまわない。つまり、ネットワークカメラ１００の制御権を取ったクライアント端末装置２００が、そのネットワークカメラ１００に、デジタル覆い焼き処理による明るさ補正を指示することによって、前述したＡ枠６０４の測光領域を含めた露出制御方法に移行するようにしていればよい。

クライアント端末装置２００が制御権を離したら、他のクライアント端末装置２００が制御権を取ることができる。この制御権を取ったクライアント端末装置２００がデジタル覆い焼き処理による明るさ補正をしない場合には、通常の中央重点平均測光方式による測光枠を用いた露出制御を行なうようにする。一方、異なった設定パラメータによるデジタル覆い焼き処理による明るさ補正を行なう場合には、Ａ枠６０４の選択を変えて露出制御を行なうようにする。以上のようにすることによって制御権を取っている間だけ制御可能であるクライアント端末装置２００の制御権に連動してネットワークカメラ１００の露出制御を実現することができる。

ここで、ネットワークカメラ１００ａの制御権がクライアント端末装置２００ａからクライアント端末装置２００ｂに移る場合を例に挙げて、制御権が移る場合の動作の一例を説明する。
まず、前述したようにしてネットワークカメラ１００の露光制御が行なわれると、ネットワークカメラ１００ａのシステム制御部１２０は、デジタル覆い焼き処理による明るさ補正がオンされていることを示す補正情報を生成して符号化する。この補正情報は、パケット化多重化部１２１でパケット化される。パケット化された補正情報は、ＬＡＮＩ／Ｆ部１２２及びＬＡＮ５００を介して、制御権のあるクライアント端末装置２００ａ以外のクライアント端末装置であって、ネットワークカメラ１００ａにアクセスしているクライアント端末装置２００ｂに送信される。

こうしてネットワークカメラ１００ａから送信された補正情報をクライアント端末装置２００ｂに設けられたＬＡＮ Ｉ／Ｆ部２０１が受信すると、デパケット化分離部２０２は、パケット化されている補正情報をデパケット化する。デパケット化された補正情報は、システム制御部２０６において復号化される。これにより、クライアント端末装置２００ｂは、デジタル覆い焼き処理による明るさ補正がオンされていることを知ることができる。

そして、デジタル覆い焼き処理による明るさ補正を行なうか否かを問い合わせるためのウインドウ（画像）をモニタ６００にホップアップ表示し、表示内容に基づいたユーザによる操作部２１１の操作結果に基づいて、システム制御部２０６は、デジタル覆い焼き処理による明るさ補正を行なうか否かを判定する。この判定の結果、デジタル覆い焼き処理による明るさ補正を行なう場合には、Ａ枠６０４の選択を変えて、クライアント端末装置２００ａと同様に、露出制御をネットワークカメラ１００ａに開始させ、この露出制御により撮像された画像に対し、デジタル覆い焼き処理による明るさ補正を行なう。一方、デジタル覆い焼き処理による明るさ補正を行なわない場合には、通常の中央重点平均測光方式による測光枠を用いた露出制御をネットワークカメラ１００ａに開始させる。

次に、ネットワークカメラ１００から配信されて蓄積サーバ７００において蓄積されたビデオストリーム及びオーディオストリームに基づく映像及び音声をクライアント端末装置２００に対してＬＡＮ５００を介して伝送させる場合の動作の一例を説明する。
ネットワークカメラ１００及びクライアント端末装置２００の機能の説明に関しては前述したものと同様である。蓄積サーバ７００の操作部７０５の操作に基づいてネットワークカメラ１００からビデオストリーム及びオーディオストリームを配信させる。配信されたビデオストリーム及びオーディオストリームは、蓄積サーバ７００の画像・音声蓄積部７０３にそのままのデータで蓄積させる。

なお、ネットワークカメラ１００は、配信するビデオストリームに対して、前述したクライアント端末装置２００からの指示に基づき、デジタル覆い焼き処理による明るさ補正を行なう場合の露出制御を行なうか、あるいは通常の露出制御を行なうかを選択し、選択した結果を示すタグを付してビデオストリームを配信してもよい。これにより画像・音声蓄積部７０３に蓄積されたビデオストリームが、どちらの方式の露出制御によって撮像されたかを判別することが可能になるとともに図８のステップＳ１０３の他のクライアント端末２００に対して露出制御方式の変更通知を行なわずにすむ。

例えば、画像・音声蓄積部７０３に蓄積されたビデオストリーム及びオーディオストリームをクライアント端末装置２００の操作部２１１の操作に基づいて配信させ、モニタ６００に映像を再生させる場合、クライアント端末装置２００は、蓄積されたビデオストリームに関連付けられたタグによって、デジタル覆い焼き処理による明るさ補正を行なうかどうかを判断して映像を再生させることができる。

また、蓄積サーバ７００は、そのクライアント端末装置２００の復号化能力に適合した符号化方式、フォーマット及びサイズなどになるように、画像変換部７０６によってビデオストリームを変換してから、クライアント端末装置２００へ配信させるようにする。

以上のように本実施形態では、クライアント端末装置２００の操作に基づいて設定された明るさ補正のレベルに関する制御情報をネットワークカメラ１００に通知する。ネットワークカメラ１００は、前記設定された明るさ補正のレベルに応じて撮像画面内の輝度の高い領域であるＡ枠６０４を選択し、選択したＡ枠６０４の平均輝度レベルに重み付けを行なって測光値を求め、その測光値に基づいて露出制御を行なう。この露出制御によりネットワークカメラ１００で撮像された画像をクライアント端末装置２００が取り込み、デジタル覆い焼き処理を行なう。

これにより、輝度の高いＡ枠６０４を考慮して露光制御することが可能になる。したがって、ネットワークカメラ１００から配信された画像に対するデジタル覆い焼き処理（視覚的な明るさ補正）を、クライアント端末装置２００側で適切に行なえるようになる。また、クライアント端末装置２００側でデジタル覆い焼き処理を行なうので、ネットワークカメラ１００側の負担を可及的に軽減することができる。

なお、前述したように、本実施形態では、クライアント端末装置２００においてデジタル覆い焼き処理による明るさ補正を行なうネットワークカメラシステムが、ネットワークカメラ１００、クライアント端末装置２００及び蓄積サーバ７００を用いて実現される場合を例に挙げて説明し、ネットワークカメラ１００側の負担を可及的に軽減することができるようにしたが、デジタル覆い焼き処理による明るさ補正の機能をネットワークカメラ１００内に設けるネットワークカメラシステムで実現することもできる。

この場合はクライアント端末装置２００の操作部２１１からの操作によって前述のアプリケーション通信プロトコルに従って明るさ補正のオン・オフをネットワークカメラ１００に通知し、オンの場合、それに応じた露出制御を行なった画像に対し明るさ補正を行なった画像をネットワークカメラ１００からクライアント端末装置２００へ配信させるようにすることになる。

なお、図８のステップ１０３における露出変更通知に基づいて、他のクライアント装置に対してデジタル覆い焼き処理の実行を開始させることも可能である。すなわち、制御権のあるクライアント端末装置２００から送信された制御情報に基づいて設定した測光枠６０１〜６０２を用いて露光制御を行った後に、制御権のない他のクライアント端末装置２００に対してデジタル覆い焼き処理の実行を開始させるための指示を行なってもよい。

具体的には、ステップＳ１０３の露出制御変更通知として、ネットワークカメラ１００ａのシステム制御部１２０は、ネットワークカメラ１００ａの露出制御方式が変更されたことを示す情報とともに、デジタル覆い焼き処理を行なうことを指示するための指示情報を生成する。この指示情報は、パケット化多重化部１２１でパケット化される。パケット化された指示情報は、ＬＡＮＩ／Ｆ部１２２及びＬＡＮ５００を介して、制御権のあるクライアント端末装置２００ａ以外のクライアント端末装置であって、ネットワークカメラ１００ａにアクセスしているクライアント端末装置２００ｂに送信される。

図９は上述のデジタル覆い焼き処理の指示情報を受信したクライアント端末装置１００における動作処理フローチャートである。ステップＳ２０２において、ネットワークカメラ１００ａから送信された制御変更通知をクライアント端末装置２００ｂに設けられたＬＡＮ Ｉ／Ｆ部２０１が受信すると、デパケット化分離部２０２は、パケット化されている指示情報をデパケット化する。これにより、クライアント端末装置２００ｂは、デジタル覆い焼き処理による明るさ補正が指示されていることを知ることができる。

そして、ステップＳ２０２において、デジタル覆い焼き処理がまだ行われていない場合（図８のステップＳ１０１において制御情報を撮像装置に通知していないクライアント端末装置の場合）、デジタル覆い焼き処理による明るさ補正を行なうか否かをユーザに問い合わせるためのウインドウをモニタ６００ｂにホップアップ表示する。ステップＳ２０３において、この表示した内容に基づいたユーザによる操作部２１１の操作結果に基づいて、クライアント端末装置２００ｂのシステム制御部２０６は、デジタル覆い焼き処理による明るさ補正を行なうか否かを判定する。この判定の結果、デジタル覆い焼き処理による明るさ補正の指示を検出した場合には、ネットワークカメラ１００ａから取得したデジタル画像データに対してデジタル覆い焼き処理による明るさ補正を行なう。一方、デジタル覆い焼き処理による明るさ補正が必要ない旨の指示が検出された場合には、デジタル画像データに対して覆い焼き処理を行なわずにモニタ６００ｂ上に画像データの表示を行なう。

以上のように本実施形態では、ネットワークカメラ１００は、制御権を有さないクライアント端末装置２００ｂに対して、デジタル覆い焼き処理による明るさ補正を行なうように指示する。その後、制御権を有するクライアント端末装置２００ａからの指示に基づく露出制御により撮像された画像に対して、ネットワークカメラ１００ｂがデジタル覆い焼き処理による明るさ補正を行なうようにした。よって、本実施形態では、第１の実施形態の効果に加え、ネットワークカメラ１００における負担をより一層軽減させることができるという効果がある。また、ネットワークカメラに接続しているすべてのクライアント端末装置に対して適切な処理が施された画像データを提供することができる。

なお、本実施形態では、デジタル覆い焼き処理による明るさ補正を行なうか否かを問い合わせるためのウインドウ（画像）をモニタ６００ｂにホップアップ表示し、ユーザにデジタル覆い焼き処理による明るさ補正を行なうか否かを選択させるようにしたが、このウインドウを表示し、ユーザにデジタル覆い焼き処理による明るさ補正を行なうか否かを選択させる処理を省略して、デジタル覆い焼き処理による明るさ補正を行なう強制的に行なうようにしてもよい。
ネットワークカメラ側において露出制御が行なわれたときに用いられる撮像画面内の輝度分布情報をクライアント端末装置側に転送し、この輝度分布情報をクライアント端末装置側の覆い焼き処理に流用することも可能である。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行ない、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

本発明の実施形態を示し、ネットワークカメラシステムの概略構成の一例を示した図である。 本発明の実施形態を示し、ネットワークカメラの構成の一例を示したブロック図である。 本発明の実施形態を示し、クライアント端末装置の構成の一例を示したブロック図である。 本発明の実施形態を示し、蓄積サーバの構成の一例を示したブロック図である。 本発明の実施形態を示し、デジタル覆い焼き処理による明るさ補正を行なう場合の明るさ補正部の機能構成の一例を示したブロック図である。 本発明の実施形態を示し、デジタル覆い焼き処理による明るさ補正がオンされたときに設定されるゲート回路における測光枠の一例を示した図である。 本発明の実施形態を示し、中央重点平均測光方式の撮像画面上の測光領域を示す図である。 本発明の実施形態を示し、撮像装置の動作処理の一例を説明するフローチャートである。 本発明の実施形態を示し、クライアント端末装置の動作処理の一例を説明するフローチャートである。

符号の説明

１００ ネットワークカメラ
１０１ レンズ
１０２ アイリス
１０３ 撮像素子（ＣＣＤ）
１０４ ＣＤＳ／ＡＧＣ部
１０６ 信号処理部
１０８ アイリスモーター
１０９ アイリスエンコーダ
１１０ アイリス駆動回路
１１１ タイミング発生器（ＴＧ）
１１２ ゲート回路
１１３ 積分器
１２０ システム制御部
１２１ パケット化多重化部
１２２ ＬＡＮ Ｉ／Ｆ部
２００ クライアント端末装置
２０１ ＬＡＮ Ｉ／Ｆ部
２０２ デパケット化分離化部
２０６ システム制御部
２０８ 明るさ補正部
２１１ 操作部
３００ 蓄積装置
５００ ＬＡＮ
６００ モニタ
６０４ Ａ枠

Claims (12)

1. 撮像手段によって撮像された画像を情報処理装置に配信する撮像装置であって、
   前記撮像手段の露出を制御する露出制御手段と、
   前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更手段と、
   前記変更手段による前記露出制御方式の変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知手段と、
   を有することを特徴とする撮像装置。
2. 前記変更手段は、前記撮像手段により撮像された画像内の分割領域のうち輝度が最も高い分割領域の画像データを参照して露出を制御する露出制御方式に露出制御方式を変更することを特徴とする請求項１に記載の撮像装置。
3. 撮像装置の撮像手段によって撮像された画像を情報処理装置に配信するネットワークカメラシステムにおいて、
   前記情報処理装置は、
   前記撮像装置から配信された画像の明るさを補正する明るさ補正指示を検出する検出手段と、
   前記検出手段による明るさ補正指示の検出に応じて、前記撮像装置から配信された画像の明るさを補正するとともに、前記撮像装置に制御情報を通知する制御手段とを有し、
   前記撮像装置は、
   露出を制御する露出制御手段と、
   前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更手段と、
   前記変更手段による変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知手段と、
   を有することを特徴とするネットワークカメラシステム。
4. 前記撮像装置の変更手段は、前記撮像手段により撮像された画像内の分割領域のうち輝度が最も高い分割領域の画像データを参照して露出を制御する露出制御方式に露出制御方式を変更することを特徴とする請求項３に記載のネットワークカメラシステム。
5. 前記情報処理装置の制御手段は、前記撮像装置の制御権を有する場合に前記制御情報を前記撮像装置に通知することを特徴とする請求項３に記載のネットワークカメラシステム。
6. 前記通知手段は、前記第２の情報処理装置で前記画像の明るさの補正処理を実行させるための通知を行うことを特徴とする請求項３に記載のネットワークカメラシステム。
7. 請求項３ないし請求項６の何れか１項に記載のネットワークカメラシステムに設けられることを特徴とする撮像装置。
8. 請求項３ないし請求項６の何れか１項に記載のネットワークカメラシステムに設けられることを特徴とする情報処理装置。
9. 撮像手段によって撮像された画像を情報処理装置に配信する撮像装置が行う制御方法であって、
   前記撮像手段の露出を制御する露出制御ステップと、
   前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更ステップと、
   前記変更ステップによる前記露出制御方式の変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知ステップと、
   を有することを特徴とする制御方法。
10. 撮像装置の撮像手段によって撮像された画像を情報処理装置に配信するネットワークカメラシステムの制御方法であって、
    前記情報処理装置は、
    前記撮像装置から配信された画像の明るさを補正する明るさ補正指示を検出する検出ステップと、
    前記検出ステップにおける明るさ補正指示の検出に応じて、前記撮像装置から配信された画像の明るさを補正するとともに、前記撮像装置に制御情報を通知する制御ステップとを有し、
    前記撮像装置は、
    前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更ステップと、
    前記変更ステップによる変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知ステップと、
    を有することを特徴とするネットワークカメラシステムの制御方法。
11. 前記変更ステップは、前記撮像手段により撮像された画像内の分割領域のうち輝度が最も高い分割領域の画像データを参照して露出を制御する露出制御方式に露出制御方式を変更することを特徴とする請求項９に記載の制御方法。
12. 前記変更ステップは、前記撮像手段により撮像された画像内の分割領域のうち輝度が最も高い分割領域の画像データを参照して露出を制御する露出制御方式に露出制御方式を変更することを特徴とする請求項１０に記載のネットワークカメラシステムの制御方法。

Images