JP4745715B2

JP4745715B2 - Imaging apparatus, network camera system, information processing apparatus, network camera system control method, and control method

Info

Publication number: JP4745715B2
Application number: JP2005137776A
Authority: JP
Inventors: 幹伊藤; 智明河合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-10
Filing date: 2005-05-10
Publication date: 2011-08-10
Anticipated expiration: 2025-05-10
Also published as: JP2006319474A

Description

本発明は、撮像装置、ネットワークカメラシステム、情報処理装置、ネットワークカメラシステムの制御方法、及び制御方法に関し、特に、撮像画像を補正するために用いて好適なものである。 The present invention relates to an imaging apparatus, a network camera system, information processing apparatus, a control method of Netw network camera system, and relates to a control method, in particular, it is suitable for use in order to correct the captured image.

近年、遠隔地にあるカメラからの画像を、パケット通信網を介して受信してビューワ（viewer：閲覧端末装置）で見ることが可能な、いわゆるネットワークカメラシステムが注目されている。このネットワークカメラシステムは、画像を配信するカメラであるネットワークカメラと、このネットワークカメラからの画像を受信して見るビューワ（クライアント端末装置）とを備えて構成される。 2. Description of the Related Art In recent years, so-called network camera systems that can receive images from cameras in remote locations via a packet communication network and view them with a viewer (viewing terminal device) have attracted attention. This network camera system includes a network camera that is a camera that distributes images, and a viewer (client terminal device) that receives and views images from the network camera.

このネットワークカメラシステムにおいて、出願人はダイナミックレンジの広いワイドダイナミックレンジカメラ（以下、ＷＤカメラと称する）を検討している。ＷＤカメラは、例えば室内に設置された状態から窓の外あるいは戸口に対して撮影する場合でも、室内の風景や人物の画像が黒つぶれせず、しかも室外の風景や人物などの画像が白とびしないように撮影できるように、通常取り扱える光量よりもさらに広い範囲の光量を取り扱うことのできるものである。
被写体の光量に対して取り扱えるダイナミックレンジをカメラにおいて拡大する手法としては、様々な手法が存在する。 In this network camera system, the applicant is considering a wide dynamic range camera (hereinafter referred to as a WD camera) having a wide dynamic range. For example, even when taking a picture outside a window or a doorway from a state where the WD camera is installed indoors, an indoor landscape or a person image is not blackened, and an outdoor landscape or person image is overexposed. Therefore, it is possible to handle a light amount in a wider range than the light amount that can be handled normally.
There are various methods for expanding the dynamic range that can be handled with respect to the amount of light of the subject in the camera.

例えば、撮影画像の画像データから低周波明るさ成分を抽出し、前記画像における明るさ成分の特徴量を検出し、前記特徴量に基づきパラメータを設定し、前記低周波明るさ成分と前記パラメータを用いて、前記画像データの明るさ成分を補正する覆い焼き処理が行われている（特許文献１を参照）。 For example, a low frequency brightness component is extracted from image data of a captured image, a feature amount of the brightness component in the image is detected, a parameter is set based on the feature amount, and the low frequency brightness component and the parameter are set. A dodging process is performed to correct the brightness component of the image data (see Patent Document 1).

ところで、従来のビデオカメラなどの撮像装置において、露出制御は自動的に行なうようになっている。ビデオカメラのように動画を長時間にわたって撮影するような場合においては、撮影中にも刻々と変化する撮影状況や、撮影環境に対して露出動作を自然に追従させ、安定でかつ最適な露出制御が常に行なわれなければならない。したがって、これらの条件を満たすビデオカメラの露出制御の実現が強く望まれる。露出制御を行なう方法として、従来は、主に中央重点平均測光方式が使われてきた（特許文献２を参照）。 By the way, in an imaging apparatus such as a conventional video camera, exposure control is automatically performed. When shooting movies over a long period of time, such as a video camera, stable and optimal exposure control is achieved by allowing the exposure operation to naturally follow the shooting conditions and shooting environment that change every moment during shooting. Must always be done. Therefore, realization of exposure control of a video camera that satisfies these conditions is strongly desired. Conventionally, the center-weighted average metering method has been mainly used as a method for performing exposure control (see Patent Document 2).

特開２００５−０３９４６０号公報Japanese Patent Application Laid-Open No. 2005-039460 特開２０００−３５４１９６号公報JP 2000-354196 A

しかしながら、従来のネットワークカメラで行なわれている露出制御方法では、中央重点平均測光方式を行なっているが、ネットワークカメラの設定場所によっては逆光などにより不十分な場合がある。そのため、露出制御された撮像画像に対して従来用いられているような覆い焼き処理を行なう画像処理部をネットワークカメラに設けることも考えられるが、既に遠隔地に設置されたネットワークカメラにこのような処理を設けることは面倒であり、また、ネットワークカメラの処理にも負担がかかることが想定される。 However, the exposure control method used in the conventional network camera uses the center-weighted average metering method. However, depending on the setting location of the network camera, it may be insufficient due to backlight or the like. For this reason, it may be possible to provide a network camera with an image processing unit that performs a dodging process on a captured image whose exposure has been controlled in the past. However, such a network camera already installed in a remote location may Providing the processing is troublesome, and it is assumed that the processing of the network camera is also burdened.

本発明は、このような課題を鑑みてなされたものであり、ネットワークカメラに負担をかけることなく適切な明るさ補正を行なうことを目的とする。 The present invention has been made in view of such problems, and an object thereof is to perform appropriate brightness correction without imposing a burden on the network camera.

本発明の撮像装置は、撮像手段によって撮像された画像を情報処理装置に配信する撮像装置であって、前記撮像手段の露出を制御する露出制御手段と、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更手段と、前記変更手段による前記露出制御方式の変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知手段と、を有することを特徴とする。
本発明のネットワークカメラシステムは、撮像装置の撮像手段によって撮像された画像を情報処理装置に配信するネットワークカメラシステムにおいて、前記情報処理装置は、前記撮像装置から配信された画像の明るさを補正する明るさ補正指示を検出する検出手段と、前記検出手段による明るさ補正指示の検出に応じて、前記撮像装置から配信された画像の明るさを補正するとともに、前記撮像装置に制御情報を通知する制御手段とを有し、前記撮像装置は、露出を制御する露出制御手段と、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更手段と、前記変更手段による変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知手段と、を有することを特徴とする。
本発明の撮像装置及び情報処理装置は、前記ネットワークカメラシステムに設けられることを特徴とする。 An image pickup apparatus according to the present invention is an image pickup apparatus that distributes an image picked up by an image pickup means to an information processing apparatus, an exposure control means for controlling exposure of the image pickup means, and notification of control information from the information processing apparatus. And a notification means for notifying the second information processing apparatus different from the information processing apparatus that has notified the control information of a change means for changing the exposure control method, and a change of the exposure control method by the change means. It is characterized by having.
Network camera system of the present invention, in a network camera system that delivers the image captured by the imaging means of the image pickup apparatus to the information processing apparatus, the information processing apparatus corrects the brightness of the delivered image from the imaging device detecting means for detecting the brightness correction instruction, in response to the detection of brightness correction instruction by said detecting means, thereby correcting the brightness of the delivered image from the imaging device, and notifies the control information to the imaging apparatus and a control unit, the imaging apparatus includes an exposure control means for controlling the exposure, the changing means in response to the notification of the control information from the information processing apparatus changes the exposure control method, changes due to the changing means Is notified to a second information processing apparatus different from the information processing apparatus that has notified the control information .
The imaging apparatus and information processing apparatus of the present invention are provided in the network camera system.

本発明の制御方法は、撮像手段によって撮像された画像を情報処理装置に配信する撮像装置が行う制御方法であって、前記撮像手段の露出を制御する露出制御ステップと、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更ステップと、前記変更ステップによる前記露出制御方式の変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知ステップと、
を有することを特徴とする。
本発明のネットワークカメラシステムの制御方法は、撮像装置の撮像手段によって撮像された画像を情報処理装置に配信するネットワークカメラシステムの制御方法であって、前記情報処理装置は、前記撮像装置から配信された画像の明るさを補正する明るさ補正指示を検出する検出ステップと、前記検出ステップにおける明るさ補正指示の検出に応じて、前記撮像装置から配信された画像の明るさを補正するとともに、前記撮像装置に制御情報を通知する制御ステップとを有し、前記撮像装置は、前記情報処理装置からの制御情報の通知に応じて、露出制御方式を変更する変更ステップと、前記変更ステップによる変更を、前記制御情報を通知した情報処理装置とは異なる第２の情報処理装置に通知する通知ステップと、を有することを特徴とする。 The control method of the present invention is a control method performed by an imaging apparatus that distributes an image captured by an imaging means to an information processing apparatus, an exposure control step for controlling exposure of the imaging means, In response to the notification of control information, a change step of changing the exposure control method, and a change of the exposure control method by the change step are notified to a second information processing device different from the information processing device that has notified the control information A notification step to
It is characterized by having.
A network camera system control method according to the present invention is a network camera system control method for distributing an image captured by an imaging unit of an image capturing apparatus to an information processing apparatus, wherein the information processing apparatus is distributed from the image capturing apparatus. and a detection step of detecting the brightness correction instruction for correcting the brightness of an image, in response to the detection of the brightness correction instruction in said detecting step, thereby correcting the brightness of the delivered image from the imaging device, wherein and a control step of notifying the control information to the imaging apparatus, the imaging apparatus, in response to the notification of the control information from the information processing apparatus, a changing step of changing the exposure control method, changes due to the changing step and especially to have a notification step of notifying the different second information processing apparatus from the information processing apparatus notifies the control information To.

本発明によれば、ネットワークカメラに負担をかけることなく適正な明るさ補正を行なうことができる。 According to the present invention, appropriate brightness correction can be performed without imposing a burden on the network camera.

以下、図面を参照して、本発明の実施形態を詳細に説明する。
（第１の実施形態）
図１は、本実施形態におけるネットワークカメラシステムの概略構成の一例を示した図である。図１において、ネットワークカメラシステムは、ネットワークカメラ（撮像装置）１００、パーソナルコンピュータなどの情報処理装置からなるクライアント端末装置２００、および蓄積サーバ７００が、ＬＡＮ５００を介して相互に接続されている。本願発明は、ＬＡＮ５００の代わりにインターネットに置き換え可能である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an example of a schematic configuration of a network camera system according to the present embodiment. 1, in the network camera system, a network camera (imaging device) 100, a client terminal device 200 including an information processing device such as a personal computer, and a storage server 700 are connected to each other via a LAN 500. The present invention can be replaced with the Internet instead of the LAN 500.

ネットワークカメラ１００は、MPEG2、MPEG4、H.264などの動画ストリームや、MJPEG、JPEGなどの静止画や、付属のマイクあるいは外部からの音声入力に基づく音声ストリームデータを、パケット通信網であるＬＡＮ５００に配信する。なお、本実施形態では、３台のネットワークカメラ１００ａ〜１００ｂが設けられている場合を例に挙げて示しているが、ネットワークカメラ１００の数は３台に限定されないということは言うまでもない。 The network camera 100 sends a video stream such as MPEG2, MPEG4, H.264, a still image such as MJPEG, JPEG, and audio stream data based on audio input from an attached microphone or outside to the LAN 500 that is a packet communication network. To deliver. In the present embodiment, the case where three network cameras 100a to 100b are provided is shown as an example, but it goes without saying that the number of network cameras 100 is not limited to three.

クライアント端末装置２００は、ビューワとして機能し、ネットワークカメラ１００から配信された各ストリームデータを受信し、様々なフォーマットによって符号化された各ストリームデータを復号化してモニタ６００へ出力する。また、クライアント端末装置２００は、ハードディスクなどの蓄積装置３００にネットワークカメラ１００から受信したストリームデータを蓄積し、その蓄積したストリームデータを後後で再生する録画、録音機能を有する。なお、本実施形態では、２つのクライアント端末装置２００ａ、２００ｂが設けられている場合を例に挙げて示しているが、クライアント端末装置２００の数は２つに限定されないということは言うまでもない。 The client terminal device 200 functions as a viewer, receives each stream data distributed from the network camera 100, decodes each stream data encoded in various formats, and outputs the decoded stream data to the monitor 600. The client terminal device 200 has a recording / recording function for storing stream data received from the network camera 100 in a storage device 300 such as a hard disk and reproducing the stored stream data later. In the present embodiment, the case where two client terminal devices 200a and 200b are provided is shown as an example, but it goes without saying that the number of client terminal devices 200 is not limited to two.

蓄積サーバ７００は、蓄積装置３００と同様に、ネットワークカメラ１００から受信したストリームデータを蓄積するものである。そして、クライアント端末装置２００の要求に応じて蓄積したストリームデータを、クライアント端末装置２００へ配信する。 Similar to the storage device 300, the storage server 700 stores stream data received from the network camera 100. Then, the stream data accumulated in response to the request from the client terminal device 200 is distributed to the client terminal device 200.

このようなネットワークカメラシステムの構成において、ネットワークカメラ１００において予め露出制御され、配信された動画あるいは静止画をクライアント端末装置２００にてデジタル覆い焼き処理によって明るさ補正を行なう一例を詳細に説明する。 In such a configuration of the network camera system, an example in which brightness correction is performed by digital dodging processing on a moving image or a still image that has been exposure-controlled in the network camera 100 and distributed in the client terminal device 200 will be described in detail.

図２は、ネットワークカメラ１００の構成の一例を示したブロック図である。
図２において、１００はネットワークカメラの本体を示す。１０１は、焦点合わせを行なうための撮像レンズ（フォーカスレンズ）であり、１０２は、撮像レンズ１００から入射した光の光量を調節するアイリスである。１０３は、アイリス１０２により光量が調節され、撮像面に結像された光像を光電変換により画像信号に変換するＣＣＤセンサー，ＣＭＯＳセンサーなどの撮像素子である。なお、撮像素子１０３は、ＣＣＤセンサーに限定されるものでない。 FIG. 2 is a block diagram illustrating an example of the configuration of the network camera 100.
In FIG. 2, reference numeral 100 denotes a main body of the network camera. Reference numeral 101 denotes an imaging lens (focus lens) for performing focusing, and reference numeral 102 denotes an iris that adjusts the amount of light incident from the imaging lens 100. Reference numeral 103 denotes an imaging device such as a CCD sensor or a CMOS sensor that converts the light image formed on the imaging surface by adjusting the amount of light by the iris 102 into an image signal by photoelectric conversion. Note that the image sensor 103 is not limited to a CCD sensor.

ＣＤＳ／ＡＧＣ部１０４は、撮像素子１０３の蓄積電荷ノイズを低減する相関二重サンプリング部と、撮像素子１０３からのアナログ画像信号のゲインを調節する自動利得制御部とを備える。ビデオＡ／Ｄ変換器１０５は、ＣＤＳ／ＡＧＣ部１０４を介して撮像素子１０３から入力されたアナログ画像信号をデジタル画像信号に変換する。信号処理部１０６は、デジタル画像信号にガンマ補正、ニー補正、ホワイトクリップ処理などの所定の信号処理を行なって、Y、Cr/Cb形式のデジタル画像信号を生成する。 The CDS / AGC unit 104 includes a correlated double sampling unit that reduces accumulated charge noise of the image sensor 103 and an automatic gain control unit that adjusts the gain of the analog image signal from the image sensor 103. The video A / D converter 105 converts the analog image signal input from the image sensor 103 via the CDS / AGC unit 104 into a digital image signal. The signal processing unit 106 performs predetermined signal processing such as gamma correction, knee correction, and white clip processing on the digital image signal to generate a digital image signal in Y, Cr / Cb format.

ビデオ符号化部１０７は、信号処理部１０６から出力されたY、Cr/Cb形式のデジタル画像信号を圧縮して符号化する。ゲート回路１１２は、ビデオＡ／Ｄ変換器１０５から出力されたデジタル画像信号から、撮像画面を分割した複数の領域に対して設定された任意の測光枠内に相当する信号だけを抽出する測光領域形成用のゲート回路である。積分器１１３は、ゲート回路１１２によって選択された撮像画面上の測光枠内の画像信号を積分してその平均輝度レベル（平均光量）を求める。積分器１１３で求められた平均輝度レベルは、後述するシステム制御部１２０へ出力される。 The video encoding unit 107 compresses and encodes the Y, Cr / Cb format digital image signal output from the signal processing unit 106. The gate circuit 112 extracts, from the digital image signal output from the video A / D converter 105, only a signal corresponding to an arbitrary photometric frame set for a plurality of areas obtained by dividing the imaging screen. It is a gate circuit for formation. The integrator 113 integrates the image signal in the photometry frame on the imaging screen selected by the gate circuit 112 and obtains the average luminance level (average light amount). The average luminance level obtained by the integrator 113 is output to the system control unit 120 described later.

タイミングパルス発生器１１１は、撮像素子１０３における電荷の蓄積時間を制御するための操作タイミングパルスを出力する。なお、以下の説明では、タイミングパルス発生器１１１をＴＧと称する。１０８は、アイリス１０２を駆動するアイリスモーターであり、１１０は、アイリスモーター１０８を駆動するアイリス駆動回路である。 The timing pulse generator 111 outputs an operation timing pulse for controlling the charge accumulation time in the image sensor 103. In the following description, the timing pulse generator 111 is referred to as TG. Reference numeral 108 denotes an iris motor that drives the iris 102, and reference numeral 110 denotes an iris drive circuit that drives the iris motor 108.

アイリスエンコーダ１０９は、アイリス１０２の開口量、すなわち絞り値を検出するホール素子などを備えて構成される。マイクユニット１１４は、音声を入力するためのものであり、外部マイク入力部１１５は、外付けのマイクから音声を入力するためのものである。オーディオアンプ１１６は、マイクユニット１１４又は外部マイク入力部１１５からのアナログ音声信号を増幅させる。オーディオＡ／Ｄ変換器１１７は、オーディオアンプ１１６から出力されたアナログ音声信号をデジタル音声信号に変換する。オーディオ符号化部１１８は、オーディオＡ／Ｄ変換器１１７から出力されたデジタル音声信号を圧縮して符号化する。ビデオ・オーディオエンコーダー１１９は、ビデオ符号化部１０７及びオーディオ符号化部１１８を備え、ＤＳＰ（Digital Signal Processor）などを用いて実現される。 The iris encoder 109 includes a hall element that detects an opening amount of the iris 102, that is, an aperture value. The microphone unit 114 is for inputting sound, and the external microphone input unit 115 is for inputting sound from an external microphone. The audio amplifier 116 amplifies the analog audio signal from the microphone unit 114 or the external microphone input unit 115. The audio A / D converter 117 converts the analog audio signal output from the audio amplifier 116 into a digital audio signal. The audio encoding unit 118 compresses and encodes the digital audio signal output from the audio A / D converter 117. The video / audio encoder 119 includes a video encoding unit 107 and an audio encoding unit 118, and is realized using a DSP (Digital Signal Processor) or the like.

パケット化多重化部１２１は、符号化されたデジタル画像信号及びデジタル音声信号を、それぞれビデオパケット及びオーディオパケットにするパケット化処理を行なう。さらに、送信されるビデオストリーム、オーディオストリーム、及び制御ストリームを、ＬＡＮＩ／Ｆ部１２２に出力するために、所定のフォーマットに従って配置してパケットの多重化処理を行なう。 The packetization multiplexing unit 121 performs packetization processing for converting the encoded digital image signal and digital audio signal into a video packet and an audio packet, respectively. Furthermore, in order to output the video stream, audio stream, and control stream to be transmitted to the LAN I / F unit 122, the packets are arranged according to a predetermined format and packet multiplexing processing is performed.

システム制御部１２０は、自動的に露出を制御し、さらにネットワークカメラ１００のシステム全体を制御する。ＬＡＮＩ／Ｆ部１２２は、網と端末との間に必要な適応化を図るためのものである。 The system control unit 120 automatically controls exposure, and further controls the entire system of the network camera 100. The LAN I / F unit 122 is for achieving necessary adaptation between the network and the terminal.

図３は、クライアント端末装置２００の構成の一例を示したブロック図である。なお、図３に示すように、本実施形態のクライアント端末装置２００は、専用の組み込み機器であっても、パーソナルコンピュータなどに本実施形態を実行するためのソフトウェアをインストールすることによっても実現可能である。 FIG. 3 is a block diagram illustrating an example of the configuration of the client terminal device 200. As shown in FIG. 3, the client terminal device 200 according to the present embodiment can be realized by installing software for executing the present embodiment on a personal computer or the like even if it is a dedicated embedded device. is there.

図３のクライアント端末装置２００において、ＬＡＮＩ／Ｆ部２０１は、外部と通信を行なうためのインターフェースである。デパケット化分離部２０２は、まず、所定のフォーマットによって多重化されたデータであるメディアパケット（ストリームデータ）をビデオ、オーディオ及び制御の各メディアに分離する。そして、分離したビデオパケット及びオーディオパケットをデパケット化し、符号化画像情報及び符号化音声情報を構成する。 In the client terminal device 200 of FIG. 3, a LAN I / F unit 201 is an interface for communicating with the outside. The depacketizing / separating unit 202 first separates media packets (stream data), which is data multiplexed in a predetermined format, into video, audio, and control media. Then, the separated video packet and audio packet are depacketized to form encoded image information and encoded audio information.

ビデオ復号化部２０３は、デパケット化分離部２０２から出力された符号化画像情報を伸張及び復号化して、デジタル動画データ又はデジタル静止画データにする。オーディオ復号化部２０４は、デパケット化分離部２０２から出力された符号化音声情報を伸張及び復号化して、デジタル音声データにする。ビデオ・オーディオコーデック２０５は、ビデオ復号化部２０３及びオーディオ復号化部２０４を備え、ＤＳＰなどを用いて実現される。 The video decoding unit 203 expands and decodes the encoded image information output from the depacketizing / separating unit 202 to generate digital moving image data or digital still image data. The audio decoding unit 204 decompresses and decodes the encoded audio information output from the depacketizing / separating unit 202 to generate digital audio data. The video / audio codec 205 includes a video decoding unit 203 and an audio decoding unit 204, and is realized using a DSP or the like.

明るさ補正部２０８は、ビデオ復号化部２０３によって復号化されY、Cr/Cb形式のデジタル画像データ（デジタル動画データ又はデジタル静止画データ）のうち、Y（輝度）デジタル画像データの明部をそのままにして暗部のみを補正するデジタル覆い焼き処理によって明るさ補正を行なう。ビデオＤ／Ａ変換器２０９は、明るさ補正部２０８で補正されたデジタル動画データ又はデジタル静止画データをアナログの映像信号に変換して、モニタ６００に出力する。 The brightness correction unit 208 decodes a bright portion of Y (luminance) digital image data among Y and Cr / Cb format digital image data (digital moving image data or digital still image data) decoded by the video decoding unit 203. Brightness correction is performed by digital dodging processing that corrects only the dark part without changing the state. The video D / A converter 209 converts the digital moving image data or digital still image data corrected by the brightness correction unit 208 into an analog video signal and outputs the analog video signal to the monitor 600.

オーディオＤ／Ａ変換器２１０は、オーディオ復号化部２０４によって復号化されたデジタル音声データをアナログの音声信号に変換して、モニタ６００に出力する。蓄積装置Ｉ／Ｆ部２０７は、ＬＡＮＩ／Ｆ部２０１で入力されたメディアパケット、又はデパケット化分離部２０２で構成された符号化画像情報及び符号化音声情報を蓄積装置３００へ転送したり、蓄積装置３００に蓄積されている符号化画像情報及び符号化音声情報を、デパケット化分離部２０２を介してビデオ・オーディオコーデック２０５へ転送し、ビデオおよびオーディオを再生させるようにしたりするためのである。蓄積装置３００は、ネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームを蓄積させる。具体的に蓄積装置３００は、例えばハードディスク装置や記録型ＤＶＤ装置などを用いて構成される。システム制御部２０６は、クライアント端末装置２００のシステム全体を制御し、操作部２１１は、明るさ補正部２０８の補正のオン、オフを含めたクライアント端末装置２００の操作や、ネットワークカメラ１００からの各メディアの配信開始を指示する操作などをユーザが行なう操作デバイスである。操作部２１１は、例えばキーボード，マウス，タッチパネルなどを用いて構成される。 The audio D / A converter 210 converts the digital audio data decoded by the audio decoding unit 204 into an analog audio signal and outputs the analog audio signal to the monitor 600. The storage device I / F unit 207 transfers the media packet input by the LAN I / F unit 201 or the encoded image information and encoded audio information configured by the depacketization separation unit 202 to the storage device 300, The encoded image information and the encoded audio information stored in the storage device 300 are transferred to the video / audio codec 205 via the depacketizing / separating unit 202 to reproduce the video and audio. The storage device 300 stores the video stream and audio stream distributed from the network camera 100. Specifically, the storage device 300 is configured using, for example, a hard disk device or a recordable DVD device. The system control unit 206 controls the entire system of the client terminal device 200, and the operation unit 211 operates the client terminal device 200 including turning on / off the correction of the brightness correction unit 208, and each operation from the network camera 100. This is an operation device in which the user performs an operation for instructing the start of media distribution. The operation unit 211 is configured using, for example, a keyboard, a mouse, a touch panel, and the like.

図４は、蓄積サーバ７００の構成の一例を示したブロック図である。
図４において、ＬＡＮＩ／Ｆ部７０１はネットワークを介して他の装置とデータの通信を行なうためのものであり、画像・音声蓄積部７０３は、ネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームを蓄積する。画像・音声蓄積部７０３は、例えばハードディスク装置や記録型ＤＶＤ装置などを用いて構成される。 FIG. 4 is a block diagram illustrating an example of the configuration of the storage server 700.
In FIG. 4, a LAN I / F unit 701 is for data communication with other devices via a network, and an image / sound storage unit 703 is a video stream and an audio stream distributed from the network camera 100. Accumulate. The image / sound storage unit 703 is configured using, for example, a hard disk device or a recordable DVD device.

画像・音声蓄積部Ｉ／Ｆ部７０２は、ＬＡＮＩ／Ｆ部７０１を介してネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームをそのまま画像・音声蓄積部７０３へ転送したり、画像・音声蓄積部７０３に蓄積されているビデオストリーム及びオーディオストリームをクライアント端末装置２００へ配信するためにＬＡＮＩ／Ｆ部７０１へ転送したりする。画像・音声蓄積部Ｉ／Ｆ部７０２は、クライアント端末装置２００へ配信するビデオストリームを最適化するために、ネットワークカメラ１００から配信されたビデオストリーム及びオーディオストリームを、画像変換部７０６にも転送する。 The image / sound storage unit I / F unit 702 transfers the video stream and audio stream distributed from the network camera 100 via the LAN I / F unit 701 to the image / sound storage unit 703 as they are, or stores the image / sound storage. The video stream and the audio stream stored in the unit 703 are transferred to the LAN I / F unit 701 for distribution to the client terminal device 200. The image / audio storage unit I / F unit 702 also transfers the video stream and audio stream distributed from the network camera 100 to the image conversion unit 706 in order to optimize the video stream distributed to the client terminal device 200. .

７０６は、クライアント端末装置２００の復号化能力に応じて、配信するビデオストリームに基づく画像のフォーマット・サイズなどを変換する画像変換部である。７０４は、蓄積サーバ７００のシステム全体を制御するシステム制御部であり、７０５は、画像変換部７０６の変換制御の指示など、蓄積サーバ７００の操作をユーザが行なうようにするための操作部である。 Reference numeral 706 denotes an image conversion unit that converts the format and size of an image based on the video stream to be distributed in accordance with the decoding capability of the client terminal device 200. Reference numeral 704 denotes a system control unit that controls the entire system of the storage server 700, and reference numeral 705 denotes an operation unit that allows the user to operate the storage server 700 such as instructions for conversion control of the image conversion unit 706. .

次に、以上のような構成でネットワークカメラ１００からクライアント端末装置２００に対してＬＡＮ５００を介して映像および音声を伝送させる本実施形態のネットワークカメラシステムにおける露出制御方法の動作の一例を説明する。なお、以下の説明では、クライアント端末装置２００の操作部２１１よりネットワークカメラ１００から映像及び音声が配信されたものとする。 Next, an example of the operation of the exposure control method in the network camera system of the present embodiment in which video and audio are transmitted from the network camera 100 to the client terminal device 200 via the LAN 500 with the above configuration will be described. In the following description, it is assumed that video and audio are distributed from the network camera 100 from the operation unit 211 of the client terminal device 200.

まず、ネットワークカメラシステムの動作を説明する。
ネットワークカメラ１００の撮像レンズ１０１からの光学像がアイリス１０２を介して撮像素子１０３上に結像されると、撮像素子１０３は、結像された光学画像を、ＴＧ１１１から出力される操作タイミングパルスに合わせて電気的な画像信号に変換し出力する。 First, the operation of the network camera system will be described.
When an optical image from the imaging lens 101 of the network camera 100 is formed on the imaging device 103 via the iris 102, the imaging device 103 converts the formed optical image into an operation timing pulse output from the TG 111. At the same time, it is converted into an electrical image signal and output.

出力された画像信号は、ＣＤＳ／ＡＧＣ部１０４で調整される。調整された後の画像信号は、ビデオＡ／Ｄ変換器１０５へ供給されてデジタル画像信号となる。このデジタル画像信号は、信号処理部１０６により、所定の色処理や、ホワイトバランス調整などの処理がデジタル的に施され、適正レベルに調整される。そして、適正レベルに調整されたデジタル画像信号は、Y、Cr/Cb形式のデジタル画像信号として出力される。 The output image signal is adjusted by the CDS / AGC unit 104. The image signal after adjustment is supplied to the video A / D converter 105 to become a digital image signal. The digital image signal is digitally subjected to predetermined color processing and white balance adjustment processing by the signal processing unit 106 to be adjusted to an appropriate level. The digital image signal adjusted to an appropriate level is output as a Y, Cr / Cb format digital image signal.

また、信号処理部１０６では、撮像レンズ１０１を駆動するために必要な尖鋭度信号などを取り出してシステム制御部１２０に出力する。そして、システム制御部１２０は、その尖鋭度信号を基に合焦動作を制御する。 In addition, the signal processing unit 106 extracts a sharpness signal or the like necessary for driving the imaging lens 101 and outputs it to the system control unit 120. Then, the system control unit 120 controls the focusing operation based on the sharpness signal.

ゲート回路１１２は、ビデオＡ／Ｄ変換器１０５より出力されたデジタル画像信号のＹ（輝度）信号から、システム制御部１２０によって設定された測光枠内の信号を抽出する。そして、抽出された信号は、積分器１１３により積分されて平滑され、平均輝度レベルとして出力される。この出力された平均輝度レベルの信号を、露出を制御するための信号としてシステム制御部１２０に取り込む。 The gate circuit 112 extracts a signal within the photometric frame set by the system control unit 120 from the Y (luminance) signal of the digital image signal output from the video A / D converter 105. The extracted signal is integrated and smoothed by the integrator 113 and output as an average luminance level. The output average luminance level signal is taken into the system control unit 120 as a signal for controlling exposure.

システム制御部１２０は、この平均輝度レベルの信号，アイリス１０２および撮像素子１０３の電子シャッタ速度の現在の状態に基づいて、アイリス１０２、ＴＧ１１１、及びＣＤＳ／ＡＧＣ部１０４を適宜制御して、露出制御を行なうための露出制御データを演算する。そして、システム制御部１２０は、その露出制御データに応じて、積分器１１３より出力される平均輝度レベルが、所定の範囲内に入るように、アイリス駆動回路１１０を制御する。アイリス駆動回路１１０は、システム制御部１２０からの制御に基づいて、アイリスモーター１０８へ出力する駆動電流を制御する。この駆動電流の制御によりアイリスモーター１０８は、アイリス１０２の開口量を制御する。 The system control unit 120 appropriately controls the iris 102, the TG 111, and the CDS / AGC unit 104 based on the average brightness level signal, the current state of the electronic shutter speed of the iris 102 and the image sensor 103, and performs exposure control. The exposure control data for performing is calculated. Then, the system control unit 120 controls the iris driving circuit 110 according to the exposure control data so that the average luminance level output from the integrator 113 falls within a predetermined range. The iris drive circuit 110 controls the drive current output to the iris motor 108 based on the control from the system control unit 120. By controlling the drive current, the iris motor 108 controls the opening amount of the iris 102.

さらに、システム制御部１２０は、撮像素子１０３における蓄積時間、つまり電子シャッタ速度を制御する信号をＴＧ１１１に供給する。そして、撮像素子１０３の出力レベルを制御する信号をＣＤＳ／ＡＧＣ部１０４へ供給する。本実施形態のネットワークカメラ１００では、以上のような制御を基にして閉ループ自動露出制御が行なわれる。 Further, the system control unit 120 supplies a signal for controlling the accumulation time in the image sensor 103, that is, the electronic shutter speed, to the TG 111. Then, a signal for controlling the output level of the image sensor 103 is supplied to the CDS / AGC unit 104. In the network camera 100 of the present embodiment, closed loop automatic exposure control is performed based on the above control.

信号処理部１０６から出力されたデジタル画像信号は、Y、Cr/Cbの形式でビデオ符号化部１０７に供給される。ビデオ符号化部１０７は、Y、Cr/Cbの形式のデジタル画像信号に対し、配信用の圧縮方式で圧縮する処理を施したり、フレームレートの設定などを施したりして符号化画像情報を生成する。ここでの配信用の圧縮方式は、所定の例えば、MPEG2、MPEG4、H.264、MJPEGまたはJPEGなどの規格に基づくものである。 The digital image signal output from the signal processing unit 106 is supplied to the video encoding unit 107 in the Y, Cr / Cb format. The video encoding unit 107 generates encoded image information by performing a process of compressing a digital image signal in Y, Cr / Cb format using a compression method for distribution or setting a frame rate. To do. The distribution compression method here is based on a predetermined standard such as MPEG2, MPEG4, H.264, MJPEG, or JPEG.

音声は、マイクユニット１１４を通して、又は多種の外部マイクを使用する場合には外部マイク入力部１１５を通してアナログ音声信号に変換され、オーディオアンプ１１６で増幅される。増幅されたアナログ音声信号は、オーディオＡ／Ｄ変換器１１７へ供給されて、８ＫＨｚ、１６ＫＨｚ、４４．１ＫＨｚなどの周波数によりサンプリングが行なわれてデジタル音声データとなる。このデジタル音声データは、オーディオ符号化部１１８に供給され、配信用の圧縮方式で圧縮されたり、フレームレートが設定されたりするなどの処理が施される。これにより符号化音声情報が生成される。ここでの配信用の圧縮方式は、所定の例えば、MPEG1、G.711、G.722またはAMRなどの規格に基づくものである。なお、デジタル音声データを圧縮せずにそのままのレベルのL-PCMフォーマットで出力するようにしてもよい。 The sound is converted into an analog sound signal through the microphone unit 114 or through the external microphone input unit 115 when various external microphones are used, and is amplified by the audio amplifier 116. The amplified analog audio signal is supplied to the audio A / D converter 117, and is sampled at a frequency of 8 KHz, 16 KHz, 44.1 KHz, etc., and becomes digital audio data. The digital audio data is supplied to the audio encoding unit 118 and subjected to processing such as compression by a distribution compression method and setting of a frame rate. As a result, encoded speech information is generated. The distribution compression method here is based on a predetermined standard such as MPEG1, G.711, G.722, or AMR. The digital audio data may be output in the L-PCM format as it is without being compressed.

ビデオ符号化部１０７から供給された符号化画像情報、及びオーディオ符号化部１１８から供給された符号化音声情報は、パケット化多重化部１２１にて、それぞれビデオパケット、及びオーディオパケットにパケット化される。さらに、パケット化されたデータをＲＴＰ（Real time Transport Protocol）などのプロトコルに従って、配置して多重化処理を行ない、多重化処理を行ったパケットをメディアパケットとして、ＬＡＮＩ／Ｆ部１１７よりＬＡＮ５００を介してクライアント端末装置２００へ配信する。 The encoded image information supplied from the video encoding unit 107 and the encoded audio information supplied from the audio encoding unit 118 are packetized into video packets and audio packets, respectively, by the packetization multiplexing unit 121. The Further, the packetized data is arranged and multiplexed according to a protocol such as RTP (Real Time Transport Protocol) and multiplexed. The multiplexed packet is used as a media packet, and the LAN I / F unit 117 sets the LAN 500. To the client terminal device 200.

配信された各メディアパケットは、クライアント端末装置２００のＬＡＮＩ／Ｆ部２０１より受信される。デパケット化分離部２０２は、受信された各メディアパケットを、外部から配信された多重化フォーマットに従って分離し、分離した各メディアパケットをデパケット化し、符号化画像情報及び符号化音声情報を、それぞれビデオ復号化部２０３及びオーディオ復号化部２０４へ出力する。 Each distributed media packet is received from the LAN I / F unit 201 of the client terminal device 200. The depacketizing / separating unit 202 separates each received media packet in accordance with a multiplexing format distributed from the outside, depackets each separated media packet, and performs video decoding on the encoded image information and the encoded audio information, respectively. Output to the encoding unit 203 and the audio decoding unit 204.

さらに、配信された各メディアパケットを録画する場合には、システム制御部２０６からの制御により、配信された各メディアパケットまま、蓄積装置Ｉ／Ｆ部２０７へ転送した後、さらに蓄積装置３００へ出力して記録する。もちろん、配信された各メディアパケットを分離及びデパケット化して構成された符号化画像情報および符号化音声情報を蓄積装置３００へ出力して記録してもよい。 Further, when each distributed media packet is recorded, the distributed media packet is transferred to the storage device I / F unit 207 as it is under the control of the system control unit 206 and then output to the storage device 300. And record. Of course, encoded image information and encoded audio information configured by separating and depackaging each distributed media packet may be output to the storage device 300 and recorded.

オーディオ復号化部２０４へ出力された符号化音声情報は、圧縮方式に基づき伸張及び復号化され、オーディオＤ／Ａ変換器２１０にてアナログの音声信号に変換されてモニタ６００に出力される。
ビデオ復号化部２０３へ出力された符号化画像情報も同様に、圧縮方式に基づき伸張及び復号化され、Y、Cr/Cbの形式のデジタル画像信号にされた後に、明るさ補正部２０８に出力される。この明るさ補正部２０８では、操作部２１１を用いた操作に応じてシステム制御部２０６から制御を行なって明るさ補正のオン、オフを行なう。 The encoded audio information output to the audio decoding unit 204 is expanded and decoded based on the compression method, converted into an analog audio signal by the audio D / A converter 210, and output to the monitor 600.
Similarly, the encoded image information output to the video decoding unit 203 is decompressed and decoded based on the compression method, converted into a Y, Cr / Cb format digital image signal, and then output to the brightness correction unit 208 Is done. In the brightness correction unit 208, the system control unit 206 performs control according to an operation using the operation unit 211 to turn on / off brightness correction.

明るさ補正がオンの場合は、操作部２１１の操作によるパラメータ設定に基づいて、Y、Cr/Cbの形式のデジタル画像信号におけるY（輝度）信号についてデジタル覆い焼き処理による明るさ補正を行なう。明るさ補正がオフの場合は、出力されたY、Cr/Cbの形式のデジタル画像信号を、補正せずにそのままビデオＤ／Ａ変換器２０９にてアナログの映像信号に変換してモニタ６００に出力する。 When the brightness correction is on, the brightness correction by the digital dodging process is performed on the Y (luminance) signal in the digital image signal of Y, Cr / Cb format based on the parameter setting by the operation of the operation unit 211. When the brightness correction is off, the output digital image signal in Y, Cr / Cb format is directly converted into an analog video signal by the video D / A converter 209 without correction, and is output to the monitor 600. Output.

図５は、デジタル覆い焼き処理による明るさ補正を行なう場合のクライアント端末装置２００内の明るさ補正部２０８の機能構成の一例を示したブロック図である。
図５において、原画像５０１のデジタル画像信号におけるY（輝度）信号レベルを上下させることにより、原画像５０１に対するボケ画像５０２を作成し、原画像５０及びボケ画像５０２の輝度情報などに基づいて、テーブル５０３を用いて、原画像５０１の暗部に対して掛けるγ値や、原画像５０１のどのレベルの暗部に対して補正するかなどを決定して補正処理部５０４で明るさ補正を行ない、明るさのダイナミックレンジが広い補正画像５０５を生成する。明るさ補正部２０８において生成された補正画像５０５は、ビデオＤ／Ａ変換器２０９にてアナログの映像信号に変換された後に、モニタ６００に出力される。録画されたデータを再生させる場合にもシステム制御部２０６からの制御によって、データを蓄積装置３００から読み出し、蓄積装置Ｉ／Ｆ部２０７、及びデパケット化分離部２０２を介して、前述したのと同様に、モニタ６００に出力する。 FIG. 5 is a block diagram illustrating an example of a functional configuration of the brightness correction unit 208 in the client terminal device 200 when performing brightness correction by digital dodging processing.
In FIG. 5, a blur image 502 for the original image 501 is created by raising and lowering the Y (luminance) signal level in the digital image signal of the original image 501, and based on the luminance information of the original image 50 and the blur image 502, etc. The table 503 is used to determine the γ value to be applied to the dark part of the original image 501, which level of the dark part of the original image 501 is to be corrected, and the like. A corrected image 505 having a wide dynamic range is generated. The corrected image 505 generated in the brightness correction unit 208 is converted into an analog video signal by the video D / A converter 209 and then output to the monitor 600. Even when the recorded data is reproduced, the data is read from the storage device 300 under the control of the system control unit 206, and the same as described above via the storage device I / F unit 207 and the depacketization separation unit 202. To the monitor 600.

クライアント端末装置２００内のデジタル覆い焼き処理による明るさ補正がオフの場合、ネットワークカメラ１００における露出制御のみが行われた画像がモニタ６００上に出力されることになる。
図７に、ネットワークカメラ１００によって行われる測光方式である中央重点平均測光方式の撮像画面上の測光領域を示す。中央重点平均測光方式では、撮像画面７０の中央付近の領域にあるＢ枠７０１に一番大きな重み付けを行なう。次に、その周辺部の領域にあるＣ２枠７０２に二番目に大きな重み付けを行なう。次に、撮像画面７０の上辺部付近の領域にあるＣ１枠７０３に重み付けを行なう。このように中央重点平均測光方式は、撮影者が撮影するときに被写体を中央部に位置させるであろうという思想のもとに考え出された方式である。また、特に、Ｃ１枠７０３に対する重み付けを一番小さくするのは、屋外の撮影時には、画面の上部は青空が入ってくることが多く、そのような場合、青空の輝度が非常に高いことから画面全体が暗くなってしまうのを防ぐためである。例えば、Ｂ枠７０１、Ｃ１枠７０２、及びＣ２枠７０３に対する重み付けを、Ｂ枠：Ｃ１枠：Ｃ２枠＝１０：２：５というようにする。 When the brightness correction by the digital dodging process in the client terminal device 200 is off, an image on which only the exposure control in the network camera 100 is performed is output on the monitor 600.
FIG. 7 shows a photometric area on the imaging screen of the center-weighted average photometric method, which is a photometric method performed by the network camera 100. In the center-weighted average metering method, the B frame 701 in the area near the center of the imaging screen 70 is weighted most. Next, the second largest weight is applied to the C2 frame 702 in the peripheral area. Next, the C1 frame 703 in the area near the upper side of the imaging screen 70 is weighted. Thus, the center-weighted average metering method is a method that was conceived based on the idea that the subject will be positioned in the center when the photographer takes a picture. In particular, the weighting for the C1 frame 703 is made the smallest when shooting outdoors, since the blue sky often enters the top of the screen. In such a case, the brightness of the blue sky is very high. This is to prevent the whole from becoming dark. For example, the B frame 701, the C1 frame 702, and the C2 frame 703 are weighted such that B frame: C1 frame: C2 frame = 10: 2: 5.

図８は、ネットワークカメラ１００の露出制御の切り替え処理を示すフローチャートである。ステップＳ１０１において、操作部２１１の操作に応じてデジタル覆い焼き処理による明るさ補正がオンされると、明るさ補正のレベルに関する制御情報をシステム制御部２０６によりパケット化し、パケット化した制御情報をＬＡＮＩ／Ｆ部２０１からＬＡＮ５００を介してネットワークカメラ１００に伝送する。そして、ネットワークカメラ１０１はこの制御情報を受信したか否か判断する。このとき、ＬＡＮ５００の代わりにネットワークがインターネットの場合、基本的にはTCP/IPによる通信を行なうが、HTTPあるいはSIPなどによるアプリケーション通信プロトコルにしたがって通信することも可能である。なお、前記明るさ補正のレベルに関する制御情報の詳細については後述する。 FIG. 8 is a flowchart showing the exposure control switching process of the network camera 100. In step S101, when the brightness correction by the digital dodging process is turned on according to the operation of the operation unit 211, the control information related to the level of brightness correction is packetized by the system control unit 206, and the packetized control information is converted to the LAN. The data is transmitted from the I / F unit 201 to the network camera 100 via the LAN 500. Then, the network camera 101 determines whether this control information has been received. At this time, when the network is the Internet instead of the LAN 500, communication is basically performed using TCP / IP, but communication can also be performed according to an application communication protocol such as HTTP or SIP. Details of the control information relating to the brightness correction level will be described later.

ステップＳ１０２において、ネットワークカメラ１００で受け取った制御情報は、ＬＡＮＩ／Ｆ部１２２を介してシステム制御部１２０に通知される。通知を受けたシステム制御部１２０は、ゲート回路１１２を制御し、新たに撮像画面内の輝度レベル高い領域の画像信号を参照するための測光枠を設定することにより、露出制御方式の変更処理を行なう。
図６は、デジタル覆い焼き処理による明るさ補正がオンされたときに設定されるゲート回路１１２における測光枠の一例を示した図である。
図６において、Ｂ枠６０１、Ｃ１枠６０２、及びＣ２枠６０３に加え、Ａ枠が設定される。Ａ枠６０４を設定する具体的な方法を説明すると、例えば、撮像画面６０を水平方向に８つの領域Ｈ０〜Ｈ７に分割すると共に、垂直方向に８つの領域Ｖ０〜Ｖ７に分割して、６４個の領域を形成する。これら６４個の領域の中で最も高い輝度を有する領域を選択し、選択した領域がＡ枠６０４となる。 In step S 102, the control information received by the network camera 100 is notified to the system control unit 120 via the LAN I / F unit 122. Upon receiving the notification, the system control unit 120 controls the gate circuit 112 and newly sets a photometric frame for referring to an image signal in a region with a high luminance level in the imaging screen, thereby changing the exposure control method. Do.
FIG. 6 is a diagram showing an example of a photometric frame in the gate circuit 112 set when the brightness correction by the digital dodging process is turned on.
In FIG. 6, in addition to the B frame 601, the C1 frame 602, and the C2 frame 603, an A frame is set. A specific method for setting the A frame 604 will be described. For example, the imaging screen 60 is divided into eight regions H0 to H7 in the horizontal direction and 64 regions V0 to V7 in the vertical direction, for example, 64 regions. The region is formed. An area having the highest luminance is selected from these 64 areas, and the selected area is an A frame 604.

このＡ枠６０４内の画像信号は、積分器１１３により積分及び平滑され、この積分及び平滑された画像信号は、平均輝度レベルとして出力される。このように、図６に示した例では、領域Ｈ１、Ｖ３で囲まれるＡ枠６０４が最も高い輝度を有する測光枠として選択され、このＡ枠６０４の画像信号の平均輝度レベルがシステム制御部１２０に出力される。このＡ枠６０４の画像データと、Ｂ枠６０１、Ｃ１枠６０２、及びＣ２枠６０３の画像データとの平均輝度レベルのデータに重み付けを行ない、この計算結果から露出制御を行なう。例えば、Ａ枠、Ｂ枠、Ｃ１枠、及びＣ２枠の重み付けの割合を、Ａ枠：Ｂ枠：Ｃ１枠：Ｃ２枠＝５：４：１：２というようにする。そして、このような重み付けを行なうことにより求められた測光値に基づいて、前述したような露出制御が行なわれる。すなわち、この測光値が所定の範囲内に収まるようにアイリス１０２、ＴＧ１１１、及びＣＤＳ／ＡＧＣ部１０４が制御される。 The image signal in the A frame 604 is integrated and smoothed by the integrator 113, and the integrated and smoothed image signal is output as an average luminance level. As described above, in the example shown in FIG. 6, the A frame 604 surrounded by the regions H <b> 1 and V <b> 3 is selected as the photometry frame having the highest luminance, and the average luminance level of the image signal of this A frame 604 is the system control unit 120. Is output. The average luminance level data of the image data of the A frame 604 and the image data of the B frame 601, the C1 frame 602, and the C2 frame 603 is weighted, and exposure control is performed from the calculation result. For example, the weighting ratio of the A frame, the B frame, the C1 frame, and the C2 frame is set to A frame: B frame: C1 frame: C2 frame = 5: 4: 1: 2. Then, the exposure control as described above is performed based on the photometric value obtained by performing such weighting. That is, the iris 102, the TG 111, and the CDS / AGC unit 104 are controlled so that the photometric value falls within a predetermined range.

一方、このデジタル覆い焼き処理による明るさ補正のレベルは、クライアント端末装置２００の操作部２１１の操作に基づく設定によって変えることができる。明るさ補正されたネットワークカメラ１００からの画像をモニタ６００に表示しているので、ユーザはこれを見ながら明るさ補正のレベルに関するパラメータを設定する。この設定に応じて、このＡ枠６０４の選択を最も高い輝度を有する領域だけではなく、ｎ番目（ｎは２以上の自然数）に輝度が高い領域とすることもできる。
ステップＳ１０３において、露出制御方式の変更処理にともなって、制御通知をネットワークカメラ１００に対して行ったクライアント端末装置以外のネットワークカメラ１００にアクセスしているクライアント端末装置に対して、露出制御方式を変更した旨の通知を行なう。もちろん、確認のために制御通知をネットワークカメラ１００に対して行ったクライアント端末装置に対しても露出制御方式の変更通知を行ってもよい。なお、ネットワークカメラ１００は、クライアント端末装置のアクセス時にアクセス情報を取得しているものとする。 On the other hand, the level of brightness correction by the digital dodging process can be changed by setting based on the operation of the operation unit 211 of the client terminal device 200. Since the image from the network camera 100 whose brightness has been corrected is displayed on the monitor 600, the user sets parameters relating to the level of brightness correction while viewing this image. In accordance with this setting, the selection of the A frame 604 can be made not only in the region having the highest luminance but also in the nth region (n is a natural number of 2 or more) having the highest luminance.
In step S103, the exposure control method is changed for the client terminal device accessing the network camera 100 other than the client terminal device that sent the control notification to the network camera 100 in accordance with the exposure control method change process. A notification to the effect is given. Of course, the exposure control method change notification may also be sent to the client terminal device that sent the control notification to the network camera 100 for confirmation. It is assumed that the network camera 100 has acquired access information when accessing the client terminal device.

このようにしてユーザにより設定された結果を前述したように制御情報としてパケット化し、クライアント端末装置２００のシステム制御部２０６からＬＡＮ５００を介してネットワークカメラ１００のシステム制御部１２０に通知する。通知を受けたシステム制御部１２０は、設定された明るさ補正のレベルに応じてＡ枠６０４の選択を行なう。そして、前述したようにして測光値を求め、求めた測光値に基づいて露出制御を行なう。 The result set by the user in this way is packetized as control information as described above, and notified from the system control unit 206 of the client terminal device 200 to the system control unit 120 of the network camera 100 via the LAN 500. Receiving the notification, the system control unit 120 selects the A frame 604 according to the set brightness correction level. Then, a photometric value is obtained as described above, and exposure control is performed based on the obtained photometric value.

なお、本実施形態では、図１に示した３台のネットワークカメラ１００ａ〜１００ｃの１台から、複数のクライアント端末装置２００ａ、２００ｂに動画あるいは静止画を配信する場合、制御権を取った１台のクライアント端末装置２００だけが、そのネットワークカメラ１００の露出を制御できるようにしている。制御権を取る方法は、例えば、一定時間が経過する度に制御権を交代させるようにしたり、ネットワークカメラシステムの管理者からの許可に従って制御権を取得したりするなどいろいろあるが、どのような方法でもかまわない。つまり、ネットワークカメラ１００の制御権を取ったクライアント端末装置２００が、そのネットワークカメラ１００に、デジタル覆い焼き処理による明るさ補正を指示することによって、前述したＡ枠６０４の測光領域を含めた露出制御方法に移行するようにしていればよい。 In the present embodiment, when a moving image or a still image is distributed from one of the three network cameras 100a to 100c shown in FIG. Only the client terminal device 200 can control the exposure of the network camera 100. There are various methods for obtaining control rights, for example, changing the control rights every time a certain amount of time elapses, or obtaining control rights according to permission from the administrator of the network camera system. It doesn't matter how. In other words, the client terminal device 200 that has taken control of the network camera 100 instructs the network camera 100 to perform brightness correction by digital dodging processing, whereby exposure control including the above-mentioned photometric area of the A frame 604 is performed. It is only necessary to shift to the method.

クライアント端末装置２００が制御権を離したら、他のクライアント端末装置２００が制御権を取ることができる。この制御権を取ったクライアント端末装置２００がデジタル覆い焼き処理による明るさ補正をしない場合には、通常の中央重点平均測光方式による測光枠を用いた露出制御を行なうようにする。一方、異なった設定パラメータによるデジタル覆い焼き処理による明るさ補正を行なう場合には、Ａ枠６０４の選択を変えて露出制御を行なうようにする。以上のようにすることによって制御権を取っている間だけ制御可能であるクライアント端末装置２００の制御権に連動してネットワークカメラ１００の露出制御を実現することができる。 When the client terminal device 200 releases the control right, another client terminal device 200 can take the control right. When the client terminal device 200 that has obtained this control right does not perform brightness correction by the digital dodging process, exposure control is performed using a photometric frame by a normal center-weighted average photometric method. On the other hand, when performing brightness correction by digital dodging processing using different setting parameters, exposure control is performed by changing the selection of the A frame 604. As described above, exposure control of the network camera 100 can be realized in conjunction with the control right of the client terminal device 200 that can be controlled only while the control right is taken.

ここで、ネットワークカメラ１００ａの制御権がクライアント端末装置２００ａからクライアント端末装置２００ｂに移る場合を例に挙げて、制御権が移る場合の動作の一例を説明する。
まず、前述したようにしてネットワークカメラ１００の露光制御が行なわれると、ネットワークカメラ１００ａのシステム制御部１２０は、デジタル覆い焼き処理による明るさ補正がオンされていることを示す補正情報を生成して符号化する。この補正情報は、パケット化多重化部１２１でパケット化される。パケット化された補正情報は、ＬＡＮＩ／Ｆ部１２２及びＬＡＮ５００を介して、制御権のあるクライアント端末装置２００ａ以外のクライアント端末装置であって、ネットワークカメラ１００ａにアクセスしているクライアント端末装置２００ｂに送信される。 Here, an example of the operation when the control right is transferred will be described by taking as an example the case where the control right of the network camera 100a is transferred from the client terminal device 200a to the client terminal device 200b.
First, when the exposure control of the network camera 100 is performed as described above, the system control unit 120 of the network camera 100a generates correction information indicating that the brightness correction by the digital dodging process is turned on. Encode. This correction information is packetized by the packet multiplexing unit 121. The packetized correction information is transmitted via the LAN I / F unit 122 and the LAN 500 to the client terminal device 200b that is accessing the network camera 100a and is a client terminal device other than the client terminal device 200a with the control right. Is done.

こうしてネットワークカメラ１００ａから送信された補正情報をクライアント端末装置２００ｂに設けられたＬＡＮＩ／Ｆ部２０１が受信すると、デパケット化分離部２０２は、パケット化されている補正情報をデパケット化する。デパケット化された補正情報は、システム制御部２０６において復号化される。これにより、クライアント端末装置２００ｂは、デジタル覆い焼き処理による明るさ補正がオンされていることを知ることができる。 When the LAN I / F unit 201 provided in the client terminal device 200b receives the correction information transmitted from the network camera 100a in this manner, the depacketizing / separating unit 202 depackets the packetized correction information. The depacketized correction information is decoded by the system control unit 206. Thereby, the client terminal device 200b can know that the brightness correction by the digital dodging process is turned on.

そして、デジタル覆い焼き処理による明るさ補正を行なうか否かを問い合わせるためのウインドウ（画像）をモニタ６００にホップアップ表示し、表示内容に基づいたユーザによる操作部２１１の操作結果に基づいて、システム制御部２０６は、デジタル覆い焼き処理による明るさ補正を行なうか否かを判定する。この判定の結果、デジタル覆い焼き処理による明るさ補正を行なう場合には、Ａ枠６０４の選択を変えて、クライアント端末装置２００ａと同様に、露出制御をネットワークカメラ１００ａに開始させ、この露出制御により撮像された画像に対し、デジタル覆い焼き処理による明るさ補正を行なう。一方、デジタル覆い焼き処理による明るさ補正を行なわない場合には、通常の中央重点平均測光方式による測光枠を用いた露出制御をネットワークカメラ１００ａに開始させる。 Then, a window (image) for inquiring whether to perform brightness correction by digital dodging processing is displayed on the monitor 600 in a hop-up manner, and the system is based on the operation result of the operation unit 211 by the user based on the display content. The control unit 206 determines whether or not to perform brightness correction by the digital dodging process. As a result of this determination, when performing brightness correction by digital dodging processing, the selection of the A frame 604 is changed and exposure control is started by the network camera 100a in the same manner as the client terminal device 200a. Brightness correction is performed on the captured image by digital dodging processing. On the other hand, when the brightness correction by the digital dodging process is not performed, the network camera 100a is caused to start exposure control using the photometry frame by the normal center-weighted average photometry method.

次に、ネットワークカメラ１００から配信されて蓄積サーバ７００において蓄積されたビデオストリーム及びオーディオストリームに基づく映像及び音声をクライアント端末装置２００に対してＬＡＮ５００を介して伝送させる場合の動作の一例を説明する。
ネットワークカメラ１００及びクライアント端末装置２００の機能の説明に関しては前述したものと同様である。蓄積サーバ７００の操作部７０５の操作に基づいてネットワークカメラ１００からビデオストリーム及びオーディオストリームを配信させる。配信されたビデオストリーム及びオーディオストリームは、蓄積サーバ７００の画像・音声蓄積部７０３にそのままのデータで蓄積させる。 Next, an example of an operation when video and audio based on a video stream and an audio stream distributed from the network camera 100 and stored in the storage server 700 are transmitted to the client terminal device 200 via the LAN 500 will be described.
The description of the functions of the network camera 100 and the client terminal device 200 is the same as described above. The video stream and the audio stream are distributed from the network camera 100 based on the operation of the operation unit 705 of the storage server 700. The distributed video stream and audio stream are stored as they are in the image / sound storage unit 703 of the storage server 700.

なお、ネットワークカメラ１００は、配信するビデオストリームに対して、前述したクライアント端末装置２００からの指示に基づき、デジタル覆い焼き処理による明るさ補正を行なう場合の露出制御を行なうか、あるいは通常の露出制御を行なうかを選択し、選択した結果を示すタグを付してビデオストリームを配信してもよい。これにより画像・音声蓄積部７０３に蓄積されたビデオストリームが、どちらの方式の露出制御によって撮像されたかを判別することが可能になるとともに図８のステップＳ１０３の他のクライアント端末２００に対して露出制御方式の変更通知を行なわずにすむ。 The network camera 100 performs exposure control when performing brightness correction by digital dodging processing on the video stream to be distributed based on the instruction from the client terminal device 200 described above, or normal exposure control. The video stream may be distributed with a tag indicating the selected result. As a result, it is possible to determine which type of exposure control is used to capture the video stream stored in the image / sound storage unit 703 and to expose the other client terminal 200 in step S103 of FIG. There is no need to notify the control method change.

例えば、画像・音声蓄積部７０３に蓄積されたビデオストリーム及びオーディオストリームをクライアント端末装置２００の操作部２１１の操作に基づいて配信させ、モニタ６００に映像を再生させる場合、クライアント端末装置２００は、蓄積されたビデオストリームに関連付けられたタグによって、デジタル覆い焼き処理による明るさ補正を行なうかどうかを判断して映像を再生させることができる。 For example, when the video stream and the audio stream stored in the image / sound storage unit 703 are distributed based on the operation of the operation unit 211 of the client terminal device 200 and the video is reproduced on the monitor 600, the client terminal device 200 stores the video stream and the audio stream. By using the tag associated with the video stream, it is possible to determine whether to perform brightness correction by digital dodging processing and reproduce the video.

また、蓄積サーバ７００は、そのクライアント端末装置２００の復号化能力に適合した符号化方式、フォーマット及びサイズなどになるように、画像変換部７０６によってビデオストリームを変換してから、クライアント端末装置２００へ配信させるようにする。 In addition, the storage server 700 converts the video stream by the image conversion unit 706 so that the encoding method, format, size, and the like conform to the decoding capability of the client terminal device 200, and then transmits the video stream to the client terminal device 200. Let it be delivered.

以上のように本実施形態では、クライアント端末装置２００の操作に基づいて設定された明るさ補正のレベルに関する制御情報をネットワークカメラ１００に通知する。ネットワークカメラ１００は、前記設定された明るさ補正のレベルに応じて撮像画面内の輝度の高い領域であるＡ枠６０４を選択し、選択したＡ枠６０４の平均輝度レベルに重み付けを行なって測光値を求め、その測光値に基づいて露出制御を行なう。この露出制御によりネットワークカメラ１００で撮像された画像をクライアント端末装置２００が取り込み、デジタル覆い焼き処理を行なう。 As described above, in this embodiment, the network camera 100 is notified of control information related to the brightness correction level set based on the operation of the client terminal device 200. The network camera 100 selects the A frame 604 which is a high luminance area in the imaging screen according to the set brightness correction level, and weights the average luminance level of the selected A frame 604 to measure the photometric value. And exposure control is performed based on the photometric value. With this exposure control, the client terminal device 200 captures an image captured by the network camera 100 and performs a digital dodging process.

これにより、輝度の高いＡ枠６０４を考慮して露光制御することが可能になる。したがって、ネットワークカメラ１００から配信された画像に対するデジタル覆い焼き処理（視覚的な明るさ補正）を、クライアント端末装置２００側で適切に行なえるようになる。また、クライアント端末装置２００側でデジタル覆い焼き処理を行なうので、ネットワークカメラ１００側の負担を可及的に軽減することができる。 Thereby, exposure control can be performed in consideration of the A frame 604 with high luminance. Therefore, the digital dodging process (visual brightness correction) for the image distributed from the network camera 100 can be appropriately performed on the client terminal device 200 side. Further, since the digital dodging process is performed on the client terminal device 200 side, the burden on the network camera 100 side can be reduced as much as possible.

なお、前述したように、本実施形態では、クライアント端末装置２００においてデジタル覆い焼き処理による明るさ補正を行なうネットワークカメラシステムが、ネットワークカメラ１００、クライアント端末装置２００及び蓄積サーバ７００を用いて実現される場合を例に挙げて説明し、ネットワークカメラ１００側の負担を可及的に軽減することができるようにしたが、デジタル覆い焼き処理による明るさ補正の機能をネットワークカメラ１００内に設けるネットワークカメラシステムで実現することもできる。 As described above, in this embodiment, the network camera system that performs brightness correction by digital dodging processing in the client terminal device 200 is realized using the network camera 100, the client terminal device 200, and the storage server 700. In the network camera system described above, the burden on the network camera 100 side can be reduced as much as possible, but the network camera 100 is provided with a function of brightness correction by digital dodging processing. Can also be realized.

この場合はクライアント端末装置２００の操作部２１１からの操作によって前述のアプリケーション通信プロトコルに従って明るさ補正のオン・オフをネットワークカメラ１００に通知し、オンの場合、それに応じた露出制御を行なった画像に対し明るさ補正を行なった画像をネットワークカメラ１００からクライアント端末装置２００へ配信させるようにすることになる。 In this case, on / off of brightness correction is notified to the network camera 100 according to the above-described application communication protocol by an operation from the operation unit 211 of the client terminal device 200, and in the case of being on, an image subjected to exposure control corresponding thereto is displayed. The image subjected to the brightness correction is distributed from the network camera 100 to the client terminal device 200.

なお、図８のステップ１０３における露出変更通知に基づいて、他のクライアント装置に対してデジタル覆い焼き処理の実行を開始させることも可能である。すなわち、制御権のあるクライアント端末装置２００から送信された制御情報に基づいて設定した測光枠６０１〜６０２を用いて露光制御を行った後に、制御権のない他のクライアント端末装置２００に対してデジタル覆い焼き処理の実行を開始させるための指示を行なってもよい。 Note that, based on the exposure change notification in step 103 in FIG. 8, it is possible to cause another client device to start executing the digital dodging process. That is, after performing exposure control using the photometry frames 601 to 602 set based on the control information transmitted from the client terminal device 200 with the control right, it is digitally applied to other client terminal devices 200 without the control right. An instruction for starting execution of the dodging process may be performed.

具体的には、ステップＳ１０３の露出制御変更通知として、ネットワークカメラ１００ａのシステム制御部１２０は、ネットワークカメラ１００ａの露出制御方式が変更されたことを示す情報とともに、デジタル覆い焼き処理を行なうことを指示するための指示情報を生成する。この指示情報は、パケット化多重化部１２１でパケット化される。パケット化された指示情報は、ＬＡＮＩ／Ｆ部１２２及びＬＡＮ５００を介して、制御権のあるクライアント端末装置２００ａ以外のクライアント端末装置であって、ネットワークカメラ１００ａにアクセスしているクライアント端末装置２００ｂに送信される。 Specifically, as the exposure control change notification in step S103, the system control unit 120 of the network camera 100a instructs to perform digital dodging processing together with information indicating that the exposure control method of the network camera 100a has been changed. To generate instruction information. This instruction information is packetized by the packet multiplexing unit 121. The packetized instruction information is transmitted via the LAN I / F unit 122 and the LAN 500 to the client terminal device 200b that is accessing the network camera 100a and is a client terminal device other than the client terminal device 200a with the control right. Is done.

図９は上述のデジタル覆い焼き処理の指示情報を受信したクライアント端末装置１００における動作処理フローチャートである。ステップＳ２０２において、ネットワークカメラ１００ａから送信された制御変更通知をクライアント端末装置２００ｂに設けられたＬＡＮＩ／Ｆ部２０１が受信すると、デパケット化分離部２０２は、パケット化されている指示情報をデパケット化する。これにより、クライアント端末装置２００ｂは、デジタル覆い焼き処理による明るさ補正が指示されていることを知ることができる。 FIG. 9 is an operational process flowchart in the client terminal apparatus 100 that has received the above-described digital dodging process instruction information. In step S202, when the LAN I / F unit 201 provided in the client terminal device 200b receives the control change notification transmitted from the network camera 100a, the depacketizing / separating unit 202 depackets the packetized instruction information. To do. Thereby, the client terminal apparatus 200b can know that the brightness correction by the digital dodging process is instructed.

そして、ステップＳ２０２において、デジタル覆い焼き処理がまだ行われていない場合（図８のステップＳ１０１において制御情報を撮像装置に通知していないクライアント端末装置の場合）、デジタル覆い焼き処理による明るさ補正を行なうか否かをユーザに問い合わせるためのウインドウをモニタ６００ｂにホップアップ表示する。ステップＳ２０３において、この表示した内容に基づいたユーザによる操作部２１１の操作結果に基づいて、クライアント端末装置２００ｂのシステム制御部２０６は、デジタル覆い焼き処理による明るさ補正を行なうか否かを判定する。この判定の結果、デジタル覆い焼き処理による明るさ補正の指示を検出した場合には、ネットワークカメラ１００ａから取得したデジタル画像データに対してデジタル覆い焼き処理による明るさ補正を行なう。一方、デジタル覆い焼き処理による明るさ補正が必要ない旨の指示が検出された場合には、デジタル画像データに対して覆い焼き処理を行なわずにモニタ６００ｂ上に画像データの表示を行なう。 In step S202, if the digital dodging process has not yet been performed (in the case of a client terminal apparatus that has not notified the imaging apparatus of control information in step S101 in FIG. 8), brightness correction by the digital dodging process is performed. A window for inquiring the user as to whether or not to perform the hop-up display is displayed on the monitor 600b. In step S203, based on the operation result of the operation unit 211 by the user based on the displayed content, the system control unit 206 of the client terminal device 200b determines whether or not to perform brightness correction by digital dodging processing. . As a result of this determination, when an instruction for brightness correction by digital dodging processing is detected, brightness correction by digital dodging processing is performed on the digital image data acquired from the network camera 100a. On the other hand, when an instruction indicating that the brightness correction by the digital dodging process is not necessary is detected, the image data is displayed on the monitor 600b without performing the dodging process on the digital image data.

以上のように本実施形態では、ネットワークカメラ１００は、制御権を有さないクライアント端末装置２００ｂに対して、デジタル覆い焼き処理による明るさ補正を行なうように指示する。その後、制御権を有するクライアント端末装置２００ａからの指示に基づく露出制御により撮像された画像に対して、ネットワークカメラ１００ｂがデジタル覆い焼き処理による明るさ補正を行なうようにした。よって、本実施形態では、第１の実施形態の効果に加え、ネットワークカメラ１００における負担をより一層軽減させることができるという効果がある。また、ネットワークカメラに接続しているすべてのクライアント端末装置に対して適切な処理が施された画像データを提供することができる。 As described above, in this embodiment, the network camera 100 instructs the client terminal device 200b that does not have the control right to perform brightness correction by digital dodging processing. After that, the network camera 100b performs the brightness correction by the digital dodging process on the image captured by the exposure control based on the instruction from the client terminal device 200a having the control right. Therefore, in this embodiment, in addition to the effect of 1st Embodiment, there exists an effect that the burden in the network camera 100 can be reduced further. Further, it is possible to provide image data that has been subjected to appropriate processing for all client terminal devices connected to the network camera.

なお、本実施形態では、デジタル覆い焼き処理による明るさ補正を行なうか否かを問い合わせるためのウインドウ（画像）をモニタ６００ｂにホップアップ表示し、ユーザにデジタル覆い焼き処理による明るさ補正を行なうか否かを選択させるようにしたが、このウインドウを表示し、ユーザにデジタル覆い焼き処理による明るさ補正を行なうか否かを選択させる処理を省略して、デジタル覆い焼き処理による明るさ補正を行なう強制的に行なうようにしてもよい。
ネットワークカメラ側において露出制御が行なわれたときに用いられる撮像画面内の輝度分布情報をクライアント端末装置側に転送し、この輝度分布情報をクライアント端末装置側の覆い焼き処理に流用することも可能である。 In the present embodiment, a window (image) for inquiring whether or not to perform brightness correction by digital dodging processing is displayed on the monitor 600b in a hop-up manner, and whether or not brightness correction by digital dodging processing is performed to the user. Although this window is displayed, the process for displaying the window and allowing the user to select whether or not to perform the brightness correction by the digital dodging process is omitted, and the brightness correction by the digital dodging process is performed. You may make it perform compulsorily.
It is also possible to transfer the luminance distribution information in the imaging screen used when exposure control is performed on the network camera side to the client terminal device side and divert this luminance distribution information to the dodging process on the client terminal device side. is there.

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。 (Other embodiments of the present invention)
In order to operate various devices to realize the functions of the above-described embodiments, program codes of software for realizing the functions of the above-described embodiments are provided to an apparatus or a computer in the system connected to the various devices. What is implemented by operating the various devices according to a program supplied and stored in a computer (CPU or MPU) of the system or apparatus is also included in the scope of the present invention.

また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. The recorded medium constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。 Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) or other application software in which the program code is running on the computer, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行ない、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。 Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code Needless to say, the present invention also includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.

本発明の実施形態を示し、ネットワークカメラシステムの概略構成の一例を示した図である。1 is a diagram illustrating an exemplary configuration of a network camera system according to an exemplary embodiment of the present invention. 本発明の実施形態を示し、ネットワークカメラの構成の一例を示したブロック図である。It is the block diagram which showed embodiment of this invention and showed an example of the structure of a network camera. 本発明の実施形態を示し、クライアント端末装置の構成の一例を示したブロック図である。It is the block diagram which showed embodiment of this invention and showed an example of the structure of the client terminal device. 本発明の実施形態を示し、蓄積サーバの構成の一例を示したブロック図である。It is the block diagram which showed embodiment of this invention and showed an example of the structure of the storage server. 本発明の実施形態を示し、デジタル覆い焼き処理による明るさ補正を行なう場合の明るさ補正部の機能構成の一例を示したブロック図である。FIG. 5 is a block diagram illustrating an example of a functional configuration of a brightness correction unit when performing brightness correction by digital dodging processing according to an embodiment of the present invention. 本発明の実施形態を示し、デジタル覆い焼き処理による明るさ補正がオンされたときに設定されるゲート回路における測光枠の一例を示した図である。It is a figure showing an embodiment of the present invention and showing an example of a photometric frame in a gate circuit set when brightness correction by digital dodging processing is turned on. 本発明の実施形態を示し、中央重点平均測光方式の撮像画面上の測光領域を示す図である。It is a figure which shows embodiment of this invention and shows the photometry area | region on the imaging screen of a center weighted average photometry system. 本発明の実施形態を示し、撮像装置の動作処理の一例を説明するフローチャートである。5 is a flowchart illustrating an example of operation processing of the imaging apparatus according to the embodiment of this invention. 本発明の実施形態を示し、クライアント端末装置の動作処理の一例を説明するフローチャートである。It is a flowchart which shows embodiment of this invention and demonstrates an example of the operation processing of a client terminal device.

Explanation of symbols

１００ネットワークカメラ
１０１レンズ
１０２アイリス
１０３撮像素子（ＣＣＤ）
１０４ＣＤＳ／ＡＧＣ部
１０６信号処理部
１０８アイリスモーター
１０９アイリスエンコーダ
１１０アイリス駆動回路
１１１タイミング発生器（ＴＧ）
１１２ゲート回路
１１３積分器
１２０システム制御部
１２１パケット化多重化部
１２２ＬＡＮＩ／Ｆ部
２００クライアント端末装置
２０１ＬＡＮＩ／Ｆ部
２０２デパケット化分離化部
２０６システム制御部
２０８明るさ補正部
２１１操作部
３００蓄積装置
５００ＬＡＮ
６００モニタ
６０４Ａ枠 100 Network Camera 101 Lens 102 Iris 103 Image Sensor (CCD)
104 CDS / AGC section 106 Signal processing section 108 Iris motor 109 Iris encoder 110 Iris drive circuit 111 Timing generator (TG)
112 Gate circuit 113 Integrator 120 System control unit 121 Packetization multiplexing unit 122 LAN I / F unit 200 Client terminal device 201 LAN I / F unit 202 Depacketization separation / separation unit 206 System control unit 208 Brightness correction unit 211 Operation unit 300 Storage device 500 LAN
600 Monitor 604 A frame

Claims

An imaging apparatus that distributes an image captured by an imaging unit to an information processing apparatus,
Exposure control means for controlling exposure of the imaging means;
Change means for changing the exposure control method in response to notification of control information from the information processing apparatus;
Notification means for notifying the change of the exposure control method by the changing means to a second information processing apparatus different from the information processing apparatus that has notified the control information;
An imaging device comprising:

The changing unit changes the exposure control method to an exposure control method that controls exposure with reference to image data of a divided region having the highest luminance among divided regions in an image captured by the imaging unit. The imaging device according to claim 1.

In a network camera system that distributes an image captured by an imaging unit of an imaging apparatus to an information processing apparatus,
The information processing apparatus includes:
Detecting means for detecting the brightness correction instruction for correcting the brightness of the delivered image from the imaging device,
Control means for correcting the brightness of an image distributed from the imaging device and notifying control information to the imaging device in response to detection of a brightness correction instruction by the detection means;
The imaging device
Exposure control means for controlling exposure; and
Change means for changing the exposure control method in response to notification of control information from the information processing apparatus;
Notification means for notifying a change by the changing means to a second information processing apparatus different from the information processing apparatus that has notified the control information;
A network camera system comprising:

The changing unit of the imaging apparatus changes the exposure control method to an exposure control method that controls exposure with reference to image data of a divided region having the highest luminance among divided regions in an image captured by the imaging unit. The network camera system according to claim 3 .

The network camera system according to claim 3 , wherein the control unit of the information processing apparatus notifies the control apparatus of the control information when the control unit has the control right of the imaging apparatus.

The network camera system according to claim 3 , wherein the notification unit performs notification for causing the second information processing apparatus to execute a correction process of the brightness of the image.

Imaging device, characterized in that provided in the network camera system according to any one of claims 3 to 6.

The information processing apparatus characterized in that it is provided in a network camera system according to any one of claims 3 to 6.

A control method performed by an imaging apparatus that distributes an image captured by an imaging unit to an information processing apparatus,
An exposure control step for controlling the exposure of the imaging means;
A change step of changing an exposure control method in response to a notification of control information from the information processing apparatus;
A notification step of notifying a change of the exposure control method by the changing step to a second information processing apparatus different from the information processing apparatus that has notified the control information;
A control method characterized by comprising:

A control method of a network camera system that distributes an image captured by an imaging unit of an imaging apparatus to an information processing apparatus,
The information processing apparatus includes :
A detection step of detecting the brightness correction instruction for correcting the brightness of the delivered image from the imaging device,
A control step of correcting the brightness of an image distributed from the imaging device and notifying the imaging device of control information in response to detection of a brightness correction instruction in the detection step;
The imaging device,
In response to the notification of the control information from the information processing apparatus, a changing step of changing the Exposure control method,
A notification step of notifying the change by the change step to a second information processing apparatus different from the information processing apparatus that has notified the control information;
A method for controlling a network camera system, comprising:

Before SL change step, changing the exposure control method for exposure control method for controlling the exposure by referring to the image data of the highest divided region luminance of the divided regions in the image captured by the imaging means control method according to claim 9, characterized.

The changing step is characterized in that the exposure control method is changed to an exposure control method in which exposure is controlled with reference to image data of a divided region having the highest luminance among divided regions in the image captured by the imaging means. The method of controlling a network camera system according to claim 10.