JP4289629B2 - Surveillance camera system - Google Patents
Surveillance camera system Download PDFInfo
- Publication number
- JP4289629B2 JP4289629B2 JP2006329814A JP2006329814A JP4289629B2 JP 4289629 B2 JP4289629 B2 JP 4289629B2 JP 2006329814 A JP2006329814 A JP 2006329814A JP 2006329814 A JP2006329814 A JP 2006329814A JP 4289629 B2 JP4289629 B2 JP 4289629B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- shooting
- image
- image sensor
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は複数のカメラを使用した監視カメラシステムに関し、詳しくは自動露光制御のもとで撮影を継続しながらも、撮影エリア内の局所的なエリアで極端な露光オーバー・露光アンダーが生じて撮影情報が失われることを防止した監視カメラシステムに関する。 The present invention relates to a surveillance camera system using a plurality of cameras, and more specifically, while continuing to shoot under automatic exposure control, shooting is performed with extreme overexposure and underexposure in a local area within the photographic area. The present invention relates to a surveillance camera system that prevents information from being lost.
監視用途で使用されるカメラには、一方では広い監視エリアをカバーしながらも、他方では被写体を容易に識別できる程度の倍率で撮影することが要求される。こうした背景から、撮影エリア全体をカバーする広角カメラと、広角カメラよりも撮影倍率が大きい望遠カメラとを組み合わせた監視カメラシステムが考案されている。これらのカメラには自動露光制御機能をもつデジタルカメラが使用され、各々のカメラは平均測光に基づく自動露光制御により撮影を行っているのが通常である。 Cameras used for surveillance purposes are required to shoot at a magnification that can easily identify a subject while covering a wide surveillance area on the one hand. Against this background, surveillance camera systems have been devised that combine a wide-angle camera that covers the entire shooting area and a telephoto camera that has a higher shooting magnification than the wide-angle camera. As these cameras, digital cameras having an automatic exposure control function are used, and each camera normally performs photographing by automatic exposure control based on average photometry.
平均測光による自動露光制御では、イメージセンサから出力された一画面分の撮像信号から一つの測光値を算出し、この測光値に基づいて撮影レンズに組み込まれた絞りの調節や、イメージセンサの電荷蓄積時間の調節などが行われている。このような露光制御方式はハード面・ソフト面での負担が少なく、動作も安定している反面、撮影エリア内の一部に大きな輝度変動があったときにはその影響が全画面に及びやすく、本来の監視対象物がオーバー露光あるいはアンダー露光になって適切な画像情報が得にくくなるという問題がある In automatic exposure control using average photometry, one photometric value is calculated from the image signal output from the image sensor, and the aperture built into the photographic lens is adjusted based on this photometric value and the charge of the image sensor. The accumulation time is adjusted. Such an exposure control system is less burdensome on the hardware and software side, and the operation is stable. On the other hand, if there is a large brightness fluctuation in a part of the shooting area, the effect is likely to affect the entire screen. There is a problem that it is difficult to obtain appropriate image information because the object to be monitored is overexposed or underexposed.
この問題は、イメージセンサのダイナミックレンジが十分に広ければ軽減されるが、一般的なデジタルカメラに用いられているCCD型あるいはCMOS型のイメージセンサのダイナミックレンジは50〜60db程度で、通常の写真フイルムがもつダイナミックレンジが70db程度であることからもそれほど広いものではない。ダイナミックレンジを広げるには、フォトダイオード及び信号電荷の蓄積部からなる光電変換部のサイズを大きくすることで改善が可能であるが、これに伴って画素数が減少し解像度の低下が避けられない。 This problem is alleviated if the dynamic range of the image sensor is sufficiently wide. However, the dynamic range of a CCD type or CMOS type image sensor used in a general digital camera is about 50 to 60 db, which is a normal photograph. Since the dynamic range of the film is about 70 db, it is not so wide. In order to widen the dynamic range, it is possible to improve by increasing the size of the photoelectric conversion unit consisting of the photodiode and the signal charge storage unit, but with this, the number of pixels decreases and the resolution is unavoidable. .
このような事情から、撮影エリア内の輝度レベルの変化が時間的・季節的に予測がつく場合には、その既知の情報を利用して監視対象となる被写体の輝度レベルが過度に変化しないように露光制御する方式が知られている(特許文献1)。また、撮影画面内における最大輝度と最小輝度とを検出するとともに、所定の高輝度レベルから最大輝度までに含まれる高輝度域と、所定の低輝度レベルから最小輝度までに含まれる低輝度域とが撮影画面全体に対してどの程度の面積割合になっているかに応じて測光値を算出し、この測光値に基づいて露光制御を行う方式が知られている(特許文献2)。
しかし、特許文献1で知られる方式は、太陽の位置の変化や天候の変化など、予め想定される環境の変化に対しては有効であるが、人為的あるいは突発的な変化に対しては対応できない。また、特許文献2で知られる方式では画面全体の輝度分布パターンを評価するために、撮影画面を画素単位あるいは複数の領域に分割して輝度情報を取得しなければならず、画像処理が複雑化して処理時間も長くなる。このため、撮影画面内の一部の輝度が短時間のうちに変化するような場合には追従性も問題となる。また、イメージセンサから得た撮像信号に基づいて明るさに対応した階調信号を作る際に、種々の階調変換処理を行うことによって、主要被写体については十分なダイナミックレンジのもとで画像再生することも可能であるが、主要被写体を特定するために撮影画面内の動体ベクトルの解析が必要で信号処理も煩雑になり、監視用途に応じてカメラの種類や撮影倍率を変更する際には、測光あるいは露光制御プログラムも変更しなければならず汎用性の点で問題がある。
However, the method known in Patent Document 1 is effective for a presumed environmental change such as a change in the position of the sun or a change in the weather, but it can cope with an artificial or sudden change. Can not. In addition, in the method known in
さらに、一般普及型のイメージセンサの中にも、例えば「スーパーCCDハニカムSR」(商品名)のように、解像度を維持しながらもダイナミックレンジを70db程度に高めたイメージセンサも知られているが、一般的なダイナミックレンジのイメージセンサと比較するとコスト負担が大きく、またイメージセンサから得た撮像信号に対する信号処理も複雑化する。したがって、上述のように監視カメラシステムを構成している複数のカメラの各々にこのようなイメージセンサを用いることは、コスト面で不利なだけでなく、時間的に連続した撮影が必要となる監視カメラシステムには適していない。 Furthermore, among general-purpose image sensors, for example, “Super CCD Honeycomb SR” (trade name), an image sensor having a dynamic range increased to about 70 db while maintaining resolution is also known. Compared with a general dynamic range image sensor, the cost burden is large, and the signal processing for the imaging signal obtained from the image sensor is complicated. Therefore, the use of such an image sensor for each of a plurality of cameras constituting the surveillance camera system as described above is not only disadvantageous in terms of cost but also requires surveillance that requires continuous shooting in time. Not suitable for camera systems.
本発明は上記背景を考慮してなされたもので、時間経過とともに監視が必要な監視エリアの中に特に詳細に監視しなければならない局所的なエリアが想定されるとき、撮影エリア内で明るさが大きく変動するようなことがあったとしても、その局所エリアについては極端な露光オーバー・露光アンダーが生じないようにした監視カメラシステムをローコストで提供することを目的とする。 The present invention has been made in consideration of the above-mentioned background, and when a local area that needs to be monitored in detail is assumed in a monitoring area that needs to be monitored over time, the brightness in the imaging area is assumed. It is an object of the present invention to provide a surveillance camera system in which extreme overexposure / underexposure does not occur in a local area at low cost.
本発明は上記目的を達成するために、結像された被写体像を光電変換するイメージセンサを備え、互いに焦点距離が異なる複数種類のカメラを用い、前記各々のカメラの最適撮影距離を焦点距離が長いカメラほど遠距離側に設定してほぼ共通の撮影エリアをそれぞれ個別の自動露光制御のもとで撮影する監視カメラシステムを構成するにあたり、前記複数種類のカメラのうち最も焦点距離が長いカメラを焦点距離が等しい複数のカメラモジュールで構成し、このカメラモジュールの台数に応じて前記撮影エリアを複数の区画エリアに分割して分割された各々の区画エリアを前記カメラモジュールで個別に撮影するとともに、前記カメラモジュールのいずれかに限って他のカメラモジュールよりも光電変換特性のダイナミックレンジが広いイメージセンサを用いることを特徴としている。 In order to achieve the above object, the present invention includes an image sensor that photoelectrically converts a formed subject image, and uses a plurality of types of cameras having different focal lengths. When configuring a surveillance camera system that sets the longer camera to the far side and shoots almost common shooting areas under individual automatic exposure control, select the camera with the longest focal length among the multiple types of cameras. Consists of a plurality of camera modules with the same focal length, and each of the divided areas divided by dividing the shooting area into a plurality of divided areas according to the number of the camera modules is individually shot with the camera module, Only one of the camera modules has an image with a wider dynamic range of photoelectric conversion characteristics than other camera modules. It is characterized by the use of Jisensa.
一般に、前記撮影エリアは水平方向に長くなるのが通常であるから、この撮影エリアを水平方向に三等分した区画エリアを設定してその各々を個別のカメラモジュールで撮影するのが実用的である。この場合、中央の区画エリアが重要な監視情報を含んでいることが確率的に高いので、この区画エリアを撮影するカメラモジュールに前記ダイナミックレンジが広いイメージセンサを用いるのがよい。 In general, since the shooting area is usually long in the horizontal direction, it is practical to divide the shooting area into three equal parts in the horizontal direction and shoot each with a separate camera module. is there. In this case, since it is probable that the central section area contains important monitoring information, it is preferable to use an image sensor having a wide dynamic range as a camera module for photographing the section area.
さらに、車載型の監視カメラシステムなどでは撮影エリア内の被写体像が動的に変化するので、その変化の様子を把握しやすくするためには、最適撮影距離が近距離に設定された一台の広角カメラと、最適撮影距離が中距離に設定された標準カメラと、最適撮影距離が遠距離に設定された望遠カメラとを用い、前記標準カメラはその撮影エリアを水平方向に二等分した区画エリアを個別に撮影する二台の標準カメラモジュールで構成し、前記望遠カメラはその撮影エリアを水平方向に三等分した区画エリアを個別に撮影する三台の望遠カメラモジュールで構成するのが有効で、この場合、三等分された区画エリアのうち中央の区画エリアを撮影する望遠カメラモジュールに広いダイナミックレンジをもつイメージセンサを用いるのが効果的である。そして、それぞれのカメラあるいはカメラモジュールで行われる自動露光制御は、各々のイメージセンサからの撮像信号を利用した平均測光に基づいて行うのが簡便である。 In addition, in an in-vehicle surveillance camera system, etc., the subject image in the shooting area changes dynamically, so in order to make it easier to grasp the state of the change, a single camera with the optimum shooting distance set to a short distance is used. Using a wide-angle camera, a standard camera with an optimal shooting distance set to a medium distance, and a telephoto camera with an optimal shooting distance set to a long distance, the standard camera is a section that bisects the shooting area horizontally. It is effective to be composed of two standard camera modules that shoot the area separately, and the telephoto camera is composed of three telephoto camera modules that individually shoot the section area that is divided into three equal parts in the horizontal direction. In this case, it is effective to use an image sensor having a wide dynamic range for the telephoto camera module that captures the central divided area among the divided divided areas. That. The automatic exposure control performed by each camera or camera module can be easily performed based on average photometry using the image pickup signal from each image sensor.
本発明によれば、監視対象となる撮影エリアの中で特に詳細な監視を必要とする局所的なエリアについては、光電変換特性のダイナミックレンジが広いイメージセンサを用いたカメラモジュールで撮影が行われるので、その局所的なエリア内で多少の輝度変動が生じたとしても、そのエリアに含まれる画像の一部がいわゆる白トビや黒ツブレによって消失することが防止できるようになる。 According to the present invention, in a shooting area to be monitored, a local area requiring particularly detailed monitoring is shot with a camera module using an image sensor having a wide dynamic range of photoelectric conversion characteristics. Therefore, even if some luminance fluctuation occurs in the local area, it is possible to prevent a part of the image included in the area from disappearing due to so-called white stripes and black blurring.
本発明の一実施形態として、図1に路上での車両の走行を監視する目的で使用される監視カメラシステムの外観を示す。このカメラシステムは、撮影ユニット2と、撮影ユニット2に組み込まれた複数種類のカメラあるいはカメラモジュールの駆動を制御し、また得られた各画像データを記録する記録装置を内蔵した制御ユニット3と、制御ユニット3に接続された携帯型のパソコン4とから構成される。パソコン4のモニタ4aには、制御ユニット3から出力される編集後の画像信号に基づいて画像表示が行われる。なお、パソコン4の代わりに専用のモニタを接続して画像表示を行うようにしてもよい。
As an embodiment of the present invention, FIG. 1 shows the appearance of a surveillance camera system used for the purpose of monitoring the running of a vehicle on the road. This camera system includes a
撮影ユニット2は制御ユニット3とともに振動吸収作用をもった支持装置により車内に取り付けられ、撮影ユニット2に組み込まれた各種のカメラは自動車のフロントガラスを通して前方を走行する自動車を撮影する。携帯型のパソコン4は例えば助手席のオペレータによって操作され、画像の観察を行うほかキーボードからの入力操作により画像の表示態様やカメラの動作を適宜に切替えることができるようにしてある。パソコン4の代わりに専用のモニタで画像観察を行う場合には、制御ユニット3に設けられた操作パネルを介してカメラの動作や画像の表示態様を切り替えることができる。
The photographing
撮影ユニット2には第一カメラ5、二台のカメラモジュール6a,6bからなる第二カメラ6、三台のカメラモジュール7a,7b,7cからなる第三カメラ7が組み込まれている。これらのカメラ5〜7は互いに略同じ画角で撮影を行うが、各々の撮影レンズの焦点距離はこの順に焦点距離が長くなっていくように設定され、また最適な撮影距離もこの順で遠くなっていくように撮影レンズのピント設定がなされている。これらの第一カメラ5,第二カメラ6,第三カメラ7は、相対的にはそれぞれ広角カメラ,標準カメラ,望遠カメラに相当する。
The photographing
カメラモジュール6a,6bは撮影レンズも含め構造的には全く同一のものであるが、第二カメラ6の撮影エリアを二分して撮影できるように各々の撮影光軸が傾けられている。同様に、カメラモジュール7a,7b,7cも撮影レンズを含め構造的には全く共通のもので、第三カメラ7全体の撮影エリアを三分して撮影できるように互いの撮影光軸は傾けられている。なお、カメラモジュール6a,6b、カメラモジュール7a,7b,7cは垂直方向での視差をなくすために水平に並べられているが、撮影距離に対して相互間隔はごくわずかであるから必ずしも水平配置にこだわらなくてもよい。
The
上記各カメラによる撮影エリアの態様を図2に概略的に示す。画角θ1の第一カメラ5は最適な撮影距離がL1となるようにピント設定され、撮影距離L1における撮影エリアS1が撮影範囲となり、撮影距離L1の前後にまたがって被写界深度d1を有する。画角θ2のカメラモジュール6a,6bは最適な撮影距離がL2となるようにピント合わせされ、破線で示すように第一カメラ5の撮影エリアS1を二分して撮影できるようにそれぞれの撮影光軸が傾けられている。そして、これらのカメラモジュール6a,6bからなる第二カメラ6は全体として撮影エリアS2が撮影距離L2での撮影範囲となり、第二カメラ6もまた撮影距離L2の前後にまたがって被写界深度d2を有している。
FIG. 2 schematically shows an aspect of the shooting area of each camera. The
画角θ3のカメラモジュール7a,7b,7cは、最適な撮影距離がL3となるようにピント設定され、一点鎖線で示すように第二カメラ6の撮影エリアS2を三等分して撮影できるように互いの撮影光軸が傾けられている。第三カメラ7は全体として撮影エリアS3が撮影距離L3での撮影範囲となり、撮影距離L3の前後にまたがるように被写界深度d3を有する。なお、上述した各画角θ1〜θ3はいずれも水平方向の画角を表しており、垂直方向の画角は、それぞれの最適な撮影距離L1〜L3で撮影した場合を考慮し、監視対象となる被写体の画像サイズがどの程度になるかに応じて適宜に設定される。
The
第一〜第三カメラ5〜7の撮影距離L1〜L3はそれぞれのカメラの撮影レンズの焦点距離f1〜f3に対応し、f1/L1=f2/L2=f3/L3となるように設定されている。例えば、それぞれの撮影レンズの焦点距離f1,f2,f3が50mm、100mm、200mmとすると、それぞれの撮影距離L1,L2,L3は50m、100m、200mとなる。この結果、第一カメラ5で撮影距離L1に位置する被写体を撮影したときの像倍率と、第二カメラ6で撮影距離L2に位置する被写体を撮影したときの像倍率と、第三カメラ7で撮影距離L3に位置する被写体を撮影したときの像倍率は等しくなる。
The shooting distances L1 to L3 of the first to
各カメラの被写界深度d1〜d3の幅は、各々の撮影レンズの焦点距離と、設定された最適撮影距離によって変化するほかに、撮影レンズ系内に設けられた絞りの径に依存して変化する。よく知られるように、絞りの開口径を小さくすると被写界深度が大きく改善され、ピントが合っているとみなせる範囲を広げることができる。例えば撮影レンズの焦点距離が50mmの第一カメラ5や焦点距離が100mmの第二カメラ6では、絞りをF4あるいはF5.6程度まで絞れば広範囲の被写界深度を得ることができ、後側被写界深度で無限遠までカバーすることも可能となる。また、第一カメラ5と第二カメラ6、第二カメラ6と第三カメラ7の被写界深度は互いに部分的にオーバーラップしているから、監視対象となる被写体が被写界深度d1〜d3に含まれる撮影距離にあれば、少なくともいずれかのカメラでピントのあった状態で撮影することができる。
The width of the depth of field d1 to d3 of each camera varies depending on the focal length of each photographing lens and the set optimum photographing distance, and also depends on the diameter of the diaphragm provided in the photographing lens system. Change. As is well known, when the aperture diameter of the stop is reduced, the depth of field is greatly improved, and the range that can be regarded as being in focus can be expanded. For example, in the
図4に第一カメラ5の電気的構成の概略を示す。なお、第二カメラ6を構成するカメラモジュール6a,6b、第三カメラ7を構成するカメラモジュール7a,7b,7cもその電気的構成の基本は同様で、例えば被写体像を光電変換して撮像信号を出力するイメージセンサとしてはいずれもCCD型のものが用いられ、撮像信号の処理も同様にして行われる。なお、第三カメラ7のカメラモジュール7bには、他のカメラやカメラモジュールよりも広いダイナミックレンジをもつイメージセンサ10aが用いられている点で異なり、またAE制御回路21aも部分的に異なるのでその部分のみ図示したが、他の構成については重複及び図面の煩雑化を避けるために省略した。
FIG. 4 shows an outline of the electrical configuration of the
第一カメラ5は、前述のように焦点距離が50mmの撮影レンズ5cを備え、絞り12を通してCCD型のイメージセンサ10に被写体像を結像する。イメージセンサ10からの撮像信号はAGCアンプ13により適切なレベルに増幅され、A/Dコンバータ14でデジタル化された画素ごとの画像データとしてシステムバス15に入力される。こうして入力された画像データは、システムコントローラ17の管制下で画像信号処理回路18により周知の画像処理が行われ、所定フォーマットのフレーム単位の画像データとしてフラッシュメモリ20に書き込まれる。
The
AE制御回路21はA/Dコンバータ14から入力される画像データに基づいてフレーム単位で平均測光を行い、一画面分の平均輝度が適正範囲に収まっているか否かを判別する。そして、その判別結果に応じてシステムコントローラ17はアイリスドライバ22を介してアイリスモータ22aを駆動し、絞り12の開口径を制御する。このとき絞り12が開き過ぎないように、その最大開口径はEEPROM24に書き込まれた絞り値データによって制限される。絞り12が絞り値データで制限された最大開口径になっても露光量が不足する場合には、システムコントローラ17を介してAGCアンプ13のゲインが調節されるようになっている。
The
AF制御回路25は、よく知られるように画像信号のコントラスト成分に基づいて合焦度合いを評価し、その評価信号をシステムコントローラ17に入力する。システムコントローラ17は、評価信号が最も高くなるようにフォーカスドライバ26を介してフォーカスモータ26aを駆動する。これにより、撮影レンズ5cは画像信号のコントラスト成分が極大となるような位置にフィードバック制御され、自動追従式に撮影レンズ5cは合焦位置に移動される。
As is well known, the
ただし、このようなAF制御回路25による合焦動作は本発明のカメラシステムでは通常は省略される。そして、EEPROM24に書き込まれた撮影距離L1にピントが合致するように、システムコントローラ17がフォーカスドライバ26,フォーカスモータ26aにより撮影レンズ5cをピントセット位置に移動させ、その後は撮影レンズ5cはそのままの位置に保たれ固定焦点のままで撮影が行われる。第二カメラ6を構成するカメラモジュール6a,6b、第三カメラ7を構成するカメラモジュール7a,7b,7cについても、それぞれの撮影レンズの焦点距離が上記第一カメラの撮影レンズ5cと異なり、またEEPROM24に書き込まれる最適撮影距離L2,L3、絞り値データが異なるだけで、基本的な電気的構成は同様のものとなっている。
However, such focusing operation by the
こうしてカメラごとに得られる画像データはインタフェース回路28を介して制御ユニット3に入力される。制御ユニット3には、入出力制御回路30,画像合成装置31,記録制御装置32,記録装置33,操作パネル34が設けられ、さらに制御ユニット3にはモニタ4a付きのパソコン4が接続される。入出力制御回路30はカメラごとに設けられているインタフェース回路28との間で画像データや制御データの入出力を制御する。画像合成装置31は、第一カメラ5,第二カメラ6,第三カメラ7からのそれぞれの画像データを個別に処理し、第二カメラ6及び第三カメラ7については二枚あるいは三枚の画像を一枚の画像に合成する。
Thus, the image data obtained for each camera is input to the
記録制御装置32は、操作パネル34あるいはパソコン4からの操作入力に応じてDVDレコーダなどの記録装置33の動作制御を行う。記録装置33は、各カメラから得られ必要に応じて一画面分に合成された画像データを動画記録する。なお、操作パネル34やパソコン4から入力されるレリーズ操作信号、あるいはタイマーで設定された一定時間ごとに出力されるレリーズ信号に応答して静止画の記録を並行して行うことも可能である。
The
第三カメラ7に用いられているカメラモジュール7bには、他のカメラやカメラモジュールに内蔵されたイメージセンサと比較して光電変換特性のダイナミックレンジが広いCCD型のイメージセンサ10aが用いられている。このイメージセンサ10aは、例えば図4(A)に概念的に示すように受光面上における画素配列構造に工夫が施され、一画素40が受光面積の広い主画素40aと受光面積の狭い副画素40bとからなる。主画素40a,副画素40bはそれぞれ被写体光を光電変換するフォトダイオードで構成され、光電変換して得た信号電荷を個別の電荷蓄積部に蓄える。それぞれの電荷蓄積部に蓄えられた信号電荷は各々の電荷転送路から個別に読み出され、撮像信号として出力される。なお、図4(B)は主画素41aと副画素41bとを分けて配列した例を示すもので、このような画素配列でも同図(A)のイメージセンサと全く同様の機能が得られる。
The
イメージセンサから画素ごとに出力される撮像信号はA/Dコンバータ14によりデジタル変換され画素ごとの画像データに変換されるが、一般的なイメージセンサはダイナミックレンジが狭い。例えば、図5に示すように、暗黒部分(露光量0)から晴天時の空(露光量B2)までの露光量を信号レベル0からSmaxまでのデジタル量で量子化することを前提としたとき、イメージセンサは露光量0から露光量B1までは露光量に対応した出力レベルの撮像信号を出力するが、露光量B1以上の露光量に対しては撮像信号の出力レベルが飽和状態となり、これを量子化しても露光量B1以上の露光量に対しては全て同じ信号レベルSmaxしか得られない。
An imaging signal output for each pixel from the image sensor is digitally converted by the A /
このような信号変換特性K1はイメージセンサがもつ光電変換特性に起因しており、露光量の変化に応じて信号レベルが変化する領域がダイナミックレンジに相当する。ダイナミックレンジは、撮影レンズの絞りを絞り込んで露光量を制限することによって、相対的に図5中で高露光量側にシフトさせることができるが、逆に低露光量側で狭められ、いわゆる黒ツブレになる範囲が広がる結果となる。したがって、画面全体の平均輝度に合わせて絞りや電荷蓄積時間の調節を行ってダイナミックレンジをどのようにシフトさせたとしても、画面内にダイナミックレンジでカバーしきれない低輝度被写体や高輝度被写体があると、黒ツブレや白トビとなってその被写体情報が失われることが避けられない。 Such a signal conversion characteristic K1 is caused by a photoelectric conversion characteristic of the image sensor, and a region where the signal level changes according to a change in exposure amount corresponds to a dynamic range. The dynamic range can be relatively shifted to the high exposure amount side in FIG. 5 by restricting the exposure amount by narrowing the aperture of the taking lens, but conversely it is narrowed on the low exposure amount side, so-called black. As a result, the range of blur is widened. Therefore, no matter how the dynamic range is shifted by adjusting the aperture or charge accumulation time according to the average luminance of the entire screen, there are low-luminance subjects and high-luminance subjects that cannot be covered by the dynamic range. If there is, it is inevitable that the subject information will be lost due to black spots and white stripes.
これに対し、図4(A)に示すように一画素を高感度の主画素40aと低感度の副画素40bとから構成しておくと、図6(A)に示すように、主画素40aからの撮像信号を量子化した画像データのほかに、副画素40bからの撮像信号を量子化した画像データとを得ることができ、しかもこれらの画像データはそれぞれ異なった信号レベルをもつ。主画素40aからは、図5と同様に信号変換特性K1による画像データが得られるのに対し、副画素40bからは副画素40bの光電変換特性による信号変換特性K2による画像データが得られる。そして、これらの画像データを合成することによって、広いダイナミックレンジを得ることが可能となる。
On the other hand, if one pixel is composed of a high-sensitivity
図6(B)に破線で示すように、信号変換特性K1,K2による2種類の画像データを単に加算するだけでは、露光量B2に相当する信号レベルが本来の信号レベルSmaxの2倍になってしまう。そこで、実線で示すように、信号変換特性K1,K2を加算した特性に対し、露光量B2で信号レベルSmaxになるように高露光量側で圧縮を行った信号変換特性K3を予め用意しておき、この変換特性データを第三カメラ7のカメラモジュール7bに用いられているAE制御回路21aに格納しておく。図4に示すような主画素及び副画素で一画素を構成するイメージセンサ10aとともにこの信号変換特性K3を利用することによって、カメラモジュール7bは広ダイナミックレンジのデジタルカメラとなる。なお、ダイナミックレンジが広い副画素40bからの撮像信号だけで画像データを得ようとしても、通常の電荷蓄積時間では十分な信号レベルを得ることができないので撮像信号に大幅な増幅処理が必要となる。ところが被写体輝度が低い領域では、暗電流に代表されるノイズ成分が多く含まれているため、こうした増幅処理だけでは適正な画像データを得ることは困難となる。
As indicated by a broken line in FIG. 6B, the signal level corresponding to the exposure amount B2 becomes twice the original signal level Smax by simply adding the two types of image data based on the signal conversion characteristics K1 and K2. End up. Therefore, as shown by the solid line, a signal conversion characteristic K3 in which compression is performed on the high exposure amount side so that the signal level Smax is obtained at the exposure amount B2 with respect to the characteristic obtained by adding the signal conversion characteristics K1 and K2 is prepared in advance. The conversion characteristic data is stored in the
また、図6(B)に示すように、信号変換特性K3の変曲点部分については滑らかな曲線で連結する処理を行っておく方が実用的である。さらに、信号変換特性K1,K2の合成手法あるいは高露光量側での圧縮手法には公知の種々のものを用いることが可能で、信号変換特性K3のプロファイルも必ずしも図示のものに限られず、露光量0〜B2のほぼ全域をダイナミックレンジに含んでいればよい。このような主画素・副画素を利用してダイナミックレンジを広げる手法については、特開2004−220438号公報,特開2004−297407号公報などで公知である。
In addition, as shown in FIG. 6B, it is practical to perform a process of connecting the inflection points of the signal conversion characteristics K3 with a smooth curve. Furthermore, various known methods can be used as the synthesis method of the signal conversion characteristics K1 and K2 or the compression method on the high exposure amount side, and the profile of the signal conversion characteristics K3 is not necessarily limited to that shown in the drawing. It suffices that the entire range of the
以下、上記カメラシステムの作用について説明する。撮影に先立ち、制御ユニット3の操作パネル34あるいはパソコン4からの操作入力により初期設定が行われる。初期設定される項目としては、まず第一カメラ5、第二カメラ6、第三カメラ7の撮影距離L1,L2,L3があり、これらのデータはそれぞれのカメラのEEPROM24に書き込まれる。システムコントローラ17はこれらの設定データを読み取り、フォーカスドライバ26,フォーカスモータ26aによりそれぞれの撮影レンズを各々の最適な撮影距離L1,L2,L3にピントが合うように位置決めする。
Hereinafter, the operation of the camera system will be described. Prior to photographing, initial setting is performed by an operation input from the
各カメラの撮影距離の設定を行った後に、各カメラの水平方向における撮影光軸の傾き調節が行われる。各カメラを保持している撮影ユニット2のベースにはカメラの撮影光軸を水平方向に傾ける調整機構が設けられており、簡便にはモニタ4aに表示される画像を観察しながら前記調整機構をマニュアル操作する。もちろん、この調整機構を電動式にしておけば、最適撮影距離の初期設定が行われた時点で自動的に撮影光軸の向きを調節することも可能となる。なお、垂直方向における撮影光軸の傾きは基本的には各カメラとも水平で構わないが、各カメラの組み付け時における誤差吸収のために垂直方向でも撮影光軸を傾けられるようにしておいてもよい。
After setting the shooting distance of each camera, the inclination of the shooting optical axis in the horizontal direction of each camera is adjusted. The base of the photographing
各カメラのピント設定が初期設定された後、各カメラの絞り12の最大開口径を制限するための絞り値データがEEPROM24に書き込まれる。この絞り12の最大開口径は、撮影レンズの焦点距離と最適撮影距離によって決まる被写界深度を考慮し、図2に示す被写界深度d1,d2,d3がそれぞれ部分的にオーバーラップするように決められる。被写界深度の値は撮影レンズの焦点距離、撮影距離、絞り値から算出することができるので、被写界深度をオーバーラップさせることを条件した計算アルゴリズムを用いれば、絞り値データはマニュアル入力によらずに自動的に設定することも可能となる。
After the focus setting of each camera is initialized, aperture value data for limiting the maximum aperture diameter of the
絞り12の最大開口径を決める絞り値の値としては、第一カメラ5ではF4、第二カメラ6,第三カメラ7ではF5.6程度に設定しておけば、例えば夜間のように極端に明るさが不足する状況を除けば、図2に示すように互いにオーバーラップする被写界深度d1,d2,d3を確保したうえで、ほぼ適正露光で撮影を行うことができる。また、明るい日中での撮影時にはアイリスモータ22aにより絞り12が絞り込まれるため、第一カメラ5や第二カメラ6では無限遠まで被写界深度内に収めることもできる。なお、EEPROM24に書き込まれた絞り値データによって絞り12の最大開口径が制限され、その状態でも明るさが不足したような場合には、AGCアンプ13が有効に作用して露光アンダーを防ぐ。
If the aperture value for determining the maximum aperture diameter of the
モニタ4aには、第一カメラ5、カメラモジュール6a,6b、カメラモジュール7a,7b,7cからの画像をそのまま配列して表示することも可能であるが、好ましくは図7のモニタ画面4bに示すように、第一カメラ5からの画像45と、カメラモジュール6a,6bからの画像46a,46bを一枚に合成した標準合成画像46と、カメラモジュール7a,7b,7cからの画像47a,47b,47cを一枚に合成した合成画像47とがモニタ画面4b上に配列して表示される。なお、モニタ画面4bには撮影年月日及び時刻を表すデート情報49と、制御ユニット3に組み込まれたGPS装置から得られる緯度及び経度を表す位置情報50とが刻々と表示され、動画像データとともに記録装置33によって記録媒体に記録される。
Images from the
画像合成処理では、合成対象となる各画像相互間の境界をパターン認識で識別して適切な境界ラインでトリミングしてから結合処理することによって行われる。合成される各画像は別々のカメラによって個別に露光制御されているので境界部分で濃度差が生じやすくなるが、簡便にはそのまま結合してもよい。また、スムージング処理を行って境界部分の濃度差が目立たないようにグラデーション調整し、あるいは個々の画像の濃度を平均化して結合した画像全体の濃度を調節することも可能である。 In the image synthesis process, the boundary between the images to be synthesized is identified by pattern recognition, trimmed with an appropriate boundary line, and then combined. Since the images to be synthesized are individually controlled for exposure by separate cameras, a difference in density tends to occur at the boundary portion, but they may be simply combined as they are. It is also possible to adjust the gradation so that the density difference at the boundary portion is not noticeable by performing the smoothing process, or to adjust the density of the combined images by averaging the densities of the individual images.
上記監視カメラシステムを用い、路上を走行する特定の車両Tを監視対象として継続的に撮影を行っている間のモニタ画面4bの一例は図7に示すとおりである。図7は、遠方から車両Tを撮影しながら車両ナンバーをチェックするときの状況を示すもので、このような状況下では焦点距離が最も長い第三カメラ7の撮影距離L3に近い車間距離を維持しながら撮影が行われる。この撮影距離L3は撮影距離L1,L2よりもかなり遠距離であるから、第一カメラ5や第二カメラ6から得られる車両Tの画像サイズは図示のようにかなり小さくなり、たとえ車両Tが第一,第二カメラの被写界深度内に入っていたとしても車両ナンバーの確認までは困難である。
An example of the
第三カメラ7の画像47は、画像サイズとしては車両ナンバーの確認も十分なものであり、そして車両Tの画像はカメラモジュール7bで撮影されたものである。カメラモジュール7bのAE制御回路21は、他のカメラやカメラモジュールとは無関係に、個別に撮影している一画面全体の平均の明るさが適正レベルとなるようにいわゆる平均測光式で露光制御を行っている。このため、その画像47b内にトンネル内部の暗部が広がってくると、画像47b全体の露光量を増やすように絞り12の開口径が大きくなるように制御される。そして、絞り12の開口径がEEPROM24の絞り値データによって制限された後はAGCアンプ13で撮像信号の増幅が行われ、画像47bが全体に明るくなるように制御される。
The
ところが、もともと車両T自体はまだトンネルに入る手前で十分に明るい状態であるから、上記のように画像47bが全体的に明るくなるように露光調節されると車両Tが露光オーバー傾向で撮影が行われる。そして、カメラモジュール7bに使用されているイメージセンサが一般的なダイナミックレンジの狭いものであると、ナンバープレート部分が白トビしてしまい、車両ナンバーが白トビの中に埋もれて識別することができなくなることが懸念される。こうした問題は、任意にフレーミングを行うことができる一般のデジタルカメラと異なり、決められた撮影エリア内のどの位置に監視対象となる車両Tがくるか不定のまま使用される車載型あるいは固定設置型の監視カメラでは回避することが難しい。そして、このような事態は必ずしも全画面平均測光による露光制御だけでなく、画面の中央エリアだけを測光する中央スポット測光や、画面の周辺部から中央部に向かって大きくなるように重み付けして測光を行うマルチパターン式の中央重点測光でも生じる可能性が高い。
However, since the vehicle T itself is still sufficiently bright before entering the tunnel, when the exposure adjustment is performed so that the
ところが、カメラモジュール7bには図6(B)に示すようにダイナミックレンジが広い光電変換特性をもつイメージセンサ10aが用いられているため、平均測光により画像47b全体が明るくなるように露光制御が行われたとしても、ナンバープレートが白トビすることがなく車両ナンバーも十分に視認できる状態で撮影することができる。また、車両Tがトンネル内に入ったときには、カメラモジュール7bの露光制御により画像47b全体が明るくなるように撮影されるから、車両ナンバーはより観察しやすい明るさで撮影されることになる。逆に、トンネルから車両が出るときには、トンネル外の明るい背景の影響を受けて画像47bが全体的に暗くなるような露光制御が行われ、ナンバープレートが暗く撮影されることになるが、ダイナミックレンジが広いイメージセンサ10bで撮影が行われるため、車両ナンバーがナンパープレートとともに黒ツブレ状態で撮影されることもない。
However, since the
なお、カメラモジュール7bで撮影される画像47b自体が広ダイナミックレンジで撮影された場合でも、モニタ4bの表示ダイナミックレンジが狭いものであると、モニタ画面内でナンバープレートが白トビや黒ツブレの状態で表示されることもあり得る。しかし、画像47b自体が広ダイナミックレンジで撮影されているため画像データが部分的に失われることがないため、例えばモニタ4bの明るさ調節を行うことによって、容易に車両ナンバーを確認することができる。さらに、夕暮れや夜間の撮影時には、対向車のヘッドライト、街路灯や商店街からの照明などが監視対象となっている自動車の周囲の明るさを大きく変化させることが懸念されるが、上記構成によればその影響も少なからず低減させることができるようになる。また、本発明の監視カメラシステムは、車載型に限らず固定設置型の監視カメラにも等しく適用することができる。
Even when the
以上、図示した実施形態をもとに本発明について説明してきたが、エリア監視カメラに用いられている撮影レンズの焦点距離や画角、最適撮影距離、絞り値などの具体的な値はあくまで例示的に挙げたもので、監視カメラシステムの用途や使用形態に応じてこれらは適宜に変更してもよい。 As described above, the present invention has been described based on the illustrated embodiment, but specific values such as the focal length, the angle of view, the optimum shooting distance, and the aperture value of the shooting lens used in the area monitoring camera are merely examples. However, these may be appropriately changed according to the use and usage of the surveillance camera system.
2 撮影ユニット
3 制御ユニット
4 パソコン
4a モニタ
4b モニタ画面
5 第一カメラ
6a,6b カメラモジュール(第二カメラ)
7a,7b,7c カメラモジュール(第三カメラ)
2 photographing
7a, 7b, 7c Camera module (third camera)
Claims (5)
前記複数種類のカメラのうち最も焦点距離が長いカメラを焦点距離が等しい複数のカメラモジュールで構成し、このカメラモジュールの台数に応じて前記撮影エリアを複数の区画エリアに分割して分割された各々の区画エリアを前記カメラモジュールで個別に撮影するとともに、前記カメラモジュールのいずれかに他のカメラモジュールよりも光電変換特性のダイナミックレンジを広くしたイメージセンサを用いることを特徴とする監視カメラシステム。 It is equipped with an image sensor that photoelectrically converts the formed subject image, using multiple types of cameras with different focal lengths, and setting the optimum shooting distance of each of the cameras to a longer distance side as the camera has a longer focal length. In a surveillance camera system that shoots a common shooting area under individual automatic exposure control,
The camera having the longest focal length among the plurality of types of cameras is constituted by a plurality of camera modules having the same focal length, and the shooting area is divided into a plurality of divided areas according to the number of the camera modules. A surveillance camera system characterized in that an image sensor having a wider dynamic range of photoelectric conversion characteristics than any of the other camera modules is used for any one of the camera modules.
The surveillance camera system according to any one of claims 1 to 4, wherein the surveillance camera system is used in a vehicle as a traffic monitoring device for an automobile traveling on a road.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329814A JP4289629B2 (en) | 2006-12-06 | 2006-12-06 | Surveillance camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329814A JP4289629B2 (en) | 2006-12-06 | 2006-12-06 | Surveillance camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008147777A JP2008147777A (en) | 2008-06-26 |
JP4289629B2 true JP4289629B2 (en) | 2009-07-01 |
Family
ID=39607500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006329814A Active JP4289629B2 (en) | 2006-12-06 | 2006-12-06 | Surveillance camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4289629B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100926179B1 (en) * | 2009-03-10 | 2009-11-10 | 은강정보통신(주) | Unmanned system for preventing crimes |
US8754977B2 (en) | 2011-07-28 | 2014-06-17 | Hewlett-Packard Development Company, L.P. | Second camera for finding focal target in poorly exposed region of frame taken by first camera |
JP6124684B2 (en) * | 2013-05-24 | 2017-05-10 | キヤノン株式会社 | Imaging device, control method thereof, and control program |
KR101849777B1 (en) * | 2016-11-08 | 2018-04-17 | 주식회사 오성이노베이션 | A Camera Module |
JP7278096B2 (en) * | 2019-02-20 | 2023-05-19 | キヤノン株式会社 | Image processing device, image processing method, and program |
CN110781860B (en) * | 2019-11-05 | 2024-01-19 | 大连海事大学 | Intelligent oil spill monitoring alarm system and method for offshore oil platform |
-
2006
- 2006-12-06 JP JP2006329814A patent/JP4289629B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008147777A (en) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4214160B2 (en) | Surveillance camera system | |
JP4706466B2 (en) | Imaging device | |
JP4823743B2 (en) | Imaging apparatus and imaging method | |
US7877004B2 (en) | Imaging apparatus and imaging method | |
JP4289629B2 (en) | Surveillance camera system | |
US20110019028A1 (en) | Image capturing apparatus and image processing method | |
JP5086270B2 (en) | Imaging system with adjustable optics | |
JP4089911B2 (en) | Image input device | |
JP2013106113A (en) | Imaging apparatus | |
KR20140032318A (en) | Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium | |
JP2007027967A (en) | Photographing apparatus | |
JP2006310969A (en) | Imaging apparatus | |
JP4614143B2 (en) | Imaging apparatus and program thereof | |
JP2006311031A (en) | Imaging apparatus for moving body | |
US10944929B2 (en) | Imaging apparatus and imaging method | |
JP2006030713A (en) | Display apparatus | |
JP5316923B2 (en) | Imaging apparatus and program thereof | |
JP2020091453A (en) | Control device, image capturing apparatus and control method thereof | |
JP2017073622A (en) | Imaging apparatus | |
JP6752729B2 (en) | Drive recorder device | |
JP5230362B2 (en) | Wide dynamic range imaging device | |
JP4938989B2 (en) | Electronic camera | |
JP2002268116A (en) | Automatic exposure controller and external storage medium stored with program thereof | |
JP2006005621A (en) | Imaging device | |
JP2006197099A (en) | Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4289629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |