JP4289629B2 - Surveillance camera system - Google Patents

Surveillance camera system Download PDF

Info

Publication number
JP4289629B2
JP4289629B2 JP2006329814A JP2006329814A JP4289629B2 JP 4289629 B2 JP4289629 B2 JP 4289629B2 JP 2006329814 A JP2006329814 A JP 2006329814A JP 2006329814 A JP2006329814 A JP 2006329814A JP 4289629 B2 JP4289629 B2 JP 4289629B2
Authority
JP
Japan
Prior art keywords
camera
shooting
image
image sensor
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006329814A
Other languages
Japanese (ja)
Other versions
JP2008147777A (en
Inventor
康則 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2006329814A priority Critical patent/JP4289629B2/en
Publication of JP2008147777A publication Critical patent/JP2008147777A/en
Application granted granted Critical
Publication of JP4289629B2 publication Critical patent/JP4289629B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は複数のカメラを使用した監視カメラシステムに関し、詳しくは自動露光制御のもとで撮影を継続しながらも、撮影エリア内の局所的なエリアで極端な露光オーバー・露光アンダーが生じて撮影情報が失われることを防止した監視カメラシステムに関する。   The present invention relates to a surveillance camera system using a plurality of cameras, and more specifically, while continuing to shoot under automatic exposure control, shooting is performed with extreme overexposure and underexposure in a local area within the photographic area. The present invention relates to a surveillance camera system that prevents information from being lost.

監視用途で使用されるカメラには、一方では広い監視エリアをカバーしながらも、他方では被写体を容易に識別できる程度の倍率で撮影することが要求される。こうした背景から、撮影エリア全体をカバーする広角カメラと、広角カメラよりも撮影倍率が大きい望遠カメラとを組み合わせた監視カメラシステムが考案されている。これらのカメラには自動露光制御機能をもつデジタルカメラが使用され、各々のカメラは平均測光に基づく自動露光制御により撮影を行っているのが通常である。   Cameras used for surveillance purposes are required to shoot at a magnification that can easily identify a subject while covering a wide surveillance area on the one hand. Against this background, surveillance camera systems have been devised that combine a wide-angle camera that covers the entire shooting area and a telephoto camera that has a higher shooting magnification than the wide-angle camera. As these cameras, digital cameras having an automatic exposure control function are used, and each camera normally performs photographing by automatic exposure control based on average photometry.

平均測光による自動露光制御では、イメージセンサから出力された一画面分の撮像信号から一つの測光値を算出し、この測光値に基づいて撮影レンズに組み込まれた絞りの調節や、イメージセンサの電荷蓄積時間の調節などが行われている。このような露光制御方式はハード面・ソフト面での負担が少なく、動作も安定している反面、撮影エリア内の一部に大きな輝度変動があったときにはその影響が全画面に及びやすく、本来の監視対象物がオーバー露光あるいはアンダー露光になって適切な画像情報が得にくくなるという問題がある   In automatic exposure control using average photometry, one photometric value is calculated from the image signal output from the image sensor, and the aperture built into the photographic lens is adjusted based on this photometric value and the charge of the image sensor. The accumulation time is adjusted. Such an exposure control system is less burdensome on the hardware and software side, and the operation is stable. On the other hand, if there is a large brightness fluctuation in a part of the shooting area, the effect is likely to affect the entire screen. There is a problem that it is difficult to obtain appropriate image information because the object to be monitored is overexposed or underexposed.

この問題は、イメージセンサのダイナミックレンジが十分に広ければ軽減されるが、一般的なデジタルカメラに用いられているCCD型あるいはCMOS型のイメージセンサのダイナミックレンジは50〜60db程度で、通常の写真フイルムがもつダイナミックレンジが70db程度であることからもそれほど広いものではない。ダイナミックレンジを広げるには、フォトダイオード及び信号電荷の蓄積部からなる光電変換部のサイズを大きくすることで改善が可能であるが、これに伴って画素数が減少し解像度の低下が避けられない。   This problem is alleviated if the dynamic range of the image sensor is sufficiently wide. However, the dynamic range of a CCD type or CMOS type image sensor used in a general digital camera is about 50 to 60 db, which is a normal photograph. Since the dynamic range of the film is about 70 db, it is not so wide. In order to widen the dynamic range, it is possible to improve by increasing the size of the photoelectric conversion unit consisting of the photodiode and the signal charge storage unit, but with this, the number of pixels decreases and the resolution is unavoidable. .

このような事情から、撮影エリア内の輝度レベルの変化が時間的・季節的に予測がつく場合には、その既知の情報を利用して監視対象となる被写体の輝度レベルが過度に変化しないように露光制御する方式が知られている(特許文献1)。また、撮影画面内における最大輝度と最小輝度とを検出するとともに、所定の高輝度レベルから最大輝度までに含まれる高輝度域と、所定の低輝度レベルから最小輝度までに含まれる低輝度域とが撮影画面全体に対してどの程度の面積割合になっているかに応じて測光値を算出し、この測光値に基づいて露光制御を行う方式が知られている(特許文献2)。
特開2001−211383号公報 特開2003−319248号公報
For these reasons, when the brightness level change in the shooting area can be predicted temporally and seasonally, the brightness level of the subject to be monitored should not be changed excessively using the known information. A method of controlling exposure is known (Patent Document 1). In addition, the maximum luminance and the minimum luminance in the shooting screen are detected, and a high luminance region included from a predetermined high luminance level to the maximum luminance, and a low luminance region included from a predetermined low luminance level to the minimum luminance, There is known a method in which a photometric value is calculated in accordance with the area ratio of the entire photographing screen and exposure control is performed based on this photometric value (Patent Document 2).
JP 2001-211133 A JP 2003-319248 A

しかし、特許文献1で知られる方式は、太陽の位置の変化や天候の変化など、予め想定される環境の変化に対しては有効であるが、人為的あるいは突発的な変化に対しては対応できない。また、特許文献2で知られる方式では画面全体の輝度分布パターンを評価するために、撮影画面を画素単位あるいは複数の領域に分割して輝度情報を取得しなければならず、画像処理が複雑化して処理時間も長くなる。このため、撮影画面内の一部の輝度が短時間のうちに変化するような場合には追従性も問題となる。また、イメージセンサから得た撮像信号に基づいて明るさに対応した階調信号を作る際に、種々の階調変換処理を行うことによって、主要被写体については十分なダイナミックレンジのもとで画像再生することも可能であるが、主要被写体を特定するために撮影画面内の動体ベクトルの解析が必要で信号処理も煩雑になり、監視用途に応じてカメラの種類や撮影倍率を変更する際には、測光あるいは露光制御プログラムも変更しなければならず汎用性の点で問題がある。   However, the method known in Patent Document 1 is effective for a presumed environmental change such as a change in the position of the sun or a change in the weather, but it can cope with an artificial or sudden change. Can not. In addition, in the method known in Patent Document 2, in order to evaluate the luminance distribution pattern of the entire screen, it is necessary to acquire luminance information by dividing the photographing screen into pixel units or a plurality of regions, which complicates image processing. The processing time also becomes longer. For this reason, in the case where a part of the luminance in the photographing screen changes in a short time, followability also becomes a problem. In addition, when creating a gradation signal corresponding to the brightness based on the imaging signal obtained from the image sensor, various gradation conversion processes are performed to reproduce the image of the main subject within a sufficient dynamic range. However, in order to identify the main subject, it is necessary to analyze the motion vector in the shooting screen, complicating signal processing, and when changing the camera type and shooting magnification according to the monitoring application The photometry or exposure control program must also be changed, which is problematic in terms of versatility.

さらに、一般普及型のイメージセンサの中にも、例えば「スーパーCCDハニカムSR」(商品名)のように、解像度を維持しながらもダイナミックレンジを70db程度に高めたイメージセンサも知られているが、一般的なダイナミックレンジのイメージセンサと比較するとコスト負担が大きく、またイメージセンサから得た撮像信号に対する信号処理も複雑化する。したがって、上述のように監視カメラシステムを構成している複数のカメラの各々にこのようなイメージセンサを用いることは、コスト面で不利なだけでなく、時間的に連続した撮影が必要となる監視カメラシステムには適していない。   Furthermore, among general-purpose image sensors, for example, “Super CCD Honeycomb SR” (trade name), an image sensor having a dynamic range increased to about 70 db while maintaining resolution is also known. Compared with a general dynamic range image sensor, the cost burden is large, and the signal processing for the imaging signal obtained from the image sensor is complicated. Therefore, the use of such an image sensor for each of a plurality of cameras constituting the surveillance camera system as described above is not only disadvantageous in terms of cost but also requires surveillance that requires continuous shooting in time. Not suitable for camera systems.

本発明は上記背景を考慮してなされたもので、時間経過とともに監視が必要な監視エリアの中に特に詳細に監視しなければならない局所的なエリアが想定されるとき、撮影エリア内で明るさが大きく変動するようなことがあったとしても、その局所エリアについては極端な露光オーバー・露光アンダーが生じないようにした監視カメラシステムをローコストで提供することを目的とする。   The present invention has been made in consideration of the above-mentioned background, and when a local area that needs to be monitored in detail is assumed in a monitoring area that needs to be monitored over time, the brightness in the imaging area is assumed. It is an object of the present invention to provide a surveillance camera system in which extreme overexposure / underexposure does not occur in a local area at low cost.

本発明は上記目的を達成するために、結像された被写体像を光電変換するイメージセンサを備え、互いに焦点距離が異なる複数種類のカメラを用い、前記各々のカメラの最適撮影距離を焦点距離が長いカメラほど遠距離側に設定してほぼ共通の撮影エリアをそれぞれ個別の自動露光制御のもとで撮影する監視カメラシステムを構成するにあたり、前記複数種類のカメラのうち最も焦点距離が長いカメラを焦点距離が等しい複数のカメラモジュールで構成し、このカメラモジュールの台数に応じて前記撮影エリアを複数の区画エリアに分割して分割された各々の区画エリアを前記カメラモジュールで個別に撮影するとともに、前記カメラモジュールのいずれかに限って他のカメラモジュールよりも光電変換特性のダイナミックレンジが広いイメージセンサを用いることを特徴としている。   In order to achieve the above object, the present invention includes an image sensor that photoelectrically converts a formed subject image, and uses a plurality of types of cameras having different focal lengths. When configuring a surveillance camera system that sets the longer camera to the far side and shoots almost common shooting areas under individual automatic exposure control, select the camera with the longest focal length among the multiple types of cameras. Consists of a plurality of camera modules with the same focal length, and each of the divided areas divided by dividing the shooting area into a plurality of divided areas according to the number of the camera modules is individually shot with the camera module, Only one of the camera modules has an image with a wider dynamic range of photoelectric conversion characteristics than other camera modules. It is characterized by the use of Jisensa.

一般に、前記撮影エリアは水平方向に長くなるのが通常であるから、この撮影エリアを水平方向に三等分した区画エリアを設定してその各々を個別のカメラモジュールで撮影するのが実用的である。この場合、中央の区画エリアが重要な監視情報を含んでいることが確率的に高いので、この区画エリアを撮影するカメラモジュールに前記ダイナミックレンジが広いイメージセンサを用いるのがよい。   In general, since the shooting area is usually long in the horizontal direction, it is practical to divide the shooting area into three equal parts in the horizontal direction and shoot each with a separate camera module. is there. In this case, since it is probable that the central section area contains important monitoring information, it is preferable to use an image sensor having a wide dynamic range as a camera module for photographing the section area.

さらに、車載型の監視カメラシステムなどでは撮影エリア内の被写体像が動的に変化するので、その変化の様子を把握しやすくするためには、最適撮影距離が近距離に設定された一台の広角カメラと、最適撮影距離が中距離に設定された標準カメラと、最適撮影距離が遠距離に設定された望遠カメラとを用い、前記標準カメラはその撮影エリアを水平方向に二等分した区画エリアを個別に撮影する二台の標準カメラモジュールで構成し、前記望遠カメラはその撮影エリアを水平方向に三等分した区画エリアを個別に撮影する三台の望遠カメラモジュールで構成するのが有効で、この場合、三等分された区画エリアのうち中央の区画エリアを撮影する望遠カメラモジュールに広いダイナミックレンジをもつイメージセンサを用いるのが効果的である。そして、それぞれのカメラあるいはカメラモジュールで行われる自動露光制御は、各々のイメージセンサからの撮像信号を利用した平均測光に基づいて行うのが簡便である。   In addition, in an in-vehicle surveillance camera system, etc., the subject image in the shooting area changes dynamically, so in order to make it easier to grasp the state of the change, a single camera with the optimum shooting distance set to a short distance is used. Using a wide-angle camera, a standard camera with an optimal shooting distance set to a medium distance, and a telephoto camera with an optimal shooting distance set to a long distance, the standard camera is a section that bisects the shooting area horizontally. It is effective to be composed of two standard camera modules that shoot the area separately, and the telephoto camera is composed of three telephoto camera modules that individually shoot the section area that is divided into three equal parts in the horizontal direction. In this case, it is effective to use an image sensor having a wide dynamic range for the telephoto camera module that captures the central divided area among the divided divided areas. That. The automatic exposure control performed by each camera or camera module can be easily performed based on average photometry using the image pickup signal from each image sensor.

本発明によれば、監視対象となる撮影エリアの中で特に詳細な監視を必要とする局所的なエリアについては、光電変換特性のダイナミックレンジが広いイメージセンサを用いたカメラモジュールで撮影が行われるので、その局所的なエリア内で多少の輝度変動が生じたとしても、そのエリアに含まれる画像の一部がいわゆる白トビや黒ツブレによって消失することが防止できるようになる。   According to the present invention, in a shooting area to be monitored, a local area requiring particularly detailed monitoring is shot with a camera module using an image sensor having a wide dynamic range of photoelectric conversion characteristics. Therefore, even if some luminance fluctuation occurs in the local area, it is possible to prevent a part of the image included in the area from disappearing due to so-called white stripes and black blurring.

本発明の一実施形態として、図1に路上での車両の走行を監視する目的で使用される監視カメラシステムの外観を示す。このカメラシステムは、撮影ユニット2と、撮影ユニット2に組み込まれた複数種類のカメラあるいはカメラモジュールの駆動を制御し、また得られた各画像データを記録する記録装置を内蔵した制御ユニット3と、制御ユニット3に接続された携帯型のパソコン4とから構成される。パソコン4のモニタ4aには、制御ユニット3から出力される編集後の画像信号に基づいて画像表示が行われる。なお、パソコン4の代わりに専用のモニタを接続して画像表示を行うようにしてもよい。   As an embodiment of the present invention, FIG. 1 shows the appearance of a surveillance camera system used for the purpose of monitoring the running of a vehicle on the road. This camera system includes a photographing unit 2, a control unit 3 that controls the driving of a plurality of types of cameras or camera modules incorporated in the photographing unit 2, and incorporates a recording device that records each obtained image data, The portable personal computer 4 is connected to the control unit 3. An image is displayed on the monitor 4 a of the personal computer 4 based on the edited image signal output from the control unit 3. An image display may be performed by connecting a dedicated monitor instead of the personal computer 4.

撮影ユニット2は制御ユニット3とともに振動吸収作用をもった支持装置により車内に取り付けられ、撮影ユニット2に組み込まれた各種のカメラは自動車のフロントガラスを通して前方を走行する自動車を撮影する。携帯型のパソコン4は例えば助手席のオペレータによって操作され、画像の観察を行うほかキーボードからの入力操作により画像の表示態様やカメラの動作を適宜に切替えることができるようにしてある。パソコン4の代わりに専用のモニタで画像観察を行う場合には、制御ユニット3に設けられた操作パネルを介してカメラの動作や画像の表示態様を切り替えることができる。   The photographing unit 2 is attached to the inside of the vehicle by a support device having a vibration absorbing action together with the control unit 3, and various cameras incorporated in the photographing unit 2 photograph a vehicle traveling forward through the windshield of the vehicle. The portable personal computer 4 is operated by, for example, an operator at the passenger seat, and is capable of appropriately switching the display mode of the image and the operation of the camera by performing an input operation from a keyboard in addition to observing the image. When observing an image on a dedicated monitor instead of the personal computer 4, the operation of the camera and the display mode of the image can be switched via an operation panel provided in the control unit 3.

撮影ユニット2には第一カメラ5、二台のカメラモジュール6a,6bからなる第二カメラ6、三台のカメラモジュール7a,7b,7cからなる第三カメラ7が組み込まれている。これらのカメラ5〜7は互いに略同じ画角で撮影を行うが、各々の撮影レンズの焦点距離はこの順に焦点距離が長くなっていくように設定され、また最適な撮影距離もこの順で遠くなっていくように撮影レンズのピント設定がなされている。これらの第一カメラ5,第二カメラ6,第三カメラ7は、相対的にはそれぞれ広角カメラ,標準カメラ,望遠カメラに相当する。   The photographing unit 2 incorporates a first camera 5, a second camera 6 comprising two camera modules 6a and 6b, and a third camera 7 comprising three camera modules 7a, 7b and 7c. These cameras 5 to 7 shoot at substantially the same angle of view, but the focal length of each photographic lens is set so that the focal length becomes longer in this order, and the optimum shooting distance is also longer in this order. The focus of the photographic lens is set so that The first camera 5, the second camera 6, and the third camera 7 are relatively equivalent to a wide-angle camera, a standard camera, and a telephoto camera, respectively.

カメラモジュール6a,6bは撮影レンズも含め構造的には全く同一のものであるが、第二カメラ6の撮影エリアを二分して撮影できるように各々の撮影光軸が傾けられている。同様に、カメラモジュール7a,7b,7cも撮影レンズを含め構造的には全く共通のもので、第三カメラ7全体の撮影エリアを三分して撮影できるように互いの撮影光軸は傾けられている。なお、カメラモジュール6a,6b、カメラモジュール7a,7b,7cは垂直方向での視差をなくすために水平に並べられているが、撮影距離に対して相互間隔はごくわずかであるから必ずしも水平配置にこだわらなくてもよい。   The camera modules 6a and 6b are structurally identical, including the photographic lens, but their photographic optical axes are tilted so that the photographic area of the second camera 6 can be bisected and photographed. Similarly, the camera modules 7 a, 7 b, and 7 c are completely the same in structure including the photographic lens, and the photographic optical axes of the camera modules 7 a, 7 b, and 7 c are tilted so that the photographic area of the third camera 7 can be divided into three. ing. The camera modules 6a and 6b and the camera modules 7a, 7b, and 7c are arranged horizontally to eliminate parallax in the vertical direction. You don't have to be particular.

上記各カメラによる撮影エリアの態様を図2に概略的に示す。画角θ1の第一カメラ5は最適な撮影距離がL1となるようにピント設定され、撮影距離L1における撮影エリアS1が撮影範囲となり、撮影距離L1の前後にまたがって被写界深度d1を有する。画角θ2のカメラモジュール6a,6bは最適な撮影距離がL2となるようにピント合わせされ、破線で示すように第一カメラ5の撮影エリアS1を二分して撮影できるようにそれぞれの撮影光軸が傾けられている。そして、これらのカメラモジュール6a,6bからなる第二カメラ6は全体として撮影エリアS2が撮影距離L2での撮影範囲となり、第二カメラ6もまた撮影距離L2の前後にまたがって被写界深度d2を有している。   FIG. 2 schematically shows an aspect of the shooting area of each camera. The first camera 5 with an angle of view θ1 is set in focus so that the optimum shooting distance is L1, the shooting area S1 at the shooting distance L1 is the shooting range, and has a depth of field d1 across the shooting distance L1. . The camera modules 6a and 6b having the angle of view θ2 are focused so that the optimum shooting distance is L2, and as shown by the broken line, the shooting optical axes of the first camera 5 are divided so that the shooting area S1 can be divided into two. Is tilted. The second camera 6 including these camera modules 6a and 6b as a whole has a shooting area S2 as a shooting range at a shooting distance L2, and the second camera 6 also spans the shooting distance L2 before and after the shooting distance L2. have.

画角θ3のカメラモジュール7a,7b,7cは、最適な撮影距離がL3となるようにピント設定され、一点鎖線で示すように第二カメラ6の撮影エリアS2を三等分して撮影できるように互いの撮影光軸が傾けられている。第三カメラ7は全体として撮影エリアS3が撮影距離L3での撮影範囲となり、撮影距離L3の前後にまたがるように被写界深度d3を有する。なお、上述した各画角θ1〜θ3はいずれも水平方向の画角を表しており、垂直方向の画角は、それぞれの最適な撮影距離L1〜L3で撮影した場合を考慮し、監視対象となる被写体の画像サイズがどの程度になるかに応じて適宜に設定される。   The camera modules 7a, 7b, and 7c with the angle of view θ3 are set so that the optimum shooting distance is L3, and the shooting area S2 of the second camera 6 can be divided into three equal parts as shown by a one-dot chain line. The optical axes of each other are tilted. The third camera 7 as a whole has a shooting area S3 as a shooting range at the shooting distance L3, and has a depth of field d3 so as to extend before and after the shooting distance L3. Note that each of the angle of view θ1 to θ3 described above represents the angle of view in the horizontal direction, and the angle of view in the vertical direction is considered as a monitoring target in consideration of the case of shooting at the respective optimum shooting distances L1 to L3. This is appropriately set according to the image size of the subject.

第一〜第三カメラ5〜7の撮影距離L1〜L3はそれぞれのカメラの撮影レンズの焦点距離f1〜f3に対応し、f1/L1=f2/L2=f3/L3となるように設定されている。例えば、それぞれの撮影レンズの焦点距離f1,f2,f3が50mm、100mm、200mmとすると、それぞれの撮影距離L1,L2,L3は50m、100m、200mとなる。この結果、第一カメラ5で撮影距離L1に位置する被写体を撮影したときの像倍率と、第二カメラ6で撮影距離L2に位置する被写体を撮影したときの像倍率と、第三カメラ7で撮影距離L3に位置する被写体を撮影したときの像倍率は等しくなる。   The shooting distances L1 to L3 of the first to third cameras 5 to 7 correspond to the focal lengths f1 to f3 of the shooting lenses of the respective cameras, and are set to satisfy f1 / L1 = f2 / L2 = f3 / L3. Yes. For example, if the focal lengths f1, f2, and f3 of the respective photographing lenses are 50 mm, 100 mm, and 200 mm, the respective photographing distances L1, L2, and L3 are 50 m, 100 m, and 200 m. As a result, the image magnification when the subject located at the photographing distance L 1 is photographed by the first camera 5, the image magnification when the subject located at the photographing distance L 2 is photographed by the second camera 6, and the third camera 7. The image magnifications when the subject located at the shooting distance L3 is shot are equal.

各カメラの被写界深度d1〜d3の幅は、各々の撮影レンズの焦点距離と、設定された最適撮影距離によって変化するほかに、撮影レンズ系内に設けられた絞りの径に依存して変化する。よく知られるように、絞りの開口径を小さくすると被写界深度が大きく改善され、ピントが合っているとみなせる範囲を広げることができる。例えば撮影レンズの焦点距離が50mmの第一カメラ5や焦点距離が100mmの第二カメラ6では、絞りをF4あるいはF5.6程度まで絞れば広範囲の被写界深度を得ることができ、後側被写界深度で無限遠までカバーすることも可能となる。また、第一カメラ5と第二カメラ6、第二カメラ6と第三カメラ7の被写界深度は互いに部分的にオーバーラップしているから、監視対象となる被写体が被写界深度d1〜d3に含まれる撮影距離にあれば、少なくともいずれかのカメラでピントのあった状態で撮影することができる。   The width of the depth of field d1 to d3 of each camera varies depending on the focal length of each photographing lens and the set optimum photographing distance, and also depends on the diameter of the diaphragm provided in the photographing lens system. Change. As is well known, when the aperture diameter of the stop is reduced, the depth of field is greatly improved, and the range that can be regarded as being in focus can be expanded. For example, in the first camera 5 having a focal length of 50 mm and the second camera 6 having a focal length of 100 mm, a wide range of depth of field can be obtained by reducing the aperture to about F4 or F5.6. It is possible to cover up to infinity with depth of field. Further, since the depth of field of the first camera 5 and the second camera 6 and the second camera 6 and the third camera 7 partially overlap each other, the subject to be monitored is the depth of field d1 to d1. If it is within the shooting distance included in d3, it is possible to take a picture in focus with at least one of the cameras.

図4に第一カメラ5の電気的構成の概略を示す。なお、第二カメラ6を構成するカメラモジュール6a,6b、第三カメラ7を構成するカメラモジュール7a,7b,7cもその電気的構成の基本は同様で、例えば被写体像を光電変換して撮像信号を出力するイメージセンサとしてはいずれもCCD型のものが用いられ、撮像信号の処理も同様にして行われる。なお、第三カメラ7のカメラモジュール7bには、他のカメラやカメラモジュールよりも広いダイナミックレンジをもつイメージセンサ10aが用いられている点で異なり、またAE制御回路21aも部分的に異なるのでその部分のみ図示したが、他の構成については重複及び図面の煩雑化を避けるために省略した。   FIG. 4 shows an outline of the electrical configuration of the first camera 5. The camera modules 6a and 6b constituting the second camera 6 and the camera modules 7a, 7b and 7c constituting the third camera 7 have the same basic electrical configuration. For example, the image signal is obtained by photoelectrically converting a subject image. As the image sensor for outputting the signal, a CCD type is used, and the processing of the image pickup signal is performed in the same manner. The camera module 7b of the third camera 7 is different in that an image sensor 10a having a wider dynamic range than other cameras and camera modules is used, and the AE control circuit 21a is also partially different. Although only the portion is illustrated, other configurations are omitted in order to avoid duplication and complication of the drawing.

第一カメラ5は、前述のように焦点距離が50mmの撮影レンズ5cを備え、絞り12を通してCCD型のイメージセンサ10に被写体像を結像する。イメージセンサ10からの撮像信号はAGCアンプ13により適切なレベルに増幅され、A/Dコンバータ14でデジタル化された画素ごとの画像データとしてシステムバス15に入力される。こうして入力された画像データは、システムコントローラ17の管制下で画像信号処理回路18により周知の画像処理が行われ、所定フォーマットのフレーム単位の画像データとしてフラッシュメモリ20に書き込まれる。   The first camera 5 includes the photographing lens 5c having a focal length of 50 mm as described above, and forms a subject image on the CCD type image sensor 10 through the diaphragm 12. An imaging signal from the image sensor 10 is amplified to an appropriate level by the AGC amplifier 13 and input to the system bus 15 as image data for each pixel digitized by the A / D converter 14. The image data thus input is subjected to well-known image processing by the image signal processing circuit 18 under the control of the system controller 17 and is written in the flash memory 20 as image data in frame units of a predetermined format.

AE制御回路21はA/Dコンバータ14から入力される画像データに基づいてフレーム単位で平均測光を行い、一画面分の平均輝度が適正範囲に収まっているか否かを判別する。そして、その判別結果に応じてシステムコントローラ17はアイリスドライバ22を介してアイリスモータ22aを駆動し、絞り12の開口径を制御する。このとき絞り12が開き過ぎないように、その最大開口径はEEPROM24に書き込まれた絞り値データによって制限される。絞り12が絞り値データで制限された最大開口径になっても露光量が不足する場合には、システムコントローラ17を介してAGCアンプ13のゲインが調節されるようになっている。   The AE control circuit 21 performs average photometry for each frame based on the image data input from the A / D converter 14, and determines whether the average luminance for one screen is within an appropriate range. Then, the system controller 17 drives the iris motor 22a via the iris driver 22 according to the determination result to control the aperture diameter of the diaphragm 12. At this time, the maximum aperture diameter is limited by the aperture value data written in the EEPROM 24 so that the aperture 12 does not open too much. If the exposure amount is insufficient even when the aperture 12 reaches the maximum aperture diameter limited by the aperture value data, the gain of the AGC amplifier 13 is adjusted via the system controller 17.

AF制御回路25は、よく知られるように画像信号のコントラスト成分に基づいて合焦度合いを評価し、その評価信号をシステムコントローラ17に入力する。システムコントローラ17は、評価信号が最も高くなるようにフォーカスドライバ26を介してフォーカスモータ26aを駆動する。これにより、撮影レンズ5cは画像信号のコントラスト成分が極大となるような位置にフィードバック制御され、自動追従式に撮影レンズ5cは合焦位置に移動される。   As is well known, the AF control circuit 25 evaluates the degree of focus based on the contrast component of the image signal, and inputs the evaluation signal to the system controller 17. The system controller 17 drives the focus motor 26a via the focus driver 26 so that the evaluation signal becomes the highest. As a result, the photographing lens 5c is feedback-controlled to a position where the contrast component of the image signal is maximized, and the photographing lens 5c is moved to the in-focus position in an automatic tracking manner.

ただし、このようなAF制御回路25による合焦動作は本発明のカメラシステムでは通常は省略される。そして、EEPROM24に書き込まれた撮影距離L1にピントが合致するように、システムコントローラ17がフォーカスドライバ26,フォーカスモータ26aにより撮影レンズ5cをピントセット位置に移動させ、その後は撮影レンズ5cはそのままの位置に保たれ固定焦点のままで撮影が行われる。第二カメラ6を構成するカメラモジュール6a,6b、第三カメラ7を構成するカメラモジュール7a,7b,7cについても、それぞれの撮影レンズの焦点距離が上記第一カメラの撮影レンズ5cと異なり、またEEPROM24に書き込まれる最適撮影距離L2,L3、絞り値データが異なるだけで、基本的な電気的構成は同様のものとなっている。   However, such focusing operation by the AF control circuit 25 is normally omitted in the camera system of the present invention. Then, the system controller 17 moves the photographing lens 5c to the focus set position by the focus driver 26 and the focus motor 26a so that the photographing distance L1 written in the EEPROM 24 is in focus. The image is taken with a fixed focus. Regarding the camera modules 6a and 6b constituting the second camera 6 and the camera modules 7a, 7b and 7c constituting the third camera 7, the focal length of each photographing lens is different from that of the photographing lens 5c of the first camera. The basic electrical configuration is the same except that the optimum shooting distances L2 and L3 and aperture value data written in the EEPROM 24 are different.

こうしてカメラごとに得られる画像データはインタフェース回路28を介して制御ユニット3に入力される。制御ユニット3には、入出力制御回路30,画像合成装置31,記録制御装置32,記録装置33,操作パネル34が設けられ、さらに制御ユニット3にはモニタ4a付きのパソコン4が接続される。入出力制御回路30はカメラごとに設けられているインタフェース回路28との間で画像データや制御データの入出力を制御する。画像合成装置31は、第一カメラ5,第二カメラ6,第三カメラ7からのそれぞれの画像データを個別に処理し、第二カメラ6及び第三カメラ7については二枚あるいは三枚の画像を一枚の画像に合成する。   Thus, the image data obtained for each camera is input to the control unit 3 via the interface circuit 28. The control unit 3 is provided with an input / output control circuit 30, an image composition device 31, a recording control device 32, a recording device 33, and an operation panel 34, and a personal computer 4 with a monitor 4 a is connected to the control unit 3. The input / output control circuit 30 controls input / output of image data and control data with the interface circuit 28 provided for each camera. The image composition device 31 individually processes the image data from the first camera 5, the second camera 6, and the third camera 7, and the second camera 6 and the third camera 7 have two or three images. Is combined into a single image.

記録制御装置32は、操作パネル34あるいはパソコン4からの操作入力に応じてDVDレコーダなどの記録装置33の動作制御を行う。記録装置33は、各カメラから得られ必要に応じて一画面分に合成された画像データを動画記録する。なお、操作パネル34やパソコン4から入力されるレリーズ操作信号、あるいはタイマーで設定された一定時間ごとに出力されるレリーズ信号に応答して静止画の記録を並行して行うことも可能である。   The recording control device 32 controls the operation of the recording device 33 such as a DVD recorder in response to an operation input from the operation panel 34 or the personal computer 4. The recording device 33 records the image data obtained from each camera and synthesized for one screen as necessary as a moving image. Note that it is also possible to record still images in parallel in response to a release operation signal input from the operation panel 34 or the personal computer 4 or a release signal output at regular intervals set by a timer.

第三カメラ7に用いられているカメラモジュール7bには、他のカメラやカメラモジュールに内蔵されたイメージセンサと比較して光電変換特性のダイナミックレンジが広いCCD型のイメージセンサ10aが用いられている。このイメージセンサ10aは、例えば図4(A)に概念的に示すように受光面上における画素配列構造に工夫が施され、一画素40が受光面積の広い主画素40aと受光面積の狭い副画素40bとからなる。主画素40a,副画素40bはそれぞれ被写体光を光電変換するフォトダイオードで構成され、光電変換して得た信号電荷を個別の電荷蓄積部に蓄える。それぞれの電荷蓄積部に蓄えられた信号電荷は各々の電荷転送路から個別に読み出され、撮像信号として出力される。なお、図4(B)は主画素41aと副画素41bとを分けて配列した例を示すもので、このような画素配列でも同図(A)のイメージセンサと全く同様の機能が得られる。   The camera module 7b used in the third camera 7 uses a CCD-type image sensor 10a that has a wider dynamic range of photoelectric conversion characteristics than image sensors incorporated in other cameras and camera modules. . In this image sensor 10a, for example, as conceptually shown in FIG. 4A, the pixel arrangement structure on the light receiving surface is devised, and one pixel 40 has a main pixel 40a having a large light receiving area and a sub pixel having a small light receiving area. 40b. The main pixel 40a and the sub-pixel 40b are each configured by a photodiode that photoelectrically converts subject light, and stores signal charges obtained by photoelectric conversion in individual charge storage units. The signal charges stored in each charge storage unit are individually read out from each charge transfer path and output as an imaging signal. FIG. 4B shows an example in which the main pixel 41a and the sub-pixel 41b are separately arranged. With such a pixel arrangement, the same function as that of the image sensor of FIG.

イメージセンサから画素ごとに出力される撮像信号はA/Dコンバータ14によりデジタル変換され画素ごとの画像データに変換されるが、一般的なイメージセンサはダイナミックレンジが狭い。例えば、図5に示すように、暗黒部分(露光量0)から晴天時の空(露光量B2)までの露光量を信号レベル0からSmaxまでのデジタル量で量子化することを前提としたとき、イメージセンサは露光量0から露光量B1までは露光量に対応した出力レベルの撮像信号を出力するが、露光量B1以上の露光量に対しては撮像信号の出力レベルが飽和状態となり、これを量子化しても露光量B1以上の露光量に対しては全て同じ信号レベルSmaxしか得られない。   An imaging signal output for each pixel from the image sensor is digitally converted by the A / D converter 14 and converted into image data for each pixel, but a general image sensor has a narrow dynamic range. For example, as shown in FIG. 5, when it is assumed that the exposure amount from the dark part (exposure amount 0) to the clear sky (exposure amount B2) is quantized with a digital amount from signal level 0 to Smax. The image sensor outputs an image pickup signal having an output level corresponding to the exposure amount from the exposure amount 0 to the exposure amount B1, but the output level of the image pickup signal is saturated for the exposure amount greater than the exposure amount B1. Can be obtained only with the same signal level Smax with respect to the exposure amount greater than the exposure amount B1.

このような信号変換特性K1はイメージセンサがもつ光電変換特性に起因しており、露光量の変化に応じて信号レベルが変化する領域がダイナミックレンジに相当する。ダイナミックレンジは、撮影レンズの絞りを絞り込んで露光量を制限することによって、相対的に図5中で高露光量側にシフトさせることができるが、逆に低露光量側で狭められ、いわゆる黒ツブレになる範囲が広がる結果となる。したがって、画面全体の平均輝度に合わせて絞りや電荷蓄積時間の調節を行ってダイナミックレンジをどのようにシフトさせたとしても、画面内にダイナミックレンジでカバーしきれない低輝度被写体や高輝度被写体があると、黒ツブレや白トビとなってその被写体情報が失われることが避けられない。   Such a signal conversion characteristic K1 is caused by a photoelectric conversion characteristic of the image sensor, and a region where the signal level changes according to a change in exposure amount corresponds to a dynamic range. The dynamic range can be relatively shifted to the high exposure amount side in FIG. 5 by restricting the exposure amount by narrowing the aperture of the taking lens, but conversely it is narrowed on the low exposure amount side, so-called black. As a result, the range of blur is widened. Therefore, no matter how the dynamic range is shifted by adjusting the aperture or charge accumulation time according to the average luminance of the entire screen, there are low-luminance subjects and high-luminance subjects that cannot be covered by the dynamic range. If there is, it is inevitable that the subject information will be lost due to black spots and white stripes.

これに対し、図4(A)に示すように一画素を高感度の主画素40aと低感度の副画素40bとから構成しておくと、図6(A)に示すように、主画素40aからの撮像信号を量子化した画像データのほかに、副画素40bからの撮像信号を量子化した画像データとを得ることができ、しかもこれらの画像データはそれぞれ異なった信号レベルをもつ。主画素40aからは、図5と同様に信号変換特性K1による画像データが得られるのに対し、副画素40bからは副画素40bの光電変換特性による信号変換特性K2による画像データが得られる。そして、これらの画像データを合成することによって、広いダイナミックレンジを得ることが可能となる。   On the other hand, if one pixel is composed of a high-sensitivity main pixel 40a and a low-sensitivity sub-pixel 40b as shown in FIG. 4A, the main pixel 40a as shown in FIG. 6A. In addition to the image data obtained by quantizing the image pickup signal from, image data obtained by quantizing the image pickup signal from the sub-pixel 40b can be obtained, and these image data have different signal levels. Image data with the signal conversion characteristic K1 is obtained from the main pixel 40a as in FIG. 5, whereas image data with the signal conversion characteristic K2 with the photoelectric conversion characteristic of the subpixel 40b is obtained from the subpixel 40b. A wide dynamic range can be obtained by combining these image data.

図6(B)に破線で示すように、信号変換特性K1,K2による2種類の画像データを単に加算するだけでは、露光量B2に相当する信号レベルが本来の信号レベルSmaxの2倍になってしまう。そこで、実線で示すように、信号変換特性K1,K2を加算した特性に対し、露光量B2で信号レベルSmaxになるように高露光量側で圧縮を行った信号変換特性K3を予め用意しておき、この変換特性データを第三カメラ7のカメラモジュール7bに用いられているAE制御回路21aに格納しておく。図4に示すような主画素及び副画素で一画素を構成するイメージセンサ10aとともにこの信号変換特性K3を利用することによって、カメラモジュール7bは広ダイナミックレンジのデジタルカメラとなる。なお、ダイナミックレンジが広い副画素40bからの撮像信号だけで画像データを得ようとしても、通常の電荷蓄積時間では十分な信号レベルを得ることができないので撮像信号に大幅な増幅処理が必要となる。ところが被写体輝度が低い領域では、暗電流に代表されるノイズ成分が多く含まれているため、こうした増幅処理だけでは適正な画像データを得ることは困難となる。   As indicated by a broken line in FIG. 6B, the signal level corresponding to the exposure amount B2 becomes twice the original signal level Smax by simply adding the two types of image data based on the signal conversion characteristics K1 and K2. End up. Therefore, as shown by the solid line, a signal conversion characteristic K3 in which compression is performed on the high exposure amount side so that the signal level Smax is obtained at the exposure amount B2 with respect to the characteristic obtained by adding the signal conversion characteristics K1 and K2 is prepared in advance. The conversion characteristic data is stored in the AE control circuit 21a used in the camera module 7b of the third camera 7. By using this signal conversion characteristic K3 together with the image sensor 10a that constitutes one pixel by the main pixel and the sub-pixel as shown in FIG. 4, the camera module 7b becomes a digital camera with a wide dynamic range. Note that even if it is attempted to obtain image data only from the imaging signal from the sub-pixel 40b having a wide dynamic range, a sufficient signal level cannot be obtained in the normal charge accumulation time, so that a significant amplification process is required for the imaging signal. . However, in a region where the subject brightness is low, a lot of noise components typified by dark current are included, so that it is difficult to obtain appropriate image data only by such amplification processing.

また、図6(B)に示すように、信号変換特性K3の変曲点部分については滑らかな曲線で連結する処理を行っておく方が実用的である。さらに、信号変換特性K1,K2の合成手法あるいは高露光量側での圧縮手法には公知の種々のものを用いることが可能で、信号変換特性K3のプロファイルも必ずしも図示のものに限られず、露光量0〜B2のほぼ全域をダイナミックレンジに含んでいればよい。このような主画素・副画素を利用してダイナミックレンジを広げる手法については、特開2004−220438号公報,特開2004−297407号公報などで公知である。   In addition, as shown in FIG. 6B, it is practical to perform a process of connecting the inflection points of the signal conversion characteristics K3 with a smooth curve. Furthermore, various known methods can be used as the synthesis method of the signal conversion characteristics K1 and K2 or the compression method on the high exposure amount side, and the profile of the signal conversion characteristics K3 is not necessarily limited to that shown in the drawing. It suffices that the entire range of the amount 0 to B2 is included in the dynamic range. Methods for expanding the dynamic range using such main pixels and sub-pixels are known in Japanese Patent Application Laid-Open Nos. 2004-220438 and 2004-297407.

以下、上記カメラシステムの作用について説明する。撮影に先立ち、制御ユニット3の操作パネル34あるいはパソコン4からの操作入力により初期設定が行われる。初期設定される項目としては、まず第一カメラ5、第二カメラ6、第三カメラ7の撮影距離L1,L2,L3があり、これらのデータはそれぞれのカメラのEEPROM24に書き込まれる。システムコントローラ17はこれらの設定データを読み取り、フォーカスドライバ26,フォーカスモータ26aによりそれぞれの撮影レンズを各々の最適な撮影距離L1,L2,L3にピントが合うように位置決めする。   Hereinafter, the operation of the camera system will be described. Prior to photographing, initial setting is performed by an operation input from the operation panel 34 of the control unit 3 or the personal computer 4. Initially set items include shooting distances L1, L2, and L3 of the first camera 5, the second camera 6, and the third camera 7, and these data are written in the EEPROM 24 of each camera. The system controller 17 reads these setting data, and positions the respective photographing lenses so as to focus on the optimum photographing distances L1, L2, and L3 by the focus driver 26 and the focus motor 26a.

各カメラの撮影距離の設定を行った後に、各カメラの水平方向における撮影光軸の傾き調節が行われる。各カメラを保持している撮影ユニット2のベースにはカメラの撮影光軸を水平方向に傾ける調整機構が設けられており、簡便にはモニタ4aに表示される画像を観察しながら前記調整機構をマニュアル操作する。もちろん、この調整機構を電動式にしておけば、最適撮影距離の初期設定が行われた時点で自動的に撮影光軸の向きを調節することも可能となる。なお、垂直方向における撮影光軸の傾きは基本的には各カメラとも水平で構わないが、各カメラの組み付け時における誤差吸収のために垂直方向でも撮影光軸を傾けられるようにしておいてもよい。   After setting the shooting distance of each camera, the inclination of the shooting optical axis in the horizontal direction of each camera is adjusted. The base of the photographing unit 2 that holds each camera is provided with an adjustment mechanism that tilts the photographing optical axis of the camera in the horizontal direction. For convenience, the adjustment mechanism can be operated while observing an image displayed on the monitor 4a. Operate manually. Of course, if this adjustment mechanism is electrically operated, it is possible to automatically adjust the direction of the photographing optical axis at the time when the initial setting of the optimum photographing distance is performed. Note that the tilt of the photographic optical axis in the vertical direction may be basically horizontal for each camera, but it is also possible to tilt the photographic optical axis in the vertical direction in order to absorb errors during assembly of each camera. Good.

各カメラのピント設定が初期設定された後、各カメラの絞り12の最大開口径を制限するための絞り値データがEEPROM24に書き込まれる。この絞り12の最大開口径は、撮影レンズの焦点距離と最適撮影距離によって決まる被写界深度を考慮し、図2に示す被写界深度d1,d2,d3がそれぞれ部分的にオーバーラップするように決められる。被写界深度の値は撮影レンズの焦点距離、撮影距離、絞り値から算出することができるので、被写界深度をオーバーラップさせることを条件した計算アルゴリズムを用いれば、絞り値データはマニュアル入力によらずに自動的に設定することも可能となる。   After the focus setting of each camera is initialized, aperture value data for limiting the maximum aperture diameter of the aperture 12 of each camera is written in the EEPROM 24. In consideration of the depth of field determined by the focal length of the photographing lens and the optimum photographing distance, the maximum aperture diameter of the diaphragm 12 is such that the depths of field d1, d2, and d3 shown in FIG. 2 partially overlap each other. Decided. The depth of field value can be calculated from the focal length of the photographic lens, the shooting distance, and the aperture value, so if you use a calculation algorithm that requires overlapping the depth of field, the aperture value data can be entered manually. It is also possible to set automatically without depending on.

絞り12の最大開口径を決める絞り値の値としては、第一カメラ5ではF4、第二カメラ6,第三カメラ7ではF5.6程度に設定しておけば、例えば夜間のように極端に明るさが不足する状況を除けば、図2に示すように互いにオーバーラップする被写界深度d1,d2,d3を確保したうえで、ほぼ適正露光で撮影を行うことができる。また、明るい日中での撮影時にはアイリスモータ22aにより絞り12が絞り込まれるため、第一カメラ5や第二カメラ6では無限遠まで被写界深度内に収めることもできる。なお、EEPROM24に書き込まれた絞り値データによって絞り12の最大開口径が制限され、その状態でも明るさが不足したような場合には、AGCアンプ13が有効に作用して露光アンダーを防ぐ。   If the aperture value for determining the maximum aperture diameter of the aperture 12 is set to about F4 for the first camera 5 and about F5.6 for the second camera 6 and the third camera 7, for example, it is extremely high, such as at night. Except for the situation where the brightness is insufficient, as shown in FIG. 2, it is possible to capture images with substantially appropriate exposure while ensuring the depths of field d1, d2, and d3 that overlap each other. Further, since the iris 12 is stopped by the iris motor 22a during shooting in bright daylight, the first camera 5 and the second camera 6 can be within the depth of field up to infinity. If the maximum aperture diameter of the diaphragm 12 is limited by the diaphragm value data written in the EEPROM 24 and the brightness is insufficient even in this state, the AGC amplifier 13 works effectively to prevent underexposure.

モニタ4aには、第一カメラ5、カメラモジュール6a,6b、カメラモジュール7a,7b,7cからの画像をそのまま配列して表示することも可能であるが、好ましくは図7のモニタ画面4bに示すように、第一カメラ5からの画像45と、カメラモジュール6a,6bからの画像46a,46bを一枚に合成した標準合成画像46と、カメラモジュール7a,7b,7cからの画像47a,47b,47cを一枚に合成した合成画像47とがモニタ画面4b上に配列して表示される。なお、モニタ画面4bには撮影年月日及び時刻を表すデート情報49と、制御ユニット3に組み込まれたGPS装置から得られる緯度及び経度を表す位置情報50とが刻々と表示され、動画像データとともに記録装置33によって記録媒体に記録される。   Images from the first camera 5, camera modules 6a and 6b, and camera modules 7a, 7b, and 7c can be arranged and displayed as they are on the monitor 4a, but preferably the monitor screen 4b shown in FIG. As described above, the image 45 from the first camera 5, the images 46a and 46b from the camera modules 6a and 6b are combined into one sheet, and the images 47a and 47b from the camera modules 7a, 7b and 7c. A composite image 47 obtained by combining 47c into one sheet is arranged and displayed on the monitor screen 4b. The monitor screen 4b displays date information 49 representing the shooting date and time, and position information 50 representing latitude and longitude obtained from a GPS device incorporated in the control unit 3, and moving image data. At the same time, the data is recorded on the recording medium by the recording device 33.

画像合成処理では、合成対象となる各画像相互間の境界をパターン認識で識別して適切な境界ラインでトリミングしてから結合処理することによって行われる。合成される各画像は別々のカメラによって個別に露光制御されているので境界部分で濃度差が生じやすくなるが、簡便にはそのまま結合してもよい。また、スムージング処理を行って境界部分の濃度差が目立たないようにグラデーション調整し、あるいは個々の画像の濃度を平均化して結合した画像全体の濃度を調節することも可能である。   In the image synthesis process, the boundary between the images to be synthesized is identified by pattern recognition, trimmed with an appropriate boundary line, and then combined. Since the images to be synthesized are individually controlled for exposure by separate cameras, a difference in density tends to occur at the boundary portion, but they may be simply combined as they are. It is also possible to adjust the gradation so that the density difference at the boundary portion is not noticeable by performing the smoothing process, or to adjust the density of the combined images by averaging the densities of the individual images.

上記監視カメラシステムを用い、路上を走行する特定の車両Tを監視対象として継続的に撮影を行っている間のモニタ画面4bの一例は図7に示すとおりである。図7は、遠方から車両Tを撮影しながら車両ナンバーをチェックするときの状況を示すもので、このような状況下では焦点距離が最も長い第三カメラ7の撮影距離L3に近い車間距離を維持しながら撮影が行われる。この撮影距離L3は撮影距離L1,L2よりもかなり遠距離であるから、第一カメラ5や第二カメラ6から得られる車両Tの画像サイズは図示のようにかなり小さくなり、たとえ車両Tが第一,第二カメラの被写界深度内に入っていたとしても車両ナンバーの確認までは困難である。   An example of the monitor screen 4b during the continuous shooting of a specific vehicle T traveling on the road as a monitoring target using the monitoring camera system is as shown in FIG. FIG. 7 shows the situation when the vehicle number is checked while photographing the vehicle T from a distance. Under such circumstances, the inter-vehicle distance close to the photographing distance L3 of the third camera 7 having the longest focal length is maintained. Shooting is performed. Since the shooting distance L3 is considerably longer than the shooting distances L1 and L2, the image size of the vehicle T obtained from the first camera 5 and the second camera 6 is considerably smaller as shown in FIG. Even if it is within the depth of field of the first and second cameras, it is difficult to confirm the vehicle number.

第三カメラ7の画像47は、画像サイズとしては車両ナンバーの確認も十分なものであり、そして車両Tの画像はカメラモジュール7bで撮影されたものである。カメラモジュール7bのAE制御回路21は、他のカメラやカメラモジュールとは無関係に、個別に撮影している一画面全体の平均の明るさが適正レベルとなるようにいわゆる平均測光式で露光制御を行っている。このため、その画像47b内にトンネル内部の暗部が広がってくると、画像47b全体の露光量を増やすように絞り12の開口径が大きくなるように制御される。そして、絞り12の開口径がEEPROM24の絞り値データによって制限された後はAGCアンプ13で撮像信号の増幅が行われ、画像47bが全体に明るくなるように制御される。   The image 47 of the third camera 7 has a sufficient vehicle number confirmation as the image size, and the image of the vehicle T is taken by the camera module 7b. The AE control circuit 21 of the camera module 7b performs exposure control with a so-called average photometric method so that the average brightness of the entire screen shot individually is at an appropriate level regardless of other cameras and camera modules. Is going. For this reason, when the dark part inside the tunnel spreads in the image 47b, the aperture diameter of the diaphragm 12 is controlled to be increased so as to increase the exposure amount of the entire image 47b. Then, after the aperture diameter of the diaphragm 12 is limited by the aperture value data of the EEPROM 24, the AGC amplifier 13 amplifies the imaging signal, and the image 47b is controlled to become bright as a whole.

ところが、もともと車両T自体はまだトンネルに入る手前で十分に明るい状態であるから、上記のように画像47bが全体的に明るくなるように露光調節されると車両Tが露光オーバー傾向で撮影が行われる。そして、カメラモジュール7bに使用されているイメージセンサが一般的なダイナミックレンジの狭いものであると、ナンバープレート部分が白トビしてしまい、車両ナンバーが白トビの中に埋もれて識別することができなくなることが懸念される。こうした問題は、任意にフレーミングを行うことができる一般のデジタルカメラと異なり、決められた撮影エリア内のどの位置に監視対象となる車両Tがくるか不定のまま使用される車載型あるいは固定設置型の監視カメラでは回避することが難しい。そして、このような事態は必ずしも全画面平均測光による露光制御だけでなく、画面の中央エリアだけを測光する中央スポット測光や、画面の周辺部から中央部に向かって大きくなるように重み付けして測光を行うマルチパターン式の中央重点測光でも生じる可能性が高い。   However, since the vehicle T itself is still sufficiently bright before entering the tunnel, when the exposure adjustment is performed so that the image 47b becomes entirely bright as described above, the vehicle T is photographed with an overexposure tendency. Is called. If the image sensor used in the camera module 7b has a narrow dynamic range, the license plate portion is overexposed and the vehicle number is buried in the overtone. There is concern about disappearing. Such a problem is different from a general digital camera that can perform framing arbitrarily, and is in-vehicle type or fixed installation type that is used indefinitely in which position in a predetermined shooting area the vehicle T to be monitored comes. It is difficult to avoid with the surveillance camera. This situation is not necessarily limited to exposure control based on full-screen average metering, but center spot metering for metering only the center area of the screen, or metering by weighting from the periphery to the center of the screen. This is likely to occur even with multi-pattern center-weighted metering.

ところが、カメラモジュール7bには図6(B)に示すようにダイナミックレンジが広い光電変換特性をもつイメージセンサ10aが用いられているため、平均測光により画像47b全体が明るくなるように露光制御が行われたとしても、ナンバープレートが白トビすることがなく車両ナンバーも十分に視認できる状態で撮影することができる。また、車両Tがトンネル内に入ったときには、カメラモジュール7bの露光制御により画像47b全体が明るくなるように撮影されるから、車両ナンバーはより観察しやすい明るさで撮影されることになる。逆に、トンネルから車両が出るときには、トンネル外の明るい背景の影響を受けて画像47bが全体的に暗くなるような露光制御が行われ、ナンバープレートが暗く撮影されることになるが、ダイナミックレンジが広いイメージセンサ10bで撮影が行われるため、車両ナンバーがナンパープレートとともに黒ツブレ状態で撮影されることもない。   However, since the camera module 7b uses an image sensor 10a having a photoelectric conversion characteristic with a wide dynamic range as shown in FIG. 6B, exposure control is performed so that the entire image 47b is brightened by average photometry. Even if it is broken, it is possible to take a picture in a state in which the license plate is not overexposed and the vehicle number is sufficiently visible. Further, when the vehicle T enters the tunnel, the entire image 47b is photographed by the exposure control of the camera module 7b, so that the vehicle number is photographed with a brightness that is easier to observe. Conversely, when the vehicle exits from the tunnel, exposure control is performed so that the image 47b becomes dark as a whole due to the influence of a bright background outside the tunnel, and the license plate is photographed darkly. Since the image is taken by the wide image sensor 10b, the vehicle number is not taken together with the picker plate in a black blurred state.

なお、カメラモジュール7bで撮影される画像47b自体が広ダイナミックレンジで撮影された場合でも、モニタ4bの表示ダイナミックレンジが狭いものであると、モニタ画面内でナンバープレートが白トビや黒ツブレの状態で表示されることもあり得る。しかし、画像47b自体が広ダイナミックレンジで撮影されているため画像データが部分的に失われることがないため、例えばモニタ4bの明るさ調節を行うことによって、容易に車両ナンバーを確認することができる。さらに、夕暮れや夜間の撮影時には、対向車のヘッドライト、街路灯や商店街からの照明などが監視対象となっている自動車の周囲の明るさを大きく変化させることが懸念されるが、上記構成によればその影響も少なからず低減させることができるようになる。また、本発明の監視カメラシステムは、車載型に限らず固定設置型の監視カメラにも等しく適用することができる。   Even when the image 47b itself captured by the camera module 7b is captured with a wide dynamic range, the license plate is in a state where the license plate is white or black when the display dynamic range of the monitor 4b is narrow. May also be displayed. However, since the image 47b itself is taken with a wide dynamic range, the image data is not partially lost. For example, the vehicle number can be easily confirmed by adjusting the brightness of the monitor 4b. . In addition, when shooting at dusk or at night, there is a concern that the headlights of oncoming cars, street lights, lighting from shopping streets, etc. may greatly change the brightness around the car being monitored. According to the method, the influence can be reduced. The surveillance camera system of the present invention is equally applicable not only to a vehicle-mounted type but also to a fixed installation type surveillance camera.

以上、図示した実施形態をもとに本発明について説明してきたが、エリア監視カメラに用いられている撮影レンズの焦点距離や画角、最適撮影距離、絞り値などの具体的な値はあくまで例示的に挙げたもので、監視カメラシステムの用途や使用形態に応じてこれらは適宜に変更してもよい。   As described above, the present invention has been described based on the illustrated embodiment, but specific values such as the focal length, the angle of view, the optimum shooting distance, and the aperture value of the shooting lens used in the area monitoring camera are merely examples. However, these may be appropriately changed according to the use and usage of the surveillance camera system.

本発明を用いた監視カメラシステムの外観図である。1 is an external view of a surveillance camera system using the present invention. 各カメラの画角及び撮影エリアを示す説明図である。It is explanatory drawing which shows the angle of view and imaging | photography area of each camera. 監視カメラシステムの電気的構成の概略を示すブロック図である。It is a block diagram which shows the outline of an electrical structure of the surveillance camera system. 広ダイナミックレンジのイメージセンサを示す概念図である。It is a conceptual diagram which shows the image sensor of a wide dynamic range. 狭ダイナミックレンジのイメージセンサを用いた場合の信号変換特性を示すグラフである。It is a graph which shows the signal conversion characteristic at the time of using the image sensor of a narrow dynamic range. 広ダイナミックレンジのイメージセンサを用いた場合の信号変換特性を示すグラフである。It is a graph which shows the signal conversion characteristic at the time of using the image sensor of a wide dynamic range. 車両を監視対象としたときの撮影画像の一例を示す説明図である。It is explanatory drawing which shows an example of the picked-up image when a vehicle is made into the monitoring object.

符号の説明Explanation of symbols

2 撮影ユニット
3 制御ユニット
4 パソコン
4a モニタ
4b モニタ画面
5 第一カメラ
6a,6b カメラモジュール(第二カメラ)
7a,7b,7c カメラモジュール(第三カメラ)
2 photographing unit 3 control unit 4 personal computer 4a monitor 4b monitor screen 5 first camera 6a, 6b camera module (second camera)
7a, 7b, 7c Camera module (third camera)

Claims (5)

結像された被写体像を光電変換するイメージセンサを備え、互いに焦点距離が異なる複数種類のカメラを用い、前記各々のカメラの最適撮影距離を焦点距離が長いカメラほど遠距離側に設定してほぼ共通の撮影エリアをそれぞれ個別の自動露光制御のもとで撮影する監視カメラシステムにおいて、
前記複数種類のカメラのうち最も焦点距離が長いカメラを焦点距離が等しい複数のカメラモジュールで構成し、このカメラモジュールの台数に応じて前記撮影エリアを複数の区画エリアに分割して分割された各々の区画エリアを前記カメラモジュールで個別に撮影するとともに、前記カメラモジュールのいずれかに他のカメラモジュールよりも光電変換特性のダイナミックレンジを広くしたイメージセンサを用いることを特徴とする監視カメラシステム。
It is equipped with an image sensor that photoelectrically converts the formed subject image, using multiple types of cameras with different focal lengths, and setting the optimum shooting distance of each of the cameras to a longer distance side as the camera has a longer focal length. In a surveillance camera system that shoots a common shooting area under individual automatic exposure control,
The camera having the longest focal length among the plurality of types of cameras is constituted by a plurality of camera modules having the same focal length, and the shooting area is divided into a plurality of divided areas according to the number of the camera modules. A surveillance camera system characterized in that an image sensor having a wider dynamic range of photoelectric conversion characteristics than any of the other camera modules is used for any one of the camera modules.
前記複数の区画エリアは水平方向に長い撮影エリアを水平方向に三等分して設定され、その中央の区画エリアを撮影するカメラモジュールに前記ダイナミックレンジが広いイメージセンサを用いたことを特徴とする請求項1記載の監視カメラシステム。   The plurality of divided areas are set by horizontally dividing a long shooting area into three equal parts in the horizontal direction, and the image sensor having a wide dynamic range is used for a camera module for shooting the central divided area. The surveillance camera system according to claim 1. 撮影エリアが水平方向に長く設定され、前記互いに焦点距離が異なる複数種類のカメラが、最適撮影距離が近距離に設定された一台の広角カメラと、最適撮影距離が中距離に設定された標準カメラと、最適撮影距離が遠距離に設定された望遠カメラとからなり、前記標準カメラはその撮影エリアを水平方向に二等分した区画エリアを個別に撮影する二台の標準カメラモジュールで構成され、前記望遠カメラはその撮影エリアを水平方向に三等分した区画エリアを個別に撮影する三台の望遠カメラモジュールで構成されるとともに、三等分された区画エリアのうち中央の区画エリアを撮影する望遠カメラモジュールに広いダイナミックレンジをもつイメージセンサを用いたことを特徴とする請求項1記載の監視カメラシステム。   Multiple types of cameras with a long shooting area in the horizontal direction and different focal lengths, one wide-angle camera with the optimal shooting distance set to a short distance, and a standard with the optimal shooting distance set to a medium distance The standard camera is composed of two standard camera modules that individually shoot a section area that is divided into two equal parts in the horizontal direction. The telephoto camera is composed of three telephoto camera modules that individually shoot the divided areas obtained by dividing the shooting area into three equal parts in the horizontal direction, and also shoots the central divided area among the three divided divided areas. 2. The surveillance camera system according to claim 1, wherein an image sensor having a wide dynamic range is used for the telephoto camera module. 前記自動露光制御は、それぞれのイメージセンサからの撮像信号を利用した平均測光に基づいて行われることを特徴とする請求項1〜3のいずれか記載の監視カメラシステム。   The surveillance camera system according to claim 1, wherein the automatic exposure control is performed based on average photometry using an imaging signal from each image sensor. 道路上を走行する自動車の交通監視装置として車載型で用いられることを特徴とする請求項1〜4のいずれか記載の監視カメラシステム。
The surveillance camera system according to any one of claims 1 to 4, wherein the surveillance camera system is used in a vehicle as a traffic monitoring device for an automobile traveling on a road.
JP2006329814A 2006-12-06 2006-12-06 Surveillance camera system Active JP4289629B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006329814A JP4289629B2 (en) 2006-12-06 2006-12-06 Surveillance camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006329814A JP4289629B2 (en) 2006-12-06 2006-12-06 Surveillance camera system

Publications (2)

Publication Number Publication Date
JP2008147777A JP2008147777A (en) 2008-06-26
JP4289629B2 true JP4289629B2 (en) 2009-07-01

Family

ID=39607500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006329814A Active JP4289629B2 (en) 2006-12-06 2006-12-06 Surveillance camera system

Country Status (1)

Country Link
JP (1) JP4289629B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926179B1 (en) * 2009-03-10 2009-11-10 은강정보통신(주) Unmanned system for preventing crimes
US8754977B2 (en) 2011-07-28 2014-06-17 Hewlett-Packard Development Company, L.P. Second camera for finding focal target in poorly exposed region of frame taken by first camera
JP6124684B2 (en) * 2013-05-24 2017-05-10 キヤノン株式会社 Imaging device, control method thereof, and control program
KR101849777B1 (en) * 2016-11-08 2018-04-17 주식회사 오성이노베이션 A Camera Module
JP7278096B2 (en) * 2019-02-20 2023-05-19 キヤノン株式会社 Image processing device, image processing method, and program
CN110781860B (en) * 2019-11-05 2024-01-19 大连海事大学 Intelligent oil spill monitoring alarm system and method for offshore oil platform

Also Published As

Publication number Publication date
JP2008147777A (en) 2008-06-26

Similar Documents

Publication Publication Date Title
JP4214160B2 (en) Surveillance camera system
JP4706466B2 (en) Imaging device
JP4823743B2 (en) Imaging apparatus and imaging method
US7877004B2 (en) Imaging apparatus and imaging method
JP4289629B2 (en) Surveillance camera system
US20110019028A1 (en) Image capturing apparatus and image processing method
JP5086270B2 (en) Imaging system with adjustable optics
JP4089911B2 (en) Image input device
JP2013106113A (en) Imaging apparatus
KR20140032318A (en) Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
JP2007027967A (en) Photographing apparatus
JP2006310969A (en) Imaging apparatus
JP4614143B2 (en) Imaging apparatus and program thereof
JP2006311031A (en) Imaging apparatus for moving body
US10944929B2 (en) Imaging apparatus and imaging method
JP2006030713A (en) Display apparatus
JP5316923B2 (en) Imaging apparatus and program thereof
JP2020091453A (en) Control device, image capturing apparatus and control method thereof
JP2017073622A (en) Imaging apparatus
JP6752729B2 (en) Drive recorder device
JP5230362B2 (en) Wide dynamic range imaging device
JP4938989B2 (en) Electronic camera
JP2002268116A (en) Automatic exposure controller and external storage medium stored with program thereof
JP2006005621A (en) Imaging device
JP2006197099A (en) Camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090311

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090327

R150 Certificate of patent or registration of utility model

Ref document number: 4289629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250