WO2022181278A1 - 撮像装置、監視システム - Google Patents

撮像装置、監視システム Download PDF

Info

Publication number
WO2022181278A1
WO2022181278A1 PCT/JP2022/004174 JP2022004174W WO2022181278A1 WO 2022181278 A1 WO2022181278 A1 WO 2022181278A1 JP 2022004174 W JP2022004174 W JP 2022004174W WO 2022181278 A1 WO2022181278 A1 WO 2022181278A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure time
mode
value
pixel region
variance
Prior art date
Application number
PCT/JP2022/004174
Other languages
English (en)
French (fr)
Inventor
愛彦 沼田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2022181278A1 publication Critical patent/WO2022181278A1/ja
Priority to US18/455,226 priority Critical patent/US20230403473A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to imaging devices and monitoring systems.
  • the problem to be solved by the present invention is to improve the accuracy of focus adjustment in an imaging device using an imaging element capable of controlling exposure for each area of an imaging surface.
  • An imaging device is an imaging device that includes a solid-state imaging device capable of controlling exposure time for each region, and has a shooting mode for acquiring a captured image with high visibility and an image captured within an evaluation frame. Equipped with an autofocus mode that adjusts the focus position of the imaging optical system using the contrast evaluation value.
  • the exposure time is set so as to be smaller than the dispersion value of the set value of the exposure time.
  • FIG. 1 is a diagram showing an imaging device according to a first embodiment
  • FIG. FIG. 5 is a diagram showing information acquired by preliminary imaging
  • FIG. 5 is a diagram showing information acquired by preliminary imaging
  • FIG. 4 is a diagram showing areas in an image in shooting mode
  • FIG. 4 is a diagram showing contrast evaluation values in shooting mode
  • FIG. 4 is a diagram showing areas in an image in AF mode
  • FIG. 5 is a diagram showing contrast evaluation values in AF mode
  • 4A and 4B are diagrams for explaining exposure conditions in a shooting mode and an AF mode
  • FIG. 4 is a flowchart for explaining switching between shooting mode and AF mode
  • FIG. 10 is a diagram showing contrast evaluation values of the entire AF frame in the sparse adjustment AF mode
  • FIG. 10 is a diagram showing the contrast evaluation value of the entire AF frame in the fine adjustment AF mode
  • FIG. 10 is a diagram showing the contrast evaluation value of the entire AF frame in the fine adjustment AF mode
  • FIG. 1 shows an imaging device 100 according to this embodiment and a monitoring system using the same.
  • the imaging apparatus 100 includes an imaging optical system 110 having a focus control mechanism (focus control unit) 111 capable of changing the focus position, and a solid-state imaging device 120 capable of controlling exposure conditions for each area.
  • a control unit 130 for controlling the operation of the solid-state imaging device 120 and a transfer unit 140 for transferring an image signal processed by the control unit 130 to the outside are provided.
  • the transfer unit 140 is connected to an external client device 150 via a wired or wireless network.
  • the external client device transmits control commands such as shooting mode change and autofocus evaluation frame (hereinafter referred to as AF evaluation frame) setting to the transfer unit 140 via the network.
  • AF evaluation frame autofocus evaluation frame
  • the imaging device 100 transmits a response to the command to the client device.
  • a client device is, for example, an external device such as a PC. Further, the configuration may be such that power is supplied to the imaging device 100 via a network.
  • the control unit 130 has a region-specific correction unit 131 , a development processing unit 132 , a contrast evaluation value acquisition unit 133 , a brightness information generation unit 134 and an exposure condition determination unit 135 .
  • FIG. 1 shows an example in which the control unit 130 is provided separately from the solid-state imaging device 120, part or all of the functions of the control unit may be included in the solid-state imaging device 120. may be
  • the region-by-region correction unit 131 generates a main image that has undergone region-by-region correction based on the region-by-region imaging data with different exposure conditions acquired by the solid-state imaging device 120 .
  • the development processing unit 132 performs development processing such as white balance, debayer, noise reduction, sharpness, and gamma correction on the main image that has been corrected for each area. It should be noted that the image signal may be transferred to the client device without performing the correction by the region-by-area correction 131 or the development processing by the development processing unit 132 .
  • the contrast evaluation value acquisition unit 133 obtains the contrast within the AF evaluation frame (predetermined region) from the main image generated by the region-based correction unit 131. Get the rating value.
  • a generally used evaluation value may be used as the contrast evaluation value, for example, the ratio of the maximum luminance to the minimum luminance within the AF evaluation frame may be used.
  • the contrast evaluation value acquisition unit 133 is not used when the imaging apparatus 100 is in the shooting mode.
  • the luminance information generation unit 134 receives the main image received from the region-based correction unit 131 and generates luminance information.
  • FIG. 2A and FIG. 2B show examples of captured images and luminance information.
  • FIG. 2A is a photographed main image, which is an image with a large luminance difference, which is a photograph of a car with its headlights turned on at night.
  • FIG. 2B shows luminance information generated by the luminance information generator 134.
  • FIGS. 2A and 2B show an example in which the area is divided into 6 horizontal areas and 4 vertical areas, but the number of divided areas is set arbitrarily according to the number of divided pixel areas on the imaging surface of the solid-state imaging device 120. You may Similarly, FIGS. 2A and 2B show examples in which brightness information is divided into three levels according to the brightness value of each region, but the number of levels can be set arbitrarily. As can be seen from FIG. 2B, the brightness information indicates that the vehicle body is dark and the area illuminated by the headlights is bright.
  • the exposure condition determining unit 135 determines exposure conditions for each region from the luminance information generated by the luminance information generating unit 134.
  • the imaging apparatus according to the present embodiment is configured such that the variance of the exposure time setting values among a plurality of areas within the AF evaluation frame in the AF mode is smaller than the variance of the exposure time setting values in the shooting mode. Then, the exposure conditions for each area are determined. Thereby, the accuracy of AF can be improved. A comparison with the conventional method is given below.
  • FIG. 3A is an image obtained by photographing each region with proper exposure based on the luminance information obtained in FIG. 2B.
  • An area 161 is photographed with a short exposure time because it includes headlights, and an area 162 is photographed with a long exposure time because it does not include headlights. Therefore, the SN ratio in the region 161 is degraded even though the luminance values of the region 161 other than the headlights (body portion) and the region 162 of the vehicle body are approximately the same.
  • FIG. 3B shows changes in the contrast evaluation value of the area 161 and the contrast evaluation value of the area 162 when the focus lens in the imaging optical system 110 is wobbling-driven.
  • the change in the contrast evaluation value due to the position change of the focus lens is small.
  • the contrast evaluation value changes in a different manner for each region, it becomes difficult to accurately detect the peak of the contrast evaluation value, and the accuracy of autofocus is lowered.
  • FIG. 4A shows the case where the difference in exposure time settings between multiple regions is zero, that is, the same exposure time is applied to all regions.
  • Region 161 includes headlights and region 162 does not, but was photographed with the same exposure time in FIG. 4A. Therefore, the S/N ratio of the area 161 other than the headlight (vehicle portion) and the area 162 of the vehicle body are approximately the same.
  • FIG. 4B shows changes in the contrast evaluation value of the area 161 and the contrast evaluation value of the area 162 when the focus lens in the imaging optical system 110 is wobbling-driven.
  • the change in the contrast evaluation value due to the change of the focus lens is also approximately the same.
  • an exposure time such that the variance of the exposure time setting values among a plurality of areas within the AF evaluation frame in the AF mode is smaller than the variance value of the exposure time setting values in the shooting mode. should be set.
  • a more accurate contrast evaluation value can be obtained in the AF mode than in the shooting mode.
  • the greater the difference in exposure time between regions the greater the difference in SN ratio. Therefore, it is most preferable to set the same exposure time for all regions within the AF evaluation frame in AF mode.
  • the set value of the exposure time is the set value of the exposure time defined by the so-called TV value.
  • the set value of the exposure time is different by 1.
  • the variance value of the set value of the exposure time is the variance value of the TV value when the exposure time of each region is represented by the TV value.
  • the solid-state imaging device 120 a solid-state imaging device that can change not only the exposure time but also the readout gain can be used. In this case, it is preferable to change not only the exposure time but also the analog gain at the time of reading between the photographing mode and the AF mode.
  • the variance of the analog gain setting values among a plurality of areas within the AF evaluation frame in the AF mode is greater than the variance of the analog gain setting values in the shooting mode.
  • the exposure time should be set so that the Thus, by changing the analog gain between the shooting mode and the AF mode, it is possible to achieve both the visibility of the captured image in the shooting mode and the AF accuracy in the AF mode. As in the case of exposure time, the greater the difference in analog gain between regions, the greater the difference in SN ratio. , most preferred.
  • the analog gain setting value here is a so-called SV value, and means that the analog gain setting value differs by 1 when the analog gain differs by a factor of 2 or 1/2. Therefore, the variance of the set value of the analog gain is the variance of the SV value when the analog gain of each region is represented by the SV value.
  • both the exposure time and the analog gain may be changed.
  • the variance value of the sum of the TV values and SV values among the plurality of regions within the AF evaluation frame in the AF mode is smaller than the variance value of the sum of the TV values and SV values in the shooting mode.
  • Such exposure time and gain may be set. With such a setting, it is possible to achieve both the visibility of the captured image in the shooting mode and the AF accuracy in the AF mode.
  • the distribution of exposure time and analog gain may be changed.
  • the change in the SN ratio caused by changing the TV value by one step is greater than the change in the SN ratio caused by changing the SV value by one step. Greater than change. Therefore, set the exposure time and gain so that the difference value obtained by subtracting the SV value from the TV value within the AF evaluation frame in the AF mode is smaller than the difference value obtained by subtracting the SV value from the TV value in the shooting mode. do it.
  • FIG. 5 shows examples of exposure time setting values (TV values) and analog gain setting values (SV values) in areas 161 and 162 .
  • the brightnesses of the regions 161 and 162 are EV value 4 and EV value 0, respectively.
  • step S11 preliminary photography is performed to determine exposure conditions for each area.
  • step S12 luminance information is generated in the luminance information generator.
  • step S13 it is determined whether the mode is the AF mode. If it is the AF mode, the process proceeds to S14, and if it is the imaging mode, the process proceeds to S17.
  • step S14 multiple areas within the AF evaluation frame are photographed with the same exposure time set, and in step S15, a contrast evaluation value is obtained from the photographed image.
  • step S14 and S15 are repeated while wobbling-driving the focus lens in the imaging optical system, and when the position of the focus lens at which the contrast evaluation value peaks is found (step S16), the focus lens is fixed at that position. Move to S17.
  • step S17 luminance information is generated in the luminance information generation unit from the captured image acquired in the last frame before fixing the focus lens.
  • step S18 each area is photographed with appropriate exposure using the luminance information generated in step S12 or step S17.
  • An imaging apparatus 200 has a coarse adjustment autofocus mode (coarse adjustment AF mode) and a fine adjustment autofocus mode (fine adjustment AF mode) as autofocus modes. After performing AF using the coarse adjustment AF mode, AF is performed using the fine adjustment AF mode to obtain the final best focus position.
  • the exposure is such that the variance of the exposure time setting values among a plurality of areas within the AF evaluation frame in the AF mode is smaller than the variance value of the exposure time setting values in the shooting mode. setting the time.
  • the variance of the exposure time setting values among a plurality of areas within the AF evaluation frame in the AF mode is greater than or equal to the variance value of the exposure time setting values in the shooting mode good.
  • the exposure time setting values for all areas within the AF evaluation frame in the coarse adjustment AF mode are equal to the exposure time setting values in the shooting mode.
  • the fine adjustment AF mode the case where the set value of the exposure time for all areas in the AF evaluation frame in the fine adjustment AF mode is the same will be described as an example.
  • FIG. 7A shows changes in the contrast evaluation value of the entire AF frame when shooting in the shooting mode of the imaging device 200 and under the exposure conditions in the coarse adjustment AF mode.
  • FIG. 7B shows changes in the contrast evaluation value of the entire AF frame when photographing is performed under the exposure conditions in the fine adjustment AF mode of the imaging apparatus 200 .
  • the area 161 and the area 162 are photographed with different exposure times, so the decrease in the contrast evaluation value when the best focus position is shifted is small. Therefore, considering noise when obtaining the contrast evaluation value, an error 163 occurs with respect to the best focus position when AF is performed using the evaluation value of FIG. 7A. However, since the region 161 and the region 162 are photographed with different exposure times, the visibility of the photographed image is high.
  • the sparse adjustment AF mode in which the visibility of the captured image is high is used to adjust the focus position within an error of 163 while suppressing the deterioration of the visibility of the captured image.
  • the fine adjustment AF mode in which a highly accurate contrast evaluation value can be obtained the focus position is reduced to an error of 164 or less.
  • the visibility of the captured image is lowered compared to the case where autofocus is performed only in the fine adjustment AF mode as in the imaging apparatus of the first embodiment.
  • High-precision AF can be realized while suppressing the time required for the adjustment.
  • An imaging apparatus 300 according to the third embodiment shown in FIG. 8 differs from the imaging apparatus 100 according to the first embodiment in that the development processing unit 132 performs gradation compression of the main image. Specifically, gradation compression is applied more strongly when shooting in the shooting mode than when shooting in the AF mode. Gradation compression may be performed using a so-called gamma curve, or linear compression such as deleting lower bits may be used.
  • the dynamic range of the main image corrected by the region-specific correction unit 131 is wider in the shooting mode than in the AF mode. That is, when the gradation compression is not performed, the amount of data of the main image in shooting mode is larger than the amount of data of the main image in AF mode.
  • the amount of data that can be transferred to the external client device 150 via the transfer unit 140 per unit time is limited by the network bandwidth between the transfer unit 140 and the external client device 150. Therefore, in order to transfer the same amount of data per unit time, it is necessary to compress the gradation of the main image in shooting mode more strongly than the gradation of the main image in AF mode.
  • the imaging apparatus 300 applies more gradation compression when shooting in the shooting mode than when shooting in the AF mode, thereby reducing the data amount of the main image in the shooting mode. , the data amount of the main image in the AF mode. As a result, latency during network transfer can be reduced, which is preferable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

領域ごとに露光時間を制御できる固体撮像素子を備えた撮像装置であって、視認性の高い撮影画像を取得する撮影モードと、評価枠内で取得したコントラスト評価値を用いて結像光学系のピント位置の調整を行うオートフォーカスモードを備え、オートフォーカスモードの評価枠内における、複数の領域間の露光時間の設定値の分散値が、撮影モードの露光時間の設定値の分散値よりも小さくなるような露光時間を設定することを特徴とする撮像装置。

Description

撮像装置、監視システム
　本発明は、撮像装置、監視システムに関する。
　従来より、撮像面を複数の領域に分割し、その領域ごとに蓄積時間や読出し時のゲインなどの露光条件を制御できる固体撮像素子を備えた撮像装置が知られている（特許文献１参照）。
特開２０１０－１３６２０５
　本発明が解決しようとする課題は、撮像面の領域ごとに露出を制御可能な撮像素子を用いた撮像装置において、焦点調節の精度を向上させることである。
　本発明の一態様に係る撮像装置は、領域ごとに露光時間を制御できる固体撮像素子を備えた撮像装置であって、視認性の高い撮影画像を取得する撮影モードと、評価枠内で取得したコントラスト評価値を用いて結像光学系のピント位置の調整を行うオートフォーカスモードを備え、オートフォーカスモードの評価枠内における、複数の領域間の露光時間の設定値の分散値が、撮影モードの露光時間の設定値の分散値よりも小さくなるような露光時間を設定することを特徴とする。
　撮像面の領域ごとに露出を制御可能な撮像素子を用いた撮像装置において、焦点調節の精度を向上させることができる。
第１の実施形態における撮像装置を示す図。 予備撮影により取得した情報を示す図。 予備撮影により取得した情報を示す図。 撮影モード時の画像における領域を示す図。 撮影モード時のコントラスト評価値を示す図。 ＡＦモード時の画像における領域を示す図。 ＡＦモード時のコントラスト評価値を示す図。 撮影モード、ＡＦモードの露出条件を説明する図。 撮影モード、ＡＦモードの切り替えを説明するフローチャート。 疎調整ＡＦモード時のＡＦ枠全体のコントラスト評価値を示す図。 微調整ＡＦモード時のＡＦ枠全体のコントラスト評価値を示す図。
　以下、図を用いて、本実施形態における撮像装置について説明する。その際、図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
　（第１の実施形態）
　本実施形態における撮像装置１００、およびそれを用いた監視システムを図１に示す。撮像装置１００は、ピント位置を変更可能なフォーカス制御機構（フォーカス制御部）１１１を備えた結像光学系１１０、領域ごとに露光条件を制御できる固体撮像素子１２０を備える。そして、固体撮像素子１２０の動作を制御する制御部１３０、制御部１３０で処理された画像信号を外部へ転送する転送部１４０を備える。
　転送部１４０は、有線または無線などのネットワークを介して、外部のクライアント装置１５０に接続されている。外部のクライアント装置は、撮影モード変更や、オートフォーカス評価枠（以下、ＡＦ評価枠）設定などの制御コマンドを、ネットワークを介して転送部１４０に送信する。それを受け、撮像装置１００は、コマンドに対するレスポンスをクライアント装置に送信する。クライアント装置は例えばＰＣなどの外部機器である。また、ネットワークを介して撮像装置１００に電源を供給する構成となっていても良い。
　制御部１３０は、領域別補正部１３１、現像処理部１３２、コントラスト評価値取得部１３３、輝度情報生成部１３４、露光条件決定部１３５を有する。なお、図１では、制御部１３０がすべて固体撮像素子１２０とは別に設けられている例を示したが、制御部の一部の機能、またはすべての機能が、固体撮像素子１２０内に含まれていてもよい。
　領域別補正部１３１は、固体撮像素子１２０で取得した露光条件の異なる領域別の撮像データから、領域別の露光条件に基づき、領域別の補正を行った本画像を生成する。現像処理部１３２は、領域別の補正を行った本画像に対して、ホワイトバランス、ディベイヤー、ノイズリダクション、シャープネス、ガンマ補正などの現像処理を行う。なお、領域別補正１３１での補正や、現像処理部１３２での現像処理を行わずに、画像信号をクライアント装置に転送する構成としてもよい。
　撮像装置１００がオートフォーカスモード（以下、ＡＦモード）の場合には、コントラスト評価値取得部１３３は、領域別補正部１３１で生成された本画像から、ＡＦ評価枠（所定の領域）内のコントラスト評価値を取得する。コントラスト評価値は、一般的に使用されている評価値を使用すればよく、例えばＡＦ評価枠内の最大輝度と最小輝度の比を用いればよい。撮像装置１００が撮影モードの場合には、コントラスト評価値取得部１３３は使用しない。
　輝度情報生成部１３４は、領域別補正部１３１から受け取った本画像を入力として、輝度情報を生成する。図２Ａ、図２Ｂに、撮影された本画像と、輝度情報の例を示した。図２Ａは撮影された本画像であり、夜間にヘッドライトを点灯させた車を撮影している、輝度差の大きな画像である。図２Ｂは、輝度情報生成部１３４によって、生成された輝度情報である。
　図２Ａ、図２Ｂでは、領域を横６・縦４の領域に分けた例を示したが、領域の分割数は固体撮像素子１２０の撮像面における画素領域の分割数に応じて、任意に設定してもよい。同様に、図２Ａ、図２Ｂでは、輝度情報として、各々の領域の輝度値に応じて３段階にレベル分けした例を示したが、レベル分けの数も任意に設定することができる。図２Ｂよりわかるように、輝度情報は、車体部分は暗く、ヘッドライトで照らされている領域は明るくなっている。
　露光条件決定部１３５は、輝度情報生成部１３４で生成した輝度情報から、各領域の露光条件を決定する。本実施形態の撮像装置は、ＡＦモード時のＡＦ評価枠内における、複数の領域間の露光時間の設定値の分散値が、撮影モード時の露光時間の設定値の分散値よりも小さくなるように、各領域の露光条件を決定している。これにより、ＡＦの精度を向上させることができる。以下で、従来の方法と比較して説明を行う。
　従来の撮像装置では、ＡＦモード時も、撮影モード時と同様に各領域の露光条件を決定していた。具体的には、各々の領域が適正露出で撮影できるように、輝度情報が明るい領域は短い露光時間を適用し、輝度情報が暗い領域は長い露光時間を適用していた。図３Ａは、図２Ｂで求めた輝度情報をもとに、各々の領域を適正露出で撮影した画像である。
　ここで、図３Ａの領域１６１と領域１６２に注目する。領域１６１にはヘッドライドが含まれているため短い露光時間で、領域１６２にはヘッドライトが含まれていないため長い露光時間で、各々撮影されている。従って、領域１６１のうち、ヘッドライト以外の部分（車体部分）と、領域１６２の車体部分では、輝度値が概略等しいにもかかわらず、領域１６１内のＳＮ比が悪くなってしまう。
　図３Ｂに、結像光学系１１０の中のフォーカスレンズをウォブリング駆動した際の、領域１６１のコントラスト評価値と、領域１６２のコントラスト評価値の変化を示した。図３Ｂより分かるように、領域１６１の方が領域１６２よりもＳＮ比が悪いため、フォーカスレンズの位置変化によるコントラスト評価値の変化が小さい。このように、領域毎に、コントラスト評価値の変化の仕方が異なるため、コントラスト評価値のピークを精度良く検出するのが困難になってしまい、オートフォーカスの精度が低下してしまう。
　本実施形態では、撮影モード時には図４Ａと同じ露光条件で撮影する。一方、ＡＦモード時には、複数の領域間の露光時間の設定値の差が、撮影モード時の露光時間の設定値の差よりも小さくなるように、各領域の露光条件を決定する。図４Ａは、複数の領域間の露光時間の設定値の差がゼロ、すなわちすべての領域で同じ露光時間を適用した場合を示した。
　図４Ａの領域１６１と領域１６２に注目する。領域１６１にはヘッドライドが含まれており、領域１６２にはヘッドライトが含まれていないが、図４Ａでは同じ露光時間で撮影されている。そのため、領域１６１のうち、ヘッドライト以外の部分（車体部分）と、領域１６２の車体部分のＳＮ比は同程度である。
　図４Ｂに、結像光学系１１０の中のフォーカスレンズをウォブリング駆動した際の、領域１６１のコントラスト評価値と、領域１６２のコントラスト評価値の変化を示した。図４Ｂより分かるように、領域１６１と領域１６２よりのＳＮ比が同程度であるため、フォーカスレンズの変化によるコントラスト評価値の変化も同程度である。このように、領域１６１と領域１６２を同じ露光時間で撮影することで、従来の撮像装置よりも、オートフォーカスの精度を向上させることができる。
　ここで、図３Ａと図４Ａを改めて比較する。図３Ａは、領域１６１内のヘッドライトの領域の白トビが抑制されているため、撮影画像としての視認性は、図４Ａよりも高い。しかしながら、白トビを抑制するために、領域１６１と領域１６２で異なる露光時間を使用しているため、領域間でのＳＮ比の差異が発生し、コントラスト評価値の精度が低下してしまっている。
　一方、図４Ａは、領域１６１と領域１６２で同じ露光時間を使用しているため、領域１６１内のヘッドライトの領域は白トビしてしまい、撮影画像としての視認性は、図３Ａよりも低い。但し、領域１６１と領域１６２で同じ露光時間を使用しているため、精度の高いコントラスト評価値を取得できている。
　即ち、撮影画像の視認性が重要である撮影モードにおいては、白トビや黒ツブレを抑制可能な、図３Ａの条件で撮影を行う。一方、ＡＦの精度が重要であるＡＦモードでは、精度の高いコントラスト評価値を取得できる、図４Ａの条件で撮影を行う。このように、モードに応じて、領域毎の露光時間の設定を切り替えることで、撮影モード時の撮影画像の視認性と、ＡＦモード時のＡＦ精度の両立を実現している。
　図４Ａ、図４Ｂでは、領域１６１と領域１６２を同じ露光時間で撮影した場合を示したが、同じ露光時間でなくてもよい。具体的には、ＡＦモード時のＡＦ評価枠内における、複数の領域間の露光時間の設定値の分散値が、撮影モード時の露光時間の設定値の分散値よりも小さくなるような露光時間を設定すればよい。このような設定を用いることで、撮影モード時よりも、ＡＦモード時の方が、精度の高いコントラスト評価値を取得することができる。言い換えると、撮影モードとＡＦモードで同じ設定値を使用している従来の撮像装置よりも、ＡＦの精度を向上させることができる。但し、領域間の露光時間の差異が大きいほど、ＳＮ比の差異が大きくなるため、ＡＦモード時のＡＦ評価枠内におけるすべての領域で、同じ露光時間を設定するのが、最も好ましい。
　ここで、露光時間の設定値とは、所謂ＴＶ値で規定した露光時間の設定値であり、露光時間が２倍または２分の１倍異なる場合に、露光時間の設定値が１違う、ということを意味する。従って、露光時間の設定値の分散値とは、各々の領域の露光時間をＴＶ値で表したときの、ＴＶ値の分散値のことである。
　なお、ＡＦモード時でも、ＡＦ評価枠外においては、撮影モード時の露光時間の設定値の分散値よりも小さくなるような露光時間を使用しなくてもよい。具体的には、ＡＦモード時でも、ＡＦ評価枠外においては、撮影モード時と同様に、各々の領域を適正露出で撮影するほうが好ましい。このような設定とすることで、ＡＦモード時におけるＡＦ精度を向上させつつ、ＡＦ評価枠外の撮影画像の視認性の低下が抑制できるため、更に好ましい。
　以上では、露光時間の設定値について説明したが、固体撮像素子１２０として、露光時間のほかに、読み出しゲインも変更可能な固体撮像素子を用いることもできる。この場合、露光時間のほかに、読み出し時のアナログゲインについても、撮影モード時とＡＦモード時で変更したほうが好ましい。
　アナログゲインが大きいほどＳＮ比が大きくなるため、ＡＦモード時のＡＦ評価枠内における、複数の領域間のアナログゲインの設定値の分散値が、撮影モード時のアナログゲインの設定値の分散値よりも小さくなるような露光時間を設定すればよい。このように、アナログゲインについても、撮影モード時とＡＦモード時で変更することで、撮影モード時の撮影画像の視認性と、ＡＦモード時のＡＦ精度の両立を実現することができる。露光時間の場合と同様、領域間のアナログゲインゲインの差異が大きいほど、ＳＮ比の差異が大きくなるため、ＡＦモード時のＡＦ評価枠内における複数の領域で、同じアナログゲインを設定するのが、最も好ましい。
　なお、ここでアナログゲインの設定値とは、所謂ＳＶ値であり、アナログゲインが２倍または２分の１倍異なる場合に、アナログゲインの設定値が１違う、ということを意味する。従って、アナログゲインの設定値の分散値とは、各々の領域のアナログゲインをＳＶ値で表したときの、ＳＶ値の分散値のことである。
　また、露光時間とアナログゲインの両方を変えてもよい。具体的には、ＡＦモード時のＡＦ評価枠内における、複数の領域間のＴＶ値とＳＶ値の合計の分散値が、撮影モード時のＴＶ値とＳＶ値の合計の分散値よりも小さくなるような露光時間およびゲインを設定すればよい。このような設定とすることで、撮影モード時の撮影画像の視認性と、ＡＦモード時のＡＦ精度の両立を実現することができる。
　更に、ＴＶ値とＳＶ値の合計は同じままで、露光時間とアナログゲインの配分を変えてもよい。フォトンショットノイズよりもダークランダムノイズが小さいような一般的な撮影シーンでは、ＴＶ値を１段変化させたことによるＳＮ比の変化の方が、ＳＶ値を１段変化させたことによるＳＮ比の変化よりも大きい。そのため、ＡＦモード時のＡＦ評価枠内における、ＴＶ値からＳＶ値を引いた差分値が、撮影モード時のＴＶ値からＳＶ値を引いた差分値よりも小さくなるような露光時間およびゲインを設定すればよい。
　以上をまとめて、図５に、領域１６１、領域１６２における露光時間の設定値（ＴＶ値）と、アナログゲインの設定値（ＳＶ値）の例を示した。ここで、領域１６１と領域１６２の明るさは各々、ＥＶ値４、ＥＶ値０である場合を示している。
　図６に、撮像装置１００のフローチャートを示した。最初に、ステップＳ１１で領域毎の露光条件を決定するための予備撮影を行う。次に、ステップＳ１２で輝度情報生成部において輝度情報を生成する。続いて、ステップＳ１３でモードがＡＦモードであるかの判定を行う。ＡＦモードであればＳ１４に、撮像モードであればＳ１７に進む。
　ステップＳ１４では、ＡＦ評価枠内における複数の領域で、同じ露光時間を設定して撮影を行い、ステップＳ１５において、撮影された画像からコントラスト評価値を取得する。結像光学系の中のフォーカスレンズをウォブリング駆動しながら、Ｓ１４とＳ１５を繰り返し、コントラスト評価値がピークを取るフォーカスレンズの位置を見つけたら（ステップＳ１６）、その位置でフォーカスレンズを固定し、ステップＳ１７に移行する。
　ステップＳ１７では、フォーカスレンズを固定する前の最後のフレームで取得した撮影画像から、輝度情報生成部において輝度情報を生成する。ステップＳ１８では、ステップＳ１２またはステップＳ１７で生成した輝度情報を用いて、各々の領域を適正露出で撮影する。このように、ＡＦモードで取得した撮影画像から生成した輝度情報をもとに、撮影モードに移行する際の最初の露光時間を決定することで、撮影モードに移行する際の予備露光が不要となるため、更に好ましい。
　（第２の実施形態）
　第２の実施形態に示す撮像装置２００は、オートフォーカスモードとして、疎調整オートフォーカスモード（疎調整ＡＦモード）と微調整オートフォーカスモード（微調整ＡＦモード）を有している。そして、疎調整ＡＦモードを用いてＡＦを行った後、微調整ＡＦモードを用いてＡＦを行い、最終的なベストピント位置を求めている。
　微調整ＡＦモードでは、ＡＦモード時のＡＦ評価枠内における、複数の領域間の露光時間の設定値の分散値が、撮影モード時の露光時間の設定値の分散値よりも小さくなるような露光時間を設定している。しかし、疎調整ＡＦモードでは、ＡＦモード時のＡＦ評価枠内における、複数の領域間の露光時間の設定値の分散値が、撮影モード時の露光時間の設定値の分散値以上であってもよい。
　以下では、疎調整ＡＦモード時には、疎調整ＡＦモード時のＡＦ評価枠内における、すべての領域の露光時間の設定値が、撮影モード時の露光時間の設定値と等しくなっている場合を例にとって説明する。また、微調整ＡＦモード時には、微調整ＡＦモード時のＡＦ評価枠における、すべての領域の露光時間の設定値が、同じ場合を例にとって説明する。
　図７Ａに、撮像装置２００の撮影モード、および疎調整ＡＦモード時の露光条件で撮影した場合の、ＡＦ枠全体のコントラスト評価値の変化を示した。同様に、図７Ｂに、撮像装置２００の微調整ＡＦモード時の露光条件で撮影した場合の、ＡＦ枠全体のコントラスト評価値の変化を示した。
　図７Ａでは、領域１６１と領域１６２が異なる露光時間で撮影されているため、ベストピント位置からずれた場合のコントラスト評価値の低下が小さい。従って、コントラスト評価値を求める際のノイズを考慮すると、図７Ａの評価値を用いてＡＦを行った場合、ベストピント位置に対して誤差１６３が発生してしまう。しかし、領域１６１と領域１６２が異なる露光時間で撮影されているため、撮影画像の視認性は高い。
　一方、図７Ｂでは、領域１６１と領域１６２が同じ露光時間で撮影されているため、ベストピント位置からずれた場合のコントラスト評価値の低下が大きい。従って、図７Ｂの評価値を用いてＡＦを行った場合には、ベストピント位置に対する誤差は誤差１６４に抑えられる。しかし、領域１６１と領域１６２が同じ露光時間で撮影されているため、撮影画像の視認性は低い。
　そこで、撮像装置２００では、撮影画像の視認性が高い疎調整ＡＦモードを用いて、撮影画像の視認性の低下を抑制しつつ、誤差１６３以内までピント位置を合わせる。その後、精度の高いコントラスト評価値が得られる微調整ＡＦモードを用いて、ピント位置を誤差１６４以内まで追い込んでいる。このように、２種類のＡＦモードを順番に使用することで、第１の実施形態の撮像装置のように、微調整ＡＦモードのみでオートフォーカスを行う場合に対し、撮影画像の視認性の低下する時間を抑制しつつ、精度の高いＡＦを実現することができる。
　（第３の実施形態）
　図８に示す第３の実施形態に示す撮像装置３００は、第１の実施形態に示す撮像装置１００に対し、現像処理部１３２において本画像の階調圧縮を行っている点が異なる。具体的には、撮影モードで撮影している時の方が、ＡＦモードで撮影している時よりも、階調圧縮を強くかけている。なお、階調圧縮はいわゆるガンマカーブを用いて圧縮してもよいし、下位ビットを削除するなどの線形圧縮を使用してもよい。
　前述したように、ＡＦモードで撮影しているときは、精度の高いコントラスト評価値を取得するために、ある程度の白トビや黒ツブレを許容して撮影している。一方で、撮影モードで撮影している時には、白トビや黒ツブレを抑制して撮影画像の視認性を向上させるために、各々の領域を適正露出で撮影している。そのため、領域別補正部１３１によって補正された本画像のダイナミックレンジは、撮影モードの方がＡＦモードよりも広くなっている。即ち、階調圧縮を行わなかった場合には、撮影モードの本画像のデータ量の方が、ＡＦモードの本画像のデータ量よりも大きい。
　一般に、転送部１４０を介して外部のクライアント装置１５０に転送可能な単位時間当たりのデータ量は、転送部１４０と外部のクライアント装置１５０の間のネットワーク帯域によって制限される。そのため、単位時間あたりに同じデータ量を転送するためには、撮影モードの本画像の階調を、ＡＦモードの本画像の階調よりも強く圧縮する必要がある。
　このように、撮像装置３００では、撮影モードで撮影している時の方が、ＡＦモードで撮影している時よりも、階調圧縮を強くかけることで、撮影モードの本画像のデータ量を、ＡＦモードの本画像のデータ量と同程度にすることができる。その結果、ネットワーク転送時のレイテンシを削減できるため、好ましい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　この出願は２０２１年２月２５日に出願された日本国特許出願第２０２１－０２８７１２からの優先権を主張するものであり、その内容を引用してこの出願の一部とするものである。

Claims (15)

  1. 　撮像面上の画素領域ごとに露光時間を制御可能な固体撮像素子を備えた撮像装置であって、
    　視認性の高い撮影画像を取得する撮影モードと、前記固体撮像素子が撮像した画像における所定の領域内のコントラスト評価値に基づいて、結像光学系のピント位置を調整して撮影画像を取得するオートフォーカスモードとを備え、
    　前記オートフォーカスモードにおける前記所定の領域内に対応する、前記画素領域ごとの露光時間の設定値の分散値が、前記撮影モードにおける前記画素領域ごとの露光時間の設定値の分散値よりも小さくなるように前記画素領域ごとの露光時間を決定する露光条件決定部を備えることを特徴とする撮像装置。
  2. 　前記露光条件決定部は、前記オートフォーカスモードにおける前記所定の領域に対応する前記画素領域に対して一律な露光時間を決定する
    　ことを特徴とする請求項１に記載の撮像装置。
  3. 　前記露光条件決定部は、前記オートフォーカスモードにおける前記所定の領域外の領域に対応する前記画素領域ごとの露光時間の設定値の分散値が、撮影モードにおける前記画素領域ごとの露光時間の設定値の分散値以上となるように前記画素領域ごとの露光時間を決定することを特徴とする、請求項１または２に記載の撮像装置。
  4. 　前記オートフォーカスモードにおける所定の領域外の領域に対応する前記画素領域ごとの露光時間の設定値が、
    　撮影モードにおける前記画素領域の露光時間の設定値と等しいことを特徴とする、請求項３に記載の撮像装置。
  5. 　前記画素領域ごとにゲインを制御できる固体撮像素子を備え、
    　前記露光条件決定部は、前記オートフォーカスモードにおける前記所定の領域に対応する前記画素領域のゲインの設定値の分散値が、前記撮影モードにおける前記画素領域のゲインの設定値の分散値よりも小さくなるように前記画素領域ごとのゲインを決定することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
  6. 　前記露光条件決定部は、前記オートフォーカスモードにおける前記所定の領域に対応する前記画素領域に対して、一律なゲインを決定することを特徴とする、請求項５に記載の撮像装置。
  7. 　前記露光条件決定部は、前記オートフォーカスモードにおける前記所定の領域に対応する前記画素領域ごとの露光時間の設定値とゲインの設定値との合計の分散値が、前記撮影モードにおける前記画素領域ごとの露光時間の設定値とゲインの設定値との合計の分散値よりも小さくなるように前記画素領域ごとの露光時間およびゲインを決定することを特徴とする請求項５または６に記載の撮像装置。
  8. 　前記露光条件決定部は、前記オートフォーカスモードにおける前記所定の領域に対応する前記領域の露光時間の設定値からゲインの設定値を引いた差分の分散値が、前記撮影モードにおける露光時間の設定値からゲインの設定値を引いた差分の分散値よりも小さくなるように前記画素領域ごと露光時間およびゲインを設定することを特徴とする、請求項５から７のいずれか１項に記載の撮像装置。
  9. 　前記露光条件決定部は、前記オートフォーカスモードで取得した撮影画像から生成した輝度情報に基づいて、前記撮影モードに移行する際の最初の露光時間を決定することを特徴とする、請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記オートフォーカスモードは、疎調整オートフォーカスモードと、微調整オートフォーカスモードとを備えており、前記疎調整オートフォーカスモードを用いてピント位置の調整を行った後に、前記微調整オートフォーカスモードを用いてピント位置の調整を行うオートフォーカス制御部を更に有することを特徴とする、請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記露光条件決定部は、前記疎調整オートフォーカスモードにおける前記所定の領域に対応する前記画素領域の露光時間の設定値の分散値が、前記撮影モードにおける前記画素領域ごとの露光時間の設定値の分散値以上となるように前記画素領域ごとの露光時間を決定し、前記微調整オートフォーカスモードにおける前記所定の領域に対応する前記画素領域の露光時間の設定値の分散値が、前記撮影モードにおける画素領域ごとの露光時間の設定値の分散値よりも小さくなるように前記画素領域ごとの露光時間を決定することを特徴とする請求項１０に記載の撮像装置。
  12. 　前記露光条件決定部は、前記疎調整オートフォーカスモードにおける前記所定の領域に対応する前記画素領域の露光時間を、前記撮影モードにおける前記画素領域ごとの露光時間と同じ露光時間に決定することを特徴とする請求項１１に記載の撮像装置。
  13. 　前記露光条件決定部は、前記微調整オートフォーカスモードにおける前記所定の領域に対応する前記画素領域に対して、一律な露光時間を決定することを特徴とする請求項１１または１２に記載の撮像装置。
  14. 　前記撮影モードで撮影している時の方が、前記オートフォーカスモードで撮影している時よりも、強い諧調圧縮を行う現像処理部を更に有することを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
  15. 　請求項１から１４のいずれか１項に記載の撮像装置とネットワークを介して接続されたクライアント装置を備えた監視システム。
PCT/JP2022/004174 2021-02-25 2022-02-03 撮像装置、監視システム WO2022181278A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/455,226 US20230403473A1 (en) 2021-02-25 2023-08-24 Image capturing apparatus and monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021028712A JP2022129863A (ja) 2021-02-25 2021-02-25 撮像装置、監視システム
JP2021-028712 2021-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/455,226 Continuation US20230403473A1 (en) 2021-02-25 2023-08-24 Image capturing apparatus and monitoring system

Publications (1)

Publication Number Publication Date
WO2022181278A1 true WO2022181278A1 (ja) 2022-09-01

Family

ID=83048211

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004174 WO2022181278A1 (ja) 2021-02-25 2022-02-03 撮像装置、監視システム

Country Status (3)

Country Link
US (1) US20230403473A1 (ja)
JP (1) JP2022129863A (ja)
WO (1) WO2022181278A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057494A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017170717A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、焦点調節装置、および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057494A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
WO2017170717A1 (ja) * 2016-03-31 2017-10-05 株式会社ニコン 撮像装置、焦点調節装置、および電子機器

Also Published As

Publication number Publication date
JP2022129863A (ja) 2022-09-06
US20230403473A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US7940325B2 (en) Apparatus and method of capturing images having optimized quality under night scene conditions
US8121404B2 (en) Exposure control apparatus and image pickup apparatus
JP2001242504A (ja) カメラ装置
JP2001311980A (ja) 露出制御装置
WO2017043190A1 (ja) 制御システム、撮像装置、およびプログラム
US20050195298A1 (en) Image processing apparatus
US8964106B2 (en) Exposure control device and electronic camera having the same
US11838649B2 (en) Image capturing device and control method thereof and medium
US10999523B2 (en) Image pickup apparatus, method for controlling image pickup apparatus, and storage medium for controlling flash photography when a still image is imaged
US8488033B2 (en) Photographing apparatus and photographing method
JP2007036438A (ja) 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
US10475162B2 (en) Image processing device, method, and storage medium for gamma correction based on illuminance
WO2022181278A1 (ja) 撮像装置、監視システム
US8928787B2 (en) Photographing apparatus and photographing method
US20090015691A1 (en) Image pickup apparatus and method for controlling the same
US8488020B2 (en) Imaging device, method for controlling the imaging device, and recording medium recording the method
JP2006245918A (ja) 撮影装置および撮影装置における減光フィルタの制御方法
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
US11991453B2 (en) Image capturing apparatus, method for controlling the same, which determines exposure conditions for each image region used for next imaging
US20240048860A1 (en) Imaging apparatus, method for controlling the same and storage medium
WO2016052420A1 (ja) マウントアダプタ及び撮影装置本体
US20220321764A1 (en) Illumination control device, imaging device, and storage medium
JP5359330B2 (ja) 露光量制御装置および露光量制御方法
JP2009177669A (ja) 撮像装置
WO2019216072A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759318

Country of ref document: EP

Kind code of ref document: A1