WO2022138226A1 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

画像生成装置、画像生成方法、およびプログラム Download PDF

Info

Publication number
WO2022138226A1
WO2022138226A1 PCT/JP2021/045488 JP2021045488W WO2022138226A1 WO 2022138226 A1 WO2022138226 A1 WO 2022138226A1 JP 2021045488 W JP2021045488 W JP 2021045488W WO 2022138226 A1 WO2022138226 A1 WO 2022138226A1
Authority
WO
WIPO (PCT)
Prior art keywords
image generation
image
unit
pixel
hdr
Prior art date
Application number
PCT/JP2021/045488
Other languages
English (en)
French (fr)
Inventor
大典 川又
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/256,459 priority Critical patent/US20240031684A1/en
Priority to CN202180085041.3A priority patent/CN116670709A/zh
Publication of WO2022138226A1 publication Critical patent/WO2022138226A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously

Definitions

  • HDR High Dynamic Range
  • ADAS Advanced Driver Assistance System
  • FIG. 2 is a diagram showing a configuration example of a simulation system according to an embodiment of the present disclosure.
  • the simulation system 1 in FIG. 2 is composed of hardware, software, or a combination thereof.
  • the simulation system 1 is configured to simulate the operation of an automated driving system for automobiles and a camera system in ADAS.
  • the simulation system 1 is configured to include a three-dimensional rendering system 10, an image sensor model 20, and a simulation execution unit 30.
  • the image generation unit 51 generates a plurality of simulation images that reproduce a plurality of images having different storage times based on a physical quantity (energy quantity) corresponding to the light emitted to the image sensor (HDR image sensor).
  • the image generation unit 51 generates a plurality of simulation images based on the physical quantity corresponding to a predetermined frame.
  • a signal processing unit that performs signal processing such as pixel defect correction and noise reduction processing is included between the image generation unit 51 and the gradation compression unit 53.
  • the image generation unit 51 includes a photon number conversion unit 71, a CF transmittance multiplication unit 72-1 to 72-n, a wavelength range integration unit 73-1 to 73-n, a photoelectric conversion unit 74-1 to 74-n, and a voltage conversion unit. It has units 75-1 to 75-n and A / D conversion units 76-1 to 76-n.
  • the photon number conversion unit 71 converts the physical quantity corresponding to the predetermined position of the image sensor into the number of photons with respect to the physical quantity corresponding to the predetermined frame input to the image generation unit 51, and converts the physical quantity corresponding to the predetermined position into the number of photons, and the CF transmittance multiplication unit 72-1. It is supplied to each of to 72-n.
  • the photoelectric conversion unit 74 converts the number of photons from the wavelength range integration unit 73 into a charge amount (photoelectric conversion) for each storage time. According to the photoelectric conversion unit 74, the charge amount for each pixel is calculated for each storage time. The calculated charge amount for each pixel is supplied to the voltage conversion unit 75.
  • the functional block in the image generation unit 51 is configured in the order of the CF transmittance multiplication unit 72, the wavelength range integration unit 73, the photoelectric conversion unit 74, the voltage conversion unit 75, and the A / D conversion unit 76. However, some of these orders may be swapped.
  • h Planck's constant
  • c represents the speed of light.
  • step S32 the photon number conversion unit 71 distributes the converted photon number for each accumulation time. Specifically, the photon number conversion unit 71 supplies the converted photon number to each of the CF transmittance multiplication units 72-1, 72-2, ..., 72-n.
  • the wavelength range integrating unit 73 integrates the number of photons multiplied by the CF transmittance in the wavelength range ⁇ 1 to ⁇ 2 .
  • the wavelength range ⁇ 1 to ⁇ 2 is, for example, the entire wavelength range of visible light.
  • the number of photons integrated in the wavelength range ⁇ 1 to ⁇ 2 is expressed by the following equation.
  • the A / D conversion unit 76 converts the voltage value calculated for each pixel (sub-pixel) into a digital value. Specifically, the A / D conversion unit 76 multiplies the voltage value Vi of each pixel by the conversion coefficient dc i [digit / mV ] . The voltage value is converted into a digital value according to the bit accuracy (resolution) of the A / D conversion unit 76 by the conversion coefficient dc i . For example, if the bit precision is 12 bits, the voltage value is converted to take a value in the range 0-4095 by the conversion factor dc i . The converted digital values include quantization noise. As a result, the digital value DN i for each pixel (sub-pixel) expressed by the following formula is calculated for each accumulation time.
  • the HDR compositing unit 52 performs HDR compositing of each simulation image based on the digital value of each pixel calculated for each accumulation time. Specifically, the HDR synthesis unit 52 obtains a pixel signal of each pixel of the HDR image by performing threshold processing on the digital value DN i for each accumulation time for each pixel.
  • the digital values of each storage # 1, # 2, ..., # N are DN R1 , DN R2 , ...
  • the pixel signal HDR R of the R pixel in the HDR image is obtained by performing the threshold processing expressed by the following equation for DN Rn .
  • the digital value DN R1 having the highest sensitivity (the shortest accumulation time) and the threshold value th R1 are compared, and when the digital value DN R1 is smaller than the threshold value th R1 , the digital value DN R1 is set.
  • the value g R1 ⁇ DN R1 multiplied by the gain g R1 is determined as the pixel signal HDR R.
  • the digital value DN R2 having the next highest sensitivity (the next shortest accumulation time) and the threshold value th R2 are compared.
  • the value g R2 ⁇ DN R2 obtained by multiplying the digital value DN R2 by the gain g R2 is determined as the pixel signal HDR R.
  • Such comparisons are made in the same way up to the digital value DN Rn , which has the lowest sensitivity (longest storage time).
  • the gradation compression unit 53 layerally compresses the pixel signal of the HDR image obtained by HDR synthesis according to the transmission band. For example, when the pixel signal of the HDR image obtained by HDR synthesis is 24 bits, the gradation compression unit 53 downsamples to 12 bits by a method such as polygonal line compression or adaptive gradation conversion. The layered compression of the pixel signal may be executed as needed.
  • digital signal processing such as pixel defect correction and noise reduction may be performed between steps S11 and S12, or between steps S12 and S13.
  • FIG. 6 is a block diagram showing a configuration example of the image sensor model 20 according to the second embodiment.
  • the image sensor model 20 of FIG. 6 is configured to include an image generation unit 151, an HDR composition unit 52, and a gradation compression unit 53. Since the HDR composition unit 52 and the gradation compression unit 53 have the same configuration as that of the image sensor model 20 of FIG. 3, the description thereof will be omitted.
  • the image generation unit 151 is similar to the image generation unit 51 in FIG. 3 in that it generates a plurality of simulation images that reproduce a plurality of images having different storage times based on the physical quantity corresponding to the light emitted to the image sensor. Is. However, the image generation unit 151 is different from the image generation unit 51 in FIG. 3 in that a plurality of simulation images are generated based on the physical quantities corresponding to the frames at different timings.
  • the simulation image generated by the image generation unit 151 is image data assuming so-called DOL (Digital Overlap) HDR composition in which the same subject is imaged at different timings under different exposure conditions.
  • DOL Digital Overlap
  • the image generation unit 151 includes photon number conversion units 71-1 to 71-n, CF transmittance multiplication units 72-1 to 72-n, wavelength range integration units 73-1 to 73-n, and photoelectric conversion units 74-1 to It has 74-n, voltage conversion units 75-1 to 75-n, and A / D conversion units 76-1 to 76-n.
  • the image generation unit 151 is different from the image generation unit 51 in FIG. 3 in that the photon number conversion unit 71 is provided for each storage time (storage # 1, # 2, # n). That is, the photon number conversion unit 71 converts the physical quantity corresponding to the predetermined position of the image sensor into the photon number for the physical quantity corresponding to the frame at different timing for each accumulation time, and supplies the physical quantity to the CF transmittance multiplication unit 72. do.
  • the operation of the image sensor model 20 of FIG. 6 is basically the same as the operation of the image sensor model 20 of FIG. 3 described with reference to the flowchart of FIG. However, the image sensor model 20 of FIG. 6 executes the simulation image generation process shown in the flowchart of FIG. 7 as the simulation image generation process in step S11 of FIG.
  • the simulation image generation process of FIG. 7 is executed in parallel for each accumulation time.
  • step S71 the photon number conversion unit 71 converts the spectral irradiance E ( ⁇ ) input corresponding to the frame at different timing into the photon number for each storage time.
  • the processing after step S72 is executed in the same manner as the processing of step S33 (steps S51 to S55) in the flowchart of FIG.
  • SNR Drop can be reproduced for the HDR image sensor assuming the HDR composition of the DOL method as well as the actual HDR image sensor. This makes it possible to correctly evaluate the recognition performance of the image recognition algorithm in the simulation by the simulation execution unit 30.
  • the series of processes described above can be executed by software.
  • the programs that make up the software are installed on your computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • a series of processes may be executed by hardware.
  • FIG. 8 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU 301 the CPU 301, the ROM (ReadOnlyMemory) 302, and the RAM (RandomAccessMemory) 303 are connected to each other by the bus 304.
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 307 includes a display, a speaker, and the like.
  • the storage unit 308 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 309 includes a network interface and the like.
  • the drive 310 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304, and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU301) can be recorded and provided on the removable media 311 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable media 311 in the drive 310. Further, the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the storage unit 308. In addition, the program can be installed in the ROM 302 or the storage unit 308 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • An image generator that generates multiple simulation images that reproduce multiple images with different storage times based on the physical quantity corresponding to the light emitted to the image sensor.
  • An image generation device including an HDR compositing unit that performs HDR compositing of a plurality of the simulation images.
  • the image generation device has a conversion unit that converts the physical quantity corresponding to a predetermined position of the image sensor into the number of photons.
  • the image generation unit has a multiplication unit that multiplies the number of photons by the transmittance of the color filter corresponding to each pixel of the image sensor for each storage time.
  • the image generation unit has a wavelength range integration unit that integrates the number of photons for a predetermined wavelength range for each storage time.
  • the image generation device has a photoelectric conversion unit that converts the number of photons into an amount of electric charge for each storage time.
  • the photoelectric conversion unit calculates the charge amount for each pixel for each storage time by multiplying the pixel area and the number of photons integrated for the storage time by the quantum efficiency. Generator.
  • the photoelectric conversion unit adds a predetermined noise component to the charge amount calculated for each pixel.
  • the image generation unit A voltage conversion unit that converts the amount of electric charge for each pixel into a voltage value for each storage time.
  • the image generation device which has an A / D conversion unit that generates the simulation image by converting the voltage value for each pixel into a digital value for each storage time.
  • the image generation device (12) The image generation device according to (11), wherein the voltage conversion unit adds a predetermined noise component to the voltage value converted for each pixel.
  • the image generation device according to any one of (1) to (12), further comprising a gradation compression unit that compresses the HDR image in gradations according to the transmission band of the HDR image obtained by the HDR synthesis.
  • the image generator Based on the physical quantity corresponding to the light emitted to the image sensor, multiple simulation images that reproduce multiple images with different storage times are generated. An image generation method for performing HDR composition of a plurality of the simulation images.
  • On the computer Based on the physical quantity corresponding to the light emitted to the image sensor, multiple simulation images that reproduce multiple images with different storage times are generated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、画像認識アルゴリズムの認識性能を正しく評価することができるようにする画像生成装置、画像生成方法、およびプログラムに関する。 画像生成部は、イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、ＨＤＲ合成部は、複数のシミュレーション画像のＨＤＲ合成を行う。本技術は、イメージセンサモデルに適用することができる。

Description

画像生成装置、画像生成方法、およびプログラム
　本開示は、画像生成装置、画像生成方法、およびプログラムに関し、特に、画像認識アルゴリズムの認識性能を正しく評価できるようにする画像生成装置、画像生成方法、およびプログラムに関する。
　自動運転システムの開発においては、仮想空間上のシミュレーションによる画像認識アルゴリズムの検証が行われる。このような画像認識アルゴリズムの検証においては、イメージセンサのセンサモデルを用いて、実写の画像に極めて類似した入力画像がＣＧ（Computer Graphics）合成技術で生成される。
　特許文献１には、航空機のシミュレーション環境において、センサモデルに対してノイズや飽和を再現させるようにした三次元カメラのシミュレーションシステムが開示されている。
特開２０１３－１１７９５８号公報
　近年、自動車向けの自動運転システムやＡＤＡＳ（Advanced Driver Assistance System）においては、ＨＤＲ（High Dynamic Range）イメージセンサが用いられている。
　しかしながら、自動車向けのシミュレーション環境においては、ＨＤＲイメージセンサを用いた場合のノイズなどを再現することまでは考慮されておらず、画像認識アルゴリズムの認識性能を正しく評価できないおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、画像認識アルゴリズムの認識性能を正しく評価するようにするものである。
　本開示の画像生成装置は、イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成する画像生成部と、複数の前記シミュレーション画像のＨＤＲ合成を行うＨＤＲ合成部とを備える画像生成装置である。
　本開示の画像生成方法は、画像生成装置が、イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、複数の前記シミュレーション画像のＨＤＲ合成を行う画像生成方法である。
　本開示のプログラムは、コンピュータに、イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、複数の前記シミュレーション画像のＨＤＲ合成を行う処理を実行させるためのプログラムである。
　本開示においては、イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像が生成され、複数の前記シミュレーション画像のＨＤＲ合成が行われる。
ＳＮＲ Dropの例を示す図である。 本開示の一実施の形態に係るシミュレーションシステムの構成例を示す図である。 第１の実施の形態に係るイメージセンサモデルの構成例を示すブロック図である。 イメージセンサモデルの動作について説明するフローチャートである。 シミュレーション画像生成処理について説明するフローチャートである。 第２の実施の形態に係るイメージセンサモデルの構成例を示すブロック図である。 シミュレーション画像生成処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．従来技術の課題
　２．シミュレーションシステムの構成例
　３．第１の実施の形態に係るイメージセンサモデル（多重露光方式）
　４．第２の実施の形態に係るイメージセンサモデル（ＤＯＬ方式）
　５．コンピュータの構成例
＜１．従来技術の課題＞
　自動運転システムの開発においては、仮想空間上のシミュレーションによる画像認識アルゴリズムの検証が行われる。このような画像認識アルゴリズムの検証においては、イメージセンサのセンサモデルを用いて、実写の画像に極めて類似した入力画像がＣＧ合成技術で生成される。
　近年、自動車向けの自動運転システムやＡＤＡＳにおいては、ＨＤＲイメージセンサが用いられている。異なる蓄積時間で撮像された複数の画像を合成するＨＤＲイメージセンサにおいては、蓄積時間が変わる際に、ＳＮＲ Dropと呼ばれるＳＮＲの低下が生じることが知られており、画像認識アルゴリズムの認識性能が低下する。ＳＮＲ（Signal-to-Noise Ratio）は、信号に対する雑音の比である。
　図１は、異なる３つの蓄積時間で撮像した場合のＳＮＲ Dropの例を示している。図１に示されるＳＮＲ曲線の詳細は、https://www.image-engineering.de/content/library/white_paper/P2020_white_paper.pdfに開示されている。https://www.image-engineering.de/content/library/white_paper/P2020_white_paper.pdf図１においては、照度（ダイナミックレンジ）に対するＳＮＲが示されており、ＨＤＲ合成の境界において、ＳＮＲが大きく低下している。
　しかしながら、自動車向けのシミュレーション環境において、画像認識アルゴリズムの認識性能を評価するには、図１のようなＳＮＲ Dropを再現することが必要であった。
　そこで、本開示に係る技術においては、自動車向けのシミュレーション環境においてＳＮＲ Dropを再現することを実現する。
＜２．シミュレーションシステムの構成例＞
　図２は、本開示の一実施の形態に係るシミュレーションシステムの構成例を示す図である。
　図２のシミュレーションシステム１は、ハードウェア、ソフトウェア、またはこれらの組み合わせにより構成される。シミュレーションシステム１は、自動車向けの自動運転システムやＡＤＡＳにおけるカメラシステムの動作をシミュレーションするように構成される。
　シミュレーションシステム１は、三次元レンダリングシステム１０、イメージセンサモデル２０、およびシミュレーション実行部３０を含むように構成される。
　三次元レンダリングシステム１０は、自動運転システムやＡＤＡＳにおけるカメラシステムの動作をシミュレーションするための入力画像の画像データを生成し、イメージセンサモデル２０に供給する。入力画像には、例えば、道路や、道路を走行する車両などが含まれる。
　イメージセンサモデル２０は、三次元レンダリングシステム１０からの画像データに基づいて、カメラシステムによって得られる三次元画像をシミュレーションしたＣＧ画像を生成し、シミュレーション実行部３０に供給する。
　シミュレーション実行部３０は、イメージセンサモデル２０からのＣＧ画像を用いて、あらかじめ用意された画像認識アルゴリズムにより、カメラシステムの動作をシミュレーションする。シミュレーション実行部３０によるシミュレーションの結果により、画像認識アルゴリズムの認識性能が評価される。
　以下においては、シミュレーションシステム１を構成するイメージセンサモデル２０の実施の形態について説明する。
＜３．第１の実施の形態に係るイメージセンサモデル＞
（イメージセンサモデルの構成例）
　図３は、第１の実施の形態に係るイメージセンサモデル２０の構成例を示すブロック図である。
　図３のイメージセンサモデル２０は、画像生成部５１、ＨＤＲ合成部５２、および階調圧縮部５３を含むように構成される。
　画像生成部５１は、イメージセンサ（ＨＤＲイメージセンサ）に照射される光に対応する物理量（エネルギー量）に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成する。画像生成部５１は、所定の１フレームに対応する物理量を基に、複数のシミュレーション画像を生成する。
　すなわち、画像生成部５１により生成されるシミュレーション画像は、同一被写体を異なる露光条件で同時に撮像する多重露光方式のＨＤＲ合成を想定した画像データと言える。生成された複数のシミュレーション画像は、ＨＤＲ合成部５２に供給される。
　ＨＤＲ合成部５２は、画像生成部５１から供給された複数のシミュレーション画像のＨＤＲ合成を行う。ＨＤＲ合成により得られたＨＤＲ画像は、階調圧縮部５３に供給される。
　階調圧縮部５３は、ＨＤＲ合成部５２からのＨＤＲ画像の伝送帯域（イメージセンサモデル２０とシミュレーション実行部３０との間の伝送路の帯域）に応じて、ＨＤＲ画像を階調圧縮する。具体的には、階調圧縮部５３は、ＨＤＲ画像の各画素の輝度値毎に圧縮率を変更する。例えば、高輝度の画素データの下位ビットには重要な情報は含まれないので、その下位ビットが圧縮される。階調圧縮されたＨＤＲ画像の画像データは、シミュレーション実行部３０に供給される。
　なお、図示はしないが、画像生成部５１と階調圧縮部５３との間には、画素欠陥補正やノイズリダクション処理などの信号処理を行う信号処理部が含まれているものとする。
　画像生成部５１は、光子数換算部７１、ＣＦ透過率乗算部７２－１乃至７２－ｎ、波長範囲積算部７３－１乃至７３－ｎ、光電変換部７４－１乃至７４－ｎ、電圧変換部７５－１乃至７５－ｎ、およびＡ／Ｄ変換部７６－１乃至７６－ｎを有する。
　光子数換算部７１は、画像生成部５１に入力された所定の１フレームに対応する物理量について、イメージセンサの所定位置に対応する物理量を、光子数に換算し、ＣＦ透過率乗算部７２－１乃至７２－ｎそれぞれに供給する。
　ＣＦ透過率乗算部７２－１乃至７２－ｎ（７２－１，７２－２，・・・，７２－ｎ）以降の機能ブロックは、蓄積時間（以下、蓄＃１，＃２，・・・，＃ｎなどともいう）毎に設けられている。ｎは、一般的なＨＤＲ合成を想定した場合、例えば３または４とされる。以下において、蓄積時間毎の機能ブロックをそれぞれ区別しない場合には、符号の末尾の“－１”，“－２”，“－ｎ”を省略して説明する。
　ＣＦ透過率乗算部７２は、蓄積時間毎に、光子数換算部７１からの光子数に、イメージセンサの各画素に対応するカラーフィルタ（ＣＦ）の透過率を乗算する。ＣＦの透過率が乗算された光子数は、波長範囲積算部７３に供給される。
　波長範囲積算部７３は、蓄積時間毎に、ＣＦ透過率乗算部７２からの光子数を所定の波長範囲について積算する。波長範囲について積算された光子数は、光電変換部７４に供給される。
　光電変換部７４は、蓄積時間毎に、波長範囲積算部７３からの光子数を電荷量に変換（光電変換）する。光電変換部７４によれば、蓄積時間毎に、画素毎の電荷量が算出される。算出された画素毎の電荷量は、電圧変換部７５に供給される。
　電圧変換部７５は、蓄積時間毎に、光電変換部７４からの画素毎の電荷量をアナログの電圧値に変換し、Ａ／Ｄ変換部７６に供給する。
　Ａ／Ｄ変換部７６は、蓄積時間毎に、電圧変換部７５からの画素毎の電圧値をデジタル値に変換（Ａ／Ｄ変換）することで、蓄積時間毎のシミュレーション画像を生成する。それぞれのシミュレーション画像は、ＨＤＲ合成部５２に供給される。
　なお、図３の例では、画像生成部５１における機能ブロックが、ＣＦ透過率乗算部７２、波長範囲積算部７３、光電変換部７４、電圧変換部７５、およびＡ／Ｄ変換部７６の順に構成されるものとしたが、これらの一部の順序は入れ替わってもよい。
（イメージセンサモデルの動作）
　図４のフローチャートを参照して、図３のイメージセンサモデル２０の動作について説明する。図４の処理は、イメージセンサモデル２０に、例えば３０ｆｐｓなどのフレームレートで、入力画像の各フレームに対応する物理量が入力される度に実行される。
　本実施の形態においては、物理量として、分光放射照度Ｅ（λ）［Ｗ／ｍ２／ｎｍ］が入力される。分光放射照度Ｅ（λ）は、単位面積あたりの波長毎の照度を表す。
　ステップＳ１１において、画像生成部５１は、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成するシミュレーション画像生成処理を実行する。
　図５は、ステップＳ１１におけるシミュレーション画像生成処理について説明するフローチャートである。
　ステップＳ３１において、光子数換算部７１は、入力された分光放射照度Ｅ（λ）を光子エネルギーｈν＝ｈｃ／λで除算することで、分光放射照度Ｅ（λ）を光子数に換算する。ここで、ｈはプランク定数、ｃは光の速さを表す。Ｅ（λ）ｐ＝ｈνで示すものとすると、単位面積あたり単位時間あたりの波長毎の光子数は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
　ステップＳ３２において、光子数換算部７１は、換算した光子数を蓄積時間毎に分配する。具体的には、光子数換算部７１は、換算した光子数を、ＣＦ透過率乗算部７２－１，７２－２，・・・，７２－ｎそれぞれに供給する。
　ステップＳ３３においては、ステップＳ５１乃至Ｓ５５の処理が、蓄積時間（蓄＃１，＃２，・・・，＃ｎ）毎に並列して実行される。
　ステップＳ５１において、ＣＦ透過率乗算部７２は、光子数換算部７１により換算された光子数に、ＣＦの透過率を乗算する。ＣＦの透過率をＳｉ（λ）で示すものとすると、ＣＦの透過率が乗算された光子数は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000002
　なお、ｉはＣＦのサブピクセルの各色を表す。
　ステップＳ５２において、波長範囲積算部７３は、ＣＦの透過率が乗算された光子数を、波長範囲λ１乃至λ２で積算する。波長範囲λ１乃至λ２は、例えば可視光線の全ての波長範囲とされる。波長範囲λ１乃至λ２で積算された光子数は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
　ステップＳ５３において、光電変換部７４は、波長範囲λ１乃至λ２で積算された光子数を電荷量に光電変換する。具体的には、光電変換部７４は、波長範囲λ１乃至λ２で積算された光子数に、画素面積Ａｉ［ｍ２］（サブピクセル面積）と蓄積時間ｔｉ［sec］、さらに量子効率ｑｉ［ｅ－］を乗算する。ここで、蓄積時間ｔｉは、各蓄＃１，＃２，・・・，＃ｎで異なる長さとされる。これにより、蓄積時間毎に、以下の式で表される、画素（サブピクセル）毎の電荷量Ｎｉが算出される。
Figure JPOXMLDOC01-appb-M000004
　但し、電荷量Ｎｉが画素飽和量ＦＷＣｉ［ｅ－］を超えた場合、電荷量ＮｉはＦＷＣｉにクリップされる。
　また、光電変換部７４は、必要に応じて、画素（サブピクセル）毎に算出された電荷量Ｎｉに所定のノイズ成分を付加する。付加されるノイズ成分は、光ショットノイズ、感度不均一性（ＰＲＮＵ：Photo Response Non-Uniformity）、暗時出力不均一性（ＤＳＮＵ：Dark Signal Non-Uniformity）、暗時白点などがある。これにより、画素の不均一性が再現される。
　ステップＳ５４において、電圧変換部７５は、画素（サブピクセル）毎に算出された電荷量をアナログの電圧値に変換する。具体的には、電圧変換部７５は、各画素の電荷量Ｎｉに、変換効率ｃｅｉ［ｍＶ／ｅ－］を乗算する。これにより、蓄積時間毎に、以下の式で表される、画素（サブピクセル）毎の電圧値Ｖｉが算出される。
Figure JPOXMLDOC01-appb-M000005
　但し、電圧値Ｖｉが飽和電圧ｕｉ［ｍＶ］を超えた場合、電圧値Ｖｉはｕｉにクリップされる。
　また、電圧変換部７５は、必要に応じて、画素（サブピクセル）毎に算出された電圧値Ｖｉに所定のノイズ成分を付加する。付加されるノイズ成分は、ＦＤ（Floating Diffusion）アンプノイズなどのランダムノイズがある。これにより、画素の不均一性が再現される。
　ステップＳ５５において、Ａ／Ｄ変換部７６は、画素（サブピクセル）毎に算出された電圧値をデジタル値に変換する。具体的には、Ａ／Ｄ変換部７６は、各画素の電圧値Ｖｉに、変換係数ｄｃｉ［digit／ｍＶ］を乗算する。電圧値は、変換係数ｄｃｉにより、Ａ／Ｄ変換部７６のビット精度（分解能）に応じてデジタル値に変換される。例えば、ビット精度が１２ビットの場合、電圧値は、変換係数ｄｃｉにより、０乃至４０９５の範囲の値を取るように変換される。変換されたデジタル値には、量子化ノイズが含まれる。これにより、蓄積時間毎に、以下の式で表される、画素（サブピクセル）毎のデジタル値ＤＮｉが算出される。
Figure JPOXMLDOC01-appb-M000006
　このようにして、蓄積時間毎に算出された各画素のデジタル値は、蓄積時間の異なる画像を再現したシミュレーション画像として、それぞれＨＤＲ合成部５２に供給され、処理は図４のステップＳ１１に戻る。
　図４のステップＳ１２において、ＨＤＲ合成部５２は、蓄積時間毎に算出された、各画素のデジタル値に基づいて、各シミュレーション画像のＨＤＲ合成を行う。具体的には、ＨＤＲ合成部５２は、各画素について、蓄積時間毎のデジタル値ＤＮｉに対して閾値処理を行うことで、ＨＤＲ画像の各画素の画素信号を求める。
　例えば、ベイヤ配列のＲ画素、Ｇ画素、Ｂ画素のうち、Ｒ画素のＨＤＲ合成を行う場合、各蓄＃１，＃２，・・・，＃ｎのデジタル値ＤＮＲ１，ＤＮＲ２，・・・，ＤＮＲｎに対して、以下の式で表される閾値処理が行われることで、ＨＤＲ画像におけるＲ画素の画素信号ＨＤＲＲが求められる。
Figure JPOXMLDOC01-appb-M000007
　上記の式によれば、感度が最も高い（蓄積時間が最も短い）デジタル値ＤＮＲ１と閾値ｔｈＲ１とが比較され、デジタル値ＤＮＲ１が閾値ｔｈＲ１より小さい場合には、デジタル値ＤＮＲ１にゲインｇＲ１を乗じた値ｇＲ１・ＤＮＲ１が画素信号ＨＤＲＲに決定される。デジタル値ＤＮＲ１が閾値ｔｈＲ１より大きい場合には、感度が次に高い（蓄積時間が次に短い）デジタル値ＤＮＲ２と閾値ｔｈＲ２とが比較される。デジタル値ＤＮＲ２が閾値ｔｈＲ２より小さい場合には、デジタル値ＤＮＲ２にゲインｇＲ２を乗じた値ｇＲ２・ＤＮＲ２が画素信号ＨＤＲＲに決定される。このような比較が、感度が最も低い（蓄積時間が最も長い）デジタル値ＤＮＲｎに至るまで同様にして行われる。
　ステップＳ１３において、階調圧縮部５３は、ＨＤＲ合成により得られたＨＤＲ画像の画素信号を、伝送帯域に応じて階層圧縮する。例えば、ＨＤＲ合成により得られたＨＤＲ画像の画素信号が２４ビットの場合、階調圧縮部５３は、折れ線圧縮や適応型階調変換などの手法により、１２ビットにダウンサンプリングする。なお、画素信号の階層圧縮は、必要に応じて実行されればよい。
　また、ステップＳ１１とステップＳ１２との間、または、ステップＳ１２とステップＳ１３との間において、画素の欠陥補正やノイズリダクションなどのデジタル信号処理が行われるようにしてもよい。
　以上の処理によれば、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像が生成され、ＨＤＲ合成が行われるので、実際のＨＤＲイメージセンサと同様、ＳＮＲ Dropが再現可能となる。これにより、シミュレーション実行部３０によるシミュレーションにおける画像認識アルゴリズムの認識性能を正しく評価することが可能となる。
＜４．第２の実施の形態に係るイメージセンサモデル＞
（イメージセンサモデルの構成例）
　図６は、第２の実施の形態に係るイメージセンサモデル２０の構成例を示すブロック図である。
　図６のイメージセンサモデル２０は、画像生成部１５１、ＨＤＲ合成部５２、および階調圧縮部５３を含むように構成される。ＨＤＲ合成部５２と階調圧縮部５３は、図３のイメージセンサモデル２０が備える構成と同様であるので、その説明は省略する。
　画像生成部１５１は、イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成する点で、図３の画像生成部５１と同様である。但し、画像生成部１５１は、異なるタイミングのフレームに対応する物理量それぞれを基に、複数のシミュレーション画像を生成する点で、図３の画像生成部５１と異なる。
　すなわち、画像生成部１５１により生成されるシミュレーション画像は、同一被写体を異なる露光条件で異なるタイミングで撮像する、いわゆるＤＯＬ（Digital Overlap）方式のＨＤＲ合成を想定した画像データと言える。
　画像生成部１５１は、光子数換算部７１－１乃至７１－ｎ、ＣＦ透過率乗算部７２－１乃至７２－ｎ、波長範囲積算部７３－１乃至７３－ｎ、光電変換部７４－１乃至７４－ｎ、電圧変換部７５－１乃至７５－ｎ、およびＡ／Ｄ変換部７６－１乃至７６－ｎを有する。
　画像生成部１５１は、光子数換算部７１が蓄積時間（蓄＃１，＃２，＃ｎ）毎に設けられている点で、図３の画像生成部５１と異なる。すなわち、光子数換算部７１は、蓄積時間毎に、それぞれ異なるタイミングのフレームに対応する物理量について、イメージセンサの所定位置に対応する物理量を、光子数に換算し、ＣＦ透過率乗算部７２に供給する。
　ＣＦ透過率乗算部７２－１乃至７２－ｎ（７２－１，７２－２，・・・，７２－ｎ）以降の機能ブロックは、図３の画像生成部５１が備える構成と同様であるので、その説明は省略する。
（イメージセンサモデルの動作）
　図６のイメージセンサモデル２０の動作は、基本的には、図４のフローチャートを参照して説明した図３のイメージセンサモデル２０の動作と同様である。但し、図６のイメージセンサモデル２０は、図４のステップＳ１１におけるシミュレーション画像生成処理として、図７のフローチャートに示されるシミュレーション画像生成処理を実行する。
　図７のシミュレーション画像生成処理は、蓄積時間毎に並列して実行される。
　すなわち、ステップＳ７１において、光子数換算部７１は、蓄積時間毎に、異なるタイミングのフレームに対応して入力された分光放射照度Ｅ（λ）を光子数に換算する。ステップＳ７２以降の処理は、図５のフローチャートのステップＳ３３（ステップＳ５１乃至Ｓ５５）の処理と同様にして実行される。
　以上の処理によれば、ＤＯＬ方式のＨＤＲ合成を想定したＨＤＲイメージセンサについても、実際のＨＤＲイメージセンサと同様、ＳＮＲ Dropが再現可能となる。これにより、シミュレーション実行部３０によるシミュレーションにおける画像認識アルゴリズムの認識性能を正しく評価することが可能となる。
＜５．コンピュータの構成例＞
　上述した一連の処理は、ソフトウェアにより実行することができる。その場合、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。なお、一連の処理が、ハードウェアにより実行されるようにしてもよい。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ３０１，ＲＯＭ（Read Only Memory）３０２，ＲＡＭ（Random Access Memory）３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。
　入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ＲＯＭ３０２や記憶部３０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示は以下のような構成をとることができる。
（１）
　イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成する画像生成部と、
　複数の前記シミュレーション画像のＨＤＲ合成を行うＨＤＲ合成部と
　を備える画像生成装置。
（２）
　前記画像生成部は、所定の１フレームに対応する前記物理量を基に、複数の前記シミュレーション画像を生成する
　（１）に記載の画像生成装置。
（３）
　前記画像生成部は、異なるタイミングのフレームに対応する前記物理量それぞれを基に、複数の前記シミュレーション画像を生成する
　（１）に記載の画像生成装置。
（４）
　前記物理量は、分光放射照度である
　（１）乃至（３）のいずれかに記載の画像生成装置。
（５）
　前記画像生成部は、前記イメージセンサの所定位置に対応する前記物理量を、光子数に換算する換算部を有する
　（１）乃至（４）のいずれかに記載の画像生成装置。
（６）
　前記画像生成部は、前記蓄積時間毎に、前記光子数に、前記イメージセンサの各画素に対応するカラーフィルタの透過率を乗算する乗算部を有する
　（５）に記載の画像生成装置。
（７）
　前記画像生成部は、前記蓄積時間毎に、前記光子数を所定の波長範囲について積算する波長範囲積算部を有する
　（６）に記載の画像生成装置。
（８）
　前記画像生成部は、前記蓄積時間毎に、前記光子数を電荷量に変換する光電変換部を有する
　（７）に記載の画像生成装置。
（９）
　前記光電変換部は、画素面積と前記蓄積時間について積算した前記光子数に量子効率を乗算することで、前記蓄積時間毎に、前記画素毎の前記電荷量を算出する
　（８）に記載の画像生成装置。
（１０）
　前記光電変換部は、前記画素毎に算出された前記電荷量に所定のノイズ成分を付加する
　（９）に記載の画像生成装置。
（１１）
　前記画像生成部は、
　　前記蓄積時間毎に、前記画素毎の前記電荷量を電圧値に変換する電圧変換部と、
　　前記蓄積時間毎に、前記画素毎の前記電圧値をデジタル値に変換することで、前記シミュレーション画像を生成するＡ／Ｄ変換部とを有する
　（９）または（１０）に記載の画像生成装置。
（１２）
　前記電圧変換部は、前記画素毎に変換された前記電圧値に所定のノイズ成分を付加する
　（１１）に記載の画像生成装置。
（１３）
　前記ＨＤＲ合成により得られたＨＤＲ画像の伝送帯域に応じて、前記ＨＤＲ画像を階調圧縮する階調圧縮部をさらに備える
　（１）乃至（１２）のいずれかに記載の画像生成装置。
（１４）
　画像生成装置が、
　イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、
　複数の前記シミュレーション画像のＨＤＲ合成を行う
　画像生成方法。
（１５）
　コンピュータに、
　イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、
　複数の前記シミュレーション画像のＨＤＲ合成を行う
　処理を実行させるためのプログラム。
　１　シミュレーションシステム，　１０　イメージセンサモデル，　２０　三次元レンダリングシステム，　３０　シミュレーション実行部，　５１　画像生成部，　５２　ＨＤＲ合成部，　５３　階調圧縮部，　７１　光子数換算部，　７２　ＣＦ透過率乗算部，　７３　波長範囲積算部，　７４　光電変換部，　７５　電圧変換部，　７６　Ａ／Ｄ変換部

Claims (15)

  1. 　イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成する画像生成部と、
    　複数の前記シミュレーション画像のＨＤＲ合成を行うＨＤＲ合成部と
    　を備える画像生成装置。
  2. 　前記画像生成部は、所定の１フレームに対応する前記物理量を基に、複数の前記シミュレーション画像を生成する
    　請求項１に記載の画像生成装置。
  3. 　前記画像生成部は、異なるタイミングのフレームに対応する前記物理量それぞれを基に、複数の前記シミュレーション画像を生成する
    　請求項１に記載の画像生成装置。
  4. 　前記物理量は、分光放射照度である
    　請求項１に記載の画像生成装置。
  5. 　前記画像生成部は、前記イメージセンサの所定位置に対応する前記物理量を、光子数に換算する換算部を有する
    　請求項１に記載の画像生成装置。
  6. 　前記画像生成部は、前記蓄積時間毎に、前記光子数に、前記イメージセンサの各画素に対応するカラーフィルタの透過率を乗算する乗算部を有する
    　請求項５に記載の画像生成装置。
  7. 　前記画像生成部は、前記蓄積時間毎に、前記光子数を所定の波長範囲について積算する波長範囲積算部を有する
    　請求項６に記載の画像生成装置。
  8. 　前記画像生成部は、前記蓄積時間毎に、前記光子数を電荷量に変換する光電変換部を有する
    　請求項７に記載の画像生成装置。
  9. 　前記光電変換部は、画素面積と前記蓄積時間について積算した前記光子数に量子効率を乗算することで、前記蓄積時間毎に、前記画素毎の前記電荷量を算出する
    　請求項８に記載の画像生成装置。
  10. 　前記光電変換部は、前記画素毎に算出された前記電荷量に所定のノイズ成分を付加する
    　請求項９に記載の画像生成装置。
  11. 　前記画像生成部は、
    　　前記蓄積時間毎に、前記画素毎の前記電荷量を電圧値に変換する電圧変換部と、
    　　前記蓄積時間毎に、前記画素毎の前記電圧値をデジタル値に変換することで、前記シミュレーション画像を生成するＡ／Ｄ変換部とを有する
    　請求項９に記載の画像生成装置。
  12. 　前記電圧変換部は、前記画素毎に変換された前記電圧値に所定のノイズ成分を付加する
    　請求項１１に記載の画像生成装置。
  13. 　前記ＨＤＲ合成により得られたＨＤＲ画像の伝送帯域に応じて、前記ＨＤＲ画像を階調圧縮する階調圧縮部をさらに備える
    　請求項１に記載の画像生成装置。
  14. 　画像生成装置が、
    　イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、
    　複数の前記シミュレーション画像のＨＤＲ合成を行う
    　画像生成方法。
  15. 　コンピュータに、
    　イメージセンサに照射される光に対応する物理量に基づいて、蓄積時間の異なる複数の画像を再現した複数のシミュレーション画像を生成し、
    　複数の前記シミュレーション画像のＨＤＲ合成を行う
    　処理を実行させるためのプログラム。
PCT/JP2021/045488 2020-12-23 2021-12-10 画像生成装置、画像生成方法、およびプログラム WO2022138226A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/256,459 US20240031684A1 (en) 2020-12-23 2021-12-10 Image generation apparatus, image generation method, and program
CN202180085041.3A CN116670709A (zh) 2020-12-23 2021-12-10 图像生成装置、图像生成方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-213546 2020-12-23
JP2020213546A JP2022099651A (ja) 2020-12-23 2020-12-23 画像生成装置、画像生成方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2022138226A1 true WO2022138226A1 (ja) 2022-06-30

Family

ID=82159090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045488 WO2022138226A1 (ja) 2020-12-23 2021-12-10 画像生成装置、画像生成方法、およびプログラム

Country Status (4)

Country Link
US (1) US20240031684A1 (ja)
JP (1) JP2022099651A (ja)
CN (1) CN116670709A (ja)
WO (1) WO2022138226A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049127A (ja) * 2012-08-29 2014-03-17 Ge Aviation Systems Llc ハイパースペクトル画像のシミュレーション方法
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
JP2018061086A (ja) * 2016-10-03 2018-04-12 株式会社デンソー 撮影装置
JP2018170007A (ja) * 2017-03-09 2018-11-01 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 視覚効果を有する画像を逆トーンマッピングするための方法
JP2019022173A (ja) * 2017-07-21 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子およびその制御方法、並びに電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049127A (ja) * 2012-08-29 2014-03-17 Ge Aviation Systems Llc ハイパースペクトル画像のシミュレーション方法
JP2018061086A (ja) * 2016-10-03 2018-04-12 株式会社デンソー 撮影装置
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
JP2018170007A (ja) * 2017-03-09 2018-11-01 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 視覚効果を有する画像を逆トーンマッピングするための方法
JP2019022173A (ja) * 2017-07-21 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子およびその制御方法、並びに電子機器

Also Published As

Publication number Publication date
US20240031684A1 (en) 2024-01-25
CN116670709A (zh) 2023-08-29
JP2022099651A (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
JP7130777B2 (ja) シングルショットｈｄｒカラーイメージセンサからのｈｄｒ画像生成
CN107534761B (zh) 成像装置、成像方法、图像处理装置
JP5085140B2 (ja) 固体撮像装置
US9288399B2 (en) Image processing apparatus, image processing method, and program
US7995115B2 (en) Image pickup device, image pickup system, image pickup method, and image processing device
US9432589B2 (en) Systems and methods for generating high dynamic range images
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
CN102045506B (zh) 图像处理装置及图像处理方法
US20140321766A1 (en) Image processing apparatus, image processing method, and program
US8605999B2 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
US20070153335A1 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
US20130329128A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, and program
CN102122388A (zh) 用于获得高动态范围图像的设备和方法
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP2007189589A (ja) 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
TW200913681A (en) Solid-state imaging apparatus, signal processor and signal processing method of solid-state imaging apparatus, and imaging apparatus
CN105659583A (zh) 图像处理装置、图像处理方法、电子设备及程序
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
CN113962884A (zh) Hdr视频获取方法、装置、电子设备以及存储介质
US7432962B2 (en) Dynamic range broadening method for a solid-state image sensor including photosensitive cells each having a main and a subregion
US20200221007A1 (en) Image processing apparatus, image processing method, imaging apparatus, and program
WO2022138226A1 (ja) 画像生成装置、画像生成方法、およびプログラム
US8599288B2 (en) Noise reduction apparatus, method and computer-readable recording medium
JP6160139B2 (ja) 撮像装置及び方法
JP2008294524A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910375

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18256459

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180085041.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21910375

Country of ref document: EP

Kind code of ref document: A1