JP7446827B2 - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
JP7446827B2
JP7446827B2 JP2020010807A JP2020010807A JP7446827B2 JP 7446827 B2 JP7446827 B2 JP 7446827B2 JP 2020010807 A JP2020010807 A JP 2020010807A JP 2020010807 A JP2020010807 A JP 2020010807A JP 7446827 B2 JP7446827 B2 JP 7446827B2
Authority
JP
Japan
Prior art keywords
image
dynamic range
developing
images
sdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020010807A
Other languages
Japanese (ja)
Other versions
JP2021117748A (en
Inventor
直人 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020010807A priority Critical patent/JP7446827B2/en
Publication of JP2021117748A publication Critical patent/JP2021117748A/en
Application granted granted Critical
Publication of JP7446827B2 publication Critical patent/JP7446827B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.

ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できる画像を取得するＨＤＲ（high dynamic range：ハイダイナミックレンジ）カメラシステムが提案されている。ＨＤＲは、ＳＤＲ（standard dynamic range：スタンダードダイナミックレンジ）に比べてより広いダイナミックレンジを表現することができる。ＨＤＲモニタとＳＤＲモニタとが混在する環境を想定し、ＨＤＲ画像だけでなく、ＳＤＲ画像を同時に出力し記録するカメラシステムが求められている。 As the brightness of displays increases, an HDR (high dynamic range) camera system that can reproduce images with gradations closer to the visual appearance than the gradations on the high-brightness side, which have been compressed in the past, is now available. is proposed. HDR can express a wider dynamic range than SDR (standard dynamic range). Assuming an environment where HDR monitors and SDR monitors coexist, there is a need for a camera system that simultaneously outputs and records not only HDR images but also SDR images.

特許文献１には、ＨＤＲ画像を現像するだけでなく、ＨＤＲとＳＤＲとのダイナミックレンジの相関情報に基づいて、ＳＤＲ画像を現像して出力する技術が開示されている。また、特許文献２には、ＨＤＲ画像を第１の出力信号として出力し、現像したＳＤＲ画像と、ＨＤＲ画像を所定の信号レベルで合成した画像を第２の出力信号として出力する技術が開示されている。 Patent Document 1 discloses a technology that not only develops an HDR image but also develops and outputs an SDR image based on correlation information of dynamic ranges between HDR and SDR. Further, Patent Document 2 discloses a technique for outputting an HDR image as a first output signal, and outputting an image obtained by combining a developed SDR image and an HDR image at a predetermined signal level as a second output signal. ing.

特開２０１６－１９５３７８号公報Japanese Patent Application Publication No. 2016-195378 特開２０１６－１９７８５４号公報Japanese Patent Application Publication No. 2016-197854

しかしながら、特許文献１、２に開示された技術では、複数枚の画像を入力して、それらの画像を現像し合成して出力する複数枚合成の機能を実施する場合、ＨＤＲ画像の現像処理とＳＤＲ画像の現像処理とを入力された画像の枚数分実施しなければならない。そのため、画像処理に係るメモリやＣＰＵ、チップ等の処理モジュールに多大な負荷がかかってしまう。本発明は、このような事情に鑑みてなされたものであり、複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することができる画像処理装置を提供することを目的とする。 However, in the technologies disclosed in Patent Documents 1 and 2, when performing a multi-image compositing function in which multiple images are input, developed, combined, and output, HDR image development processing and Development processing for SDR images must be performed for the number of input images. Therefore, a large load is placed on processing modules such as memory, CPU, and chip related to image processing. The present invention has been made in view of the above circumstances, and provides an image processing device that can efficiently generate and record HDR images and SDR images when implementing a function of compositing multiple images. The purpose is to

本発明に係る画像処理装置は、第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置であって、入力画像に対して現像処理を行う現像手段と、前記現像手段により生成された複数の画像を合成する合成手段と、前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換手段とを有し、前記合成手段により複数の画像の合成を行う場合、前記現像手段により前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成手段により合成した前記第２のダイナミックレンジの画像を前記変換手段により変換した前記第１のダイナミックレンジの画像とを出力し、前記合成手段により複数の画像の合成を行わない場合、前記現像手段により前記入力画像を現像処理してそれぞれ生成した前記第１のダイナミックレンジの画像と前記第２のダイナミックレンジの画像とを出力することを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that outputs an image of a first dynamic range and an image of a second dynamic range wider than the first dynamic range, and performs development processing on an input image. a compositing means for composing a plurality of images generated by the developing means; and a converting means for converting the image in the second dynamic range into an image in the first dynamic range, When a plurality of images are synthesized by the synthesizing means, an image of the second dynamic range generated by developing the input image by the developing means and an image of the second dynamic range synthesized by the synthesizing means. and an image of the first dynamic range converted by the converting means , and when the plurality of images are not combined by the combining means, the input images are developed and generated by the developing means, respectively. The present invention is characterized in that an image in the first dynamic range and an image in the second dynamic range are output .

本発明によれば、複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することが可能となる。 According to the present invention, when performing a multiple-image compositing function, it is possible to efficiently generate and record HDR images and SDR images.

本実施形態における撮像装置の構成例を示す図である。1 is a diagram showing an example of the configuration of an imaging device according to the present embodiment. 本実施形態における画像処理部の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of an image processing section in the present embodiment. 本実施形態における現像処理部の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a development processing section in the present embodiment. 複数枚ダイナミックレンジ拡大合成を説明する図である。FIG. 3 is a diagram illustrating dynamic range expansion synthesis of multiple images. スイングパノラマ合成を説明する図である。FIG. 3 is a diagram illustrating swing panoramic composition. 本実施形態におけるＳＤＲ変換処理部の構成例を示す図である。It is a figure showing an example of composition of an SDR conversion processing part in this embodiment. 本実施形態における画像処理部の動作例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the image processing unit in this embodiment. 本実施形態における現像処理の例を示すフローチャートである。It is a flowchart showing an example of development processing in this embodiment. ガンマ特性を説明する図である。FIG. 3 is a diagram illustrating gamma characteristics. 本実施形態におけるＳＤＲ変換処理の例を示すフローチャートである。It is a flowchart which shows an example of SDR conversion processing in this embodiment. ガンマ変換処理を説明する図である。FIG. 3 is a diagram illustrating gamma conversion processing. ローカルトーンマッピング処理に係る階調特性を説明する図である。FIG. 3 is a diagram illustrating gradation characteristics related to local tone mapping processing.

以下、本発明の実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below based on the drawings.

図１は、本発明の一実施形態における画像処理装置を適用した撮像装置の構成例を示すブロック図である。撮像装置は、光学系１０１、現像部１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、露光量制御部１０５、システム制御部１０６、操作部１０７、表示部１０８、記録部１０９、及びバス１１０を有する。 FIG. 1 is a block diagram showing a configuration example of an imaging device to which an image processing device according to an embodiment of the present invention is applied. The imaging device includes an optical system 101, a developing section 102, an A/D converting section 103, an image processing section 104, an exposure control section 105, a system control section 106, an operation section 107, a display section 108, a recording section 109, and a bus 110. has.

本実施形態における撮像装置は、撮像部１０２により撮影された画像に基づいて、画像処理部１０４でＨＤＲ画像とＳＤＲ画像とを生成して両画像を出力する処理を行う。また、撮像装置は、動作モードの１つとして、複数枚ダイナミックレンジ拡大合成やパノラマ合成等の複数枚合成を実施する複数枚合成モードを有する。複数枚合成モードである場合には、画像処理部１０４は、入力される複数枚の画像をＨＤＲ現像処理した後、複数枚のＨＤＲ画像を合成して合成ＨＤＲ画像を生成し、生成した合成ＨＤＲ画像をＳＤＲ変換処理することで合成ＳＤＲ画像を生成する。また、複数枚合成モードでない場合には、画像処理部１０４は、入力される画像をＨＤＲ現像処理してＨＤＲ画像を生成するとともに、入力される画像をＳＤＲ現像処理してＳＤＲ画像を生成する。 In the imaging device according to the present embodiment, the image processing unit 104 generates an HDR image and an SDR image based on the image captured by the imaging unit 102, and performs a process of outputting both images. Furthermore, the imaging device has a multiple-image compositing mode, which performs multiple-image compositing such as multiple-image dynamic range expansion compositing and panoramic compositing, as one of the operation modes. In the multi-image composition mode, the image processing unit 104 performs HDR development processing on the input plurality of images, then synthesizes the plurality of HDR images to generate a composite HDR image, and generates a composite HDR image. A composite SDR image is generated by subjecting the image to SDR conversion processing. Furthermore, when the mode is not multiple-image composition mode, the image processing unit 104 performs HDR development processing on the input image to generate an HDR image, and also performs SDR development processing on the input image to generate an SDR image.

なお、本実施形態において、ＨＤＲ画像とは、ＨＤＲモニタで取り扱うＨＤＲ規格のＳＴ２０８４等に記載されたＯＥＴＦ（optical electro transfer function）特性を適用した画像を指すものとする。また、ＳＤＲ画像とは、ＨＤＲ画像よりも出力レンジ（ダイナミックレンジ）が狭い画像を指すものとする。本実施形態では、ＨＤＲ画像のガンマはＳＴ２０８４のＯＥＴＦ特性（以降、ＰＱガンマと呼称）、色域をＲｅｃ．２０２０とし、ＳＤＲ画像のガンマをｓＲＧＢガンマ、色域をｓＲＧＢとして説明を行う。 Note that in this embodiment, an HDR image refers to an image to which OETF (optical electro transfer function) characteristics described in ST2084 of the HDR standard handled by an HDR monitor are applied. Furthermore, an SDR image refers to an image whose output range (dynamic range) is narrower than that of an HDR image. In this embodiment, the gamma of the HDR image is ST2084 OETF characteristic (hereinafter referred to as PQ gamma), and the color gamut is Rec. 2020, the gamma of the SDR image is sRGB gamma, and the color gamut is sRGB.

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像部１０２は、光学系１０１を通過した被写体像の光束を光電変換し電気信号に変換するＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子である。Ａ／Ｄ変換部１０３は、撮像部１０２より入力される映像信号をアナログ－デジタル変換してデジタルの画像に変換する。 In FIG. 1, an optical system 101 includes a lens group including a zoom lens and a focus lens, an aperture adjustment device, and a shutter device. The optical system 101 adjusts the magnification, focus position, or amount of light of the subject image that reaches the imaging unit 102. The imaging unit 102 is an imaging device such as a CCD sensor or a CMOS sensor that photoelectrically converts the luminous flux of the subject image that has passed through the optical system 101 into an electrical signal. The A/D conversion unit 103 performs analog-to-digital conversion on the video signal input from the imaging unit 102 to convert it into a digital image.

画像処理部１０４は、通常の信号処理の他に、露光量算出処理を行う。また、画像処理部１０４は、複数枚の画像を合成する処理やＨＤＲ画像（合成ＨＤＲ画像）をＳＤＲ画像（合成ＳＤＲ画像）に変換する処理等を行う。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像だけでなく、記録部１０９から読み出した画像に対しても同様の画像処理を行うことができる。露光量制御部１０５は、画像処理部１０４によって算出された露光量に基づいて光学系１０１及び撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲイン等を制御する。 The image processing unit 104 performs exposure calculation processing in addition to normal signal processing. The image processing unit 104 also performs processing for compositing a plurality of images, processing for converting an HDR image (synthesized HDR image) into an SDR image (synthesized SDR image), and the like. The image processing unit 104 can perform similar image processing not only on the image output from the A/D conversion unit 103 but also on the image read out from the recording unit 109. The exposure amount control unit 105 controls the optical system 101 and the imaging unit 102 based on the exposure amount calculated by the image processing unit 104, and controls the aperture, shutter speed, analog gain of the sensor, etc.

システム制御部１０６は、撮像装置全体の動作を制御、統括する。また、システム制御部１０６は、画像処理部１０４で処理された画像から得られる輝度値や操作部１０７から送信された指示等に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。表示部１０８は、画像処理部１０４で生成された画像や、記録部１０９から読み出した画像を表示する。表示部１０８は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイである。 The system control unit 106 controls and supervises the operation of the entire imaging apparatus. Furthermore, the system control unit 106 also controls the driving of the optical system 101 and the imaging unit 102 based on the brightness value obtained from the image processed by the image processing unit 104 and instructions transmitted from the operation unit 107. The display unit 108 displays images generated by the image processing unit 104 and images read from the recording unit 109. The display unit 108 is, for example, a liquid crystal display or an organic EL (Electro Luminescence) display.

記録部１０９は、画像を記録する機能を有する。記録部１０９は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。バス１１０は、画像処理部１０４、システム制御部１０６、表示部１０８、及び記録部１０９の間で画像をやり取りするために用いられる。 The recording unit 109 has a function of recording images. The recording unit 109 may include, for example, an information recording medium using a memory card equipped with a semiconductor memory, a package containing a rotating recording medium such as a magneto-optical disk, or the information recording medium may be made removable. good. The bus 110 is used to exchange images among the image processing section 104, system control section 106, display section 108, and recording section 109.

次に、図２を参照して、本実施形態における画像処理部１０４について説明する。本実施形態における画像処理部１０４は、複数枚合成を実施する複数枚合成モードであるか否かによって、ＨＤＲ現像処理して合成したＨＤＲ画像をＳＤＲ変換してＳＤＲ画像の出力とするか、ＳＤＲ現像処理した画像をＳＤＲ画像の出力とするかを選択する。 Next, with reference to FIG. 2, the image processing unit 104 in this embodiment will be described. The image processing unit 104 in this embodiment performs SDR conversion on an HDR image synthesized by HDR development processing and outputs an SDR image, or outputs an SDR image depending on whether the mode is a multi-image compositing mode that performs multiple image compositing. Select whether to output the developed image as an SDR image.

図２は、本実施形態における画像処理部１０４の構成例を示すブロック図である。画像処理部１０４は、ＨＤＲ現像処理部２０１、ＳＤＲ現像処理部２０２、合成処理部２０３、ＳＤＲ変換処理部２０４、ＨＤＲ出力画像選択部２０５、及びＳＤＲ出力画像選択部２０６を有する。本実施形態において、画像処理部１０４に入力される入力画像は、撮像部１０２で取得した信号をＡ／Ｄ変換部１０３でデジタル画像に変換したＲ（赤）、Ｇ（緑）、Ｂ（青）の３成分によるベイヤー画像とする。 FIG. 2 is a block diagram showing a configuration example of the image processing unit 104 in this embodiment. The image processing section 104 includes an HDR development processing section 201, an SDR development processing section 202, a composition processing section 203, an SDR conversion processing section 204, an HDR output image selection section 205, and an SDR output image selection section 206. In this embodiment, the input images input to the image processing unit 104 are R (red), G (green), and B (blue) obtained by converting the signal acquired by the imaging unit 102 into digital images by the A/D conversion unit 103. ) is a Bayer image with three components.

ＨＤＲ現像処理部２０１は、入力画像をＨＤＲ現像処理してＨＤＲ画像を生成する。ＳＤＲ現像処理部２０２は、入力画像をＳＤＲ現像処理してＳＤＲ画像を生成する。現像処理とは、入力されたベイヤー画像から出力装置に最適なＹＵＶ画像もしくはＲＧＢ画像を生成する処理を指している。図３は、ＨＤＲ現像処理部２０１及びＳＤＲ現像処理部２０２の構成例を示すブロック図である。ＨＤＲ現像処理部２０１及びＳＤＲ現像処理部２０２の各々は、ホワイトバランス処理部３０１、ノイズリダクション処理部３０２、デモザイク処理部３０３、色マトリクス処理部３０４、及びガンマ処理部３０５を有する。ＨＤＲ現像処理部２０１及びＳＤＲ現像処理部２０２は、入力画像としてベイヤー画像が入力され、出力画像としてディスプレイ等の出力装置に最適なＹＵＶ画像もしくはＲＧＢ画像を出力する。 The HDR development processing unit 201 performs HDR development processing on an input image to generate an HDR image. The SDR development processing unit 202 performs SDR development processing on the input image to generate an SDR image. The development process refers to the process of generating a YUV image or RGB image optimal for an output device from an input Bayer image. FIG. 3 is a block diagram showing a configuration example of the HDR development processing section 201 and the SDR development processing section 202. Each of the HDR development processing section 201 and the SDR development processing section 202 includes a white balance processing section 301, a noise reduction processing section 302, a demosaic processing section 303, a color matrix processing section 304, and a gamma processing section 305. The HDR development processing unit 201 and the SDR development processing unit 202 receive a Bayer image as an input image, and output a YUV image or an RGB image that is optimal for an output device such as a display as an output image.

ホワイトバランス処理部３０１は、入力された画像に対して、色バランスを調整するホワイトバランス処理を行う。ノイズリダクション処理部３０２は、入力された画像に対して、暗電流ノイズや光ショットノイズを低減するためのノイズリダクション処理を行う。ノイズリダクション処理は、例えばローパスフィルタ（ＬＰＦ）やバイラテラルフィルタを用いた一般的な手法を適用すればよい。 The white balance processing unit 301 performs white balance processing to adjust color balance on the input image. The noise reduction processing unit 302 performs noise reduction processing on the input image to reduce dark current noise and optical shot noise. For the noise reduction process, for example, a general method using a low pass filter (LPF) or a bilateral filter may be applied.

デモザイク処理部３０３は、入力された画像に対して、ベイヤー画像からＲ、Ｇ、Ｂの３プレーン画像を生成するデモザイク処理を行う。デモザイク処理は、例えば線形補間や適応補間等の一般的な手法を適用すればよい。色マトリクス処理部３０４は、入力された画像に対して、センサーの分光特性から出力装置の色域に合わせるための色マトリクス処理を行う。ガンマ処理部３０５は、入力された信号に対して、出力装置のモニタガンマ（ＯＥＴＦ）に合わせた信号を生成するためのガンマ特性（ＥＯＴＦ）で信号値を変換するガンマ処理を行う。 The demosaic processing unit 303 performs demosaic processing on the input image to generate three plane images of R, G, and B from the Bayer image. For the demosaic processing, a general method such as linear interpolation or adaptive interpolation may be applied. The color matrix processing unit 304 performs color matrix processing on the input image to match the spectral characteristics of the sensor to the color gamut of the output device. The gamma processing unit 305 performs gamma processing on the input signal to convert the signal value using gamma characteristics (EOTF) to generate a signal matching the monitor gamma (OETF) of the output device.

図２において、合成処理部２０３は、ＨＤＲ現像処理部２０１で生成された複数枚のＨＤＲ画像を合成して合成ＨＤＲ画像を生成する合成処理を行う。合成処理部２０３における合成処理については、機能に応じて合成方法が異なる。一例として、ダイナミックレンジ拡大用の複数枚ダイナミックレンジ拡大合成、及びパノラマ画像を生成するスイングパノラマ合成における合成方法について説明する。 In FIG. 2, a combination processing unit 203 performs a combination process of combining a plurality of HDR images generated by the HDR development processing unit 201 to generate a composite HDR image. Regarding the compositing process in the compositing processing unit 203, the compositing method differs depending on the function. As an example, a synthesis method for dynamic range expansion synthesis of multiple images for dynamic range expansion and swing panoramic synthesis for generating a panoramic image will be described.

複数枚ダイナミックレンジ拡大合成では、例えば、合成処理部２０３は、図４（ａ）に示すように、アンダー露出画像４０１、適正露出画像４０２、及びオーバー露出画像４０３の露出の異なる画像を現像処理時のガンマ処理で明るさを合わせる。その後、合成処理部２０３は、アンダー露出画像４０１、適正露出画像４０２、及びオーバー露出画像４０３を図４（ｂ）に示すような合成比率で合成することで、１枚の時よりもダイナミックレンジの高い画像を取得する。図４（ｂ）において、４１１がオーバー露出画像４０３に係る合成比率を示し、４１２が適正露出画像４０２に係る合成比率を示し、４１３がアンダー露出画像４０１に係る合成比率を示している。 In the multi-image dynamic range expansion synthesis, for example, as shown in FIG. 4A, the synthesis processing unit 203 develops images with different exposures: an underexposed image 401, an appropriately exposed image 402, and an overexposed image 403. Adjust brightness using gamma processing. After that, the composition processing unit 203 composes the underexposed image 401, the properly exposed image 402, and the overexposed image 403 at a composition ratio as shown in FIG. Get a high image. In FIG. 4(b), 411 indicates the composition ratio for the overexposed image 403, 412 indicates the composition ratio for the properly exposed image 402, and 413 indicates the composition ratio for the underexposed image 401.

また、スイングパノラマ合成では、例えば、図５（ａ）に示すような風景を１枚の画像で収めたい場合、図５（ｂ）に示すように撮影画角をずらして撮影が行われ、画像５０１－１、５０１－２、５０１－３、・・・、５０１－Ｎが得られる。合成処理部２０３は、撮影画角をずらして撮影された複数の画像５０１－１～５０１－Ｎを合成することで、図５（ｃ）に示すようなパノラマ画像５１１を生成する。 In addition, in swing panorama composition, for example, if you want to capture a landscape as shown in Figure 5(a) in one image, the shooting angle is shifted as shown in Figure 5(b), and the image is captured. 501-1, 501-2, 501-3, . . . , 501-N are obtained. The compositing processing unit 203 generates a panoramic image 511 as shown in FIG. 5(c) by composing a plurality of images 501-1 to 501-N taken at different photographic angles of view.

合成処理部２０３が実行する複数枚合成の処理は、これに限らず、複数枚の画像の画素信号を加算平均や加算することで多重露光画像を生成する合成処理や、複数枚の画像の画素信号のうち、最も明るい信号を選択して出力する比較明合成処理等がある。 The multiple-image compositing process executed by the compositing processing unit 203 is not limited to this, but includes compositing processing that generates a multiple exposure image by averaging or adding pixel signals of multiple images, and There is a comparative brightness synthesis process that selects and outputs the brightest signal among the signals.

ＳＤＲ変換処理部２０４は、合成処理部２０３で複数枚のＨＤＲ画像を合成処理して生成された合成ＨＤＲ画像に対して、ＳＤＲ変換処理を行って合成ＳＤＲ画像を生成する。図６は、ＳＤＲ変換処理部２０４の構成例を示すブロック図である。ＳＤＲ変換処理部２０４は、ガンマ変換部６０１、ローカルトーンマッピング処理部６０２、及び色域変換部６０３を有する。ＳＤＲ変換処理部２０４は、入力画像として合成ＨＤＲ画像が入力され、出力画像としてＳＤＲ変換処理した合成ＳＤＲ画像を出力する。 The SDR conversion processing unit 204 performs SDR conversion processing on the combined HDR image generated by combining a plurality of HDR images in the combination processing unit 203 to generate a combined SDR image. FIG. 6 is a block diagram showing a configuration example of the SDR conversion processing section 204. The SDR conversion processing section 204 includes a gamma conversion section 601, a local tone mapping processing section 602, and a color gamut conversion section 603. The SDR conversion processing unit 204 receives a composite HDR image as an input image, and outputs a composite SDR image subjected to SDR conversion processing as an output image.

ガンマ変換部６０１は、入力された合成ＨＤＲ画像に対して、ＳＤＲ画像に対応するガンマ変換を行う。ローカルトーンマッピング処理部６０２は、ガンマ変換部６０１でガンマ変換された画像に対して、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対してコントラストを高めるためのローカルトーンマッピング処理を行う。ガンマ変換部６０１及びローカルトーンマッピング処理部６０２は、階調変換手段の一例である。色域変換部６０３は、入力された合成ＨＤＲ画像の色域を、出力される合成ＳＤＲ画像の色域に変換する処理を行う。色域変換処理は、例えば、単純なマトリクス変換による処理でもよいし、ルックアップテーブルを用いた色域マッピング処理でもよい。色域変換部６０３は、色変換手段の一例である。 The gamma conversion unit 601 performs gamma conversion corresponding to the SDR image on the input composite HDR image. The local tone mapping processing unit 602 processes the image gamma-converted by the gamma conversion unit 601 to increase the contrast in the luminance range where gradation compression occurs while changing the brightness of dark and bright areas. Perform local tone mapping processing. The gamma conversion section 601 and the local tone mapping processing section 602 are examples of tone conversion means. The color gamut conversion unit 603 performs processing to convert the color gamut of the input composite HDR image into the color gamut of the output composite SDR image. The color gamut conversion process may be, for example, a simple matrix conversion process or a color gamut mapping process using a lookup table. The color gamut conversion unit 603 is an example of color conversion means.

ＨＤＲ出力画像選択部２０５は、ＨＤＲ現像処理部２０１で生成されたＨＤＲ画像又は合成処理部２０３で生成された合成ＨＤＲ画像を、ＨＤＲ出力画像として出力する。ＨＤＲ出力画像選択部２０５は、複数枚合成モードである場合には合成処理部２０３で生成された合成ＨＤＲ画像を出力し、複数枚合成モードでない場合にはＨＤＲ現像処理部２０１で生成されたＨＤＲ画像を出力する。 The HDR output image selection unit 205 outputs the HDR image generated by the HDR development processing unit 201 or the composite HDR image generated by the composition processing unit 203 as an HDR output image. The HDR output image selection unit 205 outputs the combined HDR image generated by the combination processing unit 203 when in the multi-image combination mode, and outputs the HDR image generated by the HDR development processing unit 201 when not in the multi-image combination mode. Output the image.

ＳＤＲ出力画像選択部２０６は、ＳＤＲ現像処理部２０２で生成されたＳＤＲ画像又は合成処理部２０３及びＳＤＲ変換処理部２０４により生成された合成ＳＤＲ画像を、ＳＤＲ出力画像として出力する。ＳＤＲ出力画像選択部２０６は、複数枚合成モードである場合には合成処理部２０３及びＳＤＲ変換処理部２０４により生成された合成ＳＤＲ画像を出力し、複数枚合成モードでない場合にはＳＤＲ現像処理部２０２で生成されたＳＤＲ画像を出力する。 The SDR output image selection unit 206 outputs the SDR image generated by the SDR development processing unit 202 or the composite SDR image generated by the composition processing unit 203 and the SDR conversion processing unit 204 as an SDR output image. The SDR output image selection section 206 outputs the composite SDR image generated by the composition processing section 203 and the SDR conversion processing section 204 when the mode is multi-sheet composition mode, and outputs the composite SDR image generated by the composition processing section 203 and the SDR conversion processing section 204 when the mode is not multi-sheet composition mode, and outputs the composite SDR image generated by the SDR development processing section when the mode is not multi-sheet composition mode. The SDR image generated in step 202 is output.

図７は、本実施形態における画像処理部１０４の動作例を示すフローチャートである。
ステップＳ７０１では、画像処理部１０４は、ユーザーからの入力受付の結果に応じて複数枚の画像を合成する複数枚合成モードであるか否かを判定して、ＨＤＲ画像とＳＤＲ画像との出力画像の生成方法を切り替える処理を行う。複数枚合成モードであると判定した場合（ＹＥＳ）には、処理はステップＳ７０２へ進み、複数枚合成モードでないと判定した場合（ＮＯ）には、処理はステップＳ７０５へ進む。本実施形態では、画像処理部１０４は、複数枚合成モードであるか否かを、ユーザーからの入力受付の結果に応じて判定するようにしているが、入力された画像を解析することで複数枚合成モードにするか否かを判定するようにしても良い。 FIG. 7 is a flowchart showing an example of the operation of the image processing unit 104 in this embodiment.
In step S701, the image processing unit 104 determines whether the mode is a multi-image compositing mode in which multiple images are composited according to the result of receiving input from the user, and outputs an output image of an HDR image and an SDR image. Performs processing to switch the generation method. If it is determined that the mode is multi-sheet compositing mode (YES), the process proceeds to step S702, and if it is determined that it is not the multi-sheet compositing mode (NO), the process proceeds to step S705. In this embodiment, the image processing unit 104 determines whether or not the multi-image compositing mode is selected according to the result of receiving input from the user. It may be determined whether or not to set the sheet composition mode.

複数枚合成モードであると判定した場合に進むステップＳ７０２では、画像処理部１０４のＨＤＲ現像処理部２０１が、入力された複数の入力画像に対してＨＤＲ現像処理を行い、複数枚のＨＤＲ画像を生成する。 In step S702, which is proceeded when it is determined that the multi-image composition mode is selected, the HDR development processing unit 201 of the image processing unit 104 performs HDR development processing on the plurality of input images, and converts the plurality of HDR images. generate.

ステップＳ７０３では、画像処理部１０４の合成処理部２０３が、ステップＳ７０２において生成された複数枚のＨＤＲ画像に対して合成処理を行う。 In step S703, the composition processing unit 203 of the image processing unit 104 performs composition processing on the plurality of HDR images generated in step S702.

ステップＳ７０４では、画像処理部１０４のＳＤＲ変換処理部２０４が、ステップＳ７０３において複数枚のＨＤＲ画像を合成して得られた合成ＨＤＲ画像に対して、ＳＤＲ変換処理を行って合成ＳＤＲ画像を生成する。 In step S704, the SDR conversion processing unit 204 of the image processing unit 104 performs SDR conversion processing on the combined HDR image obtained by combining the plurality of HDR images in step S703 to generate a combined SDR image. .

このステップＳ７０２からステップＳ７０４までの処理により、複数枚合成モードであると判定された場合、画像処理部１０４は、ＨＤＲ現像処理した画像を複数枚合成した画像を出力用のＨＤＲ画像として出力する。また、画像処理部１０４は、複数枚合成して生成されたＨＤＲ画像をＳＤＲ変換処理したＳＤＲ画像を出力用のＳＤＲ画像として出力する。このように、複数枚合成モードでは、複数枚の現像処理をＨＤＲ画像の生成時のみ実施することで、システム負荷を低減してＨＤＲ画像とＳＤＲ画像とをともに出力することが可能となる。 If it is determined that the mode is multi-image compositing mode through the processing from step S702 to step S704, the image processing unit 104 outputs an image obtained by composing a plurality of images subjected to HDR development processing as an HDR image for output. Further, the image processing unit 104 outputs an SDR image obtained by performing SDR conversion processing on an HDR image generated by combining a plurality of images as an SDR image for output. In this manner, in the multi-image composition mode, by performing development processing on a plurality of images only when generating an HDR image, it is possible to reduce the system load and output both an HDR image and an SDR image.

次に、ステップＳ７０１において複数枚合成モードでないと判定された場合のＨＤＲ画像及びＳＤＲ画像の生成について説明する。複数枚合成モードでないと判定した場合に進むステップＳ７０５では、画像処理部１０４のＨＤＲ現像処理部２０１が、入力画像に対してＨＤＲ現像処理を行い、ＨＤＲ画像を生成する。 Next, generation of an HDR image and an SDR image when it is determined in step S701 that the mode is not the multi-image composition mode will be described. In step S705, which is proceeded when it is determined that the mode is not the multi-image composition mode, the HDR development processing unit 201 of the image processing unit 104 performs HDR development processing on the input image to generate an HDR image.

ステップＳ７０６では、画像処理部１０４のＳＤＲ現像処理部２０２が、入力画像に対してＳＤＲ現像処理を行い、ＳＤＲ画像を生成する。なお、ＨＤＲ現像処理とＳＤＲ現像処理との実行順序は、これに限定されるものではなく、ＳＤＲ現像処理を行った後にＨＤＲ現像処理を行ってもよいし、ＨＤＲ現像処理とＳＤＲ現像処理とを並列して行ってもよい。 In step S706, the SDR development processing unit 202 of the image processing unit 104 performs SDR development processing on the input image to generate an SDR image. Note that the execution order of the HDR development process and the SDR development process is not limited to this, and the HDR development process may be performed after the SDR development process, or the HDR development process and the SDR development process may be performed. They may be performed in parallel.

このステップＳ７０５からステップＳ７０６までの処理により、複数枚合成モードでないと判定された場合、現像処理等のシステム負荷も少ないため、画像処理部１０４は、ＨＤＲ現像処理した画像を出力用のＨＤＲ画像として出力する。また、画像処理部１０４は、ＳＤＲ現像処理した画像を出力用のＳＤＲ画像として出力する。 If it is determined through the processing from step S705 to step S706 that the mode is not multi-image compositing mode, the image processing unit 104 uses the image that has undergone HDR development processing as an HDR image for output, since the system load such as development processing is also small. Output. Further, the image processing unit 104 outputs the image subjected to SDR development processing as an SDR image for output.

以上が本実施形態における画像処理部１０４の処理例であり、前述のような処理を実施することで、ＨＤＲ画像とＳＤＲ画像との両画像の出力を効率良く行うことが可能となる。また、ＨＤＲ画像とＳＤＲ画像とをともに出力するだけでなく、ＨＤＲ画像のサムネイル画像や撮像装置の表示用画像としてＳＤＲ画像を採用することも可能となる。 The above is an example of processing performed by the image processing unit 104 in this embodiment, and by performing the processing described above, it is possible to efficiently output both an HDR image and an SDR image. Furthermore, in addition to outputting both the HDR image and the SDR image, it is also possible to use the SDR image as a thumbnail image of the HDR image or as a display image of the imaging device.

次に、図８を参照して、図７に示したステップＳ７０２、Ｓ７０５、Ｓ７０６でＨＤＲ現像処理部２０１、ＳＤＲ現像処理部２０２が実施している現像処理について説明する。図８は、本実施形態における現像処理の例を示すフローチャートである。 Next, with reference to FIG. 8, the development processing performed by the HDR development processing section 201 and the SDR development processing section 202 in steps S702, S705, and S706 shown in FIG. 7 will be described. FIG. 8 is a flowchart showing an example of development processing in this embodiment.

ステップＳ８０１では、現像処理部のホワイトバランス処理部３０１が、入力された画像に対し、撮影時の光源の色温度に合わせて、色バランスを調整するホワイトバランス処理を行う。ホワイトバランス処理とは、（式１）に示すように、Ｒ、Ｇ、Ｂの各成分毎に異なるゲインを乗算することで画像における色バランスを調整する処理である。（式１）において、Ｒin、Ｇin、Ｂinはホワイトバランス処理前のＲ、Ｇ、Ｂ信号を表し、Ｒout、Ｇout、Ｂoutはホワイトバランス処理後のＲ、Ｇ、Ｂ信号を表し、ＧａｉｎR、ＧａｉｎG、ＧａｉｎBはＲ、Ｇ、Ｂごとのゲインを表している。 In step S801, the white balance processing unit 301 of the development processing unit performs white balance processing on the input image to adjust the color balance in accordance with the color temperature of the light source at the time of photography. White balance processing is a process of adjusting the color balance in an image by multiplying each R, G, and B component by a different gain, as shown in (Equation 1). In (Equation 1), R in , G in , and B in represent R, G, and B signals before white balance processing, and R out , G out , and B out represent R, G, and B signals after white balance processing. In the expression, Gain R , Gain G , and Gain B represent gains for each of R, G, and B.

Figure 0007446827000001
Figure 0007446827000001

ステップＳ８０２では、現像処理部のノイズリダクション処理部３０２が、入力された画像に対し、暗電流ノイズや光ショットノイズを低減するためのノイズリダクション処理を行う。ノイズリダクション処理は、ローパスフィルタやバイラテラルフィルタを用いた一般的な手法を用いる。 In step S802, the noise reduction processing unit 302 of the development processing unit performs noise reduction processing on the input image to reduce dark current noise and light shot noise. The noise reduction process uses a general method using a low-pass filter or bilateral filter.

ステップＳ８０３では、現像処理部のデモザイク処理部３０３が、入力された画像に対し、ベイヤー画像からＲ、Ｇ、Ｂの３プレーン画像を生成するデモザイク処理を行う。デモザイク処理は、線形補間や適応補間等の一般的な手法を用いる。 In step S803, the demosaic processing unit 303 of the development processing unit performs demosaic processing on the input image to generate three plane images of R, G, and B from the Bayer image. Demosaic processing uses general techniques such as linear interpolation and adaptive interpolation.

ステップＳ８０４では、現像処理部の色マトリクス処理部３０４が、入力された画像に対し、センサーの分光特性から出力装置の色域に合わせるための色マトリクス処理を行う。色マトリクス処理とは、例えば（式２）に示すように、３×３の係数ｋ11～ｋ33により構成されたマトリクスを用いて、入力信号Ｒin、Ｇin、Ｂinに対し行列演算を行って出力の色域に合わせた信号Ｒout、Ｇout、Ｂoutを生成する処理である。 In step S804, the color matrix processing unit 304 of the development processing unit performs color matrix processing on the input image to match the spectral characteristics of the sensor to the color gamut of the output device. Color matrix processing is, for example, as shown in (Equation 2), using a matrix composed of 3×3 coefficients k 11 to k 33 to perform matrix operations on input signals R in , G in , and B in . This process generates signals R out , G out , and B out that match the output color gamut.

Figure 0007446827000002
Figure 0007446827000002

なお、係数ｋ11～ｋ33は、ＨＤＲ現像時とＳＤＲ現像時とで異なり、本実施形態ではＨＤＲ現像時はＨＤＲ出力の色域Ｒｅｃ．２０２０に合わせるための係数を設定し、ＳＤＲ現像時はＳＤＲ出力の色域ｓＲＧＢに合わせるための係数を設定する。 Note that the coefficients k 11 to k 33 differ between HDR development and SDR development, and in this embodiment, the HDR output color gamut Rec. 2020, and during SDR development, set coefficients to match the SDR output color gamut sRGB.

ステップＳ８０５では、現像処理部のガンマ処理部３０５が、入力された信号に対し、出力装置のモニタガンマ（ＯＥＴＦ）に合わせた信号を生成するためのガンマ特性（ＥＯＴＦ）で信号値を変換するガンマ処理を行う。ガンマ特性とは、横軸を入力信号とし、縦軸を出力信号とすると、図８に例示するような曲線９０１を描く特性を表す。 In step S805, the gamma processing unit 305 of the development processing unit converts the signal value of the input signal using gamma characteristics (EOTF) to generate a signal matching the monitor gamma (OETF) of the output device. Perform processing. The gamma characteristic represents a characteristic that draws a curve 901 as illustrated in FIG. 8, where the horizontal axis is an input signal and the vertical axis is an output signal.

ここで、ガンマ特性は、出力装置のモニタガンマ（ＯＥＴＦ）に合わせるために、ＨＤＲ現像時とＳＤＲ現像時で異なる。本実施形態では、ＨＤＲ現像時のガンマ特性は、ＳＴ２０８４記載のＯＥＴＦ特性を使用するため、（式３）に示すようなガンマ特性になる。（式３）において、ｐ＿ｉｎは、リニアである入力信号を０．０～１．０に正規化したＲ、Ｇ、Ｂの信号であり、０．０が０［ｃｄ／ｍ2］の輝度値を示し、１．０が１００００［ｃｄ／ｍ2］の輝度値を示す。ｐ＿ｏｕｔは、出力信号を０．０～１．０に正規化したＲ、Ｇ、Ｂの信号であり、１．０が出力ビット数に応じた上限値に対応し、０．０が出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３であり、下限値は０である。 Here, the gamma characteristics differ between HDR development and SDR development in order to match the monitor gamma (OETF) of the output device. In this embodiment, the gamma characteristic during HDR development uses the OETF characteristic described in ST2084, so the gamma characteristic is as shown in (Equation 3). In (Equation 3), p_in is the R, G, and B signals obtained by normalizing the linear input signal to 0.0 to 1.0, and 0.0 is the luminance value of 0 [cd/m 2 ]. 1.0 indicates a luminance value of 10000 [cd/m 2 ]. p_out is an R, G, and B signal obtained by normalizing the output signal to 0.0 to 1.0, where 1.0 corresponds to the upper limit value according to the number of output bits, and 0.0 corresponds to the number of output bits. Corresponds to the lower limit value according to. For example, when the number of output bits is 10 bits, the upper limit is 1023 and the lower limit is 0.

Figure 0007446827000003
Figure 0007446827000003

また、本実施形態では、ＳＤＲ現像時のガンマ特性は、ｓＲＧＢ規格のＯＥＴＦ特性を使用するため、（式４）に示すようなガンマ特性になる。（式４）において、ｐ＿ｉｎは、リニアである入力信号を０．０～１．０に正規化したＲ、Ｇ、Ｂの信号であり、０．０が０［ｃｄ／ｍ2］の輝度値を示し、１．０が１００［ｃｄ／ｍ2］の輝度値を示す。ｐ＿ｏｕｔは、出力信号を０．０～１．０に正規化したＲ、Ｇ、Ｂの信号であり、１．０が出力ビット数に応じた上限値に対応し、０．０が出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３であり、下限値は０である。 Further, in this embodiment, since the OETF characteristic of the sRGB standard is used as the gamma characteristic during SDR development, the gamma characteristic is as shown in (Equation 4). In (Equation 4), p_in is the R, G, and B signals obtained by normalizing the linear input signal to 0.0 to 1.0, and 0.0 is the luminance value of 0 [cd/m 2 ]. and 1.0 indicates a luminance value of 100 [cd/m 2 ]. p_out is an R, G, and B signal obtained by normalizing the output signal to 0.0 to 1.0, where 1.0 corresponds to the upper limit value according to the number of output bits, and 0.0 corresponds to the number of output bits. Corresponds to the lower limit value according to. For example, when the number of output bits is 10 bits, the upper limit is 1023 and the lower limit is 0.

Figure 0007446827000004
Figure 0007446827000004

なお、基本ガンマ特性は前述した通りであるが、画作りに応じてカーブを変更させてもよい。また、前述した複数枚ダイナミックレンジ拡大合成を実施する際には、適正露出の画像にアンダー露出画像とオーバー露出画像の明るさを合わせるために、露出に応じてガンマを変更させる必要がある。以上が本実施形態における現像処理の処理例である。 Although the basic gamma characteristics are as described above, the curve may be changed depending on image creation. Furthermore, when performing the above-mentioned dynamic range expansion synthesis of multiple images, it is necessary to change gamma according to the exposure in order to match the brightness of the underexposed image and the overexposed image to the properly exposed image. The above is an example of the development process in this embodiment.

次に、図１０を参照して、図７に示したステップＳ７０４でＳＤＲ変換処理部２０４が実施しているＳＤＲ変換処理について説明する。図１０は、本実施形態におけるＳＤＲ変換処理の例を示すフローチャートである。 Next, with reference to FIG. 10, the SDR conversion processing performed by the SDR conversion processing unit 204 in step S704 shown in FIG. 7 will be described. FIG. 10 is a flowchart showing an example of SDR conversion processing in this embodiment.

ステップＳ１００１では、ＳＤＲ変換処理部２０４のガンマ変換部６０１が、入力されたＨＤＲ画像に対し、ＳＤＲ画像に対応するガンマ変換処理を行う。ガンマ変換処理とは、前述した（式３）、（式４）に示したようにＨＤＲ画像で適用されているガンマをリニア空間に戻して、ＳＤＲ画像に適用するガンマに変換する処理を指す。ガンマ変換処理では、ＨＤＲ画像に適用されているガンマの逆特性であるモニタガンマ（ＥＯＴＦ）を適用する。 In step S1001, the gamma conversion unit 601 of the SDR conversion processing unit 204 performs gamma conversion processing corresponding to the SDR image on the input HDR image. The gamma conversion process refers to the process of returning the gamma applied to the HDR image to linear space and converting it to the gamma applied to the SDR image, as shown in (Equation 3) and (Equation 4) described above. In the gamma conversion process, monitor gamma (EOTF), which is the inverse characteristic of the gamma applied to the HDR image, is applied.

本実施形態では、（式５）に示すようなＳＴ２０８４記載のモニタガンマ（ＥＯＴＦ）を適用する。（式５）において、ｐ＿ｏｕｔは、ＨＤＲ画像の出力信号を０．０～１．０に正規化したＲ、Ｇ、Ｂの信号であり、１．０が出力ビット数に応じた上限値に対応し、０．０が出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３であり、下限値は０である。ｐ＿ｉｎは、ＨＤＲ画像をリニア空間に戻した入力信号を０．０～１．０に正規化したＲ、Ｇ、Ｂの信号であり、０．０が０［ｃｄ／ｍ2］の輝度値を示し、１．０が１００００［ｃｄ／ｍ2］の輝度値を示す。 In this embodiment, the monitor gamma (EOTF) described in ST2084 as shown in (Formula 5) is applied. In (Equation 5), p_out is the R, G, and B signal obtained by normalizing the output signal of the HDR image to 0.0 to 1.0, and 1.0 corresponds to the upper limit according to the number of output bits. However, 0.0 corresponds to the lower limit value depending on the number of output bits. For example, when the number of output bits is 10 bits, the upper limit is 1023 and the lower limit is 0. p_in is the R, G, and B signals obtained by normalizing the input signal of the HDR image back to linear space to 0.0 to 1.0, and 0.0 corresponds to the luminance value of 0 [cd/m 2 ]. 1.0 indicates a luminance value of 10000 [cd/m 2 ].

Figure 0007446827000005
Figure 0007446827000005

（式５）により算出されるｐ＿ｉｎは、０．０が０［ｃｄ／ｍ2］の輝度値を示し、１．０が１００００［ｃｄ／ｍ2］の輝度値を示す。前述した（式４）に示すＳＤＲのガンマに適用するためには、（式６）に示すように、ｐ＿ｉｎを０．０が０［ｃｄ／ｍ2］の輝度値を示し、１．０が１００［ｃｄ／ｍ2］の輝度値を示すように正規化し直す必要がある。（式６）において、ｐ＿ｉｎ’は正規化し直した信号値を指す。 For p_in calculated by (Equation 5), 0.0 indicates a luminance value of 0 [cd/m 2 ], and 1.0 indicates a luminance value of 10000 [cd/m 2 ]. In order to apply it to the SDR gamma shown in (Equation 4) mentioned above, p_in should be set as follows: 0.0 indicates a luminance value of 0 [cd/m 2 ], and 1.0 indicates a luminance value of 0 [cd/m 2 ], as shown in (Equation 6). It is necessary to normalize again to show a luminance value of 100 [cd/m 2 ]. In (Equation 6), p_in' refers to the renormalized signal value.

Figure 0007446827000006
Figure 0007446827000006

（式６）によって正規化し直した信号値ｐ＿ｉｎ’を、前述した（式４）におけるｐ＿ｉｎとして適用することでガンマ変換を実現できる。図１１は、ガンマ変換をリニア空間で表現した図である。横軸は入力のリニア信号、縦軸は出力のリニア信号で表しており、点線で示した特性１１０１はＨＤＲ画像の入出力特性を示し、実線で示した特性１１０２はガンマ変換後のＳＤＲ画像の入出力特性を示す。図１１に示すように、ガンマ変換後のＳＤＲ画像の入出力特性は、ＨＤＲ画像の入出力特性を線形に収めたようになる。 Gamma conversion can be realized by applying the signal value p_in' renormalized by (Equation 6) as p_in in (Equation 4) described above. FIG. 11 is a diagram expressing gamma conversion in linear space. The horizontal axis represents the input linear signal, and the vertical axis represents the output linear signal. Characteristics 1101 shown by the dotted line represent the input/output characteristics of the HDR image, and characteristics 1102 shown by the solid line represent the input/output characteristics of the SDR image after gamma conversion. Indicates input/output characteristics. As shown in FIG. 11, the input/output characteristics of the SDR image after gamma conversion are the same as the input/output characteristics of the HDR image.

ステップＳ１００２では、ＳＤＲ変換処理部２０４のローカルトーンマッピング処理部６０２が、ステップＳ１００１においてガンマ変換を行った画像に対し、ローカルトーンマッピング処理を行う。ローカルトーンマッピング処理によって、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対し、コントラストを高める処理を実施する。ローカルトーンマッピング処理は、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化するようなゲインマップＭＡＰを生成し、生成したゲインマップを参照しながら階調処理を実施するような一般的な手法を用いる。 In step S1002, the local tone mapping processing unit 602 of the SDR conversion processing unit 204 performs local tone mapping processing on the image subjected to gamma conversion in step S1001. Local tone mapping processing is used to change the brightness of dark and bright areas while increasing the contrast in the luminance range where gradation compression occurs. Local tone mapping processing uses the discrimination results of images and regions of different frequency bands to generate a gain map MAP whose gradation characteristics change locally, and performs gradation processing while referring to the generated gain map. Use common techniques such as:

図１２を参照して、ステップＳ１００２でのローカルトーンマッピング処理の一例について説明する。図１２（ａ）には、ローカルトーンマッピングで使用する階調特性の一例を示している。入力信号は、ステップＳ１００１においてＳＤＲガンマに変換された信号であり、出力信号は、ローカルトーンマッピングで処理した時に目標となる出力信号である。入力されたＨＤＲ画像に対しＳＤＲ画像に対応するガンマ変換を行った信号は、図１１を用いて説明したように、広いＨＤＲのダイナミックレンジの信号をＳＤＲのダイナミックレンジに収めているため、ＨＤＲ画像で表現されていた明るさに比べて一律暗くなる。そのため、図１２（ａ）に示す階調特性１２０１や階調特性１２０２のように、何も変化させない階調特性１２０３に対し、低輝度から中輝度を明るく補正する特性を作成する。階調特性１２０１は補正量が大きく、階調特性１２０２は補正量が小さい。本実施形態では、階調特性１２０１と階調特性１２０２とを合わせることで、目標とする階調特性を算出する。 An example of the local tone mapping process in step S1002 will be described with reference to FIG. 12. FIG. 12A shows an example of tone characteristics used in local tone mapping. The input signal is the signal converted to SDR gamma in step S1001, and the output signal is the target output signal when processed by local tone mapping. As explained using FIG. 11, the signal obtained by performing gamma conversion corresponding to the SDR image on the input HDR image contains the wide HDR dynamic range signal within the SDR dynamic range. It becomes uniformly darker than the brightness expressed in . Therefore, like the gradation characteristic 1201 and the gradation characteristic 1202 shown in FIG. 12(a), a characteristic that brightens low to medium luminance is created in contrast to the gradation characteristic 1203 that does not change anything. The gradation characteristic 1201 has a large correction amount, and the gradation characteristic 1202 has a small correction amount. In this embodiment, the target gradation characteristic is calculated by combining the gradation characteristic 1201 and the gradation characteristic 1202.

具体的には、ローカルトーンマッピング処理部６０２は、まず、図１２（ｂ）に示すようにガンマ変換後の入力画像のヒストグラムを取得し、閾値ＴＨ以下の度数を合計することで、画像に占める低輝度から中輝度の割合ＲＡＴＩＯを算出する。次に、ローカルトーンマッピング処理部６０２は、割合ＲＡＴＩＯを用いて図１２（ｃ）に示すように予め設定されたテーブルからＭＩＸ係数αを算出し、階調特性１２０１と階調特性１２０２とをαでＭＩＸして目標とする階調特性を算出する。入力信号をｘ、出力信号をｙとして、階調特性１２０１の階調特性をｙ＝ｔｍ＿ａ（ｘ）、階調特性１２０２をｙ＝ｔｍ＿ｂ（ｘ）とすると、目標とする階調特性ｔｍ（ｘ）は（式７）に示すように生成される。 Specifically, the local tone mapping processing unit 602 first obtains a histogram of the input image after gamma conversion as shown in FIG. Calculate the ratio RATIO from low brightness to medium brightness. Next, the local tone mapping processing unit 602 uses the ratio RATIO to calculate the MIX coefficient α from a preset table as shown in FIG. to calculate the target gradation characteristics. Assuming that the input signal is x and the output signal is y, the tone characteristic of tone characteristic 1201 is y=tm_a(x), and the tone characteristic 1202 is y=tm_b(x), the target tone characteristic tm(x ) is generated as shown in (Equation 7).

Figure 0007446827000007
Figure 0007446827000007

（式７）で生成した階調特性を用いて、ガンマ変換後の画像信号をｐとし、ガンマ変換後の画像信号に対しローパスフィルタ処理などで生成した低周波画像をｐ＿ｌｐｆとすると、ローカルトーンマッピングによる出力信号ｐ＿ｏｕｔは（式８）で表される。 Using the gradation characteristics generated by (Equation 7), let p be the image signal after gamma conversion, and let p_lpf be the low frequency image generated by low-pass filter processing etc. for the image signal after gamma conversion, then local tone mapping The output signal p_out is expressed by (Equation 8).

Figure 0007446827000008
Figure 0007446827000008

前述のようにローカルトーンマッピング処理部６０２がローカルトーンマッピング処理を行うことで、低輝度から中輝度の領域にかけて被写体が多い画像とそうでない場合とで、適応的に最適な明るさでＳＤＲ画像を生成することができる。 As described above, the local tone mapping processing unit 602 performs local tone mapping processing to adaptively generate SDR images with optimal brightness depending on whether there are many subjects in the low to medium brightness area or not. can be generated.

ステップＳ１００３では、ＳＤＲ変換処理部２０４の色域変換部６０３が、ステップＳ１００１において入力されたＨＤＲ画像の色域を、出力されるＳＤＲ画像の色域に変換する色域変換処理を行う。色域変換処理は、例えば単純なマトリクス変換による処理でもよいし、ルックアップテーブルを用いた色域マッピング処理でもよい。以上が本実施形態におけるＳＤＲ変換処理の処理例である。 In step S1003, the color gamut conversion unit 603 of the SDR conversion processing unit 204 performs color gamut conversion processing to convert the color gamut of the HDR image input in step S1001 to the color gamut of the SDR image to be output. The color gamut conversion process may be, for example, a simple matrix conversion process or a color gamut mapping process using a lookup table. The above is an example of the SDR conversion process in this embodiment.

本実施形態によれば、多重露光やパノラマ合成等の複数枚合成機能を実施する複数枚合成モードでは、画像処理部１０４が、入力される複数枚の画像をＨＤＲ現像処理した後、複数枚のＨＤＲ画像を合成してＨＤＲ画像を生成する。また、画像処理部１０４が、複数枚のＨＤＲ画像を合成して生成されたＨＤＲ画像をＳＤＲ変換処理することでＳＤＲ画像を生成する。このようにすることで、複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することが可能となる。 According to the present embodiment, in the multiple image compositing mode that implements multiple image compositing functions such as multiple exposure and panoramic compositing, the image processing unit 104 performs HDR development processing on multiple input images, and then performs HDR development processing on multiple input images. HDR images are combined to generate an HDR image. Further, the image processing unit 104 generates an SDR image by performing SDR conversion processing on an HDR image generated by combining a plurality of HDR images. By doing so, when implementing the function of combining multiple images, it becomes possible to efficiently generate and record HDR images and SDR images.

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments of the present invention)
The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 Note that the above-mentioned embodiments are merely examples of embodiments of the present invention, and the technical scope of the present invention should not be construed as limited by these embodiments. That is, the present invention can be implemented in various forms without departing from its technical idea or main features.

１０４：画像処理部 ２０１：ＨＤＲ現像処理部 ２０２：ＳＤＲ現像処理部 ２０３：合成処理部 ２０４：ＳＤＲ変換処理部 ２０５：ＨＤＲ出力画像選択部 ２０６：ＳＤＲ出力画像選択部 104: Image processing section 201: HDR development processing section 202: SDR development processing section 203: Composition processing section 204: SDR conversion processing section 205: HDR output image selection section 206: SDR output image selection section

Claims (12)

第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置であって、
入力画像に対して現像処理を行う現像手段と、
前記現像手段により生成された複数の画像を合成する合成手段と、
前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換手段とを有し、
前記合成手段により複数の画像の合成を行う場合、前記現像手段により前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成手段により合成した前記第２のダイナミックレンジの画像を前記変換手段により変換した前記第１のダイナミックレンジの画像とを出力し、
前記合成手段により複数の画像の合成を行わない場合、前記現像手段により前記入力画像を現像処理してそれぞれ生成した前記第１のダイナミックレンジの画像と前記第２のダイナミックレンジの画像とを出力することを特徴とする画像処理装置。 An image processing device that outputs an image of a first dynamic range and an image of a second dynamic range wider than the first dynamic range,
a developing means that performs a developing process on the input image;
compositing means for compositing a plurality of images generated by the developing means;
converting means for converting the image in the second dynamic range into an image in the first dynamic range,
When a plurality of images are synthesized by the synthesizing means, an image of the second dynamic range generated by developing the input image by the developing means and an image of the second dynamic range synthesized by the synthesizing means. outputting an image of the first dynamic range obtained by converting the image by the converting means;
When the combining means does not combine a plurality of images, the developing means develops the input image and outputs an image in the first dynamic range and an image in the second dynamic range that are generated respectively. An image processing device characterized by: 前記合成手段は、前記現像手段により複数の前記入力画像を現像処理して生成した複数の前記第２のダイナミックレンジの画像を合成することを特徴とする請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1 , wherein the synthesizing means synthesizes a plurality of images of the second dynamic range generated by developing the plurality of input images by the developing means. 前記現像手段は、
前記入力画像を現像処理して前記第１のダイナミックレンジの画像を生成する第１の現像手段と、
前記入力画像を現像処理して前記第２のダイナミックレンジの画像を生成する第２の現像手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。 The developing means includes:
a first developing unit that develops the input image to generate an image of the first dynamic range;
3. The image processing apparatus according to claim 1 , further comprising a second developing unit that develops the input image to generate an image of the second dynamic range. 前記合成手段により複数の画像の合成を行うか否かに応じて、前記合成手段により合成した前記第２のダイナミックレンジの画像を前記変換手段により変換した前記第１のダイナミックレンジの画像、又は前記現像手段により前記入力画像を現像処理して生成した前記第１のダイナミックレンジの画像を出力する出力手段を有することを特徴とする請求項１～３の何れか１項に記載の画像処理装置。 Depending on whether a plurality of images are synthesized by the synthesizing means, the second dynamic range image synthesized by the synthesizing means is converted by the converting means, or the first dynamic range image is converted by the converting means, or 4. The image processing apparatus according to claim 1, further comprising an output means for outputting an image of the first dynamic range generated by developing the input image using a developing means. 前記第１のダイナミックレンジの画像はＳＤＲ（standard dynamic range）画像であり、前記第２のダイナミックレンジの画像はＨＤＲ（high dynamic range）画像であることを特徴とする請求項１～４の何れか１項に記載の画像処理装置。 Any one of claims 1 to 4 , wherein the first dynamic range image is an SDR (standard dynamic range) image, and the second dynamic range image is an HDR (high dynamic range) image. The image processing device according to item 1. 前記変換手段は、画像における階調を変換する階調変換手段を有することを特徴とする請求項１～５の何れか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5 , wherein the converting means includes a tone converting means for converting a tone in an image. 前記階調変換手段は、前記第２のダイナミックレンジに係るガンマを前記第１のダイナミックレンジに係るガンマに変換するガンマ変換処理を行うことを特徴とする請求項６に記載の画像処理装置。 7. The image processing apparatus according to claim 6 , wherein the gradation conversion means performs gamma conversion processing to convert gamma related to the second dynamic range to gamma related to the first dynamic range. 前記階調変換手段は、ローカルトーンマッピング処理を行うことを特徴とする請求項６に記載の画像処理装置。 7. The image processing apparatus according to claim 6 , wherein the tone conversion means performs local tone mapping processing. 前記階調変換手段は、入力される画像から算出したヒストグラムの結果に応じて、階調変換を行うことを特徴とする請求項８に記載の画像処理装置。 9. The image processing apparatus according to claim 8 , wherein the tone conversion means performs tone conversion according to a result of a histogram calculated from an input image. 前記変換手段は、前記第２のダイナミックレンジに係る色域を前記第１のダイナミックレンジに係る色域に変換する色変換手段を有することを特徴とする請求項６に記載の画像処理装置。 7. The image processing apparatus according to claim 6 , wherein the conversion means includes a color conversion means for converting a color gamut related to the second dynamic range to a color gamut related to the first dynamic range. 第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置の画像処理方法であって、
入力画像に対して現像処理を行う現像工程と、
前記現像工程にて生成された複数の画像を合成する合成工程と、
前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換工程とを有し、
前記複数の画像の合成を行う場合、前記現像工程にて前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成工程にて合成した前記第２のダイナミックレンジの画像を前記変換工程にて変換した前記第１のダイナミックレンジの画像とを出力し、
前記複数の画像の合成を行わない場合、前記現像工程にて前記入力画像を現像処理してそれぞれ生成した前記第１のダイナミックレンジの画像と前記第２のダイナミックレンジの画像とを出力することを特徴とする画像処理方法。 An image processing method of an image processing device that outputs an image of a first dynamic range and an image of a second dynamic range wider than the first dynamic range,
a development step of performing development processing on the input image;
a compositing step of composing the plurality of images generated in the developing step;
a conversion step of converting the second dynamic range image into the first dynamic range image,
When synthesizing the plurality of images, an image of the second dynamic range generated by developing the input image in the developing step, and an image of the second dynamic range synthesized in the synthesizing step. and an image of the first dynamic range converted in the conversion step ,
When the plurality of images are not combined, the input image is developed in the development step and an image in the first dynamic range and an image in the second dynamic range are respectively generated. Featured image processing method. 第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置のコンピュータに、
入力画像に対して現像処理を行う現像ステップと、
前記現像ステップにて生成された複数の画像を合成する合成ステップと、
前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換ステップとを実行させ、
前記複数の画像の合成を行う場合、前記現像ステップにて前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成ステップにて合成した前記第２のダイナミックレンジの画像を前記変換ステップにて変換した前記第１のダイナミックレンジの画像とを出力し、
前記複数の画像の合成を行わない場合、前記現像ステップにて前記入力画像を現像処理してそれぞれ生成した前記第１のダイナミックレンジの画像と前記第２のダイナミックレンジの画像とを出力する制御を実行させるためのプログラム。 to a computer of an image processing device that outputs an image of a first dynamic range and an image of a second dynamic range wider than the first dynamic range;
a development step of performing development processing on the input image;
a compositing step of composing the plurality of images generated in the developing step;
performing a conversion step of converting the second dynamic range image into the first dynamic range image;
When synthesizing the plurality of images, an image of the second dynamic range generated by developing the input image in the developing step, and an image of the second dynamic range synthesized in the synthesizing step. and an image of the first dynamic range converted in the conversion step ,
When the plurality of images are not synthesized, control is performed to output an image in the first dynamic range and an image in the second dynamic range, which are respectively generated by developing the input image in the developing step. A program to run.
JP2020010807A 2020-01-27 2020-01-27 Image processing device, image processing method, and program Active JP7446827B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020010807A JP7446827B2 (en) 2020-01-27 2020-01-27 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020010807A JP7446827B2 (en) 2020-01-27 2020-01-27 Image processing device, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2021117748A JP2021117748A (en) 2021-08-10
JP7446827B2 true JP7446827B2 (en) 2024-03-11

Family

ID=77175674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020010807A Active JP7446827B2 (en) 2020-01-27 2020-01-27 Image processing device, image processing method, and program

Country Status (1)

Country Link
JP (1) JP7446827B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961206B2 (en) 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033302A (en) 2008-07-28 2010-02-12 Namco Bandai Games Inc Image generation system, program and information storage medium
JP2011010108A (en) 2009-06-26 2011-01-13 Seiko Epson Corp Imaging control apparatus, imaging apparatus, and imaging control method
JP2019096049A (en) 2017-11-22 2019-06-20 富士通株式会社 Image generation device and method
JP2019101686A (en) 2017-11-30 2019-06-24 キヤノン株式会社 Image processor, method for processing image, and program
JP2019193147A (en) 2018-04-26 2019-10-31 キヤノン株式会社 Imaging device, imaging method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010033302A (en) 2008-07-28 2010-02-12 Namco Bandai Games Inc Image generation system, program and information storage medium
JP2011010108A (en) 2009-06-26 2011-01-13 Seiko Epson Corp Imaging control apparatus, imaging apparatus, and imaging control method
JP2019096049A (en) 2017-11-22 2019-06-20 富士通株式会社 Image generation device and method
JP2019101686A (en) 2017-11-30 2019-06-24 キヤノン株式会社 Image processor, method for processing image, and program
JP2019193147A (en) 2018-04-26 2019-10-31 キヤノン株式会社 Imaging device, imaging method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
木下 裕磨，ＨＤＲ画像のためのパラメータを用いない逆トーンマッピング法とその応用，電子情報通信学会技術研究報告 Ｖｏｌ．１１５ Ｎｏ．３４８ IEICE Technical Report，日本，一般社団法人電子情報通信学会，2016年01月14日，第115巻 第348号，p.23～28

Also Published As

Publication number Publication date
JP2021117748A (en) 2021-08-10

Similar Documents

Publication Publication Date Title
JP5408053B2 (en) Image processing apparatus and image processing method
JP5761946B2 (en) Image processing apparatus, image processing method, and storage medium
JP4004943B2 (en) Image composition method and imaging apparatus
JP5665436B2 (en) Image processing apparatus, image processing method, and program
JP5672796B2 (en) Image processing apparatus and image processing method
JP2003046859A (en) Image pickup device and method
JP2011018141A (en) Image processing apparatus and program
JP2013058859A (en) Image processor, image processing method, and program
US11798143B2 (en) Image processing apparatus and control method thereof
JP7227719B2 (en) IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
JP7446827B2 (en) Image processing device, image processing method, and program
JP2008294524A (en) Image processor and image processing method
JP2001268345A (en) Image synthesizing device
JP2000307921A (en) Picture processor
JP5822606B2 (en) Image processing apparatus and image processing apparatus control method
JPH11155108A (en) Video signal processor and processing method and video camera using the same
JP2000050160A (en) Picture compositing device and its method, and storage medium storing picture composition method
JP7332325B2 (en) IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
US7411619B2 (en) Signal processing method, a signal processor circuit, and imaging apparatus
JP6025555B2 (en) Image processing apparatus, image processing method, and program
JP2013090094A (en) Image processing device and control method for image processing device
JP5145876B2 (en) Imaging apparatus and imaging method
JP2023154575A (en) Imaging apparatus and control method for the same, and image processing device
JP6072191B2 (en) Image processing apparatus and image processing apparatus control method
JP6021885B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R151 Written notification of patent or utility model registration

Ref document number: 7446827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151