JP6702752B2 - Image processing device, imaging device, control method, and program - Google Patents
Image processing device, imaging device, control method, and program Download PDFInfo
- Publication number
- JP6702752B2 JP6702752B2 JP2016027243A JP2016027243A JP6702752B2 JP 6702752 B2 JP6702752 B2 JP 6702752B2 JP 2016027243 A JP2016027243 A JP 2016027243A JP 2016027243 A JP2016027243 A JP 2016027243A JP 6702752 B2 JP6702752 B2 JP 6702752B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- virtual light
- image
- subject
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に撮像後に追加的に定義された仮想光源による照明効果を画像に付加する画像処理技術に関する。 The present invention relates to an image processing device, an imaging device, a control method, and a program, and particularly to an image processing technique for adding an illumination effect by a virtual light source additionally defined after imaging to an image.
撮影後に得られた画像について、撮影環境には存在しなかった仮想的な光源による照明効果を付加し、被写体に生じた陰影を低減させる技術がある。特許文献１に記載の技術では、画像中の顔領域を検出し、該顔領域に対して定義した仮想光源による明度の調整を行っている。 There is a technique for reducing the shadow generated on a subject by adding an illumination effect of a virtual light source that does not exist in the shooting environment to an image obtained after shooting. In the technique described in Patent Document 1, a face area in an image is detected, and the brightness is adjusted by a virtual light source defined for the face area.
ところで、特許文献１のような明度を上げることで陰影を低減する画像処理では、画像の撮影環境において順光または斜光の関係となるように仮想光源を定義している。一方で、撮影環境は必ずしも順光や斜光ではなく、撮影者によっては逆光特有の表現を所望して撮影を行うこともあり、特許文献１のような画像処理を行うことで、所望の表現が得られない可能性があった。即ち、逆光シーンにおける、被写体の周囲において背後からの光が抜けてくる透過光や、被写体の斜め背後から当たったことにより稜線付近で生じる反射光に係る照明効果は表現されるものでなかった。 By the way, in the image processing for reducing the shadow by increasing the brightness as in Patent Document 1, the virtual light source is defined so as to have a relationship of normal light or oblique light in the image capturing environment. On the other hand, the shooting environment is not necessarily normal light or oblique light, and depending on the photographer, shooting may be performed with a desire for an expression peculiar to backlighting. By performing image processing as in Patent Document 1, a desired expression can be obtained. There was a possibility that I could not get it. That is, in a backlit scene, the illumination effect of the transmitted light in which the light from behind escapes around the subject and the reflected light generated near the ridge line when the light strikes the subject obliquely from behind is not expressed.
本発明は、上述の問題点に鑑みてなされたものであり、撮像後に逆光特有の表現を好適に実現した画像を生成する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing device, an imaging device, a control method, and a program that generate an image that suitably realizes a backlight-specific expression after imaging. To do.
前述の目的を達成するために、本発明の画像処理装置は、撮像により得られた画像を取得する取得手段と、取得手段により取得された画像に含まれる被写体について、撮像時に存在しなかった仮想光源による影響を演算する演算手段と、演算手段による演算結果に基づき、被写体に仮想光源による影響を付加した画像を出力する出力手段とを有し、演算手段は、仮想光源を定義する位置を決定する決定手段と、取得された画像に含まれる被写体領域を特定する特定手段と、決定手段により逆光の関係となる位置に仮想光源を定義する位置が決定される場合に、特定手段により特定された被写体領域の形状に基づいて、仮想光源による透過光の発生率を決定する第１の決定手段と、仮想光源を定義する位置と被写体領域との位置に基づいて、仮想光源による反射光の発生率を決定する第２の決定手段と、第１の決定手段により決定された透過光の発生率と第２の決定手段により決定された反射光の発生率とに基づいて、仮想光源による影響を演算する処理手段と、を含むことを特徴とする。 In order to achieve the above-mentioned object, the image processing apparatus of the present invention has an acquisition unit that acquires an image obtained by imaging and a subject included in the image acquired by the acquisition unit that does not exist at the time of imaging. It has a calculation means for calculating the influence of the light source, and an output means for outputting an image in which the influence of the virtual light source is added to the subject based on the calculation result by the calculation means, and the calculation means determines the position defining the virtual light source. Determining means, specifying means for specifying the subject area included in the acquired image, and the specifying means when the position for defining the virtual light source is determined at a position having a backlight relationship. First determining means for determining the generation rate of transmitted light by the virtual light source based on the shape of the subject region, and the generation rate of reflected light by the virtual light source based on the position defining the virtual light source and the position of the subject region. The effect of the virtual light source is calculated based on the second determining means for determining the transmission rate, the transmission light generation rate determined by the first determination means, and the reflected light generation rate determined by the second determination means. And processing means for performing the processing.
このような構成により本発明によれば、撮像後に逆光特有の表現を好適に実現した画像を生成することが可能となる。 According to the present invention having such a configuration, it is possible to generate an image in which the expression peculiar to the backlight is suitably realized after the image capturing.
［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、仮想光源による照明効果を付加するリライティング処理を実行可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明の実施において撮像機能は必須の構成ではなく、画像信号に対して追加的な仮想光源による照明効果を付加する種々の処理が実行可能な任意の機器に適用可能である。また、本明細書において、「リライティング処理」とは、撮像により得られた画像信号に対し、撮影環境には実際に存在しなかった仮想光源を追加的に定義し、該仮想光源による照明効果を付加する処理を言うものとして説明する。
[Embodiment 1]
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. Note that the embodiment described below describes an example in which the present invention is applied to a digital camera capable of executing a relighting process for adding an illumination effect by a virtual light source, which is an example of an image processing apparatus. However, the imaging function is not an essential component in the implementation of the present invention, and can be applied to any device capable of executing various processes for adding an illumination effect by an additional virtual light source to an image signal. Further, in the present specification, the “relighting process” additionally defines a virtual light source that does not actually exist in the shooting environment with respect to the image signal obtained by the image pickup, and determines the lighting effect by the virtual light source. The processing to be added will be described below.
《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
<<Structure of digital camera 100>>
FIG. 1 is a block diagram showing a functional configuration of a digital camera 100 according to the embodiment of the present invention.
レンズ群１０１は、ズームレンズ、フォーカスレンズを含む撮像光学系であり、撮影環境の被写体の反射光束や光源からの光束を撮像部１０３に導く。導かれた光束は、絞り機能を備えるシャッター１０２により光量制御され、撮像部１０３によりアナログ画像信号に変換される。撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像装置であり、撮像部１０３により撮像面に結像された光学像を光電変換し、アナログ画像信号を出力する。撮像部１０３により出力されたアナログ画像信号はＡ／Ｄ変換器１０４によりデジタル画像信号（画像データ）に変換され、画像処理部１０５においてホワイトバランス処理や、ガンマ補正処理、輪郭強調処理、色補正処理等の各種画像処理が適用される。また顔検出部１１３は、入力された画像データに含まれる人物の顔領域を検出する顔検出処理を実行し、検出結果を出力する。リライティング処理部１１４は、入力された画像データに対して、仮想光源による照明効果を付加するリライティング処理を適用する。画像に係る各種の処理においては、画像メモリ１０６が作業領域やデータ格納領域として利用可能に設けられ、画像メモリ１０６への書き込み／読み出し等のアクセスに係る全般の動作はメモリ制御部１０７により制御される。 The lens group 101 is an image pickup optical system including a zoom lens and a focus lens, and guides a reflected light flux of a subject in a shooting environment or a light flux from a light source to the image pickup unit 103. The amount of the guided light flux is controlled by the shutter 102 having a diaphragm function, and is converted into an analog image signal by the imaging unit 103. The imaging unit 103 is an imaging device such as a CCD or a CMOS sensor, and photoelectrically converts the optical image formed on the imaging surface by the imaging unit 103 and outputs an analog image signal. The analog image signal output from the image capturing unit 103 is converted into a digital image signal (image data) by the A/D converter 104, and the image processing unit 105 performs white balance processing, gamma correction processing, contour enhancement processing, color correction processing. Various image processings such as are applied. The face detection unit 113 also executes face detection processing for detecting the face area of the person included in the input image data, and outputs the detection result. The relighting processing unit 114 applies relighting processing for adding an illumination effect by a virtual light source to the input image data. In various kinds of processing related to images, the image memory 106 is provided so as to be usable as a work area or a data storage area, and the memory control unit 107 controls overall operations related to access such as writing/reading to the image memory 106. It
画像処理部１０５及びリライティング処理部１１４それぞれの詳細については、別図を用いて後述する。なお、本実施形態のデジタルカメラ１００では各種の画像処理を、画像処理部１０５、顔検出部１１３及びリライティング処理部１１４に分離して構成するものとして説明する。しかしながら、本発明の実施において、これらの画像処理が１以上の任意の数の処理回路で構成されてもよいことは容易に理解されよう。 Details of each of the image processing unit 105 and the relighting processing unit 114 will be described later with reference to another drawing. In the digital camera 100 of the present embodiment, various image processes will be described as being configured separately in the image processing unit 105, the face detection unit 113, and the relighting processing unit 114. However, it will be readily appreciated that in practicing the present invention, these image processes may be comprised of any number of one or more processing circuits.
撮像により得られ、各種の画像処理や重畳処理が適用された画像データは、Ｄ／Ａ変換器１０８において変換されることで表示用のアナログ画像信号となる。表示用のアナログ画像信号が例えばＬＣＤ等の表示部１０９に表示されることで、電子ビューファインダに係る機能が撮影者に提供される。また撮影動作に係り取得された画像データを記録（保存）する場合には、コーデック部１１０が予め定められた圧縮・符号化形式で記録用データに変換し、該データがＩ／Ｆ１１１を介して内蔵メモリやメモリカード等の記録装置である記録媒体１１２に記録される。また記録媒体１１２に記録された画像データを表示する場合には、コーデック部１１０は該データの復号を行う。 The image data obtained by imaging and subjected to various image processing and superimposing processing is converted by the D/A converter 108 to be an analog image signal for display. By displaying the analog image signal for display on the display unit 109 such as an LCD, the function related to the electronic viewfinder is provided to the photographer. When recording (saving) the image data acquired in the shooting operation, the codec section 110 converts the data into recording data in a predetermined compression/encoding format, and the data is transferred via the I/F 111. It is recorded in a recording medium 112 which is a recording device such as a built-in memory or a memory card. When displaying the image data recorded on the recording medium 112, the codec section 110 decodes the data.
システム制御部５０は、例えばＣＰＵ等の演算装置であり、デジタルカメラ１００が有する各ブロックの動作を制御する。より詳しくはシステム制御部５０は、不揮発性メモリ１２１に記憶されている各ブロックの動作プログラムを読み出し、システムメモリ１２２に展開して実行することにより、各ブロックの動作を制御する。不揮発性メモリ１２１は、例えばＥＥＰＲＯＭ等の不揮発性の記憶装置である。不揮発性メモリ１２１は、各ブロックの動作プログラムに限らず、各ブロックの動作において必要となる各種パラメータ等を記憶する。システムメモリ１２２は、書き換え可能に構成された揮発性メモリであってよく、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に保持する格納領域としても用いられる。 The system control unit 50 is, for example, an arithmetic device such as a CPU, and controls the operation of each block included in the digital camera 100. More specifically, the system control unit 50 controls the operation of each block by reading out the operation program of each block stored in the non-volatile memory 121, expanding the program in the system memory 122 and executing it. The non-volatile memory 121 is a non-volatile storage device such as an EEPROM. The non-volatile memory 121 stores not only the operation program of each block but also various parameters necessary for the operation of each block. The system memory 122 may be a rewritable volatile memory, and is not only used as an expansion area of the operation program of each block, but also as a storage for temporarily storing intermediate data output in the operation of each block. Also used as a region.
また、顔検出部１１３による顔検出結果や撮像により得られた画像データを用いて画像処理部１０５が行った所定の評価値に基づき、システム制御部５０は撮像に係る露光制御、測距制御（レンズ群１０１、シャッター１０２、撮像部１０３の状態制御）を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が実現される。 Further, based on a predetermined evaluation value performed by the image processing unit 105 using the face detection result by the face detection unit 113 and the image data obtained by the image pickup, the system control unit 50 causes the exposure control and distance measurement control ( The state control of the lens group 101, the shutter 102, and the imaging unit 103) is performed. As a result, TTL (through-the-lens) AF (auto focus) processing, AE (auto exposure) processing, AWB (auto white balance) processing, and the like are realized.
デジタルカメラ１００はこの他、撮影時の実際の光源として機能するストロボ１２３、デジタルカメラ１００と被写体との距離を計測する測距センサ１２４、各種の操作入力を検出するユーザインタフェースである操作部１２０を有する。操作部１２０は、操作入力がなされたことを検出した場合、対応する制御信号をシステム制御部５０に出力する。 In addition to this, the digital camera 100 also includes a strobe 123 that functions as an actual light source at the time of shooting, a distance measuring sensor 124 that measures the distance between the digital camera 100 and the subject, and an operation unit 120 that is a user interface that detects various operation inputs. Have. When the operation unit 120 detects that an operation input has been made, it outputs a corresponding control signal to the system control unit 50.
本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。 In the present embodiment, it is assumed that the processing is realized by a circuit or a processor corresponding to each block included in the digital camera 100 as hardware. However, the implementation of the present invention is not limited to this, and the processing of each block may be realized by a program that performs the same processing as that of each block.
〈画像処理部１０５の構成〉
次に、画像処理部１０５の構成について、図２のブロック図を用いて詳述する。なお、本実施形態のデジタルカメラ１００において、撮像が行われた場合、画像処理部１０５には各画素がＲ成分、Ｇ成分及びＢ成分のいずれかの成分の信号レベルを示すベイヤー形式のデジタル画像信号が入力されるものとする。
<Structure of Image Processing Unit 105>
Next, the configuration of the image processing unit 105 will be described in detail with reference to the block diagram of FIG. In the digital camera 100 of the present embodiment, when an image is captured, the image processing unit 105 displays in the image processing unit 105 a digital image in a Bayer format in which each pixel indicates the signal level of any one of the R component, G component, and B component. A signal shall be input.
同時化処理部２００は、入力されたベイヤー形式の画像信号に対して同時化処理を実行し、画像信号の各画素について信号レベルが示されない色成分を補間し、Ｒ成分、Ｇ成分及びＢ成分の画像信号（ＲＧＢ信号）を生成する。ＷＢ増幅部２０１は、システム制御部５０により決定されたホワイトバランス（ＷＢ）ゲイン値に基づき、ＲＧＢ信号の色成分ごとに信号レベルを増幅し、ＷＢの調整を行う。また輝度・色信号生成部２０２は、ＷＢ調整がなされたＲＧＢ信号から輝度信号（Ｙ信号）を生成して輪郭強調処理部２０３に出力する。また輝度・色信号生成部２０２は、入力されたＲＧＢ信号を色変換処理部２０５に出力する。 The synchronization processing unit 200 performs the synchronization processing on the input Bayer format image signal, interpolates the color component of which the signal level is not shown for each pixel of the image signal, and obtains the R component, the G component, and the B component. Image signal (RGB signal) is generated. The WB amplifier 201 amplifies the signal level for each color component of the RGB signal based on the white balance (WB) gain value determined by the system controller 50, and adjusts WB. The brightness/color signal generation unit 202 also generates a brightness signal (Y signal) from the RGB signal subjected to the WB adjustment and outputs the brightness signal to the contour enhancement processing unit 203. Further, the luminance/color signal generation unit 202 outputs the input RGB signal to the color conversion processing unit 205.
輪郭強調処理部２０３は、入力されたＹ信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０４に出力する。輝度ガンマ処理部２０４は、輪郭強調処理が適用されたＹ信号に対してガンマ補正処理を実行し、補正後のＹ信号をメモリ制御部１０７を介して画像メモリ１０６に出力する。 The contour enhancement processing unit 203 performs contour enhancement processing on the input Y signal and outputs it to the luminance gamma processing unit 204. The luminance gamma processing unit 204 performs gamma correction processing on the Y signal to which the contour enhancement processing has been applied, and outputs the corrected Y signal to the image memory 106 via the memory control unit 107.
一方、色変換処理部２０５は、入力されたＲＧＢ信号に対して所定のマトリクス演算を適用し、予め定められたカラーバランスに各色成分の信号レベルを変更する。色変換処理部２０５は、変更後のＲＧＢ信号を色ガンマ処理部２０６及び評価値生成部２０８に出力する。色ガンマ処理部２０６はカラーバランスが変更されたＲＧＢ信号の各色成分についてガンマ補正処理を行い、色差信号生成部２０７に出力する。色差信号生成部２０７は、入力されたＲＧＢ信号に基づき、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成し、メモリ制御部１０７を介して画像メモリ１０６に出力する。 On the other hand, the color conversion processing unit 205 applies a predetermined matrix operation to the input RGB signals to change the signal level of each color component to a predetermined color balance. The color conversion processing unit 205 outputs the changed RGB signal to the color gamma processing unit 206 and the evaluation value generation unit 208. The color gamma processing unit 206 performs gamma correction processing on each color component of the RGB signal whose color balance has been changed, and outputs it to the color difference signal generation unit 207. The color difference signal generation unit 207 generates color difference signals R-Y and B-Y signals based on the input RGB signals and outputs them to the image memory 106 via the memory control unit 107.
本実施形態のデジタルカメラ１００において記録用の画像データは、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙの形式で構成されるものとする。即ち、撮影に係る操作が行われた場合には、画像メモリ１０６に格納されたＹ、Ｒ−Ｙ、Ｂ−Ｙ信号が、コーデック部１１０により圧縮符号化され、記録媒体１１２に記録される。 Image data for recording in the digital camera 100 of the present embodiment is assumed to be configured in the format of luminance/color difference signals Y, RY, and BY. That is, when an operation related to photographing is performed, the Y, RY, and BY signals stored in the image memory 106 are compression-encoded by the codec unit 110 and recorded in the recording medium 112.
また、評価値生成部２０８は、撮影環境中に実際に存在していた光源（環境光源）の状態の推定に用いる評価値を生成する。本実施形態のデジタルカメラ１００で行われる後述のリライティング制御処理では、環境光源の状態として逆光シーンであるか否かを推定するため、評価値生成部２０８は評価値として輝度、色相、彩度の値の分布を生成する。より詳しくは評価値生成部２０８は、入力されたＲＧＢ信号に係る画像の領域を複数のブロックに分割し、各ブロックに含まれる画素の輝度値、色相値、彩度値に基づき、該ブロックに係るそれぞれの値の代表値を決定する。代表値は、最大値、平均値、ブロック中所定の位置に存在する画素の値、総和値等、種々の値であってよい。評価値生成部２０８は、画像に含まれる複数のブロックに係る代表値群で構成された評価値を出力する。評価値の情報は、例えばシステムメモリ１２２に格納されればよい。 Further, the evaluation value generation unit 208 generates an evaluation value used for estimating the state of the light source (environmental light source) actually existing in the shooting environment. In a relighting control process described later performed by the digital camera 100 of the present embodiment, the evaluation value generation unit 208 estimates the brightness, hue, and saturation as the evaluation values in order to estimate whether or not the environment is a backlight scene. Generate a distribution of values. More specifically, the evaluation value generation unit 208 divides the area of the image related to the input RGB signal into a plurality of blocks, and based on the luminance value, the hue value, and the saturation value of the pixels included in each block, the block is divided into the blocks. A representative value of each such value is determined. The representative value may be various values such as a maximum value, an average value, a pixel value existing at a predetermined position in the block, and a sum value. The evaluation value generation unit 208 outputs an evaluation value composed of a representative value group related to a plurality of blocks included in the image. The evaluation value information may be stored in the system memory 122, for example.
〈リライティング処理部１１４の構成〉
次にリライティング処理部１１４の構成について、図３のブロック図を用いて詳述する。本実施形態のデジタルカメラ１００では、リライティング処理部１１４は、リライティング処理を適用するものとして予め定められたモードが設定されている場合に、画像処理部１０５により生成された輝度・色差信号に対して処理を行うものとして説明する。あるいはリライティング処理部１１４は、記録媒体１１２から読み出されて画像メモリ１０６に展開された輝度・色差信号に対して処理を行うものであってもよい。
<Configuration of relighting processing unit 114>
Next, the configuration of the relighting processing unit 114 will be described in detail with reference to the block diagram of FIG. In the digital camera 100 according to the present embodiment, the relighting processing unit 114, with respect to the luminance/color difference signal generated by the image processing unit 105, when the predetermined mode for applying the relighting processing is set. Description will be given assuming that processing is performed. Alternatively, the relighting processing unit 114 may process the luminance/color difference signals read from the recording medium 112 and expanded in the image memory 106.
ＲＧＢ信号変換部３０１は、入力された輝度・色差信号を所定の色変換処理を適用し、ＲＧＢ信号に変換し、デガンマ処理部３０２に出力する。デガンマ処理部３０２は、入力されたＲＧＢ信号に適用されているガンマ補正に係るガンマ特性に基づき、ガンマ補正による効果を解除するデガンマ処理を実行する。撮像時においては、デガンマ処理部３０２は、ガンマ特性は色ガンマ処理部２０６において適用されたガンマ補正に係るガンマ特性の逆特性を用いて、入力されたＲＧＢ信号をガンマ補正前のリニアな信号に変換する。デガンマ処理部３０２は、デガンマ処理適用後のＲＧＢ信号（Ｒt、Ｇt、Ｂt）を、ゲイン処理部３０３及び後述の仮想光源透過・反射成分算出部３１３に出力する。 The RGB signal conversion unit 301 applies a predetermined color conversion process to the input luminance/color difference signal, converts the signal into an RGB signal, and outputs the RGB signal to the degamma processing unit 302. The degamma processing unit 302 executes degamma processing for canceling the effect of gamma correction based on the gamma characteristic related to gamma correction applied to the input RGB signal. At the time of imaging, the degamma processing unit 302 converts the input RGB signal into a linear signal before gamma correction by using the inverse gamma characteristic of the gamma correction applied in the color gamma processing unit 206. Convert. The degamma processing unit 302 outputs the RGB signals (R t , G t , B t ) after the degamma processing is applied to the gain processing unit 303 and a virtual light source transmission/reflection component calculation unit 313 described below.
ゲイン処理部３０３は、入力されたＲＧＢ信号に対して、係る画像の全体の信号レベルを増幅させるゲイン処理を行う。ゲイン処理は、例えば定義する仮想光源とは無関係に暗部の信号レベルを引き上げるために行われるものであってよい。ゲイン処理部３０３は、ゲイン処理後のＲＧＢ信号（Ｒg、Ｇg、Ｂg）を仮想光源付加処理部３０４に出力する。 The gain processing unit 303 performs a gain process on the input RGB signals so as to amplify the signal level of the entire image. The gain process may be performed, for example, to raise the signal level in the dark part regardless of the virtual light source to be defined. The gain processing unit 303 outputs the RGB signal (R g , G g , B g ) after the gain processing to the virtual light source addition processing unit 304.
仮想光源付加処理部３０４は、ゲイン処理部３０３においてゲイン処理が適用されたＲＧＢ信号に対して、仮想光源による影響を付加するリライティング処理を行う。仮想光源による影響は、仮想光源透過・反射成分算出部３１３により出力された付加用ＲＧＢ信号（Ｒa、Ｇa、Ｂa）を加算することにより行われる。 The virtual light source addition processing unit 304 performs relighting processing for adding the influence of the virtual light source to the RGB signal to which the gain processing is applied by the gain processing unit 303. The influence of the virtual light source is performed by adding the additional RGB signals (R a , G a , B a ) output by the virtual light source transmission/reflection component calculation unit 313.
仮想光源透過・反射成分算出部３１３は、仮想光源を配置することで被写体に生じる影響を、色成分ごとに算出するものである。本実施形態の仮想光源透過・反射成分算出部３１３は、特に逆光の関係となる位置に仮想光源を配置した場合に生じる影響を算出する。以下、逆光の関係となる位置に仮想光源を配置した場合の処理を主として、仮想光源透過・反射成分算出部３１３における付加用ＲＧＢ信号の生成に係り行われる各ブロックの処理について、説明する。 The virtual light source transmission/reflection component calculation unit 313 calculates, for each color component, the effect of the virtual light source on the subject. The virtual light source transmission/reflection component calculation unit 313 of the present embodiment calculates an influence particularly when the virtual light source is arranged at a position where there is a backlight relationship. Hereinafter, the process of each block performed in the generation of the additional RGB signal in the virtual light source transmitted/reflected component calculation unit 313 will be described, mainly regarding the process when the virtual light source is arranged at a position where there is a backlight relationship.
被写体領域抽出部３１０は、ＲＧＢ信号に係る画像中の被写体領域を特定する。本実施形態の被写体領域抽出部３１０では、主被写体である人物を被写体領域（主被写体領域）として特定するものとして説明するが、被写体領域は人物に限らず、種々の被写体が対象であってよい。故に被写体領域抽出部３１０は、顔検出部１１３の検出結果（顔位置情報）及び測距センサ１２４の出力（距離情報）に基づき、画像中の主被写体である人物に係る領域を被写体領域として特定する。 The subject area extraction unit 310 identifies the subject area in the image related to the RGB signals. In the subject region extraction unit 310 of the present embodiment, a person who is a main subject is described as being identified as a subject region (main subject region), but the subject region is not limited to a person, and various subjects may be targets. .. Therefore, the subject region extraction unit 310 specifies the region related to the person who is the main subject in the image as the subject region based on the detection result (face position information) of the face detection unit 113 and the output (distance information) of the distance measurement sensor 124. To do.
例えば図４（ａ）に示されるように主被写体が中央に配置された構図で撮像された画像について処理を行う場合を説明する。このとき顔位置情報では画像中の人物の顔領域の位置及びサイズが特定されるため、被写体領域抽出部３１０はまず、該顔領域に含まれる被写体についての平均距離（深度）を算出する。顔領域に係る平均距離は、距離情報中の対応する画素の値の平均値として算出される。そして被写体領域抽出部３１０は、該顔領域に係る平均距離を基準に、所定の距離範囲に含まれる画素を被写体領域として特定する。所定の距離範囲は、顔領域を基準に人体に対応する領域を抽出するよう予め定められた深度方向前後の幅の閾値に基づき規定されるものであってよく、手前方向の閾値を平均距離から減算した距離から、奥方向の閾値を平均距離に加算した距離までの範囲となる。被写体領域抽出部３１０は、距離情報に基づき所定の距離範囲に含まれる画素位置を把握し、画像中の被写体領域を特定する。なお、顔領域に基づく被写体領域の特定においては、所定の距離範囲に含まれる画素であっても、顔領域を含む領域に属さない画素は被写体領域から除外されるものであってもよい。このようにすることで、被写体領域抽出部３１０は、特定した被写体領域を示す情報（被写体領域情報）を例えば図４（ｂ）に示されるような二値の画像信号として生成することができる。生成された被写体領域情報は、輪郭距離重み算出部３１１及び光源角度重み算出部３１２に出力される。 For example, a case will be described in which processing is performed on an image captured with a composition in which the main subject is arranged in the center as shown in FIG. At this time, since the position and size of the face area of the person in the image are specified by the face position information, the subject area extracting unit 310 first calculates the average distance (depth) of the subjects included in the face area. The average distance related to the face area is calculated as the average value of the values of the corresponding pixels in the distance information. Then, the subject area extracting unit 310 specifies pixels included in a predetermined distance range as the subject area based on the average distance of the face area. The predetermined distance range may be defined on the basis of a threshold value of a width in the depth direction and a width that is determined in advance so as to extract a region corresponding to the human body with the face region as a reference. The range is from the subtracted distance to the distance obtained by adding the threshold value in the back direction to the average distance. The subject area extraction unit 310 grasps the pixel positions included in a predetermined distance range based on the distance information, and specifies the subject area in the image. It should be noted that in specifying the subject region based on the face region, pixels included in a predetermined distance range or pixels not belonging to the region including the face region may be excluded from the subject region. By doing so, the subject area extracting unit 310 can generate information indicating the identified subject area (subject area information) as a binary image signal as shown in FIG. 4B, for example. The generated subject area information is output to the contour distance weight calculation unit 311 and the light source angle weight calculation unit 312.
輪郭距離重み算出部３１１は、特定された被写体領域について、その端部（輪郭）において重みが最大となり、かつ領域内において端部からの距離に応じて重みが減少する輪郭距離重みＷdを決定する。輪郭距離重みは、被写体に対して逆光の関係に仮想光源がある場合（主被写体背後に仮想光源が配置）において、仮想光源から照射された光束がデジタルカメラ１００方向（手前側）に抜ける確率（透過光の発生率）の高さに応じて定められた重みである。具体的には輪郭距離重み算出部３１１はまず、入力された被写体領域情報である画像信号に対してバンドパスフィルタを適用することで、図４（ｃ）に示されるような周波数の高い部分を抽出した、即ち輪郭部分を示す画像信号（輪郭信号）を生成する。そして輪郭距離重み算出部３１１は、輪郭信号に対して図５（ａ）に示されるような輪郭距離重み算出フィルタを適用し、さらに被写体領域情報との間でＡＮＤ演算を行うことで、輪郭距離重みを示す図４（ｄ）に示される画像信号を得る。図４（ｄ）に示されるように、輪郭距離重みでは被写体領域内において、輪郭に近いほど大きい（白に近い）重みが示される。換言すれば、輪郭距離重み算出部３１１は、被写体領域の境界から離れるほど透過光の発生率が減衰するように、輪郭距離重みを生成する。輪郭距離重み算出部３１１は、得られた輪郭距離重みＷdの情報を仮想光源透過・反射成分算出部３１３に出力する。 The contour distance weight calculation unit 311 determines the contour distance weight W d with which the weight is maximized at the end (contour) of the identified subject area and the weight is reduced according to the distance from the end within the area. To do. The contour distance weight is the probability that the light flux emitted from the virtual light source will escape in the direction (front side) of the digital camera 100 when the virtual light source has a backlight relationship with the subject (the virtual light source is arranged behind the main subject). It is a weight determined according to the height of the transmitted light). Specifically, the contour distance weight calculation unit 311 first applies a bandpass filter to the input image signal which is the subject area information, and thereby a high frequency portion as shown in FIG. An image signal (contour signal) indicating the extracted or contour portion is generated. Then, the contour distance weight calculation unit 311 applies a contour distance weight calculation filter as shown in FIG. 5A to the contour signal, and further performs an AND operation with the object region information to obtain the contour distance. The image signal shown in FIG. 4(d) showing the weights is obtained. As shown in FIG. 4D, in the contour distance weight, the weight closer to the contour is larger (closer to white) in the subject region. In other words, the contour distance weight calculation unit 311 generates the contour distance weights so that the generation rate of transmitted light decreases as the distance from the boundary of the subject region decreases. The contour distance weight calculation unit 311 outputs information on the obtained contour distance weight W d to the virtual light source transmission/reflection component calculation unit 313.
一方、光源角度重み算出部３１２は、リライティング処理において定義される仮想光源（点光源）による反射光の発生度合い（発生率）を示す光源角度重みＷaを決定する。光源角度重みは、特定された被写体領域について例えば反射によって明るさの変化を生じさせる度合い等を示すよう定められた重みであり、仮想光源からの光束の入射角に応じて定められる（被写体に対する入射角が小さいほど高い）。 On the other hand, the light source angle weight calculation unit 312 determines the light source angle weight W a indicating the generation degree (occurrence rate) of the reflected light by the virtual light source (point light source) defined in the relighting process. The light source angle weight is a weight determined to indicate the degree of change in brightness caused by reflection, for example, with respect to the specified subject area, and is determined according to the incident angle of the light flux from the virtual light source (incident on the subject. The smaller the corner, the higher).
なお、定義される仮想光源の位置や属性（順光／逆光、強度、光源色）の情報（仮想光源情報）は、システム制御部５０により決定され、リライティング処理部１１４に供給される。仮想光源の順光／逆光に係る属性は、例えばユーザの操作入力によりリライティング処理を順光、逆光のいずれの関係にある仮想光源について行うか否かを選択可能に構成されてもよい。また仮想光源が順光、逆光のいずれの関係にあるかをユーザが決定する態様ではなく、距離情報における主被写体の位置と、ユーザの操作入力により決定された仮想光源の位置との関係に応じてシステム制御部５０が該属性の判断を行うものであってもよい。この場合、ユーザが決定する仮想光源の位置は、例えば奥行き距離であってよい。システム制御部５０は、このような仮想光源の設定により得られた情報を基に仮想光源情報を生成し、リライティング処理部１１４に入力する。仮想光源の位置については、後述するように撮影環境中の環境光源の状態に基づきシステム制御部５０が好適であろう位置を決定する構成であってよい。 Information (virtual light source information) on the defined position and attributes (forward light/backlight, intensity, light source color) of the virtual light source is determined by the system control unit 50 and supplied to the relighting processing unit 114. The attribute relating to forward light/backlight of the virtual light source may be configured to be selectable, for example, whether the relighting process is performed on the virtual light source having a relationship of forward light or backlight according to an operation input of the user. In addition, the user does not decide whether the virtual light source is in the relationship of forward light or backlight, but according to the relationship between the position of the main subject in the distance information and the position of the virtual light source determined by the user's operation input. The system control unit 50 may determine the attribute. In this case, the position of the virtual light source determined by the user may be, for example, the depth distance. The system control unit 50 generates virtual light source information based on the information obtained by setting the virtual light source and inputs the virtual light source information to the relighting processing unit 114. Regarding the position of the virtual light source, the system control unit 50 may determine a suitable position based on the state of the environmental light source in the shooting environment as described later.
ここで、光源角度重みの生成例を、順光時と逆光時の双方について説明する。図６（ａ）及び（ｂ）では主被写体６０１と定義する仮想光源６０２との位置関係が示されている。奥行き方向において主被写体６０１よりも手前側に仮想光源６０２が配置される図６（ａ）が順光（斜光）時、主被写体６０１よりも奥側に仮想光源６０２が配置される図６（ｂ）が逆光時を示す。なお、本実施形態の光源角度重み算出部３１２では簡単のため、主被写体６０１は深度方向の長さ（厚み）を有さない、被写体領域形状の平板であるものとして説明する。 Here, an example of generating the light source angle weight will be described for both normal light and backlight. 6A and 6B, the positional relationship with the virtual light source 602 defined as the main subject 601 is shown. 6A in which the virtual light source 602 is arranged on the front side of the main subject 601 in the depth direction, when the normal light (oblique light) in FIG. ) Indicates the time of backlight. For the sake of simplicity, the light source angle weight calculation unit 312 of the present embodiment will be described assuming that the main subject 601 is a flat plate having a subject region shape and having no length (thickness) in the depth direction.
図６（ａ）において、仮想光源６０２はデジタルカメラ１００から見て左方向（ｘがデジタルカメラ１００よりも小）に配置されている。従って、主被写体６０１の法線ベクトル（デジタルカメラ１００に向かう側）と、仮想光源６０２から主被写体６０１に入射する光束の入射ベクトルとがなす角θは、（デジタルカメラ１００から見て）主被写体６０１の左右で異なる。光源角度重みは、仮想光源による（反射）寄与度がこれらのベクトルの内積に基づくことから、該なす角θの余弦ｃｏｓθとして算出されればよく、図７（ａ）に示すような重み分布となる。なす角θが直角に近いほど重みが大きくなる。 In FIG. 6A, the virtual light source 602 is arranged in the left direction (x is smaller than the digital camera 100) when viewed from the digital camera 100. Therefore, the angle θ formed by the normal vector of the main subject 601 (on the side toward the digital camera 100) and the incident vector of the light flux entering the main subject 601 from the virtual light source 602 is (when viewed from the digital camera 100) the main subject. It is different on the left and right of 601. The light source angle weight may be calculated as the cosine cos θ of the angle θ formed because the (reflection) contribution of the virtual light source is based on the inner product of these vectors, and the weight distribution as shown in FIG. Become. The closer the formed angle θ is to the right angle, the larger the weight becomes.
一方、図６（ｂ）において、仮想光源６０２はデジタルカメラ１００から見て右方向（ｘがデジタルカメラ１００よりも大）に配置されている。従って主被写体６０１の法線ベクトル（デジタルカメラ１００から遠離する側）と、仮想光源６０２からの入射ベクトルとがなす角θは、（デジタルカメラ１００から見て）主被写体６０１の左右で異なる。故に、光源角度重みは図７（ｂ）に示すような重み分布となる。同様に、なす角θが垂直に近いほど重みが大きくなる。 On the other hand, in FIG. 6B, the virtual light source 602 is arranged in the right direction (x is larger than that of the digital camera 100) when viewed from the digital camera 100. Therefore, the angle θ formed by the normal vector of the main subject 601 (the side farther from the digital camera 100) and the incident vector from the virtual light source 602 is different between the left and right of the main subject 601 (as seen from the digital camera 100). Therefore, the light source angle weight has a weight distribution as shown in FIG. Similarly, the closer the formed angle θ is to the vertical, the greater the weight.
光源角度重み算出部３１２は、このようにして得られた光源角度重みＷaの情報を、仮想光源透過・反射成分算出部３１３に出力する。 The light source angle weight calculation unit 312 outputs the information of the light source angle weight W a thus obtained to the virtual light source transmission/reflection component calculation unit 313.
仮想光源透過・反射成分算出部３１３は、入力された輪郭距離重みＷdの情報及び光源角度重みＷaの情報に基づき、仮想光源による影響を示す付加用ＲＧＢ信号（Ｒa、Ｇa、Ｂa）を生成する。仮想光源が主被写体の背後に定義される逆光時において、仮想光源透過・反射成分算出部３１３は該光源からの光束が主被写体を透過したことによる影響、または主被写体において反射したことによる影響を示すために、２種類の重みを用いる。まず仮想光源透過・反射成分算出部３１３は、輪郭距離重みＷdと光源角度重みＷaとを画素ごとに乗算し、仮想光源による透過成分及び反射成分に係る総合重みＷt（＝Ｗd×Ｗa）を算出する。なお、順光の関係となる位置に仮想光源が定義される場合は、透過成分は生じないため、輪郭距離重みＷdは全画素に渡って１となり、Ｗt＝Ｗaとなる。例えば、図６（ｂ）に示したような逆光の関係となる位置に仮想光源が定義される場合、図４（ｄ）に示した輪郭距離重みと図７（ｂ）に示した光源角度重みに基づき、図８（ａ）に示されるような総合重みが得られる。 The virtual light source transmission/reflection component calculation unit 313, based on the information of the input contour distance weight W d and the information of the light source angle weight W a , input RGB signals (R a , G a , B) indicating the influence of the virtual light source. a ) is generated. When the virtual light source is backlit behind the main subject, the virtual light source transmission/reflection component calculation unit 313 determines whether the light flux from the light source passes through the main subject or is reflected by the main subject. Two types of weights are used to indicate. First, the virtual light source transmission/reflection component calculation unit 313 multiplies the contour distance weight W d and the light source angle weight W a for each pixel, and the total weight W t (=W d ×) relating to the transmission component and the reflection component by the virtual light source. Calculate W a ). When a virtual light source is defined at a position where there is a forward light relationship, a transmission component does not occur, so the contour distance weight W d is 1 over all pixels, and W t =W a . For example, when a virtual light source is defined at a position having a backlight relationship as shown in FIG. 6B, the contour distance weight shown in FIG. 4D and the light source angle weight shown in FIG. Based on, the total weight as shown in FIG. 8(a) is obtained.
また仮想光源透過・反射成分算出部３１３は、得られた総合重みに基づき、デガンマ処理適用後のＲＧＢ信号（Ｒt、Ｇt、Ｂt）から付加用ＲＧＢ信号（Ｒa、Ｇa、Ｂa）に係る各信号レベルを算出する。付加用ＲＧＢ信号に係る各信号レベルは、仮想光源の強度α（輝度等）、光源色の制御値（赤色成分Ｒw及び青色成分Ｂw）を用い、以下の数式により算出できる。
Ｒa＝α×Ｗt×Ｒw×Ｒt
Ｇa＝α×Ｗt ×Ｇt
Ｂa＝α×Ｗt×Ｂw×Ｂt
The virtual light source transmission/reflection component calculation unit 313 calculates the additional RGB signals (R a , G a , B) from the RGB signals (R t , G t , B t ) after the degamma processing based on the obtained total weight. Calculate each signal level related to a ). Each signal level related to the RGB signal for addition can be calculated by the following mathematical formula using the intensity α (luminance etc.) of the virtual light source and the control value of the light source color (red component R w and blue component B w ).
R a =α×W t ×R w ×R t
G a =α×W t ×G t
B a =α×W t ×B w ×B t
従って、このようにして得られた演算結果である付加用ＲＧＢ信号と、ゲイン処理後のＲＧＢ信号（Ｒg、Ｇg、Ｂg）とを加算し、仮想光源付加処理部３０４はリライティングが実現された出力ＲＧＢ信号を生成する。即ち、出力ＲＧＢ信号の各色成分（Ｒout、Ｇout、Ｂout）は
Ｒout＝Ｒa＋Ｒg
Ｇout＝Ｇa＋Ｇg
Ｂout＝Ｂa＋Ｂg
により得られる。例えば逆光の関係となる位置に仮想光源が配置される場合、出力ＲＧＢ信号は、図４（ａ）に示した画像信号に図８（ａ）に示した付加用ＲＧＢ信号を加算し、図８（ｂ）のように、被写体領域の境界付近における逆光特有の光の透過や反射表現が実現される。
Therefore, the addition RGB signal which is the calculation result thus obtained and the RGB signal (R g , G g , B g ) after gain processing are added, and the virtual light source addition processing unit 304 realizes relighting. To generate the output RGB signal. That is, each color component (R out , G out , B out ) of the output RGB signal is R out =R a +R g
G out =G a +G g
B out =B a +B g
Is obtained by For example, when the virtual light source is arranged at a position where there is a backlight relationship, the output RGB signal is obtained by adding the addition RGB signal shown in FIG. 8A to the image signal shown in FIG. As shown in (b), the transmission and reflection expression of the light peculiar to the backlight in the vicinity of the boundary of the subject region is realized.
ガンマ処理部３０５は、仮想光源付加処理部３０４において生成された出力ＲＧＢ信号に対してガンマ補正処理を行う。またガンマ補正が適用された出力ＲＧＢ信号は、輝度色差信号変換部３０６に入力され、輝度・色差信号に変換され出力される。 The gamma processing unit 305 performs gamma correction processing on the output RGB signals generated by the virtual light source addition processing unit 304. The output RGB signal to which the gamma correction has been applied is input to the luminance/color difference signal conversion unit 306, converted into a luminance/color difference signal, and output.
《リライティング制御処理》
このような構成をもつ本実施形態のデジタルカメラ１００において、リライティング処理に先行して実行されるリライティング制御処理について、図９のフローチャートを用いて具体的な処理を説明する。本実施形態ではリライティング制御処理は、リライティング処理を実行する際のリライティング処理部１１４の各ブロックの動作パラメータを決定するために処理前に行われるものとして説明する。しかしながら、パラメータの設定タイミングはこれに限られるものでなく、本リライティング制御処理はリライティング処理と並行して実行されるものであってよい。該フローチャートに対応する処理は、システム制御部５０が、例えば不揮発性メモリ１２１に記憶されている対応する処理プログラムを読み出し、システムメモリ１２２に展開して実行することにより実現することができる。本リライティング制御処理は、例えばリライティング処理を行う撮影モードが設定された状態で撮影指示がなされたことを検出した際に開始されるものとして説明する。
<<Relighting control processing>>
With regard to the relighting control process executed prior to the relighting process in the digital camera 100 of the present embodiment having such a configuration, a specific process will be described with reference to the flowchart of FIG. 9. In the present embodiment, the relighting control process will be described as being performed before the process for determining the operation parameter of each block of the relighting processing unit 114 when executing the relighting process. However, the parameter setting timing is not limited to this, and the present relighting control process may be executed in parallel with the relighting process. The processing corresponding to the flowchart can be realized by the system control unit 50 by reading a corresponding processing program stored in, for example, the nonvolatile memory 121, expanding the processing program in the system memory 122, and executing the program. The present relighting control process will be described as being started when it is detected that a shooting instruction is issued in a state where a shooting mode for performing the relighting process is set, for example.
Ｓ９０１で、システム制御部５０は、評価値生成部２０８により生成された評価値に基づき環境光源の状態の推定を行い、対象の画像信号を撮影した撮影環境が逆光シーンと順光シーン（逆光シーン以外のシーン）のいずれであるかを判定する。具体的にはシステム制御部５０は、撮影に用いられた露出情報及び撮影により得られた画像信号に係る輝度信号に基づき照度を算出する。そしてシステム制御部５０は、該照度が所定の閾値よりも高く、かつ画像信号に係る複数のブロックについて得られた評価値が所定の分布である場合に撮影環境が逆光シーンであると判定し、これに該当しない場合に順光シーンであると判定する。 In step S<b>901, the system control unit 50 estimates the state of the environmental light source based on the evaluation value generated by the evaluation value generation unit 208, and the shooting environment in which the image signal of the target is captured is a backlit scene and a backlit scene (backlit scene). Other scenes) is determined. Specifically, the system control unit 50 calculates the illuminance based on the exposure information used for shooting and the luminance signal related to the image signal obtained by shooting. Then, the system control unit 50 determines that the shooting environment is a backlight scene when the illuminance is higher than a predetermined threshold value and the evaluation values obtained for a plurality of blocks related to the image signal have a predetermined distribution, If this is not the case, it is determined that the scene is a normal light scene.
例えば図１０（ａ）のように、画像上部に輝度値（ＥＶ値）が所定の閾値を超えて高輝度に分類されるブロックが所定数を超えて存在する場合には、システム制御部５０は逆光シーンであると判定する。一方、例えば図１０（ｂ）のように、画像上部に高輝度に分類されるブロックが所定数に満たない場合には、逆光シーンではないと判定する。またシステム制御部５０は、明るさの分布から被写体に対して環境光源が照射している方向を特定する。図１０（ａ）の例では、主被写体である人物に対して、デジタルカメラ１００から見て右奥方向から環境光源が照射されているものと特定される。一方、図１０（ｂ）の例では、主被写体である人物に対してデジタルカメラ１００から見て左手前方向から環境光源が照射されているものと特定される。 For example, as shown in FIG. 10A, when there are more than a predetermined number of blocks whose brightness value (EV value) exceeds a predetermined threshold value and are classified into high brightness in the upper part of the image, the system control unit 50 It is determined to be a backlight scene. On the other hand, as shown in FIG. 10B, for example, when the number of blocks classified as high brightness in the upper part of the image is less than the predetermined number, it is determined that the scene is not a backlight scene. Further, the system control unit 50 identifies the direction in which the environment light source illuminates the subject from the brightness distribution. In the example of FIG. 10A, it is specified that the person who is the main subject is illuminated with the environmental light source from the right rear direction when viewed from the digital camera 100. On the other hand, in the example of FIG. 10B, it is specified that the person who is the main subject is illuminated with the environmental light source from the front left direction when viewed from the digital camera 100.
Ｓ９０２で、システム制御部５０は、実行させるリライティング処理が逆光の関係となる仮想光源について照明効果を付加するものであるか否かを判断する。本ステップの判断は、上述したように、リライティング処理において照明効果を付加する仮想光源に係る操作入力の内容や設定に基づいて行われる。システム制御部５０は、リライティング処理が逆光の関係となる仮想光源についての照明効果を付加するものであると判断した場合は処理をＳ９０３に移す。またシステム制御部５０は、リライティング処理が順光の関係となる仮想光源についての照明効果を付加するものであると判断した場合は処理をＳ９０６に移す。 In step S902, the system control unit 50 determines whether the relighting process to be executed is to add a lighting effect to a virtual light source having a backlight relationship. As described above, the determination in this step is performed based on the content and setting of the operation input related to the virtual light source to which the lighting effect is added in the relighting process. When the system control unit 50 determines that the relighting process is to add the lighting effect for the virtual light source having the backlight relationship, the system control unit 50 moves the process to S903. Further, when the system control unit 50 determines that the relighting process is to add the illumination effect for the virtual light source having the relationship of normal light, the system control unit 50 moves the process to S906.
Ｓ９０３で、システム制御部５０は、Ｓ９０１によるシーン判定結果に基づき、対象の画像信号を撮影した撮影環境が逆光シーンであったか否かを判断する。システム制御部５０は、撮影環境が逆光シーンであると判断した場合は処理をＳ９０４に移し、逆光シーンではないと判断した場合は処理をＳ９０５に移す。 In step S903, the system control unit 50 determines whether or not the shooting environment in which the target image signal is shot is a backlight scene based on the scene determination result in step S901. If the system control unit 50 determines that the shooting environment is a backlit scene, the process proceeds to S904, and if it is determined not to be a backlit scene, the process proceeds to S905.
Ｓ９０４で、システム制御部５０は、Ｓ９０１において推定した環境光源の照射方向に基づき仮想光源を定義する位置を決定する。本実施形態では仮想光源を定義する位置は、仮想光源から主被写体に向かう方向が、環境光源の照射方向と同方向となるように、あるいは同等の方向成分を有するように決定される。またシステム制御部５０は、仮想光源透過・反射成分算出部３１３において用いられる仮想光源に係る強度（α）及び光源色（Ｒw、Ｂw）に係るパラメータを決定する。光源強度は、例えばユーザによりなされた操作入力に基づき決定されるものであってよいし、例えば環境光源が明るいほど強度を高くする等、環境光源に応じて決定されるものであってもよい。また光源色は、逆光シーンにおいて適用するものであるため、赤寄りの色成分となるようＲw＞Ｂwの関係が実現されるよう決定される。システム制御部５０は、このように決定した、仮想光源の位置及び各種属性の情報に基づき仮想光源情報を構成し、リライティング処理部１１４に出力し、本リライティング制御処理を完了する。 In S904, the system control unit 50 determines the position that defines the virtual light source based on the irradiation direction of the environmental light source estimated in S901. In this embodiment, the position defining the virtual light source is determined so that the direction from the virtual light source toward the main subject is the same as the irradiation direction of the environmental light source or has the same directional component. Further, the system control unit 50 determines parameters related to the intensity (α) and the light source color (R w , B w ) of the virtual light source used in the virtual light source transmission/reflection component calculation unit 313. The light source intensity may be determined based on, for example, an operation input made by the user, or may be determined according to the environmental light source, such as increasing the intensity as the environmental light source is brighter. Further, since the light source color is applied in a backlit scene, it is determined so that the relationship of R w >B w is realized so that the color component is closer to red. The system control unit 50 configures virtual light source information based on the information of the position of the virtual light source and various attributes determined in this way, and outputs the virtual light source information to the relighting processing unit 114, thus completing this relighting control process.
一方、Ｓ９０３において逆光シーンではないと判断した場合、システム制御部５０はＳ９０５で、設定された仮想光源の位置に係るリライティング処理を実行しない旨のエラー通知を行い、本リライティング制御処理を完了する。これは、逆光シーンでない画像に対して、逆光の関係にある仮想光源による照明効果を付加することで、不自然な表現となることに依る。エラー通知は、表示部１０９を介して行われるものであってよい。またシステム制御部５０は、撮影により得られた画像信号に対するリライティング処理部１１４でのリライティング処理が行われないよう、動作の制御を行う。 On the other hand, if it is determined in S903 that the scene is not a backlight scene, the system control unit 50 issues an error notification in S905 that the relighting process related to the set position of the virtual light source is not executed, and the relighting control process is completed. This is because adding an illumination effect by a virtual light source having a backlight relationship to an image that is not a backlight scene results in an unnatural expression. The error notification may be performed via the display unit 109. The system control unit 50 also controls the operation so that the relighting processing unit 114 does not perform the relighting process on the image signal obtained by shooting.
またＳ９０２においてリライティング処理が順光の関係となる仮想光源についての照明効果を付加するものであると判断した場合、システム制御部５０はＳ９０６で、仮想光源を定義する位置を決定する。本ステップにおいて決定される仮想光源を定義する位置は、Ｓ９０３と同様に、推定した環境光源の照射方向に基づき決定される。より詳しくは、システム制御部５０は、仮想光源から主被写体に向かう方向が、環境光源の照射方向と同方向となるように、あるいは同等の方向成分を有するように仮想光源の位置を決定する。またシステム制御部５０は、Ｓ９０３と同様に仮想光源透過・反射成分算出部３１３において用いられる仮想光源に係る強度及び光源色に係るパラメータを決定する。そしてシステム制御部５０は、このように決定した、仮想光源の位置及び各種属性の情報に基づき仮想光源情報を構成し、リライティング処理部１１４に供給し、本リライティング制御処理を完了する。なお、システム制御部５０は、順光の関係にある仮想光源による照明効果の付加においては、光源の透過成分を表現する必要がないため、輪郭距離重みＷdが全ての画素について１となるよう、輪郭距離重み算出部３１１の動作の制御も行う。 When it is determined in S902 that the relighting process is to add the lighting effect for the virtual light source having the relationship of normal light, the system control unit 50 determines the position that defines the virtual light source in S906. The position defining the virtual light source determined in this step is determined based on the estimated irradiation direction of the environmental light source, as in S903. More specifically, the system control unit 50 determines the position of the virtual light source such that the direction from the virtual light source toward the main subject is the same as the irradiation direction of the environmental light source or has the same directional component. Further, the system control unit 50 determines the parameters related to the intensity and the light source color of the virtual light source used in the virtual light source transmission/reflection component calculation unit 313 as in S903. Then, the system control unit 50 configures virtual light source information based on the information of the position and various attributes of the virtual light source thus determined, and supplies the virtual light source information to the relighting processing unit 114, thus completing the relighting control processing. Note that the system control unit 50 does not need to represent the transmission component of the light source when adding the illumination effect by the virtual light source that is in the forward light relationship, so that the contour distance weight W d becomes 1 for all pixels. The operation of the contour distance weight calculation unit 311 is also controlled.
このようにすることで、本実施形態のデジタルカメラ１００ではリライティング処理の実行にあたり、逆光の関係となる仮想光源による照明効果を付加する際であっても、好適なリライティング結果を得ることができる。 By doing so, the digital camera 100 according to the present embodiment can obtain a suitable relighting result even when adding a lighting effect by a virtual light source having a backlight relationship in executing the relighting process.
なお、本実施形態では輪郭距離重みを算出するために、図５（ａ）に示したような７×７のフィルタを用いる例について説明したが、本発明の実施はこれに限定されるものでなく、輪郭からの距離に応じて重み付けを行う手法であればいずれの方法を用いてもよい。例えば、より被写体の内側に対する光の透過や回り込みの特性を表現する場合は９×９以上のタップ数の多いフィルタを用いてもよい。また例えば、処理対象画素から最も近い輪郭画素を特定し、該輪郭画素と処理対象の距離に応じて重みを決定する手法を用いてるものであってもよい。 In the present embodiment, an example in which a 7×7 filter as shown in FIG. 5A is used to calculate the contour distance weight has been described, but the present invention is not limited to this. Alternatively, any method may be used as long as it is a method of weighting according to the distance from the contour. For example, a filter having a large number of taps of 9×9 or more may be used when expressing the characteristics of light transmission and wraparound to the inside of the subject. Further, for example, a method may be used in which the contour pixel closest to the processing target pixel is specified and the weight is determined according to the distance between the contour pixel and the processing target.
またこの他、光源角度重みの決定においては、部分的な輪郭が形成する方向（法線方向あるいは接線方向）を検出し、該方向に基づきさらに重み付けを行ってもよい。輪郭が形成する方向は、従前のいずれの手法を用いて検出されるものであってもよい。例えば図１１に示されるように、重みを算出する処理対象画素１１０１につき、該画素を含む部分的な輪郭の法線ベクトル１１０３と仮想光源１１０２から該画素に向かう仮想光源ベクトル１１０４とがθをなす場合、θに応じて該画素の重みを変更する。具体的には光源角度重み算出部３１２は、輪郭信号において輪郭として抽出されている画素につき、該画素に係る法線ベクトルと仮想光源ベクトルとの内積（ｃｏｓθ）を乗じて信号レベルを変更し、変更後の輪郭信号に基づき光源角度重みを算出する。輪郭が形成する方向の検出を４５度単位とすることで、このような手法により、仮想光源と正対する方向を形成する輪郭にのみ透過光による照明効果が現れるよう、光源角度重みを決定することができる。 In addition to this, in determining the light source angle weight, the direction (normal direction or tangential direction) formed by the partial contour may be detected, and further weighting may be performed based on the direction. The direction formed by the contour may be detected using any of the conventional methods. For example, as shown in FIG. 11, for the processing target pixel 1101 whose weight is calculated, the normal vector 1103 of the partial contour including the pixel and the virtual light source vector 1104 directed from the virtual light source 1102 to the pixel form θ. In this case, the weight of the pixel is changed according to θ. Specifically, the light source angle weight calculation unit 312 changes the signal level of the pixel extracted as the contour in the contour signal by multiplying the inner product (cos θ) of the normal vector and the virtual light source vector of the pixel, The light source angle weight is calculated based on the changed contour signal. By making the detection of the direction formed by the contour in units of 45 degrees, the light source angle weight is determined by such a method so that the illumination effect by the transmitted light appears only on the contour forming the direction directly facing the virtual light source. You can
また本実施形態では、逆光の関係となる仮想光源に係るリライティングを行う場合には、輪郭における透過光、反射光の照明効果のみを表現するものとして説明したが、さらに別の、主被写体に正対する仮想光源を定義して照明効果を変更してもよい。これにより環境からの回り込み光を表現することも可能である。 Further, in the present embodiment, in the case of performing the relighting related to the virtual light source having the relationship of the backlight, it has been described that only the illumination effect of the transmitted light and the reflected light in the contour is expressed. Alternatively, a virtual light source may be defined to change the lighting effect. With this, it is possible to express the light circling from the environment.
［変形例］
上述した実施形態では、主被写体である人物を強調するよう、輪郭周辺における透過光に係る輪郭距離重みＷdを決定した。しかしながら、本発明の実施はこれに限られるものでなく、例えば照明効果の付加対象である被写体の種類、材質、反射特性を考慮して輪郭距離重みＷdを決定するようにしてもよい。また、人物であっても髪の毛、肌、衣服等の部位や材質に応じて分離して認識し、輪郭距離重みＷdの決定に係る処理を部位ごとに異ならせてもよい。このとき、例えば髪の毛であれば透過光が強調されるように図５（ａ）に示したフィルタを用いて輪郭距離重みＷdを決定すればよい。一方で、その他の人体については透過光よりも反射光が強調されるよう、例えば図５（ｂ）に示すようなフィルタを用い、より輪郭に近い画素において重みが高くなるようにしてもよい。
[Modification]
In the above-described embodiment, the contour distance weight W d related to the transmitted light around the contour is determined so as to emphasize the person who is the main subject. However, the embodiment of the present invention is not limited to this, and for example, the contour distance weight W d may be determined in consideration of the type, material, and reflection characteristics of the subject to which the lighting effect is added. In addition, even a person may be recognized separately according to the part or material such as hair, skin, clothes, etc., and the process relating to the determination of the contour distance weight W d may be different for each part. At this time, for example, in the case of hair, the contour distance weight W d may be determined using the filter shown in FIG. 5A so that the transmitted light is emphasized. On the other hand, for other human bodies, in order to emphasize the reflected light rather than the transmitted light, for example, a filter as shown in FIG. 5B may be used to increase the weight in pixels closer to the contour.
［実施形態２］
また実施形態１では簡単のため、被写体領域は平板であるものとして光源角度重みＷaを決定するものとして説明したが、被写体立体的形状の推定に基づき決定した各画素の法線を考慮してもよい。例えば、被写体領域１２０１について推定した形状に基づく法線ベクトルが図１２に示されるような分布を示す場合を考える。このとき、光源角度重み算出部３１２は仮想光源１２０２から被写体領域の各画素に向かう仮想光源ベクトル１２０３と該画素の法線ベクトルとの内積を考慮し、１−ｃｏｓθを該画素に係る光源角度重みＷaに乗算する。このようにすることで総合重みＷtを、被写体の輪郭であって、リライティング対象の被写体に対して仮想光源ベクトル１２０３が垂直であるほど、反射光が強くなるよう構成することができる。
[Embodiment 2]
In the first embodiment, for the sake of simplicity, the light source angle weight W a is determined as a flat object region, but the normal line of each pixel determined based on the estimation of the stereoscopic shape of the subject is taken into consideration. Good. For example, consider a case where the normal vector based on the estimated shape of the subject area 1201 has a distribution as shown in FIG. At this time, the light source angle weight calculation unit 312 considers the inner product of the virtual light source vector 1203 directed from the virtual light source 1202 to each pixel of the subject area and the normal vector of the pixel, and calculates 1-cos θ as the light source angle weight of the pixel. Multiply W a . By doing so, the total weight W t can be configured such that the reflected light becomes stronger as the virtual light source vector 1203 is the outline of the subject and is more vertical to the subject to be relighted.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００：デジタルカメラ、１０３：撮像部、１０５：画像処理部、１１３：顔検出部、１１４：リライティング処理部、５０：システム制御部、１２０：操作部、１２４：測距センサ、２０８：評価値生成部、３０４：仮想光源付加処理部、３１０：被写体領域抽出部、３１１：輪郭距離重み算出部、３１２：光源角度重み算出部、３１３：仮想光源透過・反射成分算出部 100: Digital camera, 103: Imaging unit, 105: Image processing unit, 113: Face detection unit, 114: Relighting processing unit, 50: System control unit, 120: Operation unit, 124: Distance measuring sensor, 208: Evaluation value generation Section, 304: virtual light source addition processing section, 310: subject area extraction section, 311: contour distance weight calculation section, 312: light source angle weight calculation section, 313: virtual light source transmission/reflection component calculation section
Claims (10)
前記取得手段により取得された画像に含まれる被写体について、撮像時に存在しなかった仮想光源による影響を演算する演算手段と、
前記演算手段による演算結果に基づき、前記被写体に前記仮想光源による影響を付加した画像を出力する出力手段とを有し、
前記演算手段は、
前記仮想光源を定義する位置を決定する決定手段と、
前記取得された画像に含まれる被写体領域を特定する特定手段と、
前記決定手段により逆光の関係となる位置に前記仮想光源を定義する位置が決定される場合に、
前記特定手段により特定された被写体領域の形状に基づいて、前記仮想光源による透過光の発生率を決定する第１の決定手段と、
前記仮想光源を定義する位置と前記被写体領域との位置に基づいて、前記仮想光源による反射光の発生率を決定する第２の決定手段と、
前記第１の決定手段により決定された前記透過光の発生率と前記第２の決定手段により決定された前記反射光の発生率とに基づいて、前記仮想光源による影響を演算する処理手段と、
を含むことを特徴とする画像処理装置。 Acquisition means for acquiring an image obtained by imaging,
With respect to the subject included in the image acquired by the acquisition unit, a calculation unit that calculates the influence of a virtual light source that did not exist at the time of image capturing,
And an output unit for outputting an image in which the influence of the virtual light source is added to the subject based on the calculation result by the calculation unit,
The calculation means is
Determining means for determining a position defining the virtual light source;
Specifying means for specifying a subject region included in the acquired image,
When the position that defines the virtual light source is determined at the position that is in the relationship of backlight by the determining unit,
First determining means for determining the generation rate of transmitted light by the virtual light source based on the shape of the subject region specified by the specifying means;
Second determining means for determining a generation rate of reflected light by the virtual light source based on a position defining the virtual light source and a position of the subject region;
Processing means for calculating the influence of the virtual light source based on the incidence of the transmitted light determined by the first determining means and the incidence of the reflected light determined by the second determining means;
An image processing apparatus comprising:
前記反射光の発生率は、前記被写体領域の画素について、前記仮想光源を定義する位置から該画素に向かうベクトルと、該画素について推定された立体的形状の法線ベクトルとに基づいて決定される
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The calculation means further includes an estimation means for estimating a three-dimensional shape of a subject corresponding to the subject region,
The generation rate of the reflected light is determined for a pixel in the subject region based on a vector from the position defining the virtual light source to the pixel and a normal vector of a three-dimensional shape estimated for the pixel. The image processing apparatus according to any one of claims 1 to 5, characterized in that.
前記演算手段は、前記判断手段により前記撮像した環境が逆光シーンであると判断された場合に、前記第１の決定手段、前記第２の決定手段、及び前記処理手段に係る演算を実行する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 Further comprising a determination means for determining whether or not the environment in which the captured image is captured is a backlight scene,
The computing means may perform computations related to the first determining means, the second determining means, and the processing means when the determining means determines that the captured environment is a backlit scene. The image processing apparatus according to any one of claims 1 to 6, characterized in that.
前記撮像手段により生成された画像を取得し、仮想光源による影響を付加した画像を出力する請求項１乃至７のいずれか１項に記載の画像処理装置と、を有する
ことを特徴とする撮像装置。 Imaging means for generating an image by imaging,
The image processing apparatus according to any one of claims 1 to 7, wherein the image processing apparatus acquires the image generated by the imaging unit and outputs the image to which the influence of the virtual light source is added. ..
前記取得工程において取得された画像に含まれる被写体について、撮像時に存在しなかった仮想光源による影響を演算する演算工程と、
前記演算工程における演算結果に基づき、前記被写体に前記仮想光源による影響を付加した画像を出力する出力工程とを有し、
前記演算工程は、
前記仮想光源を定義する位置を決定する決定工程と、
前記取得された画像に含まれる被写体領域を特定する特定工程と、
前記決定工程において逆光の関係となる位置に前記仮想光源を定義する位置が決定される場合に、
前記特定工程において特定された被写体領域の形状に基づいて、前記仮想光源による透過光の発生率を決定する第１の決定工程と、
前記仮想光源を定義する位置と前記被写体領域との位置に基づいて、前記仮想光源による反射光の発生率を決定する第２の決定工程と、
前記第１の決定工程において決定された前記透過光の発生率と前記第２の決定工程において決定された前記反射光の発生率とに基づいて、前記仮想光源による影響を演算する処理工程と、
を含むことを特徴とする画像処理装置の制御方法。 An acquisition step of acquiring an image obtained by imaging,
For a subject included in the image acquired in the acquisition step, a calculation step of calculating the influence of a virtual light source that did not exist at the time of image capturing,
An output step of outputting an image in which the influence of the virtual light source is added to the subject based on the calculation result in the calculation step,
The calculation step is
A determining step of determining a position defining the virtual light source;
A specifying step of specifying a subject area included in the acquired image;
When the position that defines the virtual light source is determined at a position that is in the relationship of backlight in the determination step,
A first determining step of determining a generation rate of transmitted light by the virtual light source based on the shape of the subject region specified in the specifying step;
A second determining step of determining a generation rate of reflected light by the virtual light source based on a position defining the virtual light source and a position of the subject region;
A processing step of calculating the influence of the virtual light source based on the incidence rate of the transmitted light determined in the first determination step and the incidence rate of the reflected light determined in the second determination step;
A method for controlling an image processing apparatus, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016027243A JP6702752B2 (en) | 2016-02-16 | 2016-02-16 | Image processing device, imaging device, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016027243A JP6702752B2 (en) | 2016-02-16 | 2016-02-16 | Image processing device, imaging device, control method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017147568A JP2017147568A (en) | 2017-08-24 |
| JP2017147568A5 JP2017147568A5 (en) | 2019-04-04 |
| JP6702752B2 true JP6702752B2 (en) | 2020-06-03 |
Family
ID=59682441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016027243A Active JP6702752B2 (en) | 2016-02-16 | 2016-02-16 | Image processing device, imaging device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6702752B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6904836B2 (en) | 2017-07-31 | 2021-07-21 | 日本アビオニクス株式会社 | Imaging device |
| JP7102192B2 (en) * | 2018-03-30 | 2022-07-19 | キヤノン株式会社 | Image processing device, its control method, program |
| JP7207876B2 (en) * | 2018-06-27 | 2023-01-18 | キヤノン株式会社 | Image processing device, image processing method, and program |
| CN112262563B (en) * | 2018-11-20 | 2022-07-22 | 华为技术有限公司 | Image processing method and electronic device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5647209B2 (en) * | 2012-11-07 | 2014-12-24 | オリンパスイメージング株式会社 | Imaging apparatus and imaging method |
-
2016
- 2016-02-16 JP JP2016027243A patent/JP6702752B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017147568A (en) | 2017-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11503219B2 (en) | Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject | |
| JP6445844B2 (en) | Imaging device and method performed in imaging device | |
| JP6833415B2 (en) | Image processing equipment, image processing methods, and programs | |
| US10223770B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US8059187B2 (en) | Image capturing apparatus | |
| JP6381404B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| JP6702752B2 (en) | Image processing device, imaging device, control method, and program | |
| JP6077853B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP6412386B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
| JP7292905B2 (en) | Image processing device, image processing method, and imaging device | |
| JP7277158B2 (en) | Setting device and method, program, storage medium | |
| CN110324529B (en) | Image processing apparatus and control method thereof | |
| JP2020102666A (en) | Image processing device, imaging apparatus, image processing method, and program | |
| KR20180138530A (en) | Detection apparatus, image processing apparatus, detection method, and image processing method | |
| US11069031B2 (en) | Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image | |
| JP2018182699A (en) | Image processing apparatus, control method of the same, program, and storage medium | |
| JP2017138927A (en) | Image processing device, imaging apparatus, control method and program thereof | |
| JP7398939B2 (en) | Image processing device and its control method, imaging device, program, and storage medium | |
| JP6541416B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP5693647B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP2018093359A (en) | Image processing apparatus, image processing method, and program | |
| JP5264695B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP2020024581A (en) | Image processing apparatus, image processing method, and program | |
| JP7356255B2 (en) | Image processing device and its processing method, imaging device, program, storage medium | |
| JP6675461B2 (en) | Image processing apparatus, control method therefor, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6702752 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |