JP6575926B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP6575926B2
JP6575926B2 JP2015119121A JP2015119121A JP6575926B2 JP 6575926 B2 JP6575926 B2 JP 6575926B2 JP 2015119121 A JP2015119121 A JP 2015119121A JP 2015119121 A JP2015119121 A JP 2015119121A JP 6575926 B2 JP6575926 B2 JP 6575926B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
noise
rts
rts noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015119121A
Other languages
Japanese (ja)
Other versions
JP2017005571A (en
Inventor
吉孝 木村
吉孝 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Imaging Co Ltd
Original Assignee
Ricoh Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Imaging Co Ltd filed Critical Ricoh Imaging Co Ltd
Priority to JP2015119121A priority Critical patent/JP6575926B2/en
Publication of JP2017005571A publication Critical patent/JP2017005571A/en
Application granted granted Critical
Publication of JP6575926B2 publication Critical patent/JP6575926B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数の画素でFD(Floating Diffusion)を共有する構造の撮像素子を持つ撮影装置に関する。   The present invention relates to an imaging device having an imaging element having a structure in which a plurality of pixels share an FD (Floating Diffusion).

CMOS(Complementary Metal Oxide Semiconductor)イメージセンサにおいて、イメージセンサの小型化や受光面積の確保を達成するため、複数の画素でFDを共有することにより、単位画素当たりのFET(Field Effect Transistor)数及び配線数を低減した構成が知られている。例えば特許文献1に、この種のCMOSイメージセンサの具体的構成が記載されている。   In a CMOS (Complementary Metal Oxide Semiconductor) image sensor, the number of FETs (Field Effect Transistors) and wiring per unit pixel can be achieved by sharing the FD among multiple pixels in order to achieve downsizing of the image sensor and securing of the light receiving area. A configuration with a reduced number is known. For example, Patent Document 1 describes a specific configuration of this type of CMOS image sensor.

また、CMOSイメージセンサでは、MOSFETのチャネル内を移動するキャリアがゲート絶縁膜等に存在するトラップ準位に捕獲されることにより、撮像した画像にRTS(Random Telegraph Signal)ノイズが発生することが知られている。例えば特許文献2に、RTSノイズを低減させることが可能な撮影装置の具体的構成が記載されている。   Also, in CMOS image sensors, it is known that RTS (Random Telegraph Signal) noise is generated in captured images by capturing carriers moving in the MOSFET channel at trap levels present in the gate insulating film or the like. It has been. For example, Patent Document 2 describes a specific configuration of an imaging apparatus that can reduce RTS noise.

特開2005−198001号公報JP 2005-198001 A 特許5561112号公報Japanese Patent No. 5561112

n(nは2以上の自然数)個の画素でFDを共有する構造(以下、説明の便宜上「n画素FD共有構造」と記す。)のCMOSイメージセンサでは、RTSノイズがMOSFETで発生するため、FDを共有する画素群単位でRTSノイズが発生する。以下、説明の便宜上、RTSノイズが発生する画素を「RTSノイズ発生画素」と記す。   In a CMOS image sensor having a structure in which n (n is a natural number of 2 or more) pixels share an FD (hereinafter referred to as an “n pixel FD sharing structure” for convenience of description), RTS noise is generated in the MOSFET. RTS noise is generated for each pixel group sharing the FD. Hereinafter, for convenience of description, a pixel in which RTS noise occurs is referred to as an “RTS noise generation pixel”.

RTSノイズ発生画素を一般的なフィルタ(平滑化フィルタやメディアンフィルタ等)を用いて補正する場合を考える。この場合において、例えば、FDを共有する一対の隣接画素同士でRTSノイズが発生すると、隣接一画素(隣接する一方のRTSノイズ発生画素)の影響が強すぎて、対象画素(隣接する他方のRTSノイズ発生画素)を良好に補正することができない。隣接一画素のRTSノイズの影響を抑えて対象画素を良好に補正するためには、例えばフィルタの範囲を拡げる必要がある。しかし、フィルタの範囲を拡げて画素補正を行うと、画像の解像度の低下につながるという問題が指摘される。   Consider a case where RTS noise generating pixels are corrected using a general filter (smoothing filter, median filter, etc.). In this case, for example, when RTS noise occurs between a pair of adjacent pixels sharing the FD, the influence of one adjacent pixel (one adjacent RTS noise generating pixel) is too strong, and the target pixel (the other adjacent RTS) Noise generation pixel) cannot be corrected satisfactorily. In order to satisfactorily correct the target pixel while suppressing the influence of the RTS noise of one adjacent pixel, it is necessary to widen the filter range, for example. However, a problem is pointed out that if pixel correction is performed by expanding the filter range, the resolution of the image is reduced.

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、FDを共有する近接画素同士でRTSノイズが発生する場合であっても、画像の解像度の低下を抑えつつ対象画素を良好に補正することが可能な撮影装置を提供することである。   The present invention has been made in view of the above circumstances, and the object of the present invention is to reduce the resolution of an image even when RTS noise occurs between adjacent pixels sharing an FD. An object of the present invention is to provide a photographing apparatus capable of correcting pixels satisfactorily.

本発明の一実施形態に係る撮影装置は、複数の画素でFDを共有する構造の撮像素子と、撮像素子が有する画素群の中で静的な欠陥を持つ静的欠陥画素を登録する欠陥画素登録手段と、登録手段に登録された静的欠陥画素に対して欠陥画素補正を行う欠陥画素補正手段と、欠陥画素補正が行われた後の画素群に対してノイズの補正を行うノイズ補正手段とを備える。登録手段は、FDを共有する複数の画素のうち少なくとも1つの画素を除く他の画素を静的欠陥画素として登録している。   An imaging device according to an embodiment of the present invention includes an imaging device having a structure in which a plurality of pixels share an FD, and a defective pixel that registers a static defective pixel having a static defect in a pixel group included in the imaging device. A registration unit; a defective pixel correction unit that performs defective pixel correction on a static defective pixel registered in the registration unit; and a noise correction unit that performs noise correction on a pixel group after the defective pixel correction is performed. With. The registering unit registers other pixels excluding at least one pixel among the plurality of pixels sharing the FD as static defective pixels.

また、本発明の一実施形態に係る撮影装置は、ノイズが発生する画素を検出する検出手段を備える構成としてもよい。この構成において、ノイズ補正手段は、検出手段により検出された画素に対してノイズの補正を行う。   In addition, the photographing apparatus according to an embodiment of the present invention may include a detection unit that detects pixels in which noise occurs. In this configuration, the noise correction unit performs noise correction on the pixels detected by the detection unit.

また、本発明の一実施形態に係る撮影装置は、ノイズが発生する可能性のある画素を登録するノイズ画素登録手段を備える構成としてもよい。この構成において、検出手段は、所定の条件が満たされるとき、ノイズ画素登録手段に登録された画素をノイズ発生画素として検出する。   In addition, the imaging apparatus according to an embodiment of the present invention may include a noise pixel registration unit that registers a pixel that may generate noise. In this configuration, the detection unit detects a pixel registered in the noise pixel registration unit as a noise generation pixel when a predetermined condition is satisfied.

また、本発明の一実施形態において、ノイズ発生画素を検出するための所定の条件は、例えば、
(1)ISO感度が所定感度以上に設定されている、
(2)撮影時の温度が所定温度以上である、
(3)撮影モードが複数枚の画像を合成した合成画像を生成する合成モードに設定されている、
(4)撮影モードがライブビューを表示するライブビューモードに設定されている、
(5)撮影モードが動画を撮影する動画モードに設定されている、
の少なくとも1つを含む。
In one embodiment of the present invention, the predetermined condition for detecting a noise-generating pixel is, for example,
(1) The ISO sensitivity is set to a predetermined sensitivity or higher.
(2) The temperature at the time of shooting is a predetermined temperature or higher,
(3) The shooting mode is set to a composite mode for generating a composite image by combining a plurality of images.
(4) The shooting mode is set to live view mode for displaying live view.
(5) The shooting mode is set to a movie mode for shooting a movie,
At least one of the following.

また、本発明の一実施形態において、撮像素子は、例えばCMOSイメージセンサである。   In one embodiment of the present invention, the image sensor is, for example, a CMOS image sensor.

また、本発明の一実施形態において、FDを共有する複数の画素は、少なくとも2つの同色画素を含む。   In one embodiment of the present invention, the plurality of pixels sharing the FD include at least two same color pixels.

また、本発明の一実施形態において、ノイズは、RTSノイズである。   In one embodiment of the present invention, the noise is RTS noise.

本発明の一実施形態によれば、FDを共有する近接画素同士でRTSノイズが発生する場合であっても、画像の解像度の低下を抑えつつ対象画素を良好に補正することが可能な撮影装置が提供される。   According to an embodiment of the present invention, even when RTS noise occurs between adjacent pixels sharing an FD, an imaging device capable of satisfactorily correcting a target pixel while suppressing a decrease in image resolution. Is provided.

本発明の一実施形態に係る撮影装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮影装置に備えられる固体撮像素子の画素配置を模式的に示す図である。It is a figure which shows typically the pixel arrangement | positioning of the solid-state image sensor with which the imaging device which concerns on one Embodiment of this invention is equipped. 本発明の一実施形態において撮影装置に備えられるシステムコントローラにより実行される画素補正処理のフローチャートを示す図である。It is a figure which shows the flowchart of the pixel correction process performed by the system controller with which an imaging device is equipped in one Embodiment of this invention. 図3に示される画像補正処理の効果を説明するための図である。It is a figure for demonstrating the effect of the image correction process shown by FIG.

以下、本発明の一実施形態に係る撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、PHS(Personal Handy phone System)、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。   An imaging apparatus according to an embodiment of the present invention will be described below with reference to the drawings. In the following, a digital single lens reflex camera will be described as an embodiment of the present invention. Note that the photographing apparatus is not limited to a digital single lens reflex camera, but includes, for example, a mirrorless single lens camera, a compact digital camera, a video camera, a camcorder, a tablet terminal, a PHS (Personal Handy phone System), a smartphone, a feature phone, a portable game machine, and the like. The apparatus may be replaced with another type of apparatus having a photographing function.

[撮影装置1の構成]
図1は、本発明の一実施形態に係る撮影装置1の構成を示すブロック図である。図1に示されるように、撮影装置1は、システムコントローラ100、操作部102、駆動回路104、撮影レンズ106、絞り108、シャッタ110、固体撮像素子112、信号処理回路114、画像処理エンジン116、バッファメモリ118、カード用インタフェース120、LCD(Liquid Crystal Display)制御回路122、LCD124、ROM(Read Only Memory)126及び温度センサ128を備えている。なお、撮影レンズ106は複数枚構成であるが、図1においては便宜上一枚のレンズとして示す。
[Configuration of the photographing apparatus 1]
FIG. 1 is a block diagram showing a configuration of a photographing apparatus 1 according to an embodiment of the present invention. As shown in FIG. 1, the photographing apparatus 1 includes a system controller 100, an operation unit 102, a drive circuit 104, a photographing lens 106, a diaphragm 108, a shutter 110, a solid-state image sensor 112, a signal processing circuit 114, an image processing engine 116, A buffer memory 118, a card interface 120, an LCD (Liquid Crystal Display) control circuit 122, an LCD 124, a ROM (Read Only Memory) 126, and a temperature sensor 128 are provided. Although the photographing lens 106 has a plurality of lenses, it is shown as a single lens for convenience in FIG.

操作部102には、電源スイッチやレリーズスイッチ、撮影モードスイッチ、ISO感度等の撮影条件を指定するスイッチなど、ユーザが撮影装置1を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置1の各種回路に電源ラインを通じて電源供給が行われる。   The operation unit 102 includes various switches necessary for the user to operate the photographing apparatus 1, such as a power switch, a release switch, a photographing mode switch, and a switch for specifying photographing conditions such as ISO sensitivity. When the user operates the power switch, power is supplied from the battery (not shown) to the various circuits of the photographing apparatus 1 through the power line.

システムコントローラ100は、CPU(Central Processing Unit)及びDSP(Digital Signal Processor)を含む。システムコントローラ100は電源供給後、ROM126にアクセスして制御プログラムを読み出してワークエリア(不図示)にロードし、ロードされた制御プログラムを実行することにより、撮影装置1全体の制御を行う。   The system controller 100 includes a CPU (Central Processing Unit) and a DSP (Digital Signal Processor). After supplying power, the system controller 100 accesses the ROM 126, reads out a control program, loads it into a work area (not shown), and executes the loaded control program to control the entire photographing apparatus 1.

レリーズスイッチが操作されると、システムコントローラ100は、例えば、固体撮像素子112により撮像された画像に基づいて計算された測光値や、撮影装置1に内蔵された露出計(不図示)で測定された測光値に基づき適正露出が得られるように、駆動回路104を介して絞り108及びシャッタ110を駆動制御する。より詳細には、絞り108及びシャッタ110の駆動制御は、プログラムAE(Automatic Exposure)、シャッタ優先AE、絞り優先AEなど、撮影モードスイッチにより指定されるAE機能に基づいて行われる。また、システムコントローラ100はAE制御と併せてAF(Autofocus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。また、AFモードには、中央一点の測距エリアを用いた中央一点測距モード、複数の測距エリアを用いた多点測距モード等がある。システムコントローラ100は、AF結果に基づいて駆動回路104を介して撮影レンズ106を駆動制御し、撮影レンズ106の焦点を調整する。なお、この種のAE及びAFの構成及び制御については周知であるため、ここでの詳細な説明は省略する。   When the release switch is operated, the system controller 100 is measured by, for example, a photometric value calculated based on an image captured by the solid-state image sensor 112 or an exposure meter (not shown) built in the photographing apparatus 1. The diaphragm 108 and the shutter 110 are driven and controlled via the drive circuit 104 so that proper exposure can be obtained based on the photometric values. More specifically, drive control of the aperture 108 and the shutter 110 is performed based on an AE function designated by a shooting mode switch such as a program AE (Automatic Exposure), shutter priority AE, aperture priority AE, and the like. Further, the system controller 100 performs AF (Autofocus) control together with AE control. An active method, a phase difference detection method, a contrast detection method, or the like is applied to the AF control. The AF mode includes a central single-point ranging mode using a single central ranging area, a multi-point ranging mode using a plurality of ranging areas, and the like. The system controller 100 controls driving of the photographing lens 106 via the driving circuit 104 based on the AF result, and adjusts the focus of the photographing lens 106. Since the configuration and control of this type of AE and AF are well known, detailed description thereof is omitted here.

被写体からの光束は、撮影レンズ106、絞り108、シャッタ110を通過して固体撮像素子112の受光面にて受光される。固体撮像素子112は、ベイヤ型画素配置を有する単板式カラーCMOSイメージセンサである。   The light flux from the subject passes through the photographing lens 106, the diaphragm 108, and the shutter 110 and is received by the light receiving surface of the solid-state image sensor 112. The solid-state image sensor 112 is a single-plate color CMOS image sensor having a Bayer pixel arrangement.

図2に、固体撮像素子112の画素配置を模式的に示す。図2では、各画素を識別する都合上、各画素を「色+符号」で示す。図2に示されるように、固体撮像素子112は、4つの画素(R画素、Gr画素、Gb画素、B画素)が周期的に配列されており、この4つの画素でFDを共有する4画素FD共有構造となっている。   FIG. 2 schematically shows the pixel arrangement of the solid-state image sensor 112. In FIG. 2, each pixel is indicated by “color + sign” for the purpose of identifying each pixel. As shown in FIG. 2, in the solid-state imaging device 112, four pixels (R pixel, Gr pixel, Gb pixel, B pixel) are periodically arranged, and these four pixels share the FD. It has an FD sharing structure.

固体撮像素子112は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R、G、Bの画像信号を生成して出力する。なお、固体撮像素子112は、ベイヤ型フィルタを搭載したものに限らず、他の配色のフィルタを搭載したものであってもよい。   The solid-state image sensor 112 accumulates an optical image formed by each pixel on the light receiving surface as a charge corresponding to the amount of light, and generates and outputs R, G, and B image signals. The solid-state image sensor 112 is not limited to the one having a Bayer filter mounted thereon, and may be one having another color arrangement filter mounted thereon.

信号処理回路114は、固体撮像素子112より入力される画像信号に対して黒レベル補正、欠陥画素補正等の所定の信号処理を施してRAW形式の画像データを生成し、画像処理エンジン116に出力する。   The signal processing circuit 114 performs predetermined signal processing such as black level correction and defective pixel correction on the image signal input from the solid-state imaging device 112 to generate RAW format image data, and outputs the image data to the image processing engine 116. To do.

なお、信号処理回路114による欠陥画素補正とは、固体撮像素子112の有効画素群の中で静的な欠陥を持つ静的欠陥画素を補正する処理である。静的欠陥画素の典型例としては、入射光が無い状態でも電子が湧き出してしまうことにより、偽の信号を生成してしまう、いわゆる白傷画素(白点画素)が挙げられる。製品出荷時に存在する白傷画素(白点画素)は、組立・調整ライン等において検出されており、そのアドレスが例えばシステムコントローラ100の内部メモリに予め登録(記憶)されている。製品出荷後に発生した後発的な白傷画素(白点画素)については、例えば電源投入時等のタイミングで検出され、そのアドレスがシステムコントローラ100の内部メモリに登録される。   The defective pixel correction by the signal processing circuit 114 is a process of correcting a static defective pixel having a static defect in the effective pixel group of the solid-state imaging device 112. A typical example of a static defective pixel is a so-called white scratched pixel (white point pixel) that generates a false signal when electrons are generated even in the absence of incident light. White scratched pixels (white dot pixels) existing at the time of product shipment are detected on an assembly / adjustment line or the like, and their addresses are registered (stored) in advance in, for example, the internal memory of the system controller 100. For example, a white spot pixel (white dot pixel) that occurs after product shipment is detected at the timing of power-on, for example, and its address is registered in the internal memory of the system controller 100.

信号処理回路114による欠陥画素補正では、システムコントローラ100の内部メモリに登録された静的欠陥画素について、例えば平滑化フィルタやメディアンフィルタ等の周辺画素(欠陥画素を除く周辺画素)を用いた補正が行われたり、規定の画素値に置き換える補正が行われたりする。   In defective pixel correction by the signal processing circuit 114, correction using peripheral pixels (peripheral pixels excluding defective pixels) such as a smoothing filter and a median filter is performed for static defective pixels registered in the internal memory of the system controller 100. Or correction to replace with a specified pixel value.

画像処理エンジン116は、信号処理回路114より入力されるRAW形式の画像データに対し、RTSノイズ発生画素の補正、デモザイク、マトリクス演算、ホワイトバランス、Y/C分離等の所定の信号処理を施して輝度信号Y、色差信号Cb、Crを生成し、JPEG(Joint Photographic Experts Group)等の所定のフォーマットで圧縮する。バッファメモリ118は、画像処理エンジン116による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像は、画像処理エンジン116により生成されたJPEG形式の撮影画像データに限らず、信号処理回路114より入力されるRAW形式の撮影画像データが保存されてもよい。   The image processing engine 116 performs predetermined signal processing such as RTS noise generation pixel correction, demosaicing, matrix calculation, white balance, and Y / C separation on the RAW image data input from the signal processing circuit 114. A luminance signal Y and color difference signals Cb and Cr are generated and compressed in a predetermined format such as JPEG (Joint Photographic Experts Group). The buffer memory 118 is used as a temporary storage location for processing data when the image processing engine 116 executes processing. In addition, the captured image is not limited to the captured image data in JPEG format generated by the image processing engine 116, but captured image data in RAW format input from the signal processing circuit 114 may be stored.

カード用インタフェース120のカードスロットには、メモリカード200が着脱可能に差し込まれている。   A memory card 200 is detachably inserted into a card slot of the card interface 120.

画像処理エンジン116は、カード用インタフェース120を介してメモリカード200と通信可能である。画像処理エンジン116は、生成されたJPEG形式の撮影画像データをメモリカード200(又は撮影装置1に備えられる不図示の内蔵メモリ)に保存する。なお、メモリカード200には、信号処理回路114より出力されるRAW形式の撮影画像データが保存されてもよい。   The image processing engine 116 can communicate with the memory card 200 via the card interface 120. The image processing engine 116 stores the generated captured image data in the JPEG format in the memory card 200 (or a built-in memory (not shown) provided in the imaging apparatus 1). The memory card 200 may store RAW-format captured image data output from the signal processing circuit 114.

また、画像処理エンジン116は、生成された輝度信号Y、色差信号Cb、Crをフレームメモリ(不図示)にフレーム単位でバッファリングする。画像処理エンジン116は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、LCD制御回路122に出力する。LCD制御回路122は、画像処理エンジン116より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がLCD124の表示画面に表示される。ユーザは、AE制御及びAF制御に基づいて適正な露出及びピントで撮影されたリアルタイムのスルー画(ライブビュー)を、LCD124の表示画面を通じて視認することができる。   Further, the image processing engine 116 buffers the generated luminance signal Y and color difference signals Cb and Cr in a frame memory (not shown) in units of frames. The image processing engine 116 sweeps the buffered signal from each frame memory at a predetermined timing, converts it into a video signal of a predetermined format, and outputs it to the LCD control circuit 122. The LCD control circuit 122 modulates and controls the liquid crystal based on the image signal input from the image processing engine 116. Thereby, the photographed image of the subject is displayed on the display screen of the LCD 124. The user can view a real-time through image (live view) photographed with appropriate exposure and focus based on the AE control and AF control through the display screen of the LCD 124.

画像処理エンジン116は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード200又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、LCD制御回路122に出力する。LCD制御回路122が画像処理エンジン116より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がLCD124の表示画面に表示される。   When the user performs a reproduction operation of the photographed image, the image processing engine 116 reads the photographed image data designated by the operation from the memory card 200 or the built-in memory, converts it into an image signal of a predetermined format, and the LCD control circuit 122. Output to. The LCD control circuit 122 performs modulation control on the liquid crystal based on the image signal input from the image processing engine 116, so that a captured image of the subject is displayed on the display screen of the LCD 124.

[画素補正処理]
次に、システムコントローラ100により実行される画素補正処理を図3のフローチャートを用いて説明する。図3に示される画素補正処理は、例えばレリーズスイッチが押された時点で開始される。
[Pixel correction processing]
Next, pixel correction processing executed by the system controller 100 will be described using the flowchart of FIG. The pixel correction process shown in FIG. 3 is started when the release switch is pressed, for example.

なお、RTSノイズは、特定の画素に撮影毎にランダムに発生するランダムノイズであり、高い再現性を有しているとは限らない。しかし、組立・調整ライン等においてテスト撮影を繰り返すことにより、RTSノイズが発生するRTSノイズ発生画素の特定は可能である。本実施形態では、RTSノイズ発生画素が組立・調整ライン等において特定されており、そのアドレスが例えばシステムコントローラ100の内部メモリに予め登録(記憶)されている。   Note that the RTS noise is a random noise that randomly occurs at a specific pixel every time the image is taken, and does not always have high reproducibility. However, it is possible to identify an RTS noise-generating pixel that generates RTS noise by repeating test imaging on an assembly / adjustment line or the like. In this embodiment, an RTS noise generating pixel is specified on an assembly / adjustment line or the like, and its address is registered (stored) in advance in, for example, an internal memory of the system controller 100.

また、システムコントローラ100の内部メモリに登録された一部のRTSノイズ発生画素(静的欠陥画素でないもの)は、詳しくは後述するが、静的欠陥画素としても登録(記憶)されている。以下、説明の便宜上、このようなRTSノイズ発生画素を「静的欠陥みなし画素」と記す。   Also, some RTS noise generation pixels (non-static defective pixels) registered in the internal memory of the system controller 100 are also registered (stored) as static defective pixels, as will be described in detail later. Hereinafter, for the convenience of explanation, such an RTS noise occurrence pixel is referred to as a “static defect deemed pixel”.

[図3のS11(条件の判定)]
本処理ステップS11では、所定の条件が満たされるか否かが判定される。ここで、所定の条件とは、RTSノイズが発生しやすい(ノイズ量が微小でなく画像上目立ちやすい)条件である。例示的には、下記の項目(1)〜(5)の少なくとも1つが満たされる場合に、所定の条件が満たされるものと判定される。
(1)ISO感度が所定感度以上に設定されている。
(2)温度センサ128により検出された撮影時の温度が所定温度以上である。
(3)撮影モードが複数枚の画像を合成した合成画像を生成する合成モードに設定されている。
(4)撮影モードがライブビューを表示するライブビューモードに設定されている。
(5)撮影モードが動画を撮影する動画モードに設定されている。
[S11 in FIG. 3 (condition determination)]
In this process step S11, it is determined whether or not a predetermined condition is satisfied. Here, the predetermined condition is a condition in which RTS noise is likely to occur (the amount of noise is not very small and is conspicuous on the image). Illustratively, it is determined that the predetermined condition is satisfied when at least one of the following items (1) to (5) is satisfied.
(1) The ISO sensitivity is set to a predetermined sensitivity or higher.
(2) The photographing temperature detected by the temperature sensor 128 is equal to or higher than a predetermined temperature.
(3) The shooting mode is set to a composite mode for generating a composite image obtained by combining a plurality of images.
(4) The shooting mode is set to a live view mode for displaying a live view.
(5) The shooting mode is set to a moving image mode for shooting a moving image.

[図3のS12(静的欠陥みなし画素を含まない欠陥画素補正)]
処理ステップS11(条件の判定)にて所定の条件が満たされないと判定された場合(S11:NO)、システムコントローラ100の内部メモリに登録されたRTSノイズ発生画素でRTSノイズの発生が検出されなかったものとみなされて、本処理ステップS12が実行される。
[S12 in FIG. 3 (Defective Pixel Correction Not Containing Static Defect Pixels)]
If it is determined in processing step S11 (condition determination) that the predetermined condition is not satisfied (S11: NO), the generation of RTS noise is not detected in the RTS noise generation pixel registered in the internal memory of the system controller 100. This processing step S12 is executed.

本処理ステップS12では、システムコントローラ100の内部メモリから静的欠陥画素のアドレスだけが読み出され、読み出されたアドレスの画素に対して信号処理回路114による欠陥画素補正が行われる。信号処理回路114による欠陥画素補正後、図3に示される画素補正処理は終了する。   In this processing step S12, only the address of the static defective pixel is read from the internal memory of the system controller 100, and the defective pixel correction is performed by the signal processing circuit 114 on the pixel of the read address. After the defective pixel correction by the signal processing circuit 114, the pixel correction process shown in FIG. 3 ends.

[図3のS13(静的欠陥みなし画素を含む欠陥画素補正)]
処理ステップS11(条件の判定)にて所定の条件が満たされると判定される場合(S11:YES)、システムコントローラ100の内部メモリに登録されたRTSノイズ発生画素でRTSノイズの発生が検出されたものとみなされて、本処理ステップS13が実行される。
[S13 in FIG. 3 (Defect Pixel Correction Including Static Defect Pixel)]
When it is determined in the processing step S11 (condition determination) that the predetermined condition is satisfied (S11: YES), the occurrence of RTS noise is detected in the RTS noise generation pixel registered in the internal memory of the system controller 100. This processing step S13 is executed as if it were regarded as a thing.

本処理ステップS13では、システムコントローラ100の内部メモリから静的欠陥画素のアドレス及び静的欠陥みなし画素のアドレスが読み出され、読み出されたアドレスの画素に対して信号処理回路114による欠陥画素補正が行われる。   In this processing step S13, the address of the static defective pixel and the address of the static defective pixel are read from the internal memory of the system controller 100, and the defective pixel correction by the signal processing circuit 114 is performed on the pixel of the read address. Is done.

[図3のS14(RTSノイズ発生画素の補正)]
本処理ステップS14では、システムコントローラ100の内部メモリから、静的欠陥みなし画素を除くRTSノイズ発生画素のアドレスが読み出され、読み出されたアドレスの画素に対して画像処理エンジン116によりRTSノイズ発生画素が補正される。かかる補正処理には、例えば平滑化フィルタやメディアンフィルタ等が用いられる。
[S14 in FIG. 3 (correction of RTS noise-generating pixels)]
In this processing step S14, the address of the RTS noise generating pixel excluding the static defect deemed pixel is read from the internal memory of the system controller 100, and the image processing engine 116 generates the RTS noise for the pixel of the read address. Pixels are corrected. For such correction processing, for example, a smoothing filter, a median filter, or the like is used.

図4(a)及び図4(b)に、図3に示される画像補正処理の効果を説明するための図を示す。   4A and 4B are diagrams for explaining the effect of the image correction processing shown in FIG.

図4(a)は、RTSノイズ発生画素を模式的に示す図である。図4(a)の例では、FDを共有する4画素(画素R22、画素Gr23、画素Gb32、画素B33)がRTSノイズ発生画素となっている。図4(a)の例において、RTSノイズ発生画素を同色の周辺画素を用いて補正(欠陥画素補正)する場合を説明する。   FIG. 4A is a diagram schematically illustrating RTS noise generation pixels. In the example of FIG. 4A, four pixels (pixel R22, pixel Gr23, pixel Gb32, and pixel B33) sharing the FD are RTS noise generation pixels. In the example of FIG. 4A, a case where the RTS noise generation pixel is corrected using the peripheral pixels of the same color (defective pixel correction) will be described.

画素R22に最も近接する同色の周辺画素は、画素R02、画素R20、画素R24、画素R42である。図4(a)の例では、何れの同色画素もRTSノイズ発生画素ではない。そのため、画素R22は、最小フィルタで(具体的には、4つの画素(画素R02、画素R20、画素R24、画素R42)を用いて)良好に補正される。   The peripheral pixels of the same color that are closest to the pixel R22 are a pixel R02, a pixel R20, a pixel R24, and a pixel R42. In the example of FIG. 4A, none of the same color pixels are RTS noise generation pixels. Therefore, the pixel R22 is corrected satisfactorily with a minimum filter (specifically, using four pixels (pixel R02, pixel R20, pixel R24, and pixel R42)).

画素B33に最も近接する同色の周辺画素は、画素B13、画素B31、画素B35、画素B53である。この場合も画素R22の例と同様に、何れの同色画素もRTSノイズ発生画素ではない。そのため、画素B33も、最小フィルタで(具体的には、4つの画素(画素B13、画素B31、画素B35、画素B53)を用いて)良好に補正される。   The peripheral pixels of the same color that are closest to the pixel B33 are the pixel B13, the pixel B31, the pixel B35, and the pixel B53. In this case, as in the example of the pixel R22, none of the same color pixels are RTS noise generation pixels. Therefore, the pixel B33 is also well corrected with the minimum filter (specifically, using four pixels (pixel B13, pixel B31, pixel B35, and pixel B53)).

画素Gb32に最も近接する同色の周辺画素は、画素Gr21、画素Gr23、画素Gr41、画素Gr43である。画素Gr21、画素Gr41、画素Gr43はRTSノイズ発生画素でないが、画素Gr23はRTSノイズ発生画素である。そのため、最小フィルタでは(具体的には、4つの画素(画素Gr21、画素Gr23、画素Gr41、画素Gr43)だけでは)、RTSノイズ発生画素である画素Gr23の影響が強すぎて、画素Gb32を良好に補正することができない。   The peripheral pixels of the same color that are closest to the pixel Gb32 are a pixel Gr21, a pixel Gr23, a pixel Gr41, and a pixel Gr43. The pixel Gr21, the pixel Gr41, and the pixel Gr43 are not RTS noise generation pixels, but the pixel Gr23 is an RTS noise generation pixel. Therefore, with the minimum filter (specifically, with only four pixels (pixel Gr21, pixel Gr23, pixel Gr41, pixel Gr43)), the influence of the pixel Gr23 that is the RTS noise generation pixel is too strong, and the pixel Gb32 is good. Cannot be corrected.

画素Gb32を良好に補正するための典型的な方法としては、例えば、フィルタの範囲を、上記の4つの画素に加えて、画素Gb10、画素Gb12、画素Gb14、画素Gb30、画素Gb34、画素Gb50、画素Gb52、画素Gb54まで拡げることが考えられる。しかし、フィルタの範囲を拡げることは、撮影画像全体の解像度の低下につながるため望ましくない。   As a typical method for satisfactorily correcting the pixel Gb32, for example, in addition to the above four pixels, the filter range includes the pixel Gb10, the pixel Gb12, the pixel Gb14, the pixel Gb30, the pixel Gb34, the pixel Gb50, It is conceivable to expand to the pixel Gb52 and the pixel Gb54. However, expanding the filter range is not desirable because it leads to a decrease in the resolution of the entire captured image.

画素Gr23についても同様に、RTSノイズ発生画素である画素Gb32の影響が強すぎて良好に補正することができず、また、フィルタの範囲を拡げることは、撮影画像全体の解像度の低下につながるため望ましくない。   Similarly, for the pixel Gr23, the influence of the pixel Gb32, which is an RTS noise generating pixel, is too strong to be corrected satisfactorily, and widening the filter range leads to a decrease in the resolution of the entire captured image. Not desirable.

そこで、本実施形態では、RTSノイズ発生画素として登録されている画素に最も近接する同色の周辺画素が同じくRTSノイズ発生画素として登録されている場合は、その一方の画素が静的欠陥みなし画素としてシステムコントローラ100の内部メモリに登録されている。図4の例では、画素Gb32に最も近接する同色の周辺画素Gr23が静的欠陥みなし画素としてシステムコントローラ100の内部メモリに登録されている(図4(b)の概念図参照)。   Therefore, in the present embodiment, when a neighboring pixel of the same color that is closest to a pixel registered as an RTS noise generation pixel is also registered as an RTS noise generation pixel, one of the pixels is regarded as a static defect-defining pixel. Registered in the internal memory of the system controller 100. In the example of FIG. 4, a peripheral pixel Gr23 of the same color that is closest to the pixel Gb32 is registered in the internal memory of the system controller 100 as a static defect deemed pixel (see the conceptual diagram of FIG. 4B).

そのため、画素Gr23に対しては、処理ステップS13(静的欠陥みなし画素を含む欠陥画素補正)にて信号処理回路114による欠陥画素補正が行われる。これにより、画素Gr23の画素値は、ノイズ成分が抑えられた値となる。   For this reason, the pixel Gr23 is subjected to defective pixel correction by the signal processing circuit 114 in the processing step S13 (defective pixel correction including a static defective pixel). Thereby, the pixel value of the pixel Gr23 becomes a value in which the noise component is suppressed.

一方、画素Gb32は、システムコントローラ100の内部メモリに静的欠陥みなし画素として登録されておらず且つRTSノイズ発生画素として登録されている。そのため、画素Gb32は、処理ステップS14(RTSノイズ発生画素の補正)にて画像処理エンジン116により補正される。具体的には、画素Gb32は、最小フィルタで(具体的には、4つの画素(画素Gr21、画素Gr23、画素Gr41、画素Gr43)を用いて)補正される。このとき、画素Gr23は、静的欠陥画素として信号処理回路114による欠陥画素補正が行われているため、画素Gb32は、RTSノイズ発生画素の影響を受けることなく良好に補正される。   On the other hand, the pixel Gb32 is not registered as a static defect deemed pixel in the internal memory of the system controller 100 and is registered as an RTS noise generation pixel. Therefore, the pixel Gb32 is corrected by the image processing engine 116 in the processing step S14 (correction of RTS noise generation pixel). Specifically, the pixel Gb32 is corrected with a minimum filter (specifically, using four pixels (pixel Gr21, pixel Gr23, pixel Gr41, pixel Gr43)). At this time, since the pixel Gr23 is subjected to the defective pixel correction by the signal processing circuit 114 as a static defective pixel, the pixel Gb32 is corrected well without being affected by the RTS noise generation pixel.

このように、本実施形態によれば、FDを共有する近接画素同士でRTSノイズが発生する場合であっても、RTSノイズ発生画素を最小フィルタで良好に補正することができる。従って、RTSノイズ発生画素の良好な補正と撮影画像の解像度低下の抑制とが同時に達成される。   As described above, according to the present embodiment, even when RTS noise is generated between adjacent pixels sharing the FD, the RTS noise generation pixel can be favorably corrected with the minimum filter. Therefore, it is possible to achieve good correction of RTS noise generating pixels and suppression of reduction in resolution of a captured image at the same time.

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。   The above is the description of the exemplary embodiments of the present invention. Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention. For example, the embodiment of the present invention also includes contents appropriately combined with embodiments or the like clearly shown in the specification or obvious embodiments.

上記の実施形態(図4の例)において、固体撮像素子112は、2×2の画素でFDを共有する構造となっているが、本発明はこれに限らない。固体撮像素子112は、縦方向や斜め方向に並ぶn個の画素でFDを共有する構造であってもよい。   In the above embodiment (example in FIG. 4), the solid-state image sensor 112 has a structure in which 2 × 2 pixels share the FD, but the present invention is not limited to this. The solid-state image sensor 112 may have a structure in which n pixels arranged in the vertical direction or the diagonal direction share the FD.

1 撮影装置
100 システムコントローラ
102 操作部
104 駆動回路
106 撮影レンズ
108 絞り
110 シャッタ
112 固体撮像素子
114 信号処理回路
116 画像処理エンジン
118 バッファメモリ
120 カード用インタフェース
122 LCD制御回路
124 LCD
126 ROM
128 温度センサ
200 メモリカード
DESCRIPTION OF SYMBOLS 1 Image pick-up apparatus 100 System controller 102 Operation part 104 Drive circuit 106 Shooting lens 108 Aperture 110 Shutter 112 Solid-state image sensor 114 Signal processing circuit 116 Image processing engine 118 Buffer memory 120 Card interface 122 LCD control circuit 124 LCD
126 ROM
128 Temperature sensor 200 Memory card

Claims (7)

複数の画素でFD(Floating Diffusion)を共有する構造の撮像素子と、
前記撮像素子が有する画素群のうち、静的な欠陥を持つ静的欠陥画素とRTS(Random Telegraph Signal)ノイズが発生するRTSノイズ発生画素を登録する登録手段と、
前記登録手段に登録された静的欠陥画素と一部のRTSノイズ発生画素に対して欠陥画素補正を行う欠陥画素補正手段と、
前記欠陥画素補正が行われた後の前記画素群に対してノイズの補正を行うノイズ補正手段と、
を備え、
前記登録手段は、
前記FDを共有し且つ前記RTSノイズ発生画素である複数の画素のうち、少なくとも一つのRTSノイズ発生画素を、静的欠陥画素として登録し
前記欠陥画素補正手段は、
前記登録手段に登録された静的欠陥画素と、前記静的欠陥画素として登録された前記一部のRTSノイズ発生画素に対して欠陥画素補正を行う
撮影装置。
An image sensor having a structure in which a plurality of pixels share FD (Floating Diffusion);
Of the group of pixels the image sensor has a registration means for registering the RTS noise pixel static defective pixel and the RTS (Random Telegraph Signal) noise is generated with a static defects,
Defective pixel correction means for correcting defective pixels for static defective pixels registered in the registration means and some RTS noise generation pixels ;
Noise correction means for correcting noise for the pixel group after the defective pixel correction is performed;
With
The registration means includes
Registering at least one RTS noise generating pixel as a static defective pixel among a plurality of pixels sharing the FD and being the RTS noise generating pixel ;
The defective pixel correction means includes
Performing defective pixel correction on the static defective pixels registered in the registration means and the RTS noise generation pixels registered as the static defective pixels ,
Shooting device.
前記登録手段に登録されたRTSノイズ発生画素でノイズが発生するか否かを検出する検出手段
を備え、
前記ノイズ補正手段は、
前記登録手段に登録されたRTSノイズ発生画素におけるノイズの発生が検出されると、前記一部のRTSノイズ発生画素を除くRTSノイズ発生画素に対して前記ノイズの補正を行う、
請求項1に記載の撮影装置。
Detecting means for detecting whether or not noise is generated in the RTS noise generating pixel registered in the registration means ;
The noise correction means is
When the occurrence of noise in the RTS noise generation pixels registered in the registration unit is detected, the noise correction is performed on the RTS noise generation pixels excluding the part of the RTS noise generation pixels .
The imaging device according to claim 1.
前記検出手段は、
所定の条件が満たされるとき、前記登録手段に登録されたRTSノイズ発生画素におけるノイズの発生を検出する、
請求項2に記載の撮影装置。
The detection means includes
When a predetermined condition is satisfied , detecting the occurrence of noise in the RTS noise generation pixel registered in the registration means ;
The imaging device according to claim 2.
前記所定の条件は、
下記の項目(1)〜(5)、
(1)ISO感度が所定感度以上に設定されている、
(2)撮影時の温度が所定温度以上である、
(3)撮影モードが複数枚の画像を合成した合成画像を生成する合成モードに設定されている、
(4)撮影モードがライブビューを表示するライブビューモードに設定されている、
(5)撮影モードが動画を撮影する動画モードに設定されている、
の少なくとも1つを含む条件である、
請求項3に記載の撮影装置。
The predetermined condition is:
The following items (1) to (5),
(1) The ISO sensitivity is set to a predetermined sensitivity or higher.
(2) The temperature at the time of shooting is a predetermined temperature or higher,
(3) The shooting mode is set to a composite mode for generating a composite image by combining a plurality of images.
(4) The shooting mode is set to live view mode for displaying live view.
(5) The shooting mode is set to a movie mode for shooting a movie,
A condition including at least one of
The imaging device according to claim 3.
前記撮像素子は、
CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである、
請求項1から請求項4の何れか一項に記載の撮影装置。
The image sensor is
A CMOS (Complementary Metal Oxide Semiconductor) image sensor.
The imaging device according to any one of claims 1 to 4.
前記FDを共有する複数の画素は、
少なくとも2つの同色画素を含む、
請求項1から請求項5の何れか一項に記載の撮影装置。
The plurality of pixels sharing the FD are:
Including at least two pixels of the same color,
The imaging device according to any one of claims 1 to 5.
前記ノイズは、
RTS(Random Telegraph Signal)ノイズである、
請求項1から請求項6の何れか一項に記載の撮影装置。
The noise is
RTS (Random Telegraph Signal) noise,
The imaging device according to any one of claims 1 to 6.
JP2015119121A 2015-06-12 2015-06-12 Imaging device Active JP6575926B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015119121A JP6575926B2 (en) 2015-06-12 2015-06-12 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015119121A JP6575926B2 (en) 2015-06-12 2015-06-12 Imaging device

Publications (2)

Publication Number Publication Date
JP2017005571A JP2017005571A (en) 2017-01-05
JP6575926B2 true JP6575926B2 (en) 2019-09-18

Family

ID=57752406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015119121A Active JP6575926B2 (en) 2015-06-12 2015-06-12 Imaging device

Country Status (1)

Country Link
JP (1) JP6575926B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009167A (en) * 2001-06-26 2003-01-10 Olympus Optical Co Ltd Imaging apparatus
JP4289419B2 (en) * 2007-05-07 2009-07-01 ソニー株式会社 Imaging device, defective pixel correction device, processing method thereof, and program
JP2010010760A (en) * 2008-06-24 2010-01-14 Sony Corp Image capturing apparatus and method
JP5379601B2 (en) * 2009-08-07 2013-12-25 キヤノン株式会社 Defective pixel data correction device, imaging device, and defective pixel data correction method
JP5446955B2 (en) * 2010-02-09 2014-03-19 株式会社リコー Imaging device
JP2013219665A (en) * 2012-04-11 2013-10-24 Canon Inc Imaging device, control method therefor, and program
JP6180882B2 (en) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 Solid-state imaging device, signal processing device, and electronic device
JP6471222B2 (en) * 2015-03-17 2019-02-13 オリンパス株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2017005571A (en) 2017-01-05

Similar Documents

Publication Publication Date Title
TWI526068B (en) Dual image capture processing
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
US9338346B2 (en) Focus detection apparatus, control method therefor, and image capture apparatus
CN103597811A (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP2012182748A (en) Imaging apparatus, control method of the same, program, and storage medium
JP2013219665A (en) Imaging device, control method therefor, and program
JP2011091513A (en) Imaging system and correction method
US9007479B2 (en) Imaging apparatus and evaluation value generation apparatus
JP2017194558A (en) Imaging device and imaging method
JP6656584B2 (en) Imaging equipment
US11032463B2 (en) Image capture apparatus and control method thereof
WO2014188647A1 (en) Image adjustment device, image adjustment method, image adjustment program, and image capture device
JP2006148550A (en) Image processor and imaging device
US20200162718A1 (en) Image capturing apparatus, control method thereof, and storage medium
JP2015070432A (en) Imaging apparatus, image processing method and image processing program
JP2017169027A (en) Flash band determination device, control method therefor, and control program, and imaging device
US10205870B2 (en) Image capturing apparatus and control method thereof
JP6575926B2 (en) Imaging device
JP5299159B2 (en) Imaging apparatus and program
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP6704611B2 (en) Imaging device and imaging method
JP2005333251A (en) Imaging apparatus, camera, and imaging processing method
JP6460395B2 (en) Imaging apparatus and display control method in imaging apparatus
JP2018191223A (en) Imaging apparatus and control method for imaging device
US20200314349A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190729

R150 Certificate of patent or registration of utility model

Ref document number: 6575926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190811

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250