JP5589284B2 - Imaging apparatus and correction amount calculation program - Google Patents
Imaging apparatus and correction amount calculation program Download PDFInfo
- Publication number
- JP5589284B2 JP5589284B2 JP2009036835A JP2009036835A JP5589284B2 JP 5589284 B2 JP5589284 B2 JP 5589284B2 JP 2009036835 A JP2009036835 A JP 2009036835A JP 2009036835 A JP2009036835 A JP 2009036835A JP 5589284 B2 JP5589284 B2 JP 5589284B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- pixel value
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 67
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000012545 processing Methods 0.000 claims description 60
- 230000035945 sensitivity Effects 0.000 claims description 18
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 38
- 238000003702 image correction Methods 0.000 description 36
- 230000003287 optical effect Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000012840 feeding operation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像した画像を補正する撮像装置及び補正量算出プログラムに関する。 The present invention relates to an imaging apparatus that corrects a captured image and a correction amount calculation program.
従来、CCDやCMOSなどの撮像素子を用いて被写体光を光電変換することで画像データを取得するデジタルカメラなどの撮像装置が提供されている。このような撮像装置においては、撮像素子の他に、焦点調節や露出調節などを行うための機構や画像データに画像処理を施す処理回路の他に、これら機構や回路に給電を行う電源装置などが搭載されている。 2. Description of the Related Art Conventionally, there has been provided an imaging device such as a digital camera that acquires image data by photoelectrically converting subject light using an imaging element such as a CCD or a CMOS. In such an image pickup apparatus, in addition to an image pickup element, a mechanism for performing focus adjustment and exposure adjustment, a processing circuit for performing image processing on image data, a power supply apparatus for supplying power to these mechanisms and circuits, and the like Is installed.
このような撮像装置においては、露光しない状態にて撮像素子により蓄積された画像信号からなる画像データ(ダーク画像データ)と、本撮影時に撮像素子により蓄積された画像信号からなる画像データ(本画像データ)とをそれぞれ取得し、ダーク画像データを用いて本画像データを補正することで、暗電流ノイズに対する画像補正を行うものが提案されている。 In such an image pickup apparatus, image data (dark image data) composed of image signals accumulated by the image sensor in a state where exposure is not performed, and image data (main image) composed of image signals accumulated by the image sensor at the time of actual photographing. Data) and correcting the main image data using the dark image data to perform image correction for dark current noise has been proposed.
撮影時においては、上述した機構や回路へと給電動作が所定のタイミングで行われる。これら給電動作が撮像素子において蓄積された信号電荷の読み出し時に行われると、撮像素子は上述した給電動作による電圧変動の影響を受けてしまう。つまり、読み出される信号電荷にノイズ成分が乗ってしまうことから、得られた画像には筋状のノイズが発生してしまう。このような電圧変動の影響を撮像素子に与えないようにするには、新たな機構や装置などを撮像装置の内部に搭載する必要があるが、撮像装置が大型化してしまい、また撮像装置にかかる製造コストが高くなってしまう。 At the time of photographing, a power feeding operation is performed at a predetermined timing to the above-described mechanism or circuit. If these power feeding operations are performed at the time of reading the signal charges accumulated in the image sensor, the image sensor is affected by the voltage fluctuation due to the power feeding operation described above. That is, since a noise component is added to the signal charge to be read, streak noise is generated in the obtained image. In order to prevent the influence of such voltage fluctuations from being exerted on the image sensor, it is necessary to mount a new mechanism or device inside the image pickup apparatus. Such manufacturing costs are increased.
本発明は、電圧変動などにより発生する筋状のノイズを容易な構成で補正することができるようにした撮像装置及び補正量算出プログラムを提供することを目的とする。 An object of the present invention is to provide an imaging apparatus and a correction amount calculation program capable of correcting streak noise generated due to voltage fluctuation or the like with an easy configuration.
第1の発明の撮像装置は、入射光に応じて発生する電荷を蓄積する有効画素領域と入射光が遮光される遮光画素領域とを備えた撮像素子と、前記有効画素領域及び前記遮光画素領域に含まれる画素の画素値を画素毎に記憶する記憶手段と、前記遮光画素領域内の所定領域に含まれる画素の平均画素値を求める第1算出手段と、前記遮光画素領域に含まれる画素のうち、同一ラインに配列された複数の画素における平均画素値をライン毎に求める第2算出手段と、前記所定領域における平均画素値と前記ライン毎の平均画素値とから、前記有効画素領域に含まれる画素の画素値に対する補正量を前記ライン毎に求める補正量算出手段と、前記補正量算出手段により算出されたライン毎の補正量を、前記有効画素領域に含まれる画素のうち、該ラインと同一ラインとなる画素の画素値に乗算することで、前記有効画素領域に含まれる画素の画素値を補正する補正処理手段と、を備えたことを特徴とする。
第2の発明は、第1の発明において、撮影時に設定される撮影感度に応じて、前記補正処理手段による前記画素値の補正処理を行うか否かを切り替える切替手段を備えていることを特徴とする。
An image pickup apparatus according to a first aspect of the present invention includes an image pickup device including an effective pixel region for accumulating charges generated according to incident light and a light-shielded pixel region for blocking incident light, and the effective pixel region and the light-shielded pixel region Storage means for storing pixel values of pixels included in each pixel, first calculation means for calculating an average pixel value of pixels included in a predetermined area in the light-shielded pixel area, and pixels of pixels included in the light-shielded pixel area Among the effective pixel areas, second calculation means for obtaining an average pixel value for each of a plurality of pixels arranged in the same line for each line, and an average pixel value for the predetermined area and an average pixel value for each line are included in the effective pixel area. A correction amount calculating means for obtaining a correction amount for the pixel value of each pixel to be calculated for each line, and a correction amount for each line calculated by the correction amount calculating means for the pixels included in the effective pixel region. By multiplying the pixel value of the pixel to be down and the same line, characterized in that and a correcting means for correcting the pixel value of pixels in the effective pixel region.
According to a second invention, in the first invention, there is provided switching means for switching whether or not to perform the correction processing of the pixel value by the correction processing means according to the photographing sensitivity set at the time of photographing. And
第3の発明は、第1の発明において、前記撮像素子から出力される出力信号に対して施される信号増幅時の信号利得値に応じて、前記補正処理手段による前記画素値の補正処理を行うか否かを切り替える切替手段を備えていることを特徴とする。 According to a third invention, in the first invention, the pixel value correction processing by the correction processing means is performed according to a signal gain value at the time of signal amplification applied to an output signal output from the image sensor. Switching means for switching whether to perform or not is provided.
第4の発明は、第1の発明において、撮影時の露光時間に応じて、前記補正処理手段による前記画素値の補正処理を行うか否かを切り替える切替手段を備えていることを特徴とする。 According to a fourth invention, in the first invention, there is provided switching means for switching whether or not to perform the correction processing of the pixel value by the correction processing means in accordance with an exposure time at the time of photographing. .
第5の発明は、第1から第4の発明のいずれかにおいて、前記所定領域として取り得る画素の範囲を複数設け、撮像条件に応じて複数の前記画素の範囲のいずれかを前記所定領域として選択することを特徴とする。 According to a fifth invention, in any one of the first to fourth inventions, a plurality of pixel ranges that can be taken as the predetermined region are provided, and any one of the plurality of pixel ranges is set as the predetermined region according to an imaging condition. It is characterized by selecting.
第6の発明の補正量算出プログラムは、入射光に応じて発生する電荷を蓄積する有効画素領域と入射光が遮光される遮光画素領域とを備えた撮像素子から出力される各画素のうち、前記有効画素領域及び前記遮光画素領域のそれぞれに含まれる画素の画素値を画素毎に記憶する記憶工程と、前記遮光画素領域内の所定領域に含まれる画素の平均画素値を求める第1算出工程と、前記遮光画素領域に含まれる画素のうち、同一ラインに配列された複数の画素における平均画素値をライン毎に求める第2算出工程と、前記所定領域における平均画素値と前記ライン毎の平均画素値とから、前記有効画素領域に含まれる画素の画素値に対する補正量を前記ライン毎に求める補正量算出工程と、前記補正量算出工程により算出されたライン毎の補正量を、前記有効画素領域に含まれる画素のうち、該ラインと同一ラインとなる画素の画素値に乗算することで、前記有効画素領域に含まれる画素の画素値を補正する補正処理工程と、をコンピュータに実行させることが可能とするものである。 According to a sixth aspect of the present invention, there is provided a correction amount calculation program including, among each pixel output from an imaging device including an effective pixel region for accumulating charges generated according to incident light and a light-shielding pixel region for blocking incident light. A storage step of storing pixel values of pixels included in each of the effective pixel region and the light-shielding pixel region for each pixel, and a first calculation step of obtaining an average pixel value of pixels included in a predetermined region in the light-shielding pixel region A second calculation step of obtaining, for each line, an average pixel value in a plurality of pixels arranged in the same line among the pixels included in the light-shielding pixel area, and the average pixel value in the predetermined area and the average for each line A correction amount calculating step for obtaining a correction amount for each pixel of the pixel value of the pixel included in the effective pixel region from the pixel value, and a correction amount for each line calculated by the correction amount calculating step A correction processing step of correcting the pixel value of the pixel included in the effective pixel region by multiplying the pixel value of the pixel that is the same line as the line among the pixels included in the effective pixel region; Can be executed.
本発明によれば、遮光画素領域内の所定領域に含まれる画素の平均画素値と同一列に配列された複数の画素の平均画素値とから、有効画素領域に含まれる画素の画素値に対する補正量を列毎に求めることで、撮像素子から各画素の画素値を読み出す際に電圧変動が生じても、該電圧変動における影響を列ごとの求めた補正量により補正することが可能となる。これにより、画像における筋状のノイズの発生を抑止することが可能となる。 According to the present invention, the correction of the pixel value of the pixel included in the effective pixel region from the average pixel value of the plurality of pixels arranged in the same column as the average pixel value of the pixel included in the predetermined region within the light-shielding pixel region. By obtaining the amount for each column, even if voltage fluctuation occurs when reading the pixel value of each pixel from the image sensor, the influence on the voltage fluctuation can be corrected by the correction amount obtained for each column. Thereby, it is possible to suppress the occurrence of streak noise in the image.
図1は、デジタルカメラの構成を示す機能ブロック図である。デジタルカメラ10は、周知のように、撮像光学系15によって取り込まれた被写体光を撮像素子16によって光電変換し、光電変換後の画像信号から画像データを取得する。
FIG. 1 is a functional block diagram showing the configuration of the digital camera. As is well known, the digital camera 10 photoelectrically converts the subject light captured by the imaging
撮像光学系15は、撮影レンズ21、ズームレンズ22やフォーカスレンズ23などを含むレンズ群から構成される。ズームレンズ22は選択された撮影倍率となるように光軸Lに沿って移動する。また、フォーカスレンズ23は被写体像の焦点調節の際に光軸Lに沿って微小移動する。なお、このレンズ群を構成するズームレンズ22やフォーカスレンズ23などは、レンズ駆動機構25によって駆動制御される。
The imaging
撮像素子16は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)などから構成される。撮像素子16は、撮像光学系15によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換(光電変換)して、変換した信号電荷を蓄積する。
The
図2に示すように、撮像素子16の受光面16aにはフォトダイオード等からなる画素が2次元マトリクス状に配列されている。この受光面16aのうち、その中心Cから図2中左方にずれたm個(x方向の画素数)×n個(y方向の画素数)の画素(図中画素P11〜Pmn)の領域が有効画素領域31として設定される。この有効画素領域31は、撮像光学系15を介して取り込まれる被写体光を受光する画素の領域であり、この有効画素領域31の各画素から出力される画像信号をまとめることで画像データが取得される。
As shown in FIG. 2, pixels made of photodiodes and the like are arranged in a two-dimensional matrix on the
この受光面16aのうち、有効画素領域31を除いた領域は、被写体光が遮光される画素の領域、所謂オプティカルブラック(OB)領域32となる。OB領域32のうち、有効画素領域31の図2中右方に配置されるq個(x方向の画素数)×n個(y方向の画素数)の画素(図中画素P11’〜Pqn’)の領域が水平OB領域33として設定される。以下では、各画素により蓄積される信号電荷を読み出す(転送する)方向をx方向とし、このx方向を水平ラインと称して説明する。なお、上述した有効画素領域31におけるy方向の画素数と水平OB領域33におけるy方向の画素数とは同一数となるように、それぞれの領域が設定される。
In the
この撮像素子16には、上述した複数の画素の他に、詳細は図示を省略しているが、撮像素子の受光面16aに配列される各画素において光電変換された信号電荷を蓄積するトランジスタ、蓄積された信号電荷を水平ライン毎に転送する水平転送路、水平転送路によって転送された信号電荷をy方向に転送する垂直転送路、及び該垂直転送路によって転送された信号電荷を電圧信号として外部に出力する出力部などが設けられている。
In addition to the plurality of pixels described above, the
図1に戻って、ドライバ35は、撮像素子16の駆動を制御する。なお、撮像素子16の駆動を制御するとは、撮像素子16の各画素における信号電荷の蓄積、及び蓄積された信号電荷の出力を制御する他に、被写体光を受光する画素と、受光しない画素とを制御する、所謂間引き制御を行うことが挙げられる。なお、間引き制御が行われることで得られる画像データは、後述するLCD54にスルー画像を表示させる際に用いられる。以下、撮像素子16から出力される電圧信号を画像信号と称して説明する。
Returning to FIG. 1, the
AFE回路36は、図示しないAGC回路やCDS回路を含んで構成される。AFE回路36は、入力された画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。このアナログ処理が施された画像信号は、DFE回路37に出力される。
The
DFE(Digital Front End)回路37は、AFE回路36によってアナログ処理が施された画像信号をデジタル信号に変換する。符号38は、タイミングジェネレータ(TG)であり、このTG38により、ドライバ35、AFE回路36及びDFE回路37の駆動タイミングが制御される。
A DFE (Digital Front End)
バッファメモリ40は、DFE回路37によってデジタル化された画像信号を1コマ毎にまとめて記憶する。つまり、このバッファメモリ40には撮像素子16の受光面16aに配列される全ての画素により蓄積された信号電荷に対応する画像信号の値(以下、画素値と称する)がそれぞれ記憶される。なお、バッファメモリ40には、撮像素子16の受光面16aに配列される全ての画素の画素値を記憶するとしているが、これに限定される必要はなく、有効画素領域31及び水平OB領域33のそれぞれに含まれる画素の画素値だけを記憶することも可能である。なお、例えば撮像素子16により蓄積される信号電荷は、被写体光の明るさ(輝度)を表すことから、上述した画素値としては、輝度値が挙げられる。
The
画像処理回路41は、水平OB領域33を利用した有効画素領域31の各画素の画素値を補正する処理(以下、画像補正と称する)の他に、画像補正された画像データに対する画像処理を実行する。なお、画像処理については、周知であることから詳細は記載しないが、ベイヤー補間処理、ホワイトバランス処理(以下、WB処理)、輪郭補償処理、ガンマ処理などが挙げられる。この画像処理回路41は、上述した画像補正を行う場合には、演算部45、補正量算出部46、画像補正部47の機能を有している。
The
演算部45は、水平OB領域33に含まれる画素のうち、水平ラインに沿って配列される画素(図2においては、例えば領域A1に含まれる画素)の平均画素値Snを水平ライン毎に(言い換えれば領域A1〜Anのそれぞれで)算出する。また、演算部45は、水平OB領域33のうち、基準領域(図2中符号50)に含まれる画素の平均画素値Stypを求める。
なお、基準領域50は、例えば撮像素子16の各画素にて蓄積された信号電荷を読み出す際に、デジタルカメラ10の内部に設けられた各種機構が動作しない、言い換えれば、電源装置68における給電動作に伴う電圧変動に影響を受けない画素の範囲が設定される。図2においては、水平OB領域33の中央に配置される画素の範囲を基準領域50としているが、これに限定される必要はなく、デジタルカメラ10における撮影時の撮影条件や各種機構の制御タイミングによっては、電源装置63における電圧変動に影響を受けない画素の範囲は変化することから、基準領域50として取り得る画素の範囲を予め複数用意しておき、撮影時に設定される撮影条件に合わせて基準領域となる画素の範囲を選択できるようにしておけばよい。
In the
補正量算出部46は、演算部45によって算出された水平ライン毎の画素の平均画素値Snと、水平OB領域33のうち、基準領域50に含まれる画素の平均画素値Stypとから補正係数Rnを算出する。なお、補正係数Rnは、Rn=Sn/Stypから算出される。
Correction
画像補正部47は、補正量算出部46によって算出された水平ライン毎の補正係数Rnを用いて、有効画素領域31の各画素の画素値を補正する。例えば画素Pmnにおける補正前の画像値をTmnとし、補正後の画像値をTmn’とした場合には、補正後の画像値Tmn’は、Tmn’=Tmn/Rnから求められる。
The
上述したように、水平OB領域33は被写体光が遮光される領域であることから、水平OB領域33に含まれる各画素においては、撮影時に蓄積される信号電荷量は一定であることが望ましい。しかしながら、電圧変動の影響がある画素については、その画素値が変動してしまうことから、上述した補正係数Rnを求めて、有効画素領域31の画素を補正することで、電圧変動の影響を抑止することができる。
As described above, since the
画像処理部41は、上述した画像補正処理や画像処理を施した画像データに対して、例えばJPEG方式などの記憶方式で圧縮するためのフォーマット処理(画像後処理)を施す。この処理の後、画像処理回路41は、サムネイル画像データや、予め設定された圧縮率を用いて圧縮された例えばJPEG方式の圧縮画像データを生成する。これら画像データは、一旦内蔵メモリ52に記憶される他に、デジタルカメラ10の機種情報や、撮影時の撮影情報などを付帯情報とした画像ファイルとして、メモリーカード、磁気ディスク及び光学ディスクなどの記憶媒体53に書き込まれる。上述したサムネイル画像データは、例えば撮影時に撮影された画像をLCD54に表示する際に用いられる。なお、符号55は、記憶媒体が装着されるメディアスロットであり、符号56は、LCD54の表示制御を行う表示制御回路である。
The
CPU60は、デジタルカメラ10の各部を統括的に制御する。例えば設定操作部61が操作されると、CPU60は例えば表示制御回路56を介してLCD54にデジタルカメラ10の基本設定や撮影モードなどの撮影条件の設定を促す表示を行わせる。なお、この設定操作部61としては、例えばメニューボタンや、十字キーなどが挙げられる。また、レリーズボタン62が操作されると、CPU60は自動焦点調節(AF)制御、自動露出(AE)制御及びオートホワイトバランス(AWB)制御などを行う。なお、これら制御は周知であることから、ここでは、その詳細を省略する。また、符号63は、電源装置であり、デジタルカメラ10の各部に給電を行うために設けられる。
The
次に、撮像時の処理の流れについて図3のフローチャートに基づいて説明する。 Next, the flow of processing during imaging will be described based on the flowchart of FIG.
ステップS101:撮像処理である。例えばレリーズボタン62が半押し操作されると、CPU60は、設定された撮影条件に基づいたAE処理、AF制御、AWB制御を実行する。なお、AE処理においては、例えばISO感度のみが設定されていれば、レリーズボタン62の半押し操作時に取り込まれる被写体光の輝度値に応じて、シャッター速度(言い換えれば、撮像素子16における電荷蓄積時間)や絞り値などが決定される。また、シャッター速度が予め設定されていれば、ISO感度や絞り値が決定される。さらに、ISO感度やシャッター速度が予め設定されていれば、絞り値が決定される。このようにして、AE処理においては、撮影時の露出条件が決定される。また、AF処理は、フォーカスレンズ23を光軸(L)方向に微小移動させることで得られる焦点評価値を求め、この焦点評価値が最大となるようにフォーカスレンズ23の位置を決定する。そして、レリーズボタン62が全押し操作されると、再度フォーカスレンズ23の位置を再調整した後、決定された露出条件を用いた撮像を実行する。この撮像により、決定されたシャッター速度に応じた電荷蓄積時間に基づいて、撮像素子16の各画素において信号電荷が蓄積される。
Step S101: Imaging processing. For example, when the release button 62 is pressed halfway, the
ステップS102:バッファメモリ52に画像信号を記録する処理である。ステップS101の処理により、撮像素子16における各画素は、決定されたシャッター速度に応じた電荷蓄積時間に基づいて、信号電荷を蓄積している。ドライバ35は、撮像素子16の各画素に蓄積された信号電荷を1水平ライン毎に読み出していく。読み出された1水平ライン毎の信号電荷は電圧信号(画像信号)に変換されてAFE回路36に出力される。AFE回路36によりアナログ処理が施された画像信号は、DFE回路37によりデジタル処理が施されて、1水平ライン毎にバッファメモリ40に記録されていく。
Step S102: Processing for recording an image signal in the
ステップS103:画像補正を行う処理である。この画像補正については、後述するので、ここでは詳細は省略する。このステップS103を実行することで、有効画素領域に含まれる画素の画素値に対する水平ライン毎の補正係数Rnが算出され、この補正係数Rnを用いて有効画素領域31における画素の画素値が補正される、つまり、画素Pmnにおける補正前の画像値をTmnとし、補正後の画像値をTmn’とした場合には、補正後の画像値Tmn’は、Tmn’=Tmn/Rnなる。これにより、撮像素子16の各画素において蓄積された信号電荷を1水平ライン毎に読み出す際に、電圧変動による影響を受けたとしても、上述した補正係数Rnを用いて補正することで、電圧変動による影響を抑止することができる。つまり、得られた画像において、電圧変動の影響を受けることによって発生する筋状のノイズを抑止することができる。
Step S103: a process for performing image correction. Since this image correction will be described later, the details are omitted here. By executing this step S103, the correction coefficient R n for each horizontal line for the pixel value of the pixel included in the effective pixel area is calculated, and the pixel value of the pixel in the
ステップS104:画像補正された画像データに対して画像処理を行うステップである。このステップS104の処理も、ステップS103と同様に、画像処理部41にて実行される。ステップS103により画像補正が施された画像データに対して、ベイヤー補間処理、WB処理、輪郭補償処理、ガンマ処理などを施す。例えばJPEG方式などの記憶方式で圧縮するためのフォーマット処理(画像後処理)を施す。
Step S104: This is a step of performing image processing on image-corrected image data. The processing in step S104 is also executed by the
ステップS105:画像データを記憶媒体に記録する処理である。ステップS104によってフォーマット処理が施された画像データから、画像処理部41は、サムネイル画像データや圧縮画像データを生成し、内蔵メモリ52に書き込む。CPU60は、撮影条件などの撮影情報やデジタルカメラ10の機種情報などを読み出し、これら情報と、サムネイル画像データや圧縮画像データとまとめた画像ファイルを記憶媒体に書き込む。これにより、撮影情報やデジタルカメラ10の機種情報を付帯情報とする画像ファイルが記憶媒体53に記憶される。
Step S105: This is a process for recording image data in a storage medium. The
以下、ステップS103の処理、つまり画像補正の処理の流れについて、図4のフローチャートを用いて説明する。 Hereinafter, the process of step S103, that is, the flow of the image correction process will be described with reference to the flowchart of FIG.
ステップS201:対象となる水平ラインを示す値nを初期化する処理である。画像処理回路41は、画像補正を開始する際には、このステップS201の処理を行うことで、過去に行われた画像補正における履歴を初期化する。対象となる水平ラインを示す値nを初期化することで、対象となる水平ラインを示す数nとして、n=1がセットされる。つまり、n=1となる場合には、1番目の水平ライン(図2中A1の領域)が対象となる水平ラインとなる。
Step S201: A process of initializing a value n indicating the target horizontal line. When starting the image correction, the
ステップS202:対象となる水平ラインの値nが最大値を超過しているか否かを判定する処理である。なお、ここで示す最大値とは、水平OB領域33に含まれる水平ラインの総数である。ステップS201の処理が行われた直後に、このステップS202の処理が実行された場合には、対象となる水平ラインを示す値nはn=1であることから、このステップS202の判定はYesとなる。この場合は、ステップS203に進む。
Step S202: A process of determining whether or not the value n of the target horizontal line exceeds the maximum value. Note that the maximum value shown here is the total number of horizontal lines included in the
ステップS203:対象となる水平ラインを示す値nを1加算する処理である。 Step S203: A process of adding 1 to the value n indicating the target horizontal line.
ステップS204:水平ラインの値nに該当する、つまりn番目の水平ラインの平均画素値Snを算出する処理である。図2に示すように、例えばn=1の場合には、領域A1に含まれる画素の平均画素値S1を求める。このステップS204の処理が終了すると、ステップS202に戻る。つまり、対象となる水平ラインを示す値nが最大値となるまで、ステップS202からステップS204の処理が繰り返し実行され、水平OB領域33に含まれる全ての水平ラインに対する平均画素値(言い換えれば、A1からAyのそれぞれに含まれる画素の平均画素値)Snが水平ライン毎に求められる。 Step S204: This is a process corresponding to the value n of the horizontal line, that is, the average pixel value Sn of the nth horizontal line. As shown in FIG. 2, for example, when n = 1, an average pixel value S 1 of pixels included in the region A1 is obtained. When the process of step S204 ends, the process returns to step S202. That is, until the value n indicating the target horizontal line reaches the maximum value, the processing from step S202 to step S204 is repeatedly executed, and the average pixel value for all horizontal lines included in the horizontal OB area 33 (in other words, A average pixel value) S n of pixels included in each of the 1 a y is determined for each horizontal line.
ステップS202の判定処理で、対象となる水平ラインの値nが最終の水平ラインとなる値yを超過したと判定された場合には、ステップS210に進む。 If it is determined in step S202 that the value n of the target horizontal line has exceeded the value y of the final horizontal line, the process proceeds to step S210.
ステップS210:基準領域の平均画素値Stypを算出する処理である。基準領域50は予め撮影条件などによって設定されていることから、設定された基準領域50に含まれる画素の画素値を用いて平均画素値Stypを求める。
Step S210: A process of calculating the average pixel value S typ of the reference area. Since the
ステップS211:対象となる水平ラインを示す値nを初期化する処理である。この対象となる水平ラインを示す値nを初期化することで、対象となる水平ラインの数nとして、n=1がセットされる。つまり、n=1となる場合には、1番目の水平ライン(図2中A1の領域)が対象となる水平ラインとなる。 Step S211: A process of initializing a value n indicating the target horizontal line. By initializing a value n indicating the target horizontal line, n = 1 is set as the number n of target horizontal lines. That is, when n = 1, the first horizontal line (A1 area in FIG. 2) is the target horizontal line.
ステップS212:対象となる水平ラインの値nが最大値を超過しているか否かを判定する処理である。ステップS211の処理が行われた直後に、このステップS212の処理が実行された場合には、対象となる水平ラインを示す値nはn=1であることから、このステップS212の判定はYesとなる。この場合は、ステップS213に進む。 Step S212: This is a process for determining whether or not the value n of the target horizontal line exceeds the maximum value. If the process of step S212 is executed immediately after the process of step S211, the value n indicating the target horizontal line is n = 1, so the determination of step S212 is Yes. Become. In this case, the process proceeds to step S213.
ステップS213:対象となる水平ラインを示す値nを1加算する処理である。 Step S213: This is a process of adding 1 to the value n indicating the target horizontal line.
ステップS214:対象となる水平ラインにおける補正係数Rnを算出する処理である。ステップS211により対象となる水平ラインを示す値nが初期化された後では、n=1であることから、1番目の水平ラインにおける補正係数R1を求めることになる。この場合、補正係数R1は、R1=S1/Stypから算出される。 Step S214: This is a process for calculating the correction coefficient R n for the horizontal line to be processed. After the value n indicating the target horizontal line is initialized in step S211, since n = 1, the correction coefficient R1 for the first horizontal line is obtained. In this case, the correction coefficient R 1 is calculated from R 1 = S 1 / S typ .
ステップS215:算出された補正係数Rnを用いて、対象となる水平ラインの各画素の画素値を補正する処理である。対象となる水平ラインを示す値nがn=1となる場合には、画像処理部41は、補正係数R1を用いて、有効画素領域31に含まれる画素のうち、1番目の水平ラインの画素の画素値を補正する。例えば画素P11における補正前の画像値をT11とし、補正後の画像値をT11’とした場合、補正後の画像値T11’は、T11’=T11/R1なる。この補正を、同一の水平ラインに含まれる全ての画素に対して実行する。この処理が実行されると、ステップS212に戻る。つまり、対象となる水平ラインを示す値nが最大値となるまで、ステップS212からステップS215の処理が繰り返し実行され、有効画素領域に含まれる全画素に対して、水平ライン毎に補正される。
Step S215: A process of correcting the pixel value of each pixel of the target horizontal line using the calculated correction coefficient R n . When the value n indicating the target horizontal line is n = 1, the
そして、ステップS212の判定処理で、対象となる水平ラインの値nが最終の水平ラインとなる値yを超過したと判定された場合に、有効画素領域に含まれる全画素に対する画像補正が終了し、画像補正が終了する。これにより、全ての画素の画素値が、基準領域に合わせて補正されるので、電圧変動による影響を抑止することができる。 When it is determined in step S212 that the value n of the target horizontal line has exceeded the value y that is the final horizontal line, the image correction for all the pixels included in the effective pixel region is completed. The image correction is finished. As a result, the pixel values of all the pixels are corrected in accordance with the reference area, so that the influence due to voltage fluctuation can be suppressed.
なお、本実施形態では、撮像時に画像補正を行う実施形態としているが、これに限定される必要はなく、撮影条件に応じて、画像補正を行うか否かを選択できるようにしても良い。なお、この画像補正を行うか否かを選択する方法としては、ユーザが設定操作部を操作することにより選択することができるようにしても良いし、撮影条件に合わせて選択できるようにしても良い。 In the present embodiment, the image correction is performed at the time of imaging. However, the present invention is not limited to this, and it may be possible to select whether to perform the image correction according to the shooting conditions. As a method for selecting whether or not to perform the image correction, the user can select the image by operating the setting operation unit, or can select according to the shooting conditions. good.
画像補正を行うか否かを撮影条件に合わせて選択する場合の撮影条件としては、例えば撮影感度(ISO感度)が挙げられる。ISO感度が高い場合には、得られる信号電荷が小さいことから、信号電荷を出力する際の増幅量を大きくする必要がある。このような場合には信号電荷を増幅したときに、電圧変動に起因するノイズ成分も信号電荷と同率で増幅されてしまうことから、上述したノイズの影響が大きくなる。このような場合には、上述した画像補正を行えばよい。一方、ISO感度が低い場合には、得られる信号電荷量が大きいことから、信号電荷を出力する際の増幅量は小さくて済むので、ノイズ成分の影響は小さい。このような場合には、画像補正をしなくてもよい。なお、撮影感度によって、画像補正を行う否かを選択する場合の撮影感度としては、ISO800が挙げられ、ISO800未満のときには上述した画像補正を行わず、ISO800以上となる場合に、上述した画像補正を行うようにすればよい。なお、上述した説明は一例であり、デジタルカメラの制御方法に合わせて画像補正を行うか否かを判定する撮影感度を設定してあげればよい。 An example of the shooting condition when selecting whether to perform image correction according to the shooting condition is a shooting sensitivity (ISO sensitivity). When the ISO sensitivity is high, the signal charge to be obtained is small, so it is necessary to increase the amplification amount when outputting the signal charge. In such a case, when the signal charge is amplified, the noise component due to the voltage fluctuation is also amplified at the same rate as the signal charge, so that the influence of the noise is increased. In such a case, the image correction described above may be performed. On the other hand, when the ISO sensitivity is low, the amount of signal charge to be obtained is large, so that the amount of amplification at the time of outputting the signal charge can be small, so the influence of noise components is small. In such a case, image correction may not be performed. Note that ISO800 can be cited as the shooting sensitivity when selecting whether or not to perform image correction depending on the shooting sensitivity. When the image sensitivity is less than ISO800, the above-described image correction is not performed. Should be done. Note that the above description is an example, and it is only necessary to set shooting sensitivity for determining whether or not to perform image correction in accordance with the control method of the digital camera.
また、撮影感度の他に、画像信号を増幅する際の信号利得値(ゲイン値)によって変更することも可能である。例えば撮像素子としてCCDを用いた場合には、信号利得値としては、例えばAFE回路におけるアナログの画像信号を増幅する際の信号利得値が挙げられる。一方、撮像素子としてCMOSを用いた場合には、それぞれの画素に対して増幅器が設けられていることから、例えばアテネータと呼ばれる、撮像素子から出力される画像信号の出力レベルを調整する装置における信号利得値が挙げられる。また、CMOSの場合には、デジタルの画像信号を出力する場合もあるので、デジタルの画像信号を増幅する際の信号利得値が挙げられる。 Further, in addition to the photographing sensitivity, it is also possible to change depending on the signal gain value (gain value) when the image signal is amplified. For example, when a CCD is used as the imaging device, the signal gain value includes, for example, a signal gain value when an analog image signal is amplified in the AFE circuit. On the other hand, when a CMOS is used as the image sensor, an amplifier is provided for each pixel. Therefore, for example, a signal in an apparatus called an attenuator that adjusts the output level of an image signal output from the image sensor Gain value. In the case of CMOS, since a digital image signal may be output, a signal gain value when a digital image signal is amplified can be mentioned.
なお、画像信号を増幅する際の利得値によって画像補正を行うか否かを選択する場合には、撮影時に設定された撮影感度に応じた信号利得値が、得られた画像信号を増幅する際の信号利得値としては小さすぎる、または大きすぎる場合もある。このような場合には、実際に得られた画像信号を増幅する際に用いた信号利得値に応じて、画像補正を行うか否かを選択すればよい。 When selecting whether or not to perform image correction based on a gain value when amplifying an image signal, a signal gain value corresponding to the shooting sensitivity set at the time of shooting is used to amplify the obtained image signal. In some cases, the signal gain value is too small or too large. In such a case, it is only necessary to select whether or not to perform image correction according to the signal gain value used when the actually obtained image signal is amplified.
また、撮影条件としては、撮影感度や信号利得値の他に、露光時間(シャッター速度)が挙げられる。例えば露光時間が短い場合ほど、デジタルカメラの各機構における動作が短時間で行われることから、撮像素子から読み出される信号電荷には、電圧変動の影響を受けやすくノイズ成分が乗りやすい。つまり、露光時間が短い場合に、本実施形態の画像補正を行うようにし、露光時間が長い場合には画像補正を行わないようにすればよい。画像補正を行う場合の露光時間としては、例えばTv値が1以上となる場合が挙げられる。 Further, the shooting conditions include exposure time (shutter speed) in addition to shooting sensitivity and signal gain value. For example, as the exposure time is shorter, the operation of each mechanism of the digital camera is performed in a shorter time. Therefore, the signal charge read from the image sensor is likely to be affected by voltage fluctuations and easily has noise components. That is, the image correction according to this embodiment may be performed when the exposure time is short, and the image correction may not be performed when the exposure time is long. Examples of the exposure time when performing image correction include a case where the Tv value is 1 or more.
画像補正を行うか否かを判定する場合に用いる撮影条件として、撮影感度や露光時間を取り上げ、それらを個別に用いたときについて説明したが、これらを組み合わせて用いても良い。つまり、例えば撮影感度がISO800未満でTV値が1未満となる場合には、画像補正を行わないものと判定し、それ以外の場合には、画像補正を行うものと判定すればよい。 Although shooting sensitivity and exposure time are taken up as shooting conditions used when determining whether or not to perform image correction, and they are used individually, they may be used in combination. That is, for example, when the shooting sensitivity is less than ISO 800 and the TV value is less than 1, it is determined that image correction is not performed, and in other cases, it is determined that image correction is performed.
本実施形態では、画像補正の機能有するデジタルカメラの例を説明しているが、この他に、画像補正の機能を有する画像処理装置であってもよい。この場合、デジタルカメラの内部で補正係数を算出し、有効画素領域の画素から得られる画像データと補正係数と対応づけて記憶しておき、これらを画像処理装置で読み取って画像データに対する画像補正を行う、或いは、撮像素子の全ての画素から得られる画像信号を、そのまま記憶媒体などに記憶しておき、画像処理装置内で、水平OB領域から補正係数を算出した上で、有効画素領域に含まれる画素の画素値を補正することも可能である。 In this embodiment, an example of a digital camera having an image correction function has been described. However, an image processing apparatus having an image correction function may be used. In this case, a correction coefficient is calculated inside the digital camera, and the image data obtained from the pixels in the effective pixel region and the correction coefficient are stored in association with each other, and these are read by the image processing device to perform image correction on the image data. Or the image signal obtained from all the pixels of the image sensor is stored in a storage medium as it is, and the correction coefficient is calculated from the horizontal OB area in the image processing apparatus and included in the effective pixel area. It is also possible to correct the pixel value of the pixel to be corrected.
また、この他に、図1に示す画像処理部の機能や、図4に示すフローチャートの処理をコンピュータに実行させることが可能なプログラムであっても良い。この場合、このプログラムは、メモリーカードや、磁気ディスク或いは光学ディスクなどのコンピュータにより読み取り可能な記憶媒体に記憶されていることが好ましい。 In addition to this, a program that can cause a computer to execute the function of the image processing unit illustrated in FIG. 1 or the processing of the flowchart illustrated in FIG. 4 may be used. In this case, the program is preferably stored in a computer-readable storage medium such as a memory card, a magnetic disk, or an optical disk.
10…デジタルカメラ、16…撮像素子、31…有効画素領域、33…水平OB領域、40…バッファメモリ、41…画像処理回路、45…演算部、46…補正量算出部、47…画像補正部 DESCRIPTION OF SYMBOLS 10 ... Digital camera, 16 ... Image sensor, 31 ... Effective pixel area, 33 ... Horizontal OB area | region, 40 ... Buffer memory, 41 ... Image processing circuit, 45 ... Calculation part, 46 ... Correction amount calculation part, 47 ... Image correction part
Claims (6)
前記有効画素領域及び前記遮光画素領域に含まれる画素の画素値を画素毎に記憶する記憶手段と、
前記遮光画素領域内の所定領域に含まれる画素の平均画素値を求める第1算出手段と、
前記遮光画素領域に含まれる画素のうち、同一ラインに配列された複数の画素における平均画素値をライン毎に求める第2算出手段と、
前記所定領域における平均画素値と前記ライン毎の平均画素値とから、前記有効画素領域に含まれる画素の画素値に対する補正量を前記ライン毎に求める補正量算出手段と、
前記補正量算出手段により算出されたライン毎の補正量を、前記有効画素領域に含まれる画素のうち、該ラインと同一ラインとなる画素の画素値に乗算することで、前記有効画素領域に含まれる画素の画素値を補正する補正処理手段と、
を備えたことを特徴とする撮像装置。 An image pickup device including an effective pixel region for accumulating charges generated according to incident light and a light-shielding pixel region for blocking incident light;
Storage means for storing pixel values of pixels included in the effective pixel region and the light-shielding pixel region for each pixel;
First calculating means for obtaining an average pixel value of pixels included in a predetermined area in the light-shielding pixel area;
Second calculating means for obtaining an average pixel value for each of a plurality of pixels arranged in the same line among the pixels included in the light-shielding pixel region;
A correction amount calculating means for obtaining, for each line, a correction amount for a pixel value of a pixel included in the effective pixel region from the average pixel value in the predetermined region and the average pixel value for each line;
The correction amount for each line calculated by the correction amount calculation means is included in the effective pixel region by multiplying the pixel value of the pixel that is the same line as the line among the pixels included in the effective pixel region. Correction processing means for correcting the pixel value of the pixel to be
An imaging apparatus comprising:
撮影時に設定される撮影感度に応じて、前記補正処理手段による前記画素値の補正処理を行うか否かを切り替える切替手段を備えていることを特徴とする撮像装置。 The imaging device according to claim 1 ,
An image pickup apparatus comprising: a switching unit that switches whether or not to perform the correction processing of the pixel value by the correction processing unit in accordance with shooting sensitivity set at the time of shooting .
前記撮像素子から出力される出力信号に対して施される信号増幅時の信号利得値に応じて、前記補正処理手段による前記画素値の補正処理を行うか否かを切り替える切替手段を備えていることを特徴とする撮像装置。 The imaging device according to claim 1,
There is provided switching means for switching whether or not to perform the correction processing of the pixel value by the correction processing means in accordance with a signal gain value at the time of signal amplification performed on the output signal output from the imaging element. An imaging apparatus characterized by that.
撮影時の露光時間に応じて、前記補正処理手段による前記画素値の補正処理を行うか否かを切り替える切替手段を備えていることを特徴とする撮像装置。 The imaging device according to claim 1 ,
An image pickup apparatus comprising: a switching unit that switches whether to perform the correction processing of the pixel value by the correction processing unit according to an exposure time at the time of shooting .
前記所定領域として取り得る画素の範囲を複数設け、撮像条件に応じて複数の前記画素の範囲のいずれかを前記所定領域として選択することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4 ,
An imaging apparatus comprising: a plurality of pixel ranges that can be taken as the predetermined region; and selecting one of the plurality of pixel ranges as the predetermined region according to an imaging condition .
前記遮光画素領域内の所定領域に含まれる画素の平均画素値を求める第1算出工程と、 A first calculation step of obtaining an average pixel value of pixels included in a predetermined area in the light-shielding pixel area;
前記遮光画素領域に含まれる画素のうち、同一ラインに配列された複数の画素における平均画素値をライン毎に求める第2算出工程と、 A second calculation step of obtaining an average pixel value for each of a plurality of pixels arranged in the same line among the pixels included in the light-shielding pixel region;
前記所定領域における平均画素値と前記ライン毎の平均画素値とから、前記有効画素領域に含まれる画素の画素値に対する補正量を前記ライン毎に求める補正量算出工程と、 A correction amount calculating step for obtaining, for each line, a correction amount for a pixel value of a pixel included in the effective pixel region from the average pixel value in the predetermined region and the average pixel value for each line;
前記補正量算出工程により算出されたライン毎の補正量を、前記有効画素領域に含まれる画素のうち、該ラインと同一ラインとなる画素の画素値に乗算することで、前記有効画素領域に含まれる画素の画素値を補正する補正処理工程と、 The correction amount for each line calculated in the correction amount calculation step is included in the effective pixel region by multiplying the pixel value of the pixel that is the same line as the line among the pixels included in the effective pixel region. Correction processing step of correcting the pixel value of the pixel to be
をコンピュータに実行させることが可能な補正量算出プログラム。 Correction amount calculation program capable of causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009036835A JP5589284B2 (en) | 2009-02-19 | 2009-02-19 | Imaging apparatus and correction amount calculation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009036835A JP5589284B2 (en) | 2009-02-19 | 2009-02-19 | Imaging apparatus and correction amount calculation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010193296A JP2010193296A (en) | 2010-09-02 |
JP5589284B2 true JP5589284B2 (en) | 2014-09-17 |
Family
ID=42818835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009036835A Expired - Fee Related JP5589284B2 (en) | 2009-02-19 | 2009-02-19 | Imaging apparatus and correction amount calculation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5589284B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6024102B2 (en) * | 2011-12-05 | 2016-11-09 | 株式会社ニコン | Imaging device |
JPWO2013164915A1 (en) * | 2012-05-02 | 2015-12-24 | 株式会社ニコン | Imaging device |
WO2020144996A1 (en) * | 2019-01-10 | 2020-07-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and calibration method |
CN113763253A (en) * | 2020-06-01 | 2021-12-07 | 上海西门子医疗器械有限公司 | Method and apparatus for improving uniformity of X-ray image and computer storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4529563B2 (en) * | 2004-07-06 | 2010-08-25 | ソニー株式会社 | False signal suppression processing method, false signal suppression processing circuit, and imaging apparatus |
JP2007243637A (en) * | 2006-03-09 | 2007-09-20 | Fujifilm Corp | Solid-state imaging device and imaging method |
JP4872502B2 (en) * | 2006-07-19 | 2012-02-08 | カシオ計算機株式会社 | Imaging apparatus and clamping method thereof |
JP4971834B2 (en) * | 2007-03-01 | 2012-07-11 | キヤノン株式会社 | Imaging apparatus and imaging system |
JP4329833B2 (en) * | 2007-03-20 | 2009-09-09 | ソニー株式会社 | Streaking correction signal generation circuit, streaking correction signal generation method, program, streaking correction circuit, and imaging apparatus |
-
2009
- 2009-02-19 JP JP2009036835A patent/JP5589284B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010193296A (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5219778B2 (en) | Imaging apparatus and control method thereof | |
US9210333B2 (en) | Image capturing apparatus for generating composite image and control method thereof | |
JP4745851B2 (en) | Imaging device | |
US20120162467A1 (en) | Image capture device | |
JP5967902B2 (en) | Imaging apparatus and aperture control method | |
CN109474781B (en) | Image pickup apparatus, control method for image pickup apparatus, and recording medium | |
JP2011135152A (en) | Image pickup apparatus and method of picking up image | |
JP5589284B2 (en) | Imaging apparatus and correction amount calculation program | |
JP5094252B2 (en) | Imaging apparatus and control method thereof | |
JP5332540B2 (en) | Imaging apparatus and image correction program | |
US10425602B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2008118293A (en) | Imaging apparatus and method | |
JP2008113132A (en) | Electronic camera and image processing program | |
JP2007028496A (en) | Image processing apparatus, image processing method, program and storage medium | |
JP5720213B2 (en) | Imaging device | |
JP2011009834A (en) | Imager and imaging method | |
JP4077651B2 (en) | Solid-state imaging device | |
JP2006262222A (en) | Imaging apparatus | |
CN101931750B (en) | Enlarging section control device and recording medium | |
JP5445053B2 (en) | Imaging apparatus and image correction program | |
JP5522299B2 (en) | Imaging apparatus, imaging method, and program | |
JP5404217B2 (en) | Imaging apparatus and control method thereof | |
JP5293447B2 (en) | Electronic camera | |
JP5311927B2 (en) | Imaging apparatus and imaging method | |
JP2008252714A (en) | Image processing program and electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5589284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |