JP4819859B2 - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP4819859B2 JP4819859B2 JP2008292516A JP2008292516A JP4819859B2 JP 4819859 B2 JP4819859 B2 JP 4819859B2 JP 2008292516 A JP2008292516 A JP 2008292516A JP 2008292516 A JP2008292516 A JP 2008292516A JP 4819859 B2 JP4819859 B2 JP 4819859B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- calculation
- blocks
- image
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は、撮像装置及び画像処理方法に関する。 The present invention relates to an imaging apparatus and an image processing method.
デジタルスチルカメラなど、被写体を電子的に撮影する電子的撮像装置においては、照明の光源にかかわらず、白い被写体が白く撮影されるように、ホワイトバランスを補正する画像信号処理(ホワイトバランス補正処理)が、一般的に組み込まれている。ホワイトバランス補正処理は、照明光源によっては、肉眼で観察した被写体像と、撮影された画像との間に色彩上の差異が生じる。この場合に、特に白色の被写体が白く再現されるようにするための補正処理である。例えば、日光などの自然光と、蛍光灯などの人工光とでは、両光源の色温度に相違があり、この結果、撮影された画像の白色再現性に大きな影響を及ぼすこととなる。従って、ホワイトバランス補正処理を施すことにより、撮像装置によって再現される画像に違和感が生じないようにすることができる。 In an electronic imaging device that electronically captures a subject, such as a digital still camera, image signal processing (white balance correction processing) that corrects white balance so that a white subject is photographed white regardless of the light source of the illumination Is generally incorporated. In the white balance correction process, depending on the illumination light source, a color difference occurs between the subject image observed with the naked eye and the captured image. In this case, the correction process is performed so that a white subject is reproduced in white. For example, there is a difference in color temperature between natural light such as sunlight and artificial light such as a fluorescent lamp, and as a result, the white reproducibility of a captured image is greatly affected. Therefore, by applying the white balance correction process, it is possible to prevent the image reproduced by the imaging apparatus from feeling uncomfortable.
ホワイトバランスの補正は、撮像素子より得られた画像信号を複数のブロックに分割し、分割したブロック毎にR(赤色)、G(緑色)、B(青色)などの色別積算値を求め、無彩色として制御するか有彩色として処理をするか判断する。そして、無彩色と判断したブロックにおける積算値がR=G=Bとなるように、ホワイトバランス制御を行うことが一般的である。 For white balance correction, the image signal obtained from the image sensor is divided into a plurality of blocks, and an integrated value for each color such as R (red), G (green), and B (blue) is obtained for each divided block. It is determined whether to control as an achromatic color or to process as a chromatic color. In general, white balance control is performed so that an integrated value in a block determined to be an achromatic color is R = G = B.
ところが、分割したブロックにおいて複数の色が存在することにより混色が発生すると、正しく有彩色・無彩色の判断ができなくなってしまう。そこで、ブロックを細かく分割することで混色の発生を出来るだけ抑えて、ホワイトバランスの判断が正常になされるような技術が開示されている(例えば特許文献1〜4参照)。
However, if mixed colors occur due to the presence of a plurality of colors in the divided blocks, it becomes impossible to correctly determine chromatic colors / achromatic colors. Therefore, a technique is disclosed in which the occurrence of color mixing is suppressed as much as possible by finely dividing a block so that white balance can be judged normally (see, for example,
しかし、混色の発生を抑えるために、画像信号処理の対象となるブロックを細かく分割すると、その分ホワイトバランス制御の処理時間が長くなり、1フレーム内に処理を終えることができないという問題があった。特に、撮像素子から得られる画像を撮像装置に備えられたモニタに逐次表示するライブビュー時においては、ホワイトバランスゲインの算出時間が延びると、実際に眼で見ているシーンと、モニタにライブビュー表示されているシーンとに時間差が発生してしまう。 However, if the block to be subjected to image signal processing is divided finely in order to suppress the occurrence of color mixing, there is a problem that the processing time for white balance control becomes longer and the processing cannot be completed within one frame. . In particular, during live view in which images obtained from an image sensor are sequentially displayed on a monitor provided in the image pickup device, if the calculation time of the white balance gain is extended, the scene actually viewed with the eye and the live view on the monitor are displayed. A time difference will occur between the displayed scenes.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像信号処理の対象となるブロックを、混色の発生を抑えるために細かく分割しても、処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to process even if a block to be subjected to image signal processing is finely divided to suppress the occurrence of color mixing. It is an object of the present invention to provide a new and improved imaging apparatus and image processing method capable of performing image signal processing for correcting white balance without increasing the load.
上記課題を解決するために、本発明のある観点によれば、撮像素子より得られた画像信号を複数の第1ブロックに分割する第1分割手段と、第1ブロックをさらにM個の第2ブロックに分割する第2分割手段と、演算対象の第2ブロックをフレーム毎に変化させる位置変更手段と、位置変更手段が変化させた第2ブロックに対する演算処理をフレーム毎に実行する演算手段と、演算手段の演算結果を用いて画像信号の光源を推定する光源推定手段と、を備える撮像装置が提供される。 In order to solve the above-described problem, according to one aspect of the present invention, a first dividing unit that divides an image signal obtained from an image sensor into a plurality of first blocks, and the first block is further divided into M second blocks. Second dividing means for dividing the block into blocks, position changing means for changing the second block to be calculated for each frame, calculating means for executing calculation processing for the second block changed by the position changing means for each frame, There is provided an imaging apparatus including light source estimation means for estimating a light source of an image signal using a calculation result of a calculation means.
かかる構成によれば、第1分割手段は撮像素子より得られた画像信号を複数の第1ブロックに分割し、第2分割手段は第1ブロックをさらにM個の第2ブロックに分割する。そして、位置変更手段は演算対象の第2ブロックをフレーム毎に変化させ、演算手段は位置変更手段が変化させた第2ブロックに対する演算処理をフレーム毎に実行し、光源推定手段は演算手段の演算結果を用いて画像信号の光源を推定する。その結果、画像信号処理の対象となるブロックを、混色の発生を抑えるために第2ブロックとして細かく分割しても処理負荷を増やさずに画像信号処理が可能となる。 According to this configuration, the first dividing unit divides the image signal obtained from the image sensor into a plurality of first blocks, and the second dividing unit further divides the first block into M second blocks. Then, the position changing means changes the second block to be calculated for each frame, the calculating means executes calculation processing for the second block changed by the position changing means for each frame, and the light source estimating means calculates the calculation by the calculating means. The light source of the image signal is estimated using the result. As a result, image signal processing can be performed without increasing the processing load even if the block to be subjected to image signal processing is finely divided as the second block in order to suppress the occurrence of color mixing.
光源推定手段の光源推定結果を少なくともMフレーム分記憶する記憶手段と、記憶手段で記憶した直近Mフレーム分の光源推定結果を用いてホワイトバランスを補正するゲインを算出するゲイン算出手段と、をさらに備えていてもよい。 Storage means for storing light source estimation results of the light source estimation means for at least M frames, and gain calculation means for calculating a gain for correcting white balance using the light source estimation results for the most recent M frames stored in the storage means, You may have.
ゲイン算出手段は、記憶手段で記憶した直近Mフレーム分の光源推定結果を加重平均してゲインを算出するようにしてもよい。 The gain calculating means may calculate the gain by weighted averaging the light source estimation results for the most recent M frames stored in the storage means.
演算手段の演算結果を少なくともMフレーム分記憶する記憶手段をさらに備え、光源推定手段は、記憶手段に記憶された直近Mフレーム分の演算結果を用いて画像信号の光源を推定するようにしてもよい。 Storage means for storing the calculation results of the calculation means for at least M frames is further provided, and the light source estimation means estimates the light source of the image signal using the calculation results for the most recent M frames stored in the storage means. Good.
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子より得られた画像信号を複数の第1ブロックに分割する第1分割ステップと、第1ブロックをさらにM個の第2ブロックに分割する第2分割ステップと、演算対象の第2ブロックをフレーム毎に変化させる位置変更ステップと、位置変更ステップで変化させた第2ブロックに対して演算処理をフレーム毎に実行する演算ステップと、演算ステップの演算結果を用いて画像信号の光源を推定する光源推定ステップと、を備える画像処理方法が提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a first dividing step of dividing an image signal obtained from an image sensor into a plurality of first blocks, and further M first blocks. A second division step for dividing the second block into a second block, a position change step for changing the second block to be calculated for each frame, and a calculation process for the second block changed in the position change step for each frame. There is provided an image processing method comprising: a calculation step that performs a calculation, and a light source estimation step that estimates a light source of an image signal using a calculation result of the calculation step.
以上説明したように本発明によれば、画像信号処理の対象となるブロックを、混色の発生を抑えるために細かく分割しても、処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置および画像処理方法を提供することができる。 As described above, according to the present invention, it is possible to perform image signal processing for correcting white balance without increasing the processing load even if a block to be subjected to image signal processing is finely divided to suppress the occurrence of color mixing. In addition, a new and improved imaging apparatus and image processing method can be provided.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
まず、本発明の好適な実施の形態について説明する前に、従来技術の問題点について図面を参照しながら説明する。 First, before describing a preferred embodiment of the present invention, problems of the prior art will be described with reference to the drawings.
図7は、従来のホワイトバランス補正処理におけるブロック分割について説明する説明図である。従来のホワイトバランス補正処理は、図7に示したように、CCDやCMOS等の撮像素子より取り出された画像信号を、複数のブロックに分割し、分割したそれぞれのブロックに対し、R、G、B各色の画素の積算値(ΣR、ΣG、ΣB)を算出する。このR、G、B各色の画素の積算値(ΣR、ΣG、ΣB)を算出すると、ブロック毎に、当該ブロックを無彩色として制御するか、または有彩色として処理をするか等を判断し、適切なホワイトバランスゲイン(Kr、Kg、Kb)を算出するという方法が一般的である。 FIG. 7 is an explanatory diagram for explaining block division in the conventional white balance correction processing. As shown in FIG. 7, the conventional white balance correction process divides an image signal taken out from an image sensor such as a CCD or CMOS into a plurality of blocks, and R, G, The integrated values (ΣR, ΣG, ΣB) of the pixels of each color B are calculated. When the integrated values (ΣR, ΣG, ΣB) of the R, G, and B pixels are calculated, it is determined for each block whether the block is controlled as an achromatic color or processed as a chromatic color. A general method is to calculate an appropriate white balance gain (Kr, Kg, Kb).
ここで、分割したブロック内に複数の色が混在する場合には、混色が発生しホワイトバランス補正処理を正しく判断することができなくなる。また、分割するブロックの面積を大きくすると、混色が発生する頻度が高くなる。 Here, when a plurality of colors are mixed in the divided blocks, color mixing occurs and the white balance correction process cannot be correctly determined. Further, when the area of the block to be divided is increased, the frequency of color mixing increases.
図8は、ホワイトバランス補正処理の対象となる、CCDやCMOS等の撮像素子より取り出された画像信号から得られる画像の一例を示す説明図であり、図9は、図8に示した画像が得られる画像信号を横4ブロック×縦3ブロックに分割した場合を示す説明図であり、図10は、図8に示した画像が得られる画像信号を横12ブロック×縦9ブロックに分割した場合を示す説明図である。通常のホワイトバランス補正処理においては、画像中の赤い花びらの部分及び緑の葉の部分は光源とは見なされずに有彩色と判断される。しかし、各ブロックでの積算処理時に、ブロック内で赤色と緑色が混在していると、混色が発生し、(赤色と緑色が混ざって)黄色の被写体であると誤判断される。この黄色の被写体が、タングステン光などの光源と同じカラーバランスであった場合、光源色(無彩色)と判断されてしまい、ホワイトバランスを誤って判断してしまう。そこで、混色の発生頻度を減らすために、ブロックの数を多くしてブロックの面積を減らす手法がある。 FIG. 8 is an explanatory diagram showing an example of an image obtained from an image signal taken out from an image sensor such as a CCD or CMOS, which is a target of white balance correction processing, and FIG. 9 shows the image shown in FIG. FIG. 10 is an explanatory diagram illustrating a case where the obtained image signal is divided into 4 horizontal blocks × 3 vertical blocks. FIG. 10 illustrates a case where the image signal from which the image illustrated in FIG. 8 is obtained is divided into 12 horizontal blocks × 9 vertical blocks. It is explanatory drawing which shows. In normal white balance correction processing, the red petal portion and the green leaf portion in the image are not regarded as light sources and are determined to be chromatic colors. However, if red and green are mixed in the block during the integration processing in each block, color mixing occurs and it is erroneously determined that the subject is yellow (mixed red and green). If this yellow subject has the same color balance as a light source such as tungsten light, it is determined as the light source color (achromatic color), and the white balance is erroneously determined. Therefore, in order to reduce the occurrence frequency of color mixing, there is a method of increasing the number of blocks and reducing the area of the blocks.
図11は、画像信号を横4ブロック×縦3ブロックに分割した場合に、混色によって黄色い被写体であると誤って判断されたブロックの配置を示す説明図であり、図12は、画像信号を横12ブロック×縦9ブロックに分割した場合に、混色によって黄色い被写体であると誤って判断されたブロックの配置を示す説明図である。 FIG. 11 is an explanatory diagram showing the arrangement of blocks that are erroneously determined to be yellow subjects due to color mixing when the image signal is divided into 4 horizontal blocks × 3 vertical blocks, and FIG. It is explanatory drawing which shows arrangement | positioning of the block mistakenly determined to be a yellow photographic subject by color mixture, when it divides | segments into 12 blocks x vertical 9 blocks.
図11および図12に示した場合では、4×3に分割した場合には83%のブロックが黄色い被写体であると誤判断されたのに対し、12×9に分割した場合には28%が黄色い被写体であると誤判断されている。このように、ブロックの数を多くして、1ブロックあたりの面積を小さくすることで混色の発生頻度を抑えることができる。 In the case shown in FIGS. 11 and 12, 83% of the blocks are erroneously determined to be yellow subjects when divided into 4 × 3, whereas 28% when divided into 12 × 9. It is misjudged as a yellow subject. Thus, the frequency of color mixing can be suppressed by increasing the number of blocks and reducing the area per block.
しかし、ブロックの数を多くすると、1度に処理を行わなければならないデータ数が増え、ホワイトバランスゲインを算出するまでの処理時間が増大してしまい、1フレーム内に処理を終えることができなくなってしまうという問題があった。特に、撮像素子から得られる画像を撮像装置に備えられたモニタに逐次表示するライブビュー時においては、ホワイトバランスゲインの算出時間が延びると、実際に眼で見ているシーンと、モニタにライブビュー表示されているシーンとに時間差が生じてしまう。 However, if the number of blocks is increased, the number of data that must be processed at one time increases, and the processing time until the white balance gain is calculated increases, making it impossible to complete the processing within one frame. There was a problem that. In particular, during live view in which images obtained from an image sensor are sequentially displayed on a monitor provided in the image pickup device, if the calculation time of the white balance gain is extended, the scene actually viewed with the eye and the live view on the monitor are displayed. There will be a time difference from the displayed scene.
そこで、以下で説明する本発明の好適な実施形態においては、混色の発生頻度を抑えるためにブロックの面積を小さくしながらも、処理時間の増大を抑えることを特徴とする撮像装置および画像処理方法について説明する。 Therefore, in a preferred embodiment of the present invention described below, an imaging apparatus and an image processing method characterized by suppressing an increase in processing time while reducing the block area in order to suppress the occurrence frequency of color mixing. Will be described.
まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図1は、本発明の一実施形態にかかる撮像装置100の構成について示す説明図である。以下、図1を用いて本発明の一実施形態にかかる撮像装置100の構成について説明する。
First, the configuration of an imaging apparatus according to an embodiment of the present invention will be described. FIG. 1 is an explanatory diagram illustrating a configuration of an
図1に示したように、本発明の一実施形態に係る撮像装置100は、ズームレンズ102と、絞り104と、フォーカスレンズ106と、CCD(Charge Coupled Devices)素子108と、アンプ一体型のCDS(Correlated Double Sampling)回路110と、A/D変換器112と、画像入力コントローラ114と、画像信号処理部116と、圧縮処理部120と、LCD(Liquid Crystal Display)ドライバ122と、LCD124と、タイミングジェネレータ126と、モータドライバ142a、142b、142cと、CPU(Central Processing Unit)128と、操作部132と、メモリ134と、VRAM(Video Random Access Memory)136と、メディアコントローラ138と、記録メディア140とを含む。
As shown in FIG. 1, an
ズームレンズ102と、絞り104と、フォーカスレンズ106と、CCD素子108とで露光部を構成する。本実施形態ではCCD素子108を用いて露光部を構成しているが、本発明は係る例に限定されず、CCD素子の代わりにCMOS(Complementary Metal Oxide Semiconductor)素子を用いてもよい。CMOS素子は、CCD素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像を記録するまでの時間を短縮することができる。
The
ズームレンズ102は、光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り104は、画像を撮影する際に、CCD素子108に入ってくる光量の調節を行う。フォーカスレンズ106は、光軸方向に前後して移動させることで被写体のピントを調節するものである。
The
モータドライバ142a、142b、142cはズームレンズ102、絞り104およびフォーカスレンズ106を動作させるモータの制御を行う。モータドライバ142a、142b、142cを介してズームレンズ102、絞り104およびフォーカスレンズ106を動作させることで、被写体の大きさや光の量、ピントの調節を行う。
CCD素子108は、ズームレンズ102、絞り104およびフォーカスレンズ106から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。
The
CDS回路110は、CCD素子108から出力された電気信号の雑音を除去する、サンプリング回路の一種であるCDS回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではCDS回路とアンプとが一体となった回路を用いて撮像装置100を構成しているが、CDS回路とアンプとを別々の回路で構成してもよい。
The
A/D変換器112は、CCD素子108で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。
The A /
画像信号処理部116は、A/D変換器112で生成された画像の生データに対する各種信号処理を行う回路である。
The image
圧縮処理部120は、画像信号処理部116で信号処理が施されたデータを、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、JPEG(Joint Photographic Experts Group)形式やJPEG2000形式に変換してもよい。
The
LCD124は、撮影操作を行う前のライブビュー表示や、撮像装置100の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置100の各種情報のLCD124への表示は、LCDドライバ122を介して行われる。
The
タイミングジェネレータ126は、CCD素子108にタイミング信号を入力する。タイミングジェネレータ126からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ126からのタイミング信号によりCCD素子108の駆動が制御され、CCD素子108が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。
The
CPU128は、CCD素子108やCDS回路110などに対して信号系の命令を行ったり、操作部132の操作に対する操作系の命令を行ったりする。本実施形態においては、CPUを1つだけ含んでいるが、本発明においては、信号系の命令と操作系の命令とを別々のCPUやDSP(Digital Signal Processor)で行うようにしてもよい。
The
操作部132は、撮影モード選択部としての機能を含み、撮像装置100の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部132に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン、撮影操作を開始するシャッタボタン等が配置される。
The operation unit 132 includes a function as a shooting mode selection unit, and members for operating the
メモリ134は、撮影した画像や画像信号処理部116で信号処理が施された画像を一時的に記憶するものである。メモリ134は、複数の画像を記憶できるだけの記憶容量を有している。メモリ134への画像の読み書きは画像入力コントローラ114によって制御される。
The
VRAM136は、LCD124に表示する内容を保持するものであり、LCD124の解像度や最大発色数はVRAM136の容量に依存する。
The
記録メディア140は、撮影した画像を記録するものである。記録メディア140への入出力は、メディアコントローラ138によって制御される。記録メディア140には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。
The
以上、図1を用いて本発明の一実施形態にかかる撮像装置100の構成について説明した。次に、本発明の一実施形態にかかる撮像装置100に含まれる、画像信号処理部116の構成について説明する。
The configuration of the
図2は、本発明の一実施形態にかかる撮像装置100に含まれる、画像信号処理部116の構成について説明する説明図である。以下、図2を用いて、本発明の一実施形態にかかる撮像装置100に含まれる、画像信号処理部116の構成について説明する。
FIG. 2 is an explanatory diagram illustrating the configuration of the image
図2に示したように、本発明の一実施形態にかかる画像信号処理部116は、イメージフロントプロセス処理部152と、画像評価部154と、ホワイトバランスゲイン算出部156と、ホワイトバランス補正部158と、デモザイク処理部160と、色補正処理部162と、ガンマ補正処理部164と、を含んで構成される。
As shown in FIG. 2, the image
イメージフロントプロセス処理部152は、CCD素子108で光電変換され、A/D変換器でデジタル信号に変換された画像信号に対して、欠陥画素補正や黒レベル補正などのイメージフロントプロセス処理を実行するものである。イメージフロントプロセス処理部152でイメージフロントプロセス処理が施された画像信号は、画像評価部154およびホワイトバランス補正部158に送られる。
The image front
画像評価部154は、イメージフロントプロセス処理部152でイメージフロントプロセス処理が施された画像信号に対して、ホワイトバランスゲイン算出部156でホワイトバランスを補正するためのホワイトバランスゲインを算出するために、画像評価処理を実行するものである。画像評価部154では、イメージフロントプロセス処理が施された画像信号を複数のブロックに分割し、分割したそれぞれのブロックに対してRGB画素の積算値(ΣR、ΣG、ΣB)を求めたり、RGB画素の積算値に基づいて光源を推定したりする。画像評価部154の構成については後に詳述する。画像評価部154での画像評価処理の結果はホワイトバランスゲイン算出部156に送られる。
The
ホワイトバランスゲイン算出部156は、画像評価部154での画像評価処理の結果に基づいて、ホワイトバランスゲイン(Kr、Kg、Kb)を算出するものである。ホワイトバランスゲイン算出部156で算出されたホワイトバランスゲインはホワイトバランス補正部158に送られる。
The white balance
ホワイトバランス補正部158は、イメージフロントプロセス処理部152でイメージフロントプロセス処理が施された画像信号に対して、ホワイトバランスゲイン算出部156で算出されたホワイトバランスゲインを掛けるものである。ホワイトバランス補正部158で、画像信号にホワイトバランスゲインを掛けることで、画像信号に対するホワイトバランス補正処理を実行することができる。ホワイトバランス補正処理が施された画像信号はデモザイク処理部160に送られる。
The white
デモザイク処理部160は、ホワイトバランス補正処理が施された画像信号に対して色補完処理(デモザイク処理)を施すものである。ホワイトバランス補正処理が施された画像信号に対して、デモザイク処理部160でデモザイク処理を施すことでカラー画像を生成することができるが、デモザイク処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。デモザイク処理が施された画像信号は、色補正処理部162に送られる。
The
色補正処理部162は、デモザイク処理部160で補完処理(デモザイク処理)が施された画像信号に対して色補正処理を施すものである。色補正処理部162で色補正処理を施すことで適切なカラー画像を生成することができるが、色補正処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。色補正処理が施された画像信号は、ガンマ補正処理部164に送られる。
The color
ガンマ補正処理部164は、色補正処理部162で色補正処理が施された画像信号に対してガンマ補正処理を施すものである。ガンマ補正処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。ガンマ補正処理が施された画像信号は、圧縮処理部120に送られて圧縮処理が施されたり、記録メディア140に記録されたり、LCD124に表示されたりする。
The gamma
以上、本発明の一実施形態にかかる画像信号処理部116の構成について説明した。次に、本発明の一実施形態にかかる画像信号処理部116に含まれる、画像評価部154の構成について説明する。
The configuration of the image
図3は、本発明の一実施形態にかかる画像信号処理部116に含まれる、画像評価部154の構成について説明する説明図である。以下、図3を用いて、本発明の一実施形態にかかる画像信号処理部116に含まれる、画像評価部154の構成について説明する。
FIG. 3 is an explanatory diagram illustrating the configuration of the
図3に示したように、本発明の一実施形態にかかる画像評価部154は、第1ブロック分割部172と、第2ブロック分割部174と、ブロック位置変更部176と、積算処理部178と、記憶部180と、光源推定部182と、を含んで構成される。
As shown in FIG. 3, the
第1ブロック分割部172は、画像評価部154に送られる画像信号を所定のサイズのブロック(大ブロック)に分割するものである。第1ブロック分割部172は、画像信号を例えば上述したように、横4ブロック×縦3ブロックに分割してもよく、横12ブロック×縦9ブロックに分割してもよい。もちろん、分割数はこれらの例に限られないことは言うまでも無い。また、分割する際の大ブロックの形状は、正方形であってもよく、長方形であってもよく、その他の形状であってもよい。
The first
第2ブロック分割部174は、第1ブロック分割部172が分割した各大ブロックを、さらに所定のサイズのブロック(小ブロック)に分割するものである。例えば、第1ブロック分割部172で、画像信号を横4ブロック×縦3ブロックの大ブロックに分割し、さらにそれぞれの大ブロックに対して、第2ブロック分割部174において横3ブロック×縦3ブロックの小ブロックに分割する。もちろん、分割数はかかる例に限られないことは言うまでも無い。また、分割する際の小ブロックの形状は、正方形であってもよく、長方形であってもよく、その他の形状であってもよい。なお、以下の説明においては、1つの大ブロックを横3ブロック×縦3ブロックの9つの小ブロックに分割したものとして説明する。
The second
図4は、第2ブロック分割部174において、1つの大ブロックを横3ブロック×縦3ブロックの小ブロックに分割した場合について示す説明図である。図4では、説明の便宜上、小ブロックにA〜Iのアルファベットを付して示している。
FIG. 4 is an explanatory diagram showing a case where the second
ブロック位置変更部176は、後述の積算処理部178の処理対象の小ブロックを、フレームごとに変更するものである。例えば、第2ブロック分割部174で1つの大ブロックを図4のように横3ブロック×縦3ブロックの9つの小ブロックに分割すると、ブロック位置変更部176は、フレーム毎にA〜Iの小ブロックから1つの小ブロックをサイクリックに選択する。
The block
図5は、ブロック位置変更部176におけるブロック位置の変更処理を説明する説明図である。図5では、第2ブロック分割部174で分割したA〜Iの小ブロックから、処理対象の小ブロックをフレーム毎に、変化させている例を示している。なお、図5では、小ブロックを、A→E→G→C→H→F→B→D→I→A→・・・、の順に変化させている場合について示している。もちろん、順番は図5に示したものに限られないことは言うまでも無い。また、本実施形態では、ブロック位置変更部176は小フレームをサイクリックに変化させているが、本発明では積算処理部178の処理対象となる小ブロックをランダムに変更してもよい。
FIG. 5 is an explanatory diagram for explaining the block position changing process in the block
積算処理部178は、ブロック位置変更部176によって指定された小ブロックに含まれているR、G、Bそれぞれの色の画素に対して、ホワイトバランスゲインを求めるためのRGB画素の積算値ΣR、ΣG、ΣBを求めるものである。RGB画素の積算値ΣR、ΣG、ΣBを求めることで、当該小ブロックにおける彩色を判定することができる。積算処理部178において求められたRGB画素の積算値ΣR、ΣG、ΣBや、当該小ブロックにおける彩色の判定結果は、記憶部180に一時的に記憶しても良い。そして、積算処理部178において求められたRGB画素の積算値ΣR、ΣG、ΣBは、光源推定部182に送られて、光源推定部182における光源推定処理に用いられる。
The
光源推定部182は、積算処理部178で求められたRGB画素の積算値ΣR、ΣG、ΣBを用いて、光源を推定する光源推定処理を実行するものである。光源推定部182における光源推定処理の結果は記憶部180に一時的に記憶しても良い。光源推定部182における光源推定処理の結果は、ホワイトバランスゲイン算出部156に送られて、ホワイトバランスゲインの算出に用いられる。
The light
なお、本実施形態では、光源推定部182を画像評価部154に含めた構成について説明したが、本発明はかかる例に限定されないことは言うまでも無い。例えば、光源推定部182の機能をホワイトバランスゲイン算出部156に含めるようにしてもよい。
In addition, although this embodiment demonstrated the structure which included the light
以上、本発明の一実施形態にかかる画像信号処理部116に含まれる、画像評価部154の構成について説明した。次に、本発明の一実施形態にかかる画像処理方法について説明する。
The configuration of the
図6は、本発明の一実施形態にかかる画像処理方法について説明する流れ図である。図6は、撮像装置100がCCD素子108で得た画像信号をLCD124にライブビュー表示する場合について示したものである。以下、図6を用いて本発明の一実施形態にかかる画像処理方法について説明する。
FIG. 6 is a flowchart illustrating an image processing method according to an embodiment of the present invention. FIG. 6 shows a case where the image signal obtained by the
まず、ブロック位置変更部176において、ホワイトバランスの評価対象となる小ブロックを選択する(ステップS102)。上述したように、ブロック位置変更部176が選択するホワイトバランスの評価対象となる小ブロックは、1フレーム毎に変化させる。
First, the block
上記ステップS102で、ブロック位置変更部176がホワイトバランスの評価対象となる小ブロックを選択すると、当該小ブロックにおけるRGB画素の積算値ΣR、ΣG、ΣBを積算処理部178で算出する(ステップS104)。ステップS104でRGB画素の積算値ΣR、ΣG、ΣBを積算処理部178で算出すると、次に、光源推定部182において、RGB画素の積算値ΣR、ΣG、ΣBを用いて、当該小ブロックの彩色を判定する(ステップS106)。
When the block
上記ステップS106において、RGB画素の積算値ΣR、ΣG、ΣBを用いて、当該小ブロックの彩色を光源推定部182で判定すると、続いて、当該小ブロックの彩色判定結果を用いて、当該小ブロックの光源を光源推定部182で推定し、当該小ブロックが有彩色であるか無彩色であるかを判断する(ステップS108)。有彩色であるか無彩色であるかの情報は、2値であってもよいし、3段階以上の値であってもよい。そして、ステップS108で当該小ブロックの光源を光源推定部182で推定すると、推定結果を記憶部180に記憶する(ステップS110)。
In step S106, when the light
上記ステップS110で、光源の推定結果が記憶部180に記憶されると、記憶部180に記憶された推定結果を用いて、ホワイトバランスゲインを算出する。まず、ホワイトバランスゲイン算出部156は、記憶部180に記憶された直近のフレームにおける推定結果を読み出す(ステップS112)。本実施形態では、1つの大ブロックを9つの小ブロックに分割しているので、ステップS112では、ホワイトバランスゲイン算出部16は、直近9フレーム分の推定結果を記憶部180から読み出す。
When the light source estimation result is stored in the
上記ステップS112で、記憶部180に記憶された直近のフレームにおける推定結果を読み出すと、ホワイトバランスゲイン算出部156は、読み出した推定結果を加重平均する(ステップS114)。ここでは、加重平均の一例を説明する。評価フレームをf、各フレームで無彩色として扱うブロックの数をn、無彩色として扱うブロックのRGB積算値をr、g、bとすると、9フレーム分のカラーバランスCr、Cg、Cbは、以下の数式1で求めることができる。
When the estimation result in the most recent frame stored in the
上記数式1のように9フレーム分のカラーバランスCr、Cg、Cbを求めると、続いてホワイトバランスゲイン算出部156は、求めたカラーバランスCr、Cg、Cbを用いて、画像信号に対するホワイトバランスゲインを算出する(ステップS116)。ホワイトバランスゲインKr、Kg、Kbは、以下の数式2で求めることができる。
When the color balances Cr, Cg, and Cb for nine frames are obtained as in
なお、上記数式2は、カラーバランスCr、Cg、Cbの中でCgの値が最も大きい場合の算出式であり、その他の色の値が大きい場合にはその色のホワイトバランスゲインが1となるように上記数式を適宜変更する。
The
上記ステップS116でホワイトバランスゲインを算出すると、上記ステップS102に戻り、ブロック位置変更部176において、ホワイトバランスの評価対象となる小ブロックを選択する。
When the white balance gain is calculated in step S116, the process returns to step S102, and the block
このように、複数フレームにまたがって、位置が異なるブロックに対する信号処理を実行する事で、1フレームあたりの処理負荷を増加させることなく、より小さいブロック分割が行うことが可能となり、混色発生を抑制することができる。 In this way, by executing signal processing for blocks with different positions across multiple frames, smaller block divisions can be performed without increasing the processing load per frame, and color mixing is suppressed. can do.
なお、上述したホワイトバランスゲインの算出方法は、本発明の画像処理方法の一例であり、本発明においてはかかる例に限定されないことは言うまでも無い。例えば、上記ステップS108における判定処理の結果、有彩色と判定された小ブロックには、予め求めておいた基準のゲインを適用する処理を実行しても良い。また例えば、上記数式1では、単純に9フレーム分のRGB積算値を加算して平均をとる加重平均によってカラーバランスCr、Cg、Cbを求めていたが、本発明はかかる例に限定されず、例えば、過去のフレームは値が小さく、直近のフレームになるに連れて値が大きくなるような重みをRGB積算値に掛け合わせる重み付き加重平均によってカラーバランスCr、Cg、Cbを求めても良い。この場合、重みは2次関数的に大きくなるようなものであってもよい。
The white balance gain calculation method described above is an example of the image processing method of the present invention, and it goes without saying that the present invention is not limited to such an example. For example, as a result of the determination process in step S108, a process of applying a reference gain obtained in advance to a small block determined to be a chromatic color may be executed. Further, for example, in
以上説明したように本発明の一実施形態によれば、ホワイトバランスを補正するために、画像信号を複数の大ブロックに分割し、大ブロックをさらに複数の小ブロックに分割する。そして、分割した小ブロックのそれぞれに対して光源を推定するが、その際には1フレームずつ処理対象の小ブロックを変化させる。そして、1つの大ブロックに含まれる全ての小ブロックに対する光源推定結果を用いてホワイトバランスゲインを算出する。このようにホワイトバランスゲインを算出することで、ブロックを小さくすることによる混色の発生頻度の低減と、処理負荷の増大の防止という2つの効果をもたらすことができる。 As described above, according to an embodiment of the present invention, in order to correct white balance, an image signal is divided into a plurality of large blocks, and the large block is further divided into a plurality of small blocks. Then, the light source is estimated for each of the divided small blocks. At this time, the small block to be processed is changed frame by frame. Then, the white balance gain is calculated using the light source estimation results for all the small blocks included in one large block. By calculating the white balance gain in this way, two effects of reducing the frequency of color mixing by reducing the block and preventing the increase in processing load can be brought about.
なお、上述した撮像装置100の動作は、撮像装置100の内部にコンピュータプログラムを記憶させ、当該コンピュータプログラムをCPU128が読み出して順次実行することによってなされるようにしてもよい。
Note that the above-described operation of the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to the example which concerns. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.
本発明は、撮像装置及び画像処理方法に適用可能であり、特に被写体を電子的に撮影する電子的撮像装置及び電子的撮像装置を用いた及び画像処理方法に適用可能である。 The present invention can be applied to an imaging apparatus and an image processing method, and in particular, can be applied to an electronic imaging apparatus that electronically captures a subject and an image processing method using the electronic imaging apparatus.
100 撮像装置
102 ズームレンズ
104 絞り
106 フォーカスレンズ
108 CCD素子
110 CDS回路
112 A/D変換器
114 画像入力コントローラ
116 画像信号処理部
120 圧縮処理部
122 LCDドライバ
124 LCD
126 タイミングジェネレータ
128 CPU
132 操作部
134 メモリ
138 メディアコントローラ
140 記録メディア
142a、142b、142c モータドライバ
152 イメージフロントプロセス処理部
154 画像評価部
156 ホワイトバランスゲイン算出部
158 ホワイトバランス補正部
160 デモザイク処理部
162 色補正処理部
164 ガンマ補正処理部
172 第1ブロック分割部
174 第2ブロック分割部
176 ブロック位置変更部
178 積算処理部
180 記憶部
182 光源推定部
DESCRIPTION OF
126
132
Claims (5)
前記第1ブロックをさらにM個の第2ブロックに分割する第2分割手段と、
演算対象の前記第2ブロックをフレーム毎に変化させる位置変更手段と、
前記位置変更手段が変化させた前記第2ブロックに対する演算処理をフレーム毎に実行する演算手段と、
前記演算手段の演算結果を用いて前記第2分割手段が分割した各前記第2ブロック毎に前記第2ブロックが有彩色であるか無彩色であるかを推定する光源推定手段と、
を備え、
前記位置変更手段は、前記光源推定手段による直近Mフレーム分の推定結果または前記演算手段による直近Mフレーム分の演算結果を用いてホワイトバランスを補正するゲインを算出させるために演算対象の前記第2ブロックをフレーム毎に変化させる撮像装置。 First dividing means for dividing an image signal obtained from the image sensor into a plurality of first blocks;
Second dividing means for further dividing the first block into M second blocks;
Position changing means for changing the second block to be calculated for each frame;
Calculation means for executing calculation processing for the second block changed by the position changing means for each frame;
Light source estimating means for estimating whether the second block is a chromatic color or an achromatic color for each of the second blocks divided by the second dividing means using a calculation result of the calculating means;
With
The position changing means calculates the gain for correcting white balance using the estimation result for the most recent M frames by the light source estimation means or the calculation result for the most recent M frames by the calculation means. An imaging device that changes a block for each frame.
前記記憶手段で記憶した直近Mフレーム分の推定結果を用いてホワイトバランスを補正するゲインを算出するゲイン算出手段と、
をさらに備える、請求項1に記載の撮像装置。 Storage means for at least M frames stored estimation results of the light source estimation means,
A gain calculation means for calculating a gain for correcting the white balance by using the estimation results of the most recent M frames stored in said storing means,
The imaging apparatus according to claim 1, further comprising:
前記光源推定手段は、前記記憶手段に記憶された直近Mフレーム分の演算結果を用いて前記第2ブロックが有彩色であるか無彩色であるかを推定する、請求項1に記載の撮像装置。 Storage means for storing at least M frames of calculation results of the calculation means;
The imaging apparatus according to claim 1, wherein the light source estimation unit estimates whether the second block is a chromatic color or an achromatic color using a calculation result for the most recent M frames stored in the storage unit. .
前記第1ブロックをさらにM個の第2ブロックに分割する第2分割ステップと、
演算対象の前記第2ブロックをフレーム毎に変化させる位置変更ステップと、
前記位置変更ステップで変化させた前記第2ブロックに対して演算処理をフレーム毎に実行する演算ステップと、
前記演算ステップの演算結果を用いて前記第2分割ステップが分割した各前記第2ブロック毎に前記第2ブロックが有彩色であるか無彩色であるかを推定する光源推定ステップと、
を備え、
前記位置変更ステップは、前記光源推定ステップによる直近Mフレーム分の推定結果または前記演算ステップによる直近Mフレーム分の演算結果を用いてホワイトバランスを補正するゲインを算出させるために演算対象の前記第2ブロックをフレーム毎に変化させる画像処理方法。
A first dividing step of dividing an image signal obtained from the image sensor into a plurality of first blocks;
A second dividing step of further dividing the first block into M second blocks;
A position changing step for changing the second block to be calculated for each frame;
A calculation step of performing a calculation process for each frame on the second block changed in the position changing step;
A light source estimation step for estimating whether the second block is a chromatic color or an achromatic color for each of the second blocks divided by the second division step using the calculation result of the calculation step;
With
In the position changing step, the second calculation target is used to calculate a gain for correcting white balance using the estimation result for the most recent M frames in the light source estimation step or the calculation result for the most recent M frames in the calculation step. An image processing method for changing a block for each frame.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292516A JP4819859B2 (en) | 2008-11-14 | 2008-11-14 | Imaging apparatus and image processing method |
KR1020090042542A KR101595888B1 (en) | 2008-11-14 | 2009-05-15 | Photographing apparatus controlling method of photographing apparatus and recording medium storing program to implement the controlling method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292516A JP4819859B2 (en) | 2008-11-14 | 2008-11-14 | Imaging apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010119050A JP2010119050A (en) | 2010-05-27 |
JP4819859B2 true JP4819859B2 (en) | 2011-11-24 |
Family
ID=42279389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008292516A Active JP4819859B2 (en) | 2008-11-14 | 2008-11-14 | Imaging apparatus and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4819859B2 (en) |
KR (1) | KR101595888B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230173480A (en) * | 2022-06-17 | 2023-12-27 | 삼성전자주식회사 | Electronic device for processing image and the method thereof |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04127673A (en) * | 1990-09-19 | 1992-04-28 | Hitachi Ltd | Image pickup device |
JPH04207791A (en) * | 1990-11-30 | 1992-07-29 | Casio Comput Co Ltd | Luminance level measuring circuit |
JPH10155106A (en) * | 1996-11-22 | 1998-06-09 | Olympus Optical Co Ltd | Electronic image pickup device |
JPH11308634A (en) * | 1998-04-20 | 1999-11-05 | Ricoh Co Ltd | White balance controller |
-
2008
- 2008-11-14 JP JP2008292516A patent/JP4819859B2/en active Active
-
2009
- 2009-05-15 KR KR1020090042542A patent/KR101595888B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
JP2010119050A (en) | 2010-05-27 |
KR20100054702A (en) | 2010-05-25 |
KR101595888B1 (en) | 2016-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4567593B2 (en) | Imaging apparatus and imaging method | |
US8872937B2 (en) | Image capture apparatus and image capturing method | |
CN102131056B (en) | Image-capturing device and image-capturing method | |
JP5169318B2 (en) | Imaging apparatus and imaging method | |
US9858644B2 (en) | Bayer color filter array based high dynamic range video recording method and device | |
JP5084366B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
KR20160044945A (en) | Image photographing appratus | |
JP4626432B2 (en) | Color discriminating method and apparatus in imaging apparatus and exposure control method of imaging apparatus | |
JP2007329619A (en) | Video signal processor, video signal processing method and video signal processing program | |
JP2007311962A (en) | Electronic camera and image display program | |
JP4705146B2 (en) | Imaging apparatus and imaging method | |
JP2006253970A (en) | Imaging apparatus, shading correction data generating method, and program | |
JP4819859B2 (en) | Imaging apparatus and image processing method | |
CN102143319B (en) | Imaging device and imaging method | |
JP2009055415A (en) | Camera | |
EP2632146B1 (en) | Image processing apparatus | |
JP2011135379A (en) | Imaging apparatus, imaging method and program | |
KR101408359B1 (en) | Imaging apparatus and imaging method | |
JP2007074201A (en) | Photographing apparatus | |
JP5653665B2 (en) | Image processing apparatus, photographing apparatus, image processing method, and image processing program | |
JP5290734B2 (en) | Noise reduction device and noise reduction method | |
US8106977B2 (en) | Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal | |
JP6011022B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP2020108116A (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2011155358A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110608 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110809 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4819859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |