JP3907173B2 - 画像合成方法及びその装置並びにデジタルスチルカメラ - Google Patents
画像合成方法及びその装置並びにデジタルスチルカメラ Download PDFInfo
- Publication number
- JP3907173B2 JP3907173B2 JP2002043489A JP2002043489A JP3907173B2 JP 3907173 B2 JP3907173 B2 JP 3907173B2 JP 2002043489 A JP2002043489 A JP 2002043489A JP 2002043489 A JP2002043489 A JP 2002043489A JP 3907173 B2 JP3907173 B2 JP 3907173B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- color
- sensitivity
- color signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000203 mixture Substances 0.000 title claims description 23
- 238000000034 method Methods 0.000 title claims description 17
- 239000002131 composite material Substances 0.000 claims description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000001308 synthesis method Methods 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は高感度画像と低感度画像とを合成して広いダイナミックレンジを持つ画像を生成する画像合成方法及びその装置に係り、特に、色の変化が滑らかに繋がり不自然さの少ない合成画像を生成する画像合成方法及びその装置並びにこの画像合成装置を内蔵したデジタルスチルカメラに関する。
【０００２】
【従来の技術】
デジタルスチルカメラで、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまう。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って低感度の画像を撮像し、これに連続して低速シャッタを切って高感度の画像を撮像し、２枚の画像を合成することで、高感度画像中に映っている窓の外の風景が、室内風景の良く映っている低感度画像に重なるようにしている。しかし、２枚の画像をその色変化が自然に滑らかに連続するように合成するには、工夫が必要となる。
【０００４】
図６（ａ）〜（ｃ）は従来の画像合成方法を説明するグラフであり、横軸が入力光信号のインテンシティを示し、縦軸が色信号Ｓ（各色Ｒ，Ｇ，Ｂで同じグラフとなるため、Ｓとして表す。）の電圧値を示す。低感度画像の各画素の色信号はガンマ特性線Ｌによってガンマ変換された色信号として色信号合成回路に入力され、高感度画像の各画素の色信号はガンマ特性線Ｈによってガンマ変換された色信号として色信号合成回路に入力される。
【０００５】
高感度画像と低感度画像を合成する場合、従来は先ず図６（ｂ）に示す様に、低感度画像のガンマ特性線Ｌに一定の利得ｇ（＜１）を掛けたガンマ特性線ｇＬを作り、次に、図６（ｃ）に示す様に、このガンマ特性線ｇＬに所定のオフセット値Ｓ0（直流分）を加算してガンマ特性線ＳOSを作る。このガンマ特性線ＳOSに従う信号を、以下、オフセット低感度信号という。
【０００６】
そして、絵柄の設計値として定めた点Ａ，Ｂ（Ａ点，Ｂ点における高感度信号ＳH（ガンマ特性線Ｈに従う信号）の電圧値はＳA，ＳB）の間は、高感度信号ＳHとオフセット低感度信号ＳOSとを、高感度信号ＳHに応じた加重係数αSと（１−αS）とを用いて加重加算し、合成画像の色信号ＳCを、次の様な従来式に基づき求める。
【０００７】
ＳC(x,y)＝αSＳH(x,y)＋（１−αS）ＳOS(x,y)
但し、ＳOS＝ｇＳL(x,y)＋Ｓ0
Ｓ0：オフセット値
ｇ：一定利得（＜１）
αS＝１ ：ＳH(x,y)≦ＳAの場合
αS＝（ＳH(x,y)−ＳB）／（ＳB−ＳA）：ＳA＜ＳH(x,y)＜ＳBの場合
αS＝０ ：ＳH(x,y)≧ＳBの場合
ＳL：低感度画像の画素信号値
ＳH：高感度画像の画素信号値
である。
【０００８】
即ち、従来は、Ａ点より暗い範囲では高感度信号ＳHのみを使用して合成画像を生成し、Ｂ点より明るい範囲（高感度画像の色信号では飽和値に近い範囲）ではオフセット低感度信号のみを使用して合成画像の画素信号を生成し、区間Ａ，Ｂの範囲内においては、図６（ｃ）に曲線Ｃで示した様に、オフセット低感度信号と高感度信号の両方を用いて合成画像の各画素の色信号を生成している。
【０００９】
【発明が解決しようとする課題】
従来の様に、高感度信号とオフセット低感度信号とを上述した従来式に基づいて合成した場合、区間Ａ，Ｂの接続点Ｐ，Ｑにおいて合成信号の色変化が滑らかに繋がらず、このため、この接続点Ｐ，Ｑ付近で色特性が悪くなり、合成画像が不自然になってしまうという問題がある。特に、フラッシュを使用した場合とかメカニカルシャッタと電子シャッタとを併用した場合などには低感度画像と高感度画像との感度比がバラツクため、上記の接続点Ｐ，Ｑ付近での色変化の滑らかさが更に悪くなってしまうという問題がある。また、ハイレベル側の接続点Ｑ付近で高感度信号成分が小さくなるため、Ｓ／Ｎが悪くなり解像度も劣化してしまう。
【００１０】
本発明の目的は、高感度画像と低感度画像を滑らかに繋ぎ合成画像の色変化の不自然さを抑制した画像合成方法及びその装置並びにデジタルスチルカメラを提供することにある。
【００１１】
【課題を解決するための手段】
上記目的は、高感度画像の色信号と低感度画像の色信号とを合成して合成画像の色信号を生成する画像合成方法において、明るさが第１所定値よりも暗い範囲では前記高感度画像の色信号のみを用い、該第１所定値よりも明るい第２所定値より明るい範囲では前記高感度画像の色信号と前記低感度画像の色信号との差信号から求めた色信号のみを用い、前記第１所定値と前記第２所定値との間では前記高感度画像の色信号と前記差信号から求めた色信号とを加重係数を用いて加算した色信号を用いて前記合成画像の色信号を生成することで、達成される。このように、高感度画像の画像情報と低感度画像の画像情報の両方を含む差信号を用いて合成画像を生成するため、両画像のつながりが滑らかになり、合成画像の色特性が良好となる。また、この構成により、領域毎に最適な合成信号を選択でき、合成画像全体の不自然さがなくなる。
【００１２】
好適には、前記差信号を所定係数倍した信号を前記高感度画像の色信号から差し引いた信号に基づき前記合成画像の色信号を生成することを特徴とする。これにより、感度の優れた高感度画像信号の情報量が多くなり、合成画像のＳ／Ｎや解像度の劣化が少なくなる。
【００１８】
上記目的はまた、画素座標を(x,y)としたとき、高感度画像の輝度信号ＹH(x,y)及び色差信号ＣrH(x,y)，ＣbL(x,y)と、低感度画像の輝度信号ＹL(x,y)及び色差信号ＣrL(x,y)，ＣbL(x,y)とを合成して合成画像の輝度信号ＹC(x,y)及び色差信号ＣrC(x,y)，ＣbC(x,y)を生成するに当たり、ｍYを前記ＹH(x,y)と前記ＹL(x,y)に依存する係数、ｍCを係数ｍYに依存する係数とし、
ＹC(x,y)＝ＹH(x,y)−ｍY(ＹH(x,y)−ＹL(x,y))
ＣrC(x,y)＝(１−ｍY)ＣrH(x,y)＋ｍCＣrL(x,y)×ＹC(x,y)／ＹL(x,y)
ＣbC(x,y)＝(１−ｍY)ＣbH(x,y)＋ｍCＣbL(x,y)×ＹC(x,y)／ＹL(x,y)
として求める演算手段を備えることで、達成される。これらの構成により、輝度信号及び色差信号からも色変化が滑らかで色特性が優れ、Ｓ／Ｎや解像度が良好な合成画像を生成することができる。
【００１９】
上記目的を達成するデジタルスチルカメラは、被写体の高感度画像と前記被写体の低感度画像を撮像する固体撮像装置と、該固体撮像装置が取り込んだ前記高感度画像と前記低感度画像とを上記の様にして合成する画像合成装置と、該画像合成装置の合成した合成画像を記録メディアに記録する記録手段とを備えることを特徴とする。この構成により、不自然さが少なく広いダイナミックレンジを持つ画像を撮像することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２１】
図１は、本発明の第１の実施形態に係るデジタルスチルカメラに搭載される画像合成回路の構成図である。この画像合成回路は、ＣＣＤやＣＭＯＳ等の固体撮像素子から出力されてくる高感度モードの色信号（ＲＧＢ信号）のホワイトバランスをとる利得調整回路１ａと、固体撮像素子から出力されてくる低感度モードの色信号（ＲＧＢ信号）のホワイトバランスをとる利得調整回路１ｂと、利得調整された高感度モードの色信号をガンマ変換するガンマ変換回路２ａと、利得調整された低感度モードの色信号をガンマ変換するガンマ変換回路２ｂと、両ガンマ変換回路２ａ，２ｂの出力を取り込んで各画素の色信号を合成する色信号合成回路３と、色信号合成回路３の出力信号を取り込み例えばカラー画像信号を生成し、輝度信号と色差信号に分離するなどの処理を施す色信号処理回路４とを備えて構成される。
【００２２】
図２は、本発明の第１の実施形態に係る画像合成方法を説明する図である。本実施形態では、先ず、図２（ａ）に示すガンマ特性線Ｈの高感度信号ＳHとガンマ特性線Ｌの低感度信号ＳLとの差信号（図中ハッチングを施した範囲）をとり、この差信号をｋ倍（＜１）した信号を高感度信号線Ｈから減算した信号（以下、近似合成信号という。）ＳCKを
ＳCK(x,y)＝ＳH(x,y)−ｋ（ＳH(x,y)−ＳL(x,y)）
として算出する。(x,y)は、固体撮像素子の各画素の座標位置である。そして、この近似合成信号ＳCKを使用して、下式により合成画像の色信号ＳCを算出する。
【００２３】
ＳC(x,y)＝（１−βS）ＳH(x,y)＋βSＳCK(x,y)
ここで、βSの値は、
ＳH(x,y)≦ＳAの場合： βS＝０
ＳA＜ＳH(x,y)＜ＳBの場合： βS＝（ＳH(x,y)−ＳA）／（ＳB−ＳA）
ＳH(x,y)≧ＳBの場合： βS＝１
である。
【００２４】
図２（ｂ）は、上記式によって合成される色信号出力を説明するグラフである。本実施形態では、高感度信号ＳHと、近似合成信号ＳCKとにより画像合成を行うが、区間Ａ，ＢのＡ点より暗い領域では、高感度信号ＳHのみを用いて合成画像の色信号を生成し、Ｂ点より明るい領域（高感度信号が飽和に近い領域）では近似合成信号のみを用いて合成画像の色信号を生成する。そして、区間Ａ，Ｂでは、上記式で決まる特性線Ｄの様に、高感度信号と近似合成信号とを用いて合成画像の色信号を生成する。
【００２５】
この様に、本実施形態に係る画像合成方法によれば、高感度信号ＳHと近似合成信号ＳCKの勾配は近い値（ｋを適度に小さく選ぶため）となるため、係数βSの加重による合成信号は滑らかに繋がる。そのため、色特性のよい合成画像を得ることができる。
【００２６】
また、フラッシュを使用した時や、メカニカルシャッタと電子シャッタとを併用した時の様に、高感度と低感度の感度比にバラツキがある場合でも、近似合成信号が滑らかに変化するだけであるため、区間Ａ，Ｂの接続部分Ｐ，Ｑ付近の領域での合成信号の滑らかさが劣化することがなく、良好な色特性が保持される。
【００２７】
更にまた、区間Ａ，Ｂの接続部分、特にハイレベル側Ｑでも、（１―βSｋ）の係数は“１”に近い値であるため、高感度信号成分が小さくなることはなく、そのため、Ｓ／Ｎが良く、解像度も劣化せず、良好な合成画像を生成することができる。
【００２８】
上述した画像合成方法は、これをパーソナルコンピュータ等で動作するソフトウェアとして構成し、ｋやβの値等をユーザが任意に調整できるようにすることも可能である。しかし、デジタルスチルカメラの画像処理回路内や固体撮像装置内にハードウェア化して組み込み、同時（固体撮像素子を２個搭載している場合）にあるいは連続（固体撮像素子を１個搭載している場合）して撮像された２つ画像をその場で合成し記録メディア内に格納する様にするのが好ましい。尚、上述した色信号Ｓは実際にはＲ，Ｇ，Ｂ信号であり、Ｒ，Ｇ，Ｂ信号を用いた上記式の詳細を図３に示す。
【００２９】
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、固体撮像装置から出力されてくるＲ，Ｇ，Ｂ信号をそのまま用いて合成画像の色信号を生成したが、固体撮像装置によっては、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙと色差信号Ｃr，Ｃbに変換して出力するものもある。この第２の実施形態はその場合に対処するものであり、固体撮像装置から出力されてくる輝度信号Ｙ及び色差信号Ｃr，ＣbをＲ，Ｇ，Ｂ信号に変換し直し、第１の実施形態で述べた合成処理を行い、その後に、輝度信号Ｙと色差信号Ｃr，Ｃbに再変換することとしている。
【００３０】
第１の実施形態における各画素(x,y)の信号は、Ｒ，Ｇ，Ｂのいずれかであるが、輝度信号Ｙ及び色差信号Ｃr，Ｃbを変換して求めたＲ，Ｇ，Ｂ信号は、各画素(x,y)の信号としてＲ，Ｇ，Ｂの３色の成分を持った信号となるため、合成処理を１回行うことで、Ｒ，Ｇ，Ｂの合成を並列して行うことになる。この第２の実施形態でも、第１の実施形態と同様の効果を得ることができる。
【００３１】
図４は、本発明の第３の実施形態に係る画像合成装置の構成図である。この実施形態に係る画像合成装置の画像信号合成回路１０は、固体撮像装置から出力されてくる高感度モードの輝度信号Ｙ及び色差信号Ｃr，Ｃbと、低感度モードの輝度信号Ｙ及び色差信号Ｃr，Ｃbとが入力され、画像信号合成回路１０は、これらの輝度信号Ｙ及び色差信号Ｃr，ＣbをＲ，Ｇ，Ｂ信号に変換することなく、以下の様に処理することで画像合成を行う。
【００３２】
合成された輝度信号ＹCは、第１の実施形態に係るＲ，Ｇ，Ｂ信号と同様の次式（各画素の座標(x,y)の標記は省略する。）
ＹC＝ＹH−βYｋ（ＹH−ＹL）
ここで、ＹH：高感度モードの輝度信号
ＹL：低感度モードの輝度信号
ｋ：ゲイン（＜１）
βY：係数
で算出する。
【００３３】
また、係数βYの値は、
βY＝０ （ＹH≦ＹA）
βY＝（ＹH−ＹA）／（ＹB−ＹA） （ＹA＜ＹH＜ＹB）
βY＝１ （ＹH≧ＹB）
ここで、ＹAは、Ａ点における高感度モードの輝度信号値
ＹBは、Ｂ点における高感度モードの輝度信号値
とする。
【００３４】
この様に、輝度信号の合成信号ＹCを求める式が、第１の実施形態のＲ，Ｇ，Ｂ信号（Ｓ信号）と同様の式となるのは、図５に示す特性線Ｙの様に、Ｒ，Ｇ，Ｂ信号と同様に輝度の大きさが明るさに従って飽和特性となるためである。しかし、色差信号は飽和特性とはならず、図５に特性線ＣH（高感度画像の色差信号）で示すように、明るくなるに従って色差はゼロ（白）になってしまう。
【００３５】
このため、色差信号の合成式は、次の式
ＣrC＝（１−βY）ＣrH＋βYｋCＣrL×ＹC／ＹL
ＣbC＝（１−βY）ＣbH＋βYｋCＣbL×ＹC／ＹL
とする。
【００３６】
このように、色差信号Ｃr，Ｃbに対する加重係数βYとして、輝度信号の加重係数βYの値を用いることが、第１の実施形態と異なる。これは、飽和特性を示す輝度信号により、加重係数βYの値を定める式における上記ＹH，ＹA，ＹBの値が定まるためである。
【００３７】
また、本実施形態では、低感度画像の色差信号（図５の特性線ＣL）の値が合成信号中で支配的となる範囲（Ｂ点より明るい範囲）で、即ち、上記ＣrC，ＣbCの合成式中の第２項で、輝度信号のゲイン倍（ＹC／ＹL）を掛け、更に、係数ｋC（≦１）を掛けている。輝度信号のゲイン倍を掛けることで、合成画像に色が良く付くようにしており、色が付きすぎて不自然にならない様に、係数ｋCを掛けている。
【００３８】
このように、本実施形態によれば、高感度画像の輝度信号及び色差信号と、低感度画像の輝度信号及び色差信号とから、合成画像の輝度信号及び色差信号を生成することができる。
【００３９】
上述した各実施形態では、加重係数βS，βYの値を、高感度信号ＳH，ＹHの単純な一次関数としたが、より滑らかな接続性，色特性，解像度を得るために、更に領域を細分化して加重係数の値を設定することも可能である。また、高感度信号だけに依存して加重係数の値を決めたが、低感度信号を用いて加重係数の値を決めることも可能である。
【００４０】
また、係数ｋと係数βとを独立した値として上記各実施形態を説明したが、実際の処理では差信号の係数としてｋβが一体となっているため、これを１個の係数ｍとして扱ってもよい。更に、本発明は、静止画の合成に限られるものではなく、動画の合成にも適用可能である。
【００４１】
【発明の効果】
本発明によれば、高感度画像と低感度画像を合成したときに接続部付近での色変化が滑らかとなり、合成画像の色特性が向上する。また、高感度画像と低感度画像の感度比にバラツキがある場合でも、接続部付近の領域で合成画像の色変化の滑らかさが悪くなることがなく、色特性の良さが保持される。更に、接続部付近、特にハイレベル側でも、高感度画像の成分が大きく寄与するため、Ｓ／Ｎが良く、高解像度の合成画像が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像合成装置の構成図である。
【図２】本発明の第１の実施形態に係る画像合成方法を説明するグラフである。
【図３】本発明の第１の実施形態に係る画像合成方法で用いる合成式の詳細図である。
【図４】本発明の第３の実施形態に係る画像合成装置の構成図である。
【図５】本発明の第３の実施形態に係る画像合成方法を説明するグラフである。
【図６】従来の画像合成方法の説明図である。
【符号の説明】
１ａ，１ｂ 利得調整回路
２ａ，２ｂ ガンマ変換回路
３ 色信号合成回路
４ 色信号処理回路
１０ 画像信号合成回路
【発明の属する技術分野】
本発明は高感度画像と低感度画像とを合成して広いダイナミックレンジを持つ画像を生成する画像合成方法及びその装置に係り、特に、色の変化が滑らかに繋がり不自然さの少ない合成画像を生成する画像合成方法及びその装置並びにこの画像合成装置を内蔵したデジタルスチルカメラに関する。
【０００２】
【従来の技術】
デジタルスチルカメラで、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまう。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って低感度の画像を撮像し、これに連続して低速シャッタを切って高感度の画像を撮像し、２枚の画像を合成することで、高感度画像中に映っている窓の外の風景が、室内風景の良く映っている低感度画像に重なるようにしている。しかし、２枚の画像をその色変化が自然に滑らかに連続するように合成するには、工夫が必要となる。
【０００４】
図６（ａ）〜（ｃ）は従来の画像合成方法を説明するグラフであり、横軸が入力光信号のインテンシティを示し、縦軸が色信号Ｓ（各色Ｒ，Ｇ，Ｂで同じグラフとなるため、Ｓとして表す。）の電圧値を示す。低感度画像の各画素の色信号はガンマ特性線Ｌによってガンマ変換された色信号として色信号合成回路に入力され、高感度画像の各画素の色信号はガンマ特性線Ｈによってガンマ変換された色信号として色信号合成回路に入力される。
【０００５】
高感度画像と低感度画像を合成する場合、従来は先ず図６（ｂ）に示す様に、低感度画像のガンマ特性線Ｌに一定の利得ｇ（＜１）を掛けたガンマ特性線ｇＬを作り、次に、図６（ｃ）に示す様に、このガンマ特性線ｇＬに所定のオフセット値Ｓ0（直流分）を加算してガンマ特性線ＳOSを作る。このガンマ特性線ＳOSに従う信号を、以下、オフセット低感度信号という。
【０００６】
そして、絵柄の設計値として定めた点Ａ，Ｂ（Ａ点，Ｂ点における高感度信号ＳH（ガンマ特性線Ｈに従う信号）の電圧値はＳA，ＳB）の間は、高感度信号ＳHとオフセット低感度信号ＳOSとを、高感度信号ＳHに応じた加重係数αSと（１−αS）とを用いて加重加算し、合成画像の色信号ＳCを、次の様な従来式に基づき求める。
【０００７】
ＳC(x,y)＝αSＳH(x,y)＋（１−αS）ＳOS(x,y)
但し、ＳOS＝ｇＳL(x,y)＋Ｓ0
Ｓ0：オフセット値
ｇ：一定利得（＜１）
αS＝１ ：ＳH(x,y)≦ＳAの場合
αS＝（ＳH(x,y)−ＳB）／（ＳB−ＳA）：ＳA＜ＳH(x,y)＜ＳBの場合
αS＝０ ：ＳH(x,y)≧ＳBの場合
ＳL：低感度画像の画素信号値
ＳH：高感度画像の画素信号値
である。
【０００８】
即ち、従来は、Ａ点より暗い範囲では高感度信号ＳHのみを使用して合成画像を生成し、Ｂ点より明るい範囲（高感度画像の色信号では飽和値に近い範囲）ではオフセット低感度信号のみを使用して合成画像の画素信号を生成し、区間Ａ，Ｂの範囲内においては、図６（ｃ）に曲線Ｃで示した様に、オフセット低感度信号と高感度信号の両方を用いて合成画像の各画素の色信号を生成している。
【０００９】
【発明が解決しようとする課題】
従来の様に、高感度信号とオフセット低感度信号とを上述した従来式に基づいて合成した場合、区間Ａ，Ｂの接続点Ｐ，Ｑにおいて合成信号の色変化が滑らかに繋がらず、このため、この接続点Ｐ，Ｑ付近で色特性が悪くなり、合成画像が不自然になってしまうという問題がある。特に、フラッシュを使用した場合とかメカニカルシャッタと電子シャッタとを併用した場合などには低感度画像と高感度画像との感度比がバラツクため、上記の接続点Ｐ，Ｑ付近での色変化の滑らかさが更に悪くなってしまうという問題がある。また、ハイレベル側の接続点Ｑ付近で高感度信号成分が小さくなるため、Ｓ／Ｎが悪くなり解像度も劣化してしまう。
【００１０】
本発明の目的は、高感度画像と低感度画像を滑らかに繋ぎ合成画像の色変化の不自然さを抑制した画像合成方法及びその装置並びにデジタルスチルカメラを提供することにある。
【００１１】
【課題を解決するための手段】
上記目的は、高感度画像の色信号と低感度画像の色信号とを合成して合成画像の色信号を生成する画像合成方法において、明るさが第１所定値よりも暗い範囲では前記高感度画像の色信号のみを用い、該第１所定値よりも明るい第２所定値より明るい範囲では前記高感度画像の色信号と前記低感度画像の色信号との差信号から求めた色信号のみを用い、前記第１所定値と前記第２所定値との間では前記高感度画像の色信号と前記差信号から求めた色信号とを加重係数を用いて加算した色信号を用いて前記合成画像の色信号を生成することで、達成される。このように、高感度画像の画像情報と低感度画像の画像情報の両方を含む差信号を用いて合成画像を生成するため、両画像のつながりが滑らかになり、合成画像の色特性が良好となる。また、この構成により、領域毎に最適な合成信号を選択でき、合成画像全体の不自然さがなくなる。
【００１２】
好適には、前記差信号を所定係数倍した信号を前記高感度画像の色信号から差し引いた信号に基づき前記合成画像の色信号を生成することを特徴とする。これにより、感度の優れた高感度画像信号の情報量が多くなり、合成画像のＳ／Ｎや解像度の劣化が少なくなる。
【００１８】
上記目的はまた、画素座標を(x,y)としたとき、高感度画像の輝度信号ＹH(x,y)及び色差信号ＣrH(x,y)，ＣbL(x,y)と、低感度画像の輝度信号ＹL(x,y)及び色差信号ＣrL(x,y)，ＣbL(x,y)とを合成して合成画像の輝度信号ＹC(x,y)及び色差信号ＣrC(x,y)，ＣbC(x,y)を生成するに当たり、ｍYを前記ＹH(x,y)と前記ＹL(x,y)に依存する係数、ｍCを係数ｍYに依存する係数とし、
ＹC(x,y)＝ＹH(x,y)−ｍY(ＹH(x,y)−ＹL(x,y))
ＣrC(x,y)＝(１−ｍY)ＣrH(x,y)＋ｍCＣrL(x,y)×ＹC(x,y)／ＹL(x,y)
ＣbC(x,y)＝(１−ｍY)ＣbH(x,y)＋ｍCＣbL(x,y)×ＹC(x,y)／ＹL(x,y)
として求める演算手段を備えることで、達成される。これらの構成により、輝度信号及び色差信号からも色変化が滑らかで色特性が優れ、Ｓ／Ｎや解像度が良好な合成画像を生成することができる。
【００１９】
上記目的を達成するデジタルスチルカメラは、被写体の高感度画像と前記被写体の低感度画像を撮像する固体撮像装置と、該固体撮像装置が取り込んだ前記高感度画像と前記低感度画像とを上記の様にして合成する画像合成装置と、該画像合成装置の合成した合成画像を記録メディアに記録する記録手段とを備えることを特徴とする。この構成により、不自然さが少なく広いダイナミックレンジを持つ画像を撮像することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２１】
図１は、本発明の第１の実施形態に係るデジタルスチルカメラに搭載される画像合成回路の構成図である。この画像合成回路は、ＣＣＤやＣＭＯＳ等の固体撮像素子から出力されてくる高感度モードの色信号（ＲＧＢ信号）のホワイトバランスをとる利得調整回路１ａと、固体撮像素子から出力されてくる低感度モードの色信号（ＲＧＢ信号）のホワイトバランスをとる利得調整回路１ｂと、利得調整された高感度モードの色信号をガンマ変換するガンマ変換回路２ａと、利得調整された低感度モードの色信号をガンマ変換するガンマ変換回路２ｂと、両ガンマ変換回路２ａ，２ｂの出力を取り込んで各画素の色信号を合成する色信号合成回路３と、色信号合成回路３の出力信号を取り込み例えばカラー画像信号を生成し、輝度信号と色差信号に分離するなどの処理を施す色信号処理回路４とを備えて構成される。
【００２２】
図２は、本発明の第１の実施形態に係る画像合成方法を説明する図である。本実施形態では、先ず、図２（ａ）に示すガンマ特性線Ｈの高感度信号ＳHとガンマ特性線Ｌの低感度信号ＳLとの差信号（図中ハッチングを施した範囲）をとり、この差信号をｋ倍（＜１）した信号を高感度信号線Ｈから減算した信号（以下、近似合成信号という。）ＳCKを
ＳCK(x,y)＝ＳH(x,y)−ｋ（ＳH(x,y)−ＳL(x,y)）
として算出する。(x,y)は、固体撮像素子の各画素の座標位置である。そして、この近似合成信号ＳCKを使用して、下式により合成画像の色信号ＳCを算出する。
【００２３】
ＳC(x,y)＝（１−βS）ＳH(x,y)＋βSＳCK(x,y)
ここで、βSの値は、
ＳH(x,y)≦ＳAの場合： βS＝０
ＳA＜ＳH(x,y)＜ＳBの場合： βS＝（ＳH(x,y)−ＳA）／（ＳB−ＳA）
ＳH(x,y)≧ＳBの場合： βS＝１
である。
【００２４】
図２（ｂ）は、上記式によって合成される色信号出力を説明するグラフである。本実施形態では、高感度信号ＳHと、近似合成信号ＳCKとにより画像合成を行うが、区間Ａ，ＢのＡ点より暗い領域では、高感度信号ＳHのみを用いて合成画像の色信号を生成し、Ｂ点より明るい領域（高感度信号が飽和に近い領域）では近似合成信号のみを用いて合成画像の色信号を生成する。そして、区間Ａ，Ｂでは、上記式で決まる特性線Ｄの様に、高感度信号と近似合成信号とを用いて合成画像の色信号を生成する。
【００２５】
この様に、本実施形態に係る画像合成方法によれば、高感度信号ＳHと近似合成信号ＳCKの勾配は近い値（ｋを適度に小さく選ぶため）となるため、係数βSの加重による合成信号は滑らかに繋がる。そのため、色特性のよい合成画像を得ることができる。
【００２６】
また、フラッシュを使用した時や、メカニカルシャッタと電子シャッタとを併用した時の様に、高感度と低感度の感度比にバラツキがある場合でも、近似合成信号が滑らかに変化するだけであるため、区間Ａ，Ｂの接続部分Ｐ，Ｑ付近の領域での合成信号の滑らかさが劣化することがなく、良好な色特性が保持される。
【００２７】
更にまた、区間Ａ，Ｂの接続部分、特にハイレベル側Ｑでも、（１―βSｋ）の係数は“１”に近い値であるため、高感度信号成分が小さくなることはなく、そのため、Ｓ／Ｎが良く、解像度も劣化せず、良好な合成画像を生成することができる。
【００２８】
上述した画像合成方法は、これをパーソナルコンピュータ等で動作するソフトウェアとして構成し、ｋやβの値等をユーザが任意に調整できるようにすることも可能である。しかし、デジタルスチルカメラの画像処理回路内や固体撮像装置内にハードウェア化して組み込み、同時（固体撮像素子を２個搭載している場合）にあるいは連続（固体撮像素子を１個搭載している場合）して撮像された２つ画像をその場で合成し記録メディア内に格納する様にするのが好ましい。尚、上述した色信号Ｓは実際にはＲ，Ｇ，Ｂ信号であり、Ｒ，Ｇ，Ｂ信号を用いた上記式の詳細を図３に示す。
【００２９】
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、固体撮像装置から出力されてくるＲ，Ｇ，Ｂ信号をそのまま用いて合成画像の色信号を生成したが、固体撮像装置によっては、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙと色差信号Ｃr，Ｃbに変換して出力するものもある。この第２の実施形態はその場合に対処するものであり、固体撮像装置から出力されてくる輝度信号Ｙ及び色差信号Ｃr，ＣbをＲ，Ｇ，Ｂ信号に変換し直し、第１の実施形態で述べた合成処理を行い、その後に、輝度信号Ｙと色差信号Ｃr，Ｃbに再変換することとしている。
【００３０】
第１の実施形態における各画素(x,y)の信号は、Ｒ，Ｇ，Ｂのいずれかであるが、輝度信号Ｙ及び色差信号Ｃr，Ｃbを変換して求めたＲ，Ｇ，Ｂ信号は、各画素(x,y)の信号としてＲ，Ｇ，Ｂの３色の成分を持った信号となるため、合成処理を１回行うことで、Ｒ，Ｇ，Ｂの合成を並列して行うことになる。この第２の実施形態でも、第１の実施形態と同様の効果を得ることができる。
【００３１】
図４は、本発明の第３の実施形態に係る画像合成装置の構成図である。この実施形態に係る画像合成装置の画像信号合成回路１０は、固体撮像装置から出力されてくる高感度モードの輝度信号Ｙ及び色差信号Ｃr，Ｃbと、低感度モードの輝度信号Ｙ及び色差信号Ｃr，Ｃbとが入力され、画像信号合成回路１０は、これらの輝度信号Ｙ及び色差信号Ｃr，ＣbをＲ，Ｇ，Ｂ信号に変換することなく、以下の様に処理することで画像合成を行う。
【００３２】
合成された輝度信号ＹCは、第１の実施形態に係るＲ，Ｇ，Ｂ信号と同様の次式（各画素の座標(x,y)の標記は省略する。）
ＹC＝ＹH−βYｋ（ＹH−ＹL）
ここで、ＹH：高感度モードの輝度信号
ＹL：低感度モードの輝度信号
ｋ：ゲイン（＜１）
βY：係数
で算出する。
【００３３】
また、係数βYの値は、
βY＝０ （ＹH≦ＹA）
βY＝（ＹH−ＹA）／（ＹB−ＹA） （ＹA＜ＹH＜ＹB）
βY＝１ （ＹH≧ＹB）
ここで、ＹAは、Ａ点における高感度モードの輝度信号値
ＹBは、Ｂ点における高感度モードの輝度信号値
とする。
【００３４】
この様に、輝度信号の合成信号ＹCを求める式が、第１の実施形態のＲ，Ｇ，Ｂ信号（Ｓ信号）と同様の式となるのは、図５に示す特性線Ｙの様に、Ｒ，Ｇ，Ｂ信号と同様に輝度の大きさが明るさに従って飽和特性となるためである。しかし、色差信号は飽和特性とはならず、図５に特性線ＣH（高感度画像の色差信号）で示すように、明るくなるに従って色差はゼロ（白）になってしまう。
【００３５】
このため、色差信号の合成式は、次の式
ＣrC＝（１−βY）ＣrH＋βYｋCＣrL×ＹC／ＹL
ＣbC＝（１−βY）ＣbH＋βYｋCＣbL×ＹC／ＹL
とする。
【００３６】
このように、色差信号Ｃr，Ｃbに対する加重係数βYとして、輝度信号の加重係数βYの値を用いることが、第１の実施形態と異なる。これは、飽和特性を示す輝度信号により、加重係数βYの値を定める式における上記ＹH，ＹA，ＹBの値が定まるためである。
【００３７】
また、本実施形態では、低感度画像の色差信号（図５の特性線ＣL）の値が合成信号中で支配的となる範囲（Ｂ点より明るい範囲）で、即ち、上記ＣrC，ＣbCの合成式中の第２項で、輝度信号のゲイン倍（ＹC／ＹL）を掛け、更に、係数ｋC（≦１）を掛けている。輝度信号のゲイン倍を掛けることで、合成画像に色が良く付くようにしており、色が付きすぎて不自然にならない様に、係数ｋCを掛けている。
【００３８】
このように、本実施形態によれば、高感度画像の輝度信号及び色差信号と、低感度画像の輝度信号及び色差信号とから、合成画像の輝度信号及び色差信号を生成することができる。
【００３９】
上述した各実施形態では、加重係数βS，βYの値を、高感度信号ＳH，ＹHの単純な一次関数としたが、より滑らかな接続性，色特性，解像度を得るために、更に領域を細分化して加重係数の値を設定することも可能である。また、高感度信号だけに依存して加重係数の値を決めたが、低感度信号を用いて加重係数の値を決めることも可能である。
【００４０】
また、係数ｋと係数βとを独立した値として上記各実施形態を説明したが、実際の処理では差信号の係数としてｋβが一体となっているため、これを１個の係数ｍとして扱ってもよい。更に、本発明は、静止画の合成に限られるものではなく、動画の合成にも適用可能である。
【００４１】
【発明の効果】
本発明によれば、高感度画像と低感度画像を合成したときに接続部付近での色変化が滑らかとなり、合成画像の色特性が向上する。また、高感度画像と低感度画像の感度比にバラツキがある場合でも、接続部付近の領域で合成画像の色変化の滑らかさが悪くなることがなく、色特性の良さが保持される。更に、接続部付近、特にハイレベル側でも、高感度画像の成分が大きく寄与するため、Ｓ／Ｎが良く、高解像度の合成画像が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像合成装置の構成図である。
【図２】本発明の第１の実施形態に係る画像合成方法を説明するグラフである。
【図３】本発明の第１の実施形態に係る画像合成方法で用いる合成式の詳細図である。
【図４】本発明の第３の実施形態に係る画像合成装置の構成図である。
【図５】本発明の第３の実施形態に係る画像合成方法を説明するグラフである。
【図６】従来の画像合成方法の説明図である。
【符号の説明】
１ａ，１ｂ 利得調整回路
２ａ，２ｂ ガンマ変換回路
３ 色信号合成回路
４ 色信号処理回路
１０ 画像信号合成回路
Claims (7)
- 高感度画像の色信号と低感度画像の色信号とを合成して合成画像の色信号を生成する画像合成方法において、明るさが第１所定値よりも暗い範囲では前記高感度画像の色信号のみを用い、該第１所定値よりも明るい第２所定値より明るい範囲では前記高感度画像の色信号と前記低感度画像の色信号との差信号から求めた色信号のみを用い、前記第１所定値と前記第２所定値との間では前記高感度画像の色信号と前記差信号から求めた色信号とを加重係数を用いて加算した色信号を用いて前記合成画像の色信号を生成することを特徴とする画像合成方法。
- 前記差信号を所定係数倍した信号を前記高感度画像の色信号から差し引いた信号に基づき、前記第１所定値より明るい範囲での前記合成画像の色信号生成を行うことを特徴とする請求項１に記載の画像合成方法。
- 画素座標を (x,y) としたとき、高感度画像の輝度信号Ｙ Ｈ (x,y) 及び色差信号Ｃ r Ｈ (x,y) ，Ｃ b Ｌ (x,y) と、低感度画像の輝度信号Ｙ Ｌ (x,y) 及び色差信号Ｃ r Ｌ (x,y) ，Ｃ b Ｌ (x,y) とを合成して合成画像の輝度信号Ｙ Ｃ (x,y) 及び色差信号Ｃ r Ｃ (x,y) ，Ｃ b Ｃ (x,y) を生成するに当たり、ｍ Ｙ を前記Ｙ Ｈ (x,y) と前記Ｙ Ｌ (x,y) に依存する係数、ｍ Ｃ を係数ｍ Ｙ に依存する係数とし、
Ｙ Ｃ (x,y) ＝Ｙ Ｈ (x,y) −ｍ Ｙ ( Ｙ Ｈ (x,y) −Ｙ Ｌ (x,y))
Ｃ r Ｃ (x,y) ＝ ( １−ｍ Ｙ ) Ｃ r Ｈ (x,y) ＋ｍ Ｃ Ｃ r Ｌ (x,y) ×Ｙ Ｃ (x,y) ／Ｙ Ｌ (x,y)
Ｃ b Ｃ (x,y) ＝ ( １−ｍ Ｙ ) Ｃ b Ｈ (x,y) ＋ｍ Ｃ Ｃ b Ｌ (x,y) ×Ｙ Ｃ (x,y) ／Ｙ Ｌ (x,y)
として求めることを特徴とする画像合成方法。 - 高感度画像の色信号と低感度画像の色信号とを合成して合成画像の色信号を生成する画像合成装置において、明るさが第１所定値よりも暗い範囲では前記高感度画像の色信号のみを用い、該第１所定値よりも明るい第２所定値より明るい範囲では前記高感度画像の色信号と前記低感度画像の色信号との差信号から求めた色信号のみを用い、前記第１所定値と前記第２所定値との間では前記高感度画像の色信号と前記差信号から求めた色信号とを加重係数を用いて加算した色信号を用いて前記合成画像の色信号を生成する色信号合成手段を備えることを特徴とする画像合成装置。
- 前記色信号合成手段は、前記差信号を所定係数倍した信号を前記高感度画像の色信号から差し引いた信号に基づき、前記第１所定値より明るい範囲での前記合成画像の色信号生成を行うことを特徴とする請求項４に記載の画像合成装置。
- 画素座標を (x,y) としたとき、高感度画像の輝度信号Ｙ Ｈ (x,y) 及び色差信号Ｃ r Ｈ (x,y) ，Ｃ b Ｌ (x,y) と、低感度画像の輝度信号Ｙ Ｌ (x,y) 及び色差信号Ｃ r Ｌ (x,y) ，Ｃ b Ｌ (x,y) とを合成して合成画像の輝度信号Ｙ Ｃ (x,y) 及び色差信号Ｃ r Ｃ (x,y) ，Ｃ b Ｃ (x,y) を生成するに当たり、ｍ Ｙ を前記Ｙ Ｈ (x,y) と前記Ｙ Ｌ (x,y) に依存する係数、ｍ Ｃ を係数ｍ Ｙ に依存する係数とし、
Ｙ Ｃ (x,y) ＝Ｙ Ｈ (x,y) −ｍ Ｙ ( Ｙ Ｈ (x,y) −Ｙ Ｌ (x,y))
Ｃ r Ｃ (x,y) ＝ ( １−ｍ Ｙ ) Ｃ r Ｈ (x,y) ＋ｍ Ｃ Ｃ r Ｌ (x,y) ×Ｙ Ｃ (x,y) ／Ｙ Ｌ (x,y)
Ｃ b Ｃ (x,y) ＝ ( １−ｍ Ｙ ) Ｃ b Ｈ (x,y) ＋ｍ Ｃ Ｃ b Ｌ (x,y) ×Ｙ Ｃ (x,y) ／Ｙ Ｌ (x,y)
として求める演算手段を備えることを特徴とする画像合成装置。 - 被写体の高感度画像と前記被写体の低感度画像を撮像する固体撮像装置と、該固体撮像装置が取り込んだ前記高感度画像と前記低感度画像を合成する前記請求項４乃至請求項６のいずれかに記載の画像合成装置と、該画像合成装置の合成した合成画像を記録メディアに記録する記録手段とを備えることを特徴とするデジタルスチルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002043489A JP3907173B2 (ja) | 2002-02-20 | 2002-02-20 | 画像合成方法及びその装置並びにデジタルスチルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002043489A JP3907173B2 (ja) | 2002-02-20 | 2002-02-20 | 画像合成方法及びその装置並びにデジタルスチルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003244719A JP2003244719A (ja) | 2003-08-29 |
| JP3907173B2 true JP3907173B2 (ja) | 2007-04-18 |
Family
ID=27783266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002043489A Expired - Fee Related JP3907173B2 (ja) | 2002-02-20 | 2002-02-20 | 画像合成方法及びその装置並びにデジタルスチルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3907173B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104125408A (zh) * | 2013-04-28 | 2014-10-29 | 比亚迪股份有限公司 | 一种高动态范围图像处理方法及装置 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7317843B2 (en) * | 2004-04-01 | 2008-01-08 | Microsoft Corporation | Luminance correction |
| JP2009152669A (ja) * | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
| KR101068886B1 (ko) | 2009-10-06 | 2011-09-29 | 클레어픽셀 주식회사 | 영상신호 처리장치 및 영상신호 합성 방법 |
| EP2339534A1 (en) * | 2009-11-18 | 2011-06-29 | Panasonic Corporation | Specular reflection compensation |
| JP6478499B2 (ja) * | 2014-07-07 | 2019-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| CN105163047B (zh) * | 2015-09-15 | 2018-11-06 | 厦门美图之家科技有限公司 | 一种基于色彩空间转换的hdr图像生成方法、系统及拍摄终端 |
-
2002
- 2002-02-20 JP JP2002043489A patent/JP3907173B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104125408A (zh) * | 2013-04-28 | 2014-10-29 | 比亚迪股份有限公司 | 一种高动态范围图像处理方法及装置 |
| CN104125408B (zh) * | 2013-04-28 | 2018-06-12 | 比亚迪股份有限公司 | 一种高动态范围图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003244719A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4004943B2 (ja) | 画像合成方法および撮像装置 | |
| KR101247647B1 (ko) | 화상 합성 장치, 화상 합성 방법, 및 기록 매체 | |
| KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
| JP5787648B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
| WO2012063634A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
| KR20060070557A (ko) | 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램 | |
| JPH06141229A (ja) | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 | |
| JP6702306B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5975642B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| KR20120025414A (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| JP5430379B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP3907173B2 (ja) | 画像合成方法及びその装置並びにデジタルスチルカメラ | |
| US7649554B2 (en) | Method, imaging device and camera for producing composite image from merged image signals | |
| JP2003158669A (ja) | 撮像装置 | |
| JP5649927B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
| JP2001157109A (ja) | 電子カメラおよび画像データ処理用記録媒体 | |
| JP5609788B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP3817635B2 (ja) | カラ−画像処理装置および処理方法 | |
| JP2003520505A (ja) | 電子的に取得した画像の色彩度を修正する方法及び装置 | |
| JP2003309763A (ja) | 動画撮像システム | |
| JP5609787B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2001268345A (ja) | 画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040614 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3907173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |