JP3551857B2 - 高ダイナミックレンジ画像処理装置および方法 - Google Patents
高ダイナミックレンジ画像処理装置および方法 Download PDFInfo
- Publication number
- JP3551857B2 JP3551857B2 JP25601299A JP25601299A JP3551857B2 JP 3551857 B2 JP3551857 B2 JP 3551857B2 JP 25601299 A JP25601299 A JP 25601299A JP 25601299 A JP25601299 A JP 25601299A JP 3551857 B2 JP3551857 B2 JP 3551857B2
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- signal
- color
- image processing
- high dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 238000007906 compression Methods 0.000 claims description 36
- 230000006835 compression Effects 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 29
- 238000003672 processing method Methods 0.000 claims description 18
- 238000000926 separation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ダイナミックレンジの高い撮像素子からのカラー映像信号を処理し、比較的ダイナミックレンジの狭い表示装置に自然に表示することに考慮した高ダイナミックレンジ画像処理装置および方法に関する。
【０００２】
【従来の技術】
従来のディジタルスチルカメラやビデオカメラでは、固体撮像素子の入射輝度と出力電圧間の特性が線型関係にある輝度領域のみを処理の対象としていた。従って、撮像素子からの信号を処理する色分離処理においても、固体撮像素子の入射輝度と出力電圧間に線型関係が成り立つという前提条件があった。
【０００３】
図１０は、従来技術における固体撮像素子を用いたカラーカメラ色信号処理方式の一例を示すブロック図である。ここでいうカメラとは動画用のビデオカメラや静止画用のディジタルスチルカメラを含むものとする。以下では、固体撮像素子１０００上に図２に示される色フィルタをもつ場合を一例に挙げてカラーカメラ色信号処理方式について具体的に述べる。
【０００４】
固体撮像素子１０００からのアナログ映像出力信号は、ＡＤ変換手段１００１によってディジタル信号へ変換される。一つの色フィルタを透過しない波長域の信号については、隣接する別の色フィルタを備えた画素から出力された信号を用いて色補間手段１００２によって算出される。
【０００５】
この時、色補間手段１００２の出力の色空間がＲＧＢ空間である場合には、ここでの色補間によって出力される信号は、赤信号ｒ１、緑信号ｇ１、青信号ｂ１である。また、各信号はその後３行３列のマトリクス手段１００３によって所望の色空間に適するように色補正がなされる。マトリクス手段の出力信号を赤信号ｒ２、緑信号ｇ２、青信号ｂ２とすると、その入力信号である赤信号ｒ１、緑信号ｇ１、青信号ｂ１から式１を用いて求めることができる。（以下、大文字はマトリクスまたはベクトルを示し、小文字はスカラーを示す）
【０００６】
【数１】
【０００７】
但し、マトリクスＭは３行３列の行列で、任意の値の９個の色分離係数または要素が下記の式２に示されるようにｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３が含まれているものとする。
【０００８】
【数２】
【０００９】
ここで、同図に示されるように、ホワイトバランス手段１００４、１００５、１００６が設けられている場合には、マトリクスの対角成分ｍ１１、ｍ２２、ｍ３３はそれぞれ１となり、マトリクスＭは６個の色分離係数または要素をもつことになる。上記の式２で求められるマトリクス手段の出力信号ｒ２、ｇ２、ｂ２はホワイトバランス手段１００４、１００５、１００６によって式３のように変換される。
【００１０】
【数３】
【００１１】
但し、ホワイトバランス手段１００４〜１００６の出力信号を赤信号ｒ３、緑信号ｇ３、青信号ｂ３、ホワイトバランスの係数をＷＢ（ｗｂｒ，ｗｂｇ，ｗｂｂ）とする。ホワイトバランス手段１００４〜１００６からの出力信号はガンマ補正手段１００７、１００８、１００９によってガンマ補正され、出力機器１０１０に出力される。
【００１２】
【発明が解決しようとする課題】
したがって、上記のような従来技術の画像処理装置では、次のような解決すべきいくつかの問題点がある。例えば、監視カメラなど自然環境に置かれるカメラでは、撮像状況によらず対象物が識別できなければならず、特に逆光では、撮像対象物が黒くつぶれてしまい判別できなくなってしまう場合が多い。その理由は、カメラのオートアイリスが作動すると背景の明るい輝度にあわせてシャッター時間や絞りが調節されて、対象物の輝度が相対的に暗くなってしまうためである。
【００１３】
逆に、オートアイリスが対象物に合わせて作動すると背景が白く飽和してしまう。その理由は、カメラのオートアイリスの検索領域を暗い対象物に合わせると、それに従ってシャッター時間や絞りが調節されて、背景の輝度が相対的に明るくなって固体撮像素子の感度領域を超えてしまうためである。即ち、上記の黒くつぶれる現象や白く飽和してしまう現象は、撮像対象画像のダイナミックレンジに対して、固体撮像素子、又は画像処理装置自体、或いは画像表示手段などのダイナミックレンジが狭いために起こる問題である。従って、このような用途に用いられるカメラとしては、固体撮像素子、又は画像処理装置自体、或いは画像表示手段のダイナミックレンジをより広くすることが要求されている。
【００１４】
ここで、固体撮像素子の入射輝度と出力電圧間の特性が線形関係にある輝度領域だけでなく、垂直オーバーフロードレイン構造をもつ固体撮像素子の飽和特性である非線形関係にある輝度領域も活用することで、ダイナミックレンジを拡大することができる。似たようなものが特開平９−６５２１７号公報に記載された方法があるが、これは非線形入出力感度特性は利用していない。この従来技術では、半導体基板に印加する電圧を時間的に変えることによってフォトダイオードから垂直オーバーフロードレインへ流出する電荷量を制御し、このようにしてフォトダイオードに残った電荷量を調節してダイナミックレンジを拡大している。
【００１５】
従って、本発明の目的は、上記の従来技術に対し垂直オーバーフロードレイン構造によってできるバリア（オーバーフローバリア）を乗り越えて流れる電流の非線形特性を利用することで、画像処理装置自体のダイナミックレンジを大幅に拡大し、その一方でそれに伴う回路規模の増大および消費電力の増加を抑えることのできる高ダイナミック画像処理装置を提供することにある。
【００１６】
【課題を解決するための手段】
かかる目的を達成するために、本発明の請求項１記載の発明は、垂直オーバーフロードレイン構造をもつ少なくとも一つの固体撮像素子を有し、該固体撮像素子の後段にて入力信号間の線形性を前提とした処理を実行し、当該処理後の信号を表示手段に出力する高ダイナミックレンジ画像処理装置において、固体撮像素子における入射輝度と出力電圧間の特性が非線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とする線形変換手段と、線形変換手段からの出力信号を入力として色補間処理を行なう色補間処理手段と、色補間処理手段から出力された各色信号の線形性を保つように各色信号のダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、ダイナミックレンジを圧縮後の各色信号を入力として色補正を行なう色補正処理手段と、を有することを特徴とする。
【００１７】
請求項２記載の発明は、請求項１記載の発明において、線形変換手段は、他の処理として、固体撮像素子における入射輝度と出力電圧間の特性が線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを特徴とする。
【００１８】
請求項３記載の発明は、請求項１または２記載の発明において、線形変換手段は、固体撮像素子からの入力信号から線形特性をもつ信号に変換する際に、当該変換演算方式として、固体撮像素子からの入力信号と当該変換後の出力信号とを対応させて記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００１９】
請求項４記載の発明は、請求項１記載の発明において、ダイナミックレンジ圧縮手段は、色補間処理にて出力された各色信号から輝度を算出し、該算出された輝度に応じて当該各色信号のそれぞれに対し同じ比率で除算することを特徴とする。
【００２０】
請求項５記載の発明は、請求項４記載の発明において、ダイナミックレンジ圧縮手段においては、同じ比率は、各色信号から算出された輝度をローパスフィルタによって周波数帯域を制限した信号として出力され、該出力された信号を基に視覚モデル式に従って算出されることを特徴とする。
【００２１】
請求項６記載の発明は、請求項５記載の発明において、ダイナミックレンジ圧縮手段は、各色信号から算出された輝度の最大値を求める最大値検出部を有し、視覚モデル式を画像の明るさによって変える場合には、最大値検出部にて検出した最大値を視覚モデル式の入力とし、該入力による視覚モデル式の出力の最大値が最大値検出部にて求められた最大値となるように、視覚モデル式を設定することを特徴とする。
【００２２】
請求項７記載の発明は、請求項６記載の発明において、ダイナミックレンジ圧縮手段は、視覚モデル式を設定するために、最大値検出部にて求められる最大値と、当該最大値に対応する視覚モデル式の係数とを予め記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００２３】
請求項８記載の発明は、請求項４から７のいずれかに記載の発明において、高ダイナミックレンジ画像処理装置は、色分離処理においてマトリクス手段を有することを特徴とする。
【００２４】
請求項９記載の発明は、請求項８記載の発明において、高ダイナミックレンジ画像処理装置は、色分離処理においてマトリクス手段の後段にホワイトバランス手段を有することを特徴とする。
【００２５】
請求項１０記載の発明は、垂直オーバーフロードレイン構造をもつ少なくとも一つの固体撮像素子を有し、該固体撮像素子の後段にて入力信号間の線形性を前提とした処理を実行し、当該処理後の信号を表示手段に出力する高ダイナミックレンジ画像処理方法において、固体撮像素子における入射輝度と出力電圧間の特性が非線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とする線形変換工程と、線形変換工程によって処理された信号を入力として色補間処理を行なう色補間処理工程と、色補間処理工程によって処理された信号から、各色信号が線形性を保つように各色信号のダイナミックレンジを圧縮するダイナミックレンジ圧縮工程と、ダイナミックレンジを圧縮後の各色信号を入力として色補正を行なう色補正処理工程と、を有することを特徴とする。
【００２６】
請求項１１記載の発明は、請求項１０記載の発明において、線形変換工程では、更に、固体撮像素子における入射輝度と出力電圧間の特性が線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とすることを特徴とする。
【００２７】
請求項１２記載の発明は、請求項１０または１１記載の発明において、線形変換工程では、固体撮像素子からの入力信号から線形特性をもつ信号に変換する際に、当該変換演算方式として、固体撮像素子からの入力信号と当該変換後の出力信号とを対応させて記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００２８】
請求項１３記載の発明は、請求項１０記載の発明において、ダイナミックレンジ圧縮工程では、色補間処理にて出力された各色信号から輝度を算出し、該算出された輝度に応じて当該各色信号のそれぞれに対し同じ比率で除算することを特徴とする。
【００２９】
請求項１４記載の発明は、請求項１３記載の発明において、ダイナミックレンジ圧縮工程においては、同じ比率は、各色信号から算出された輝度をローパスフィルタによって周波数帯域を制限した信号として出力され、該出力された信号を基に視覚モデル式に従って算出されることを特徴とする。
【００３０】
請求項１５記載の発明は、請求項１４記載の発明において、ダイナミックレンジ圧縮工程では、各色信号から算出された輝度の最大値を求め、視覚モデル式を画像の明るさによって変える場合には、算出した輝度の最大値を視覚モデル式の入力とし、該入力による視覚モデル式の出力の最大値が輝度の最大値となるように、視覚モデル式を設定することを特徴とする。
【００３１】
請求項１６記載の発明は、請求項１５記載の発明において、ダイナミックレンジ圧縮工程では、視覚モデル式を設定するために、輝度の最大値と、当該最大値に対応する視覚モデル式の係数とを予め記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００３２】
請求項１７記載の発明は、請求項１３から１５のいずれかに記載の発明において、高ダイナミックレンジ画像処理方法は、色分離処理においてマトリクス工程を有することを特徴とする。
【００３３】
請求項１８記載の発明は、請求項１７記載の発明において、高ダイナミックレンジ画像処理方法は、色分離処理においてマトリクス工程の後段にホワイトバランス工程を有することを特徴とする。
【００３４】
【発明の実施の形態】
通常、非線形入出力特性をもつ固体撮像素子を用いた画像処理装置において、線形領域と非線形領域の処理を分離すると、それぞれの領域用に信号処理手段が必要となるため、回路規模や消費電力が増大してしまう。そこで、信号処理の前段で非線形領域を線形領域の信号に予め換算し直す。この線形化処理によって色分離処理における色補間処理などの異なる画素間の信号の線形性を前提とした処理が、ビット幅を拡大する修正のみで行うことができる。
【００３５】
色空間変換は赤・青・緑といった色信号間のみの線形性が必要であり、異なる画素間の線形性は必要ない。そこで、マトリクス処理やホワイトバランスといった色空間変換を行う前に、色信号間の線形性が保たれるようにダイナミックレンジを圧縮することによって、線形化処理で拡大したビット幅を少なくすることができる。特に、色空間変換では回路規模の大きい乗算を多用するため、ビット幅を削減することによって回路規模や消費電力を大幅に削減することができる。
【００３６】
つまり、ダイナミックレンジが拡大しても、ビット幅が広がる部分は内挿補間手段前後のみで済むため回路規模が削減できる。また、マトリクス手段、ホワイトバランス手段、ガンマ補正などの色分離処理回路を従来のまま使うことができる。このときのダイナミックレンジ圧縮では、各色信号を同じ比率で除算するため色の再現性が保たれる。
【００３７】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００３８】
図１は、１個の固体撮像素子を基に本発明の画像処理装置の構成を説明するためのブロック図である。本図に基づいて本発明の一実施形態について説明する。また、ここでいう画像処理装置とは動画用のビデオカメラや静止画用のディジタルスチルカメラを含むものとする。以下では、固体撮像素子１００が図２に示される色フィルタをもつ場合を一例として本実施形態について述べる。
【００３９】
レンズなどの光学手段を透過した光は、固体撮像素子１００において光電変換される。この固体撮像素子１００は非線形入出力特性を有するものとする。固体撮像素子１００からのアナログ映像出力信号は、Ａ／Ｄ変換手段１０１によってディジタル信号ｒａｗに変換され、Ａ／Ｄ変換手段１０１のディジタル出力信号ｒａｗは、線形変換手段１０２によってディジタル出力信号ｒａｗの非線形特性領域を線形特性に換算した信号ｒａｗｌｉｎｅａｒとなる。
【００４０】
図２に示されるような色フィルタを備えた固体撮像素子１００において一つの色フィルタを透過しない波長域の信号については、隣接する別の色フィルタを備えた画素からの出力信号を用いて色補間手段１０３で算出される。この時、色補間手段１０３の出力の色空間がＲＧＢ空間である場合には、ここでの色補間によって出力される信号は、赤信号ｒ０、緑信号ｇ０、青信号ｂ０であるとする。
【００４１】
また、本実施形態においては、後述するマトリクス手段１０５による色空間変換処理の前に、ダイナミックレンジ圧縮手段１０４を用いて、色補間手段１０３から出力された各々の色信号のビット幅を削減する。これにより、マトリクス手段１０５における色空間変換処理のために要する回路規模を縮小し、それに伴い、消費電力を削減することできる。
【００４２】
ダイナミックレンジ圧縮手段１０４から出力された各色の信号ｒ１、ｇ１、ｂ１は、３行３列のマトリクス手段１０５にて所望の色空間に適するように色補正が行われてｒ２、ｇ２、ｂ２が出力され、さらに、各色信号ｒ２、ｇ２、ｂ２はホワイトバランス手段１０６〜１０８によってホワイトバランスが調節されてｒ３、ｇ３、ｂ３が出力され、ホワイトバランスが調節された色信号ｒ３、ｇ３、ｂ３はガンマ補正手段１０９〜１１１によって表示装置に応じたガンマ補正が行われて、出力機器１１２に色信号ｒ４、ｇ４、ｂ４が出力される。
【００４３】
図３は、固体撮像素子における入射輝度と出力電圧間に有する線形および非線形特性の一例を示した図である。図３に示されるように、例えば、垂直オーバーフロードレイン構造を持つ固体撮像素子では入射輝度と出力電圧間の特性に非線形特性を有している。固体撮像素子が飽和するまでの入射輝度領域では、下記式４に示されるような線形特性を有する。
【００４４】
【数４】
【００４５】
但し、ｘを入射輝度、ｙを出力電圧とする。入射輝度が大きくなり飽和するとと、固体撮像素子は下記の式５に示されるような対数特性を有する。
【００４６】
【数５】
【００４７】
オーバーフロードレイン構造をもつ固体撮像素子の飽和後の対数特性の参考文献として、Ｋａｗａｉ，ｅｔ．ａｌ：”Ｐｈｏｔｏ Ｒｅｓｐｏｎｓｅ Ａｎａｌ＿ｙ＿ｓｉｓ ｉｎ ＣＣＤ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ ＶＯＤ ｓｔｒｕｃｔｕｒｅ ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ，Ｖｏｌ．４２，Ｎｏ．４，Ａｐｒ．１９９５．がある。
【００４８】
図４は、線形変換手段１０２の一構成例を示したブロック図である。入射輝度が対数領域（非線形領域）にあるときの変換式は、上記の式４および式５から得られるもので、下記の式６に示される変換式となる。
【００４９】
【数６】
【００５０】
一方、入射輝度が線形領域にあるときは、線形変換手段１０２では下記の式７に示される変換が行われる。
【００５１】
【数７】
【００５２】
しかし、線形変換手段１０２にて式７に従って変換処理を行う場合は、その計算量は多く、その上、入射輝度が線形領域と非線形領域（対数領域）にある場合についての条件分けもしなければならない。そこで、本発明では、この条件分けを含めて式６と式７を予め計算しておいて、その結果をルックアップテーブル（ＬＵＴ）に記憶させておく。これにより、この変換処理時に要する計算時間を短縮した動画像処理が可能になり、全体として回路規模や消費電力を削減することができる。
【００５３】
図４に、上述したルックアップテーブル（ＬＵＴ）を用いた線形変換手段１０２の概略構成を示す。ルックアップテーブル４００の更新は、ＣＰＵ４０１が入力されるａ、ｂ、ｃ、ｄを基にした式６の演算によって行われるが、固体撮像素子１００における入射輝度と出力電圧間の特性が時間的に変化しない場合には、ＣＰＵ４０１によるルックアップテーブル４００の更新は行う必要がない。この場合においては特にＣＰＵ４０１は設けなくてもよい。
【００５４】
図５は、ダイナミックレンジ圧縮手段１０４の概略構成を示した図である。ダイナミックレンジ圧縮手段１０４に入力された各色信号ｒ０、ｇ０、ｂ０は除算器５０６〜５０８によって下記の式８に示される同じ値ｋで除算されて色信号ｒ１、ｇ１、ｂ１として出力される。
【００５５】
【数８】
【００５６】
ここで留意すべき点は、全ての色信号で除算する値ｋが同じであるため、色の再現性は確保されることである。尚、この値ｋは次のように算出される。先ず、入力された各色信号ｒ０、ｇ０、ｂ０から輝度算出手段５００にて輝度を算出しその結果を輝度信号Ｙとして出力する。次に、輝度信号Ｙをローパスフィルタ５０２に通すことで、周波数帯域が制限された輝度を示す信号Ｙｌｏｗ が出力される。ここでダイナミックレンジを圧縮するために、下記の式９に示されるような視覚モデル式を仮定する。（図７参照）
【００５７】
【数９】
【００５８】
例えば、ダイナミックレンジを１／２５６に圧縮すると仮定すると、ダイナミックレンジ圧縮手段１０４への入力信号のビット幅が１８ｂｉｔ、出力信号のビット幅が１０ｂｉｔの場合、変数ｊは２１０／２１８／３＝２４ ＝１６となり、変数ｋについては上記の式８および式９に基づき下記の式１０のように算出される。
【００５９】
【数１０】
【００６０】
上記の式１０のｘにローパスフィルタ５０２から出力されたＹｌｏｗ を代入することにより変数ｋが算出できる。但し、ここでダイナミックレンジを圧縮するには、換言すると、ダイナミックレンジを広げないようにするためには、変数ｋに一定の下限ｋ１（ｋ１＞１）を設ける必要がある。式１０に従うこのような除算は除算手段５０５で実行される。
【００６１】
また、式１０におけるＸ２／３ 部分については、ローパスフィルタ５０２から出力されるＹｌｏｗ と、当該Ｙｌｏｗ に対応するＸ２／３ の結果をルックアップテーブル５０３として実装することで処理速度を向上させることができる。変数ｊを画像の明るさによって変える場合には、最大値検出手段５０１によって輝度Ｙ信号から求められた当該輝度Ｙのフレーム内における最大値Ｙｍａｘ を用いる。即ち、式９の最大値がＹｍａｘ となるようにｊを算出するルックアップテーブル５０４を設定する。
【００６２】
図７は、マトリクス手段１０５の一構成例を示した図である。マトリクス手段１０５の出力信号を赤信号ｒ２、緑信号ｇ２、青信号ｂ２とすると、この赤信号ｒ２、緑信号ｇ２、青信号ｂ２は、入力信号である赤信号ｒ１、緑信号ｇ１、青信号ｂ１から従来技術で示した式２に従って同様に求めることができる。
【００６３】
但し、マトリクスＭは３行３列の行列で、任意の値の９個の色分離係数または要素、ｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３が含まれているものとする。ここで、マトリクス手段１０５の後段にホワイトバランス手段１０６〜１０８が設けられている場合には、マトリクスＭの対角成分ｍ１１、ｍ２２、ｍ３３はそれぞれ１となり、マトリクスＭは６個の色分離係数または要素をもつことになる。図７では、６個の要素を持つマトリクス手段１０５の構成を示す。７００〜７０５は乗算手段であり、７０６〜７０８は加算手段である。
【００６４】
図８は、ホワイトバランス手段１０６〜１０８の概略構成を示す図である。ホワイトバランス手段１０６〜１０８の出力信号を赤信号ｒ３、緑信号ｇ３、青信号ｂ３とすると、これらの赤信号ｒ３、緑信号ｇ３、青信号ｂ３は、入力信号である赤信号ｒ２、緑信号ｇ２、青信号ｂ２から従来技術と同様に式２で求めることができる。但し、ホワイトバランスの係数をＷＲ（ｗｂｒ、ｗｂｇ、ｗｂｂ）とする。８００〜８０２は式２に従った演算を行う乗算手段である。
【００６５】
図９には、本発明の他の実施形態として複数個（ここでは３個）の固体撮像素子を基に構成される画像処理装置のブロック図示している。尚、ここでいう画像処理装置とは上記の実施形態と同様に、動画用のビデオカメラや静止画用のディジタルカメラを含むものとする。以下では、赤、緑、青の各色信号をそれぞれ一つの固体撮像素子で出力できるように３つの固体撮像素子２００〜２０２を備えた例として述べる。
【００６６】
レンズ等を透過した光はプリズムによって色分解され、色分解された光は固体撮像素子２００〜２０２において光電変換される。この固体撮像素子２００〜２０２は、上記の実施形態と同様に、非線形入出力特性を有するものとする。固体撮像素子２００〜２０２からの各アナログ出力信号は、固体撮像素子２００〜２０２に対応して設けられたＡ／Ｄ変換手段２０３〜２０５によってディジタル信号へ各々変換される。
【００６７】
Ａ／Ｄ変換手段２０３〜２０５からの各ディジタル映像出力信号は、固体撮像素子２００〜２０２、Ａ／Ｄ変換手段２０３〜２０５に対応して設けられた線形変換手段２０６〜２０８によって非線形特性領域を線形特性領域に換算され、更に、線形特性領域に換算された各ディジタル映像出力信号は、ダイナミックレンジ圧縮手段２０９によってビット幅が削減される。
【００６８】
これらの線形変換手段２０６〜２０８やダイナミック圧縮手段２０９は、前述した実施形態において説明した線形変換手段１０２、ダイナミック圧縮手段１０４と同じものである。ダイナミック圧縮手段２０９から出力された各色信号ｒ１、ｇ１、ｂ１は、マトリクス手段２１０によって所望の色空間に適するように色補正される。さらに、マトリクス手段２１０から出力された各色信号ｒ２、ｇ２、ｂ２はホワイトバランス手段２１１〜２１３によってホワイトバランスが調整され、次に、ホワイトバランス手段２１１〜２１３から出力された各色信号ｒ３、ｇ３、ｂ３はガンマ補正手段２１４〜２１６によって表示装置に応じたガンマ補正が行われて、出力機器２１７に出力される。
【００６９】
【発明の効果】
以上の説明より明らかなように、本発明の第１の効果として、画像処理装置のダイナミックレンジを大幅に拡大することができる。
【００７０】
その理由は、固体撮像素子の入力輝度と出力電圧間の特性が線形関係にある輝度領域だけでなく、非線形関係にある輝度領域も活用するためである。例えば、垂直オーバーフロードレイン構造をもつ固体撮像素子では入力輝度と出力電圧間の特性に図４に示されるような非線形領域を有している。このような特性をもつ固体撮像素子では、対数領域の傾きが線形領域に対して小さくなることから入力輝度のダイナミックレンジが広くなる。例えば、式４と式５のａおよびｂが同じオーダーになると仮定する。このとき、式５において、ｘ＝１０００であるするとｌｏｇ１０００＝３であることから線形領域に対して対数領域の傾きはおよそ１／１００以下となる。従って、非線形関係にある輝度領域では線形領域の１００倍以上の入射輝度領域を実現できる。
【００７１】
第２の効果として、上記の線形および非線形関係にある輝度領域に対する処理を分けることがないため、全体として回路規模を削減することができる。
【００７２】
その理由は、非線形領域にある入射輝度に対して一旦線形関係に変換するためである。さらに、線形領域と非線形領域の輝度領域に対してルックアップテーブルを用いて同時に変換するため、双方に対する条件分岐などの処理が不要になるためである。
【００７３】
第３の効果として、画像処理装置自体のダイナミックレンジが拡大しても、内部でビット幅が広がる部分は色補間手段前後のみで済むため回路規模が削減できることである。
【００７４】
その理由は、画像処理装置内においてビット幅は色補間手段前にて拡大されるが、色補間手段後ではその拡大されたビット幅を狭めているからである。
【００７５】
第４の効果として、本発明による画像処理装置では、マトリクス手段、ホワイトバランス手段、ガンマ補正などの色分離処理回路（色補間手段）を従来と同じ手段で使用することができる。
【００７６】
その理由は、ダイナミックレンジ圧縮手段によってビット幅が狭められるため、その後段のマトリクス手段、ホワイトバランス手段、ガンマ補正には影響を及ぼさないためである。
【００７７】
第５の効果として、本発明の画像処理装置では上記の処理に関わらず常に色の再現性が保つことができる。
【００７８】
その理由は、全ての色信号は、ダイナミックレンジ圧縮手段において同率で除算されることから色信号間の線形性が保たれるからである。
【図面の簡単な説明】
【図１】本発明の実施形態における高ダイナミックレンジ画像処理装置の一構成例を示したブロック図である。
【図２】本発明の実施形態におけるカラーフィルタ配列の一構成例を示した図である。
【図３】本発明の実施形態における撮像素子の線形及び非線形特性の一例を示した図である。
【図４】本発明の実施形態における線形変換手段の一構成例を示した図である。
【図５】本発明の実施形態におけるダイナミックレンジ圧縮手段の一構成例を示した図である。
【図６】本発明の実施形態における圧縮率算出の特性の一例を示した図である。
【図７】本発明の実施形態におけるマトリクス手段の一構成例を示した図である。
【図８】本発明の実施形態におけるホワイトバランス手段の一構成例を示した図である。
【図９】本発明の他の実施形態として、本発明の高ダイナミックレンジ画像処理装置を３板式カラーカメラに適用したときの一構成例を示すブロック図である。
【図１０】従来技術における単板式カラーカメラ配列の概略構成を示した図である。
【符号の説明】
１００、９００〜９０２ 撮像素子
１０１、３０３〜３０５ ＡＤ変換器
１０２、９０６〜９０８ 線形変換手段
１０３ 色補間手段
１０４、９０９ ダイナミックレンジ圧縮手段
１０５、９１０ マトリクス手段
１０６、９１１ 赤信号ホワイトバランス手段
１０７、９１２ 緑信号ホワイトバランス手段
１０８、９１３ 青信号ホワイトバランス手段
１０９〜１１１、９１４〜９１６ ガンマ補正手段
１１２、９１７ 外部装置
４００、５０３、５０４ ルックアップテーブル
４０１ ＣＰＵ
５００ 輝度算出手段
５０１ 最大値検出手段
５０２ ローパスフィルタ
５０５〜５０８ 除算回路
７００〜７０５、８００〜８０２ 乗算回路
７０６〜７０８ 加算回路
【発明の属する技術分野】
本発明は、ダイナミックレンジの高い撮像素子からのカラー映像信号を処理し、比較的ダイナミックレンジの狭い表示装置に自然に表示することに考慮した高ダイナミックレンジ画像処理装置および方法に関する。
【０００２】
【従来の技術】
従来のディジタルスチルカメラやビデオカメラでは、固体撮像素子の入射輝度と出力電圧間の特性が線型関係にある輝度領域のみを処理の対象としていた。従って、撮像素子からの信号を処理する色分離処理においても、固体撮像素子の入射輝度と出力電圧間に線型関係が成り立つという前提条件があった。
【０００３】
図１０は、従来技術における固体撮像素子を用いたカラーカメラ色信号処理方式の一例を示すブロック図である。ここでいうカメラとは動画用のビデオカメラや静止画用のディジタルスチルカメラを含むものとする。以下では、固体撮像素子１０００上に図２に示される色フィルタをもつ場合を一例に挙げてカラーカメラ色信号処理方式について具体的に述べる。
【０００４】
固体撮像素子１０００からのアナログ映像出力信号は、ＡＤ変換手段１００１によってディジタル信号へ変換される。一つの色フィルタを透過しない波長域の信号については、隣接する別の色フィルタを備えた画素から出力された信号を用いて色補間手段１００２によって算出される。
【０００５】
この時、色補間手段１００２の出力の色空間がＲＧＢ空間である場合には、ここでの色補間によって出力される信号は、赤信号ｒ１、緑信号ｇ１、青信号ｂ１である。また、各信号はその後３行３列のマトリクス手段１００３によって所望の色空間に適するように色補正がなされる。マトリクス手段の出力信号を赤信号ｒ２、緑信号ｇ２、青信号ｂ２とすると、その入力信号である赤信号ｒ１、緑信号ｇ１、青信号ｂ１から式１を用いて求めることができる。（以下、大文字はマトリクスまたはベクトルを示し、小文字はスカラーを示す）
【０００６】
【数１】
但し、マトリクスＭは３行３列の行列で、任意の値の９個の色分離係数または要素が下記の式２に示されるようにｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３が含まれているものとする。
【０００８】
【数２】
ここで、同図に示されるように、ホワイトバランス手段１００４、１００５、１００６が設けられている場合には、マトリクスの対角成分ｍ１１、ｍ２２、ｍ３３はそれぞれ１となり、マトリクスＭは６個の色分離係数または要素をもつことになる。上記の式２で求められるマトリクス手段の出力信号ｒ２、ｇ２、ｂ２はホワイトバランス手段１００４、１００５、１００６によって式３のように変換される。
【００１０】
【数３】
但し、ホワイトバランス手段１００４〜１００６の出力信号を赤信号ｒ３、緑信号ｇ３、青信号ｂ３、ホワイトバランスの係数をＷＢ（ｗｂｒ，ｗｂｇ，ｗｂｂ）とする。ホワイトバランス手段１００４〜１００６からの出力信号はガンマ補正手段１００７、１００８、１００９によってガンマ補正され、出力機器１０１０に出力される。
【００１２】
【発明が解決しようとする課題】
したがって、上記のような従来技術の画像処理装置では、次のような解決すべきいくつかの問題点がある。例えば、監視カメラなど自然環境に置かれるカメラでは、撮像状況によらず対象物が識別できなければならず、特に逆光では、撮像対象物が黒くつぶれてしまい判別できなくなってしまう場合が多い。その理由は、カメラのオートアイリスが作動すると背景の明るい輝度にあわせてシャッター時間や絞りが調節されて、対象物の輝度が相対的に暗くなってしまうためである。
【００１３】
逆に、オートアイリスが対象物に合わせて作動すると背景が白く飽和してしまう。その理由は、カメラのオートアイリスの検索領域を暗い対象物に合わせると、それに従ってシャッター時間や絞りが調節されて、背景の輝度が相対的に明るくなって固体撮像素子の感度領域を超えてしまうためである。即ち、上記の黒くつぶれる現象や白く飽和してしまう現象は、撮像対象画像のダイナミックレンジに対して、固体撮像素子、又は画像処理装置自体、或いは画像表示手段などのダイナミックレンジが狭いために起こる問題である。従って、このような用途に用いられるカメラとしては、固体撮像素子、又は画像処理装置自体、或いは画像表示手段のダイナミックレンジをより広くすることが要求されている。
【００１４】
ここで、固体撮像素子の入射輝度と出力電圧間の特性が線形関係にある輝度領域だけでなく、垂直オーバーフロードレイン構造をもつ固体撮像素子の飽和特性である非線形関係にある輝度領域も活用することで、ダイナミックレンジを拡大することができる。似たようなものが特開平９−６５２１７号公報に記載された方法があるが、これは非線形入出力感度特性は利用していない。この従来技術では、半導体基板に印加する電圧を時間的に変えることによってフォトダイオードから垂直オーバーフロードレインへ流出する電荷量を制御し、このようにしてフォトダイオードに残った電荷量を調節してダイナミックレンジを拡大している。
【００１５】
従って、本発明の目的は、上記の従来技術に対し垂直オーバーフロードレイン構造によってできるバリア（オーバーフローバリア）を乗り越えて流れる電流の非線形特性を利用することで、画像処理装置自体のダイナミックレンジを大幅に拡大し、その一方でそれに伴う回路規模の増大および消費電力の増加を抑えることのできる高ダイナミック画像処理装置を提供することにある。
【００１６】
【課題を解決するための手段】
かかる目的を達成するために、本発明の請求項１記載の発明は、垂直オーバーフロードレイン構造をもつ少なくとも一つの固体撮像素子を有し、該固体撮像素子の後段にて入力信号間の線形性を前提とした処理を実行し、当該処理後の信号を表示手段に出力する高ダイナミックレンジ画像処理装置において、固体撮像素子における入射輝度と出力電圧間の特性が非線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とする線形変換手段と、線形変換手段からの出力信号を入力として色補間処理を行なう色補間処理手段と、色補間処理手段から出力された各色信号の線形性を保つように各色信号のダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、ダイナミックレンジを圧縮後の各色信号を入力として色補正を行なう色補正処理手段と、を有することを特徴とする。
【００１７】
請求項２記載の発明は、請求項１記載の発明において、線形変換手段は、他の処理として、固体撮像素子における入射輝度と出力電圧間の特性が線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを特徴とする。
【００１８】
請求項３記載の発明は、請求項１または２記載の発明において、線形変換手段は、固体撮像素子からの入力信号から線形特性をもつ信号に変換する際に、当該変換演算方式として、固体撮像素子からの入力信号と当該変換後の出力信号とを対応させて記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００１９】
請求項４記載の発明は、請求項１記載の発明において、ダイナミックレンジ圧縮手段は、色補間処理にて出力された各色信号から輝度を算出し、該算出された輝度に応じて当該各色信号のそれぞれに対し同じ比率で除算することを特徴とする。
【００２０】
請求項５記載の発明は、請求項４記載の発明において、ダイナミックレンジ圧縮手段においては、同じ比率は、各色信号から算出された輝度をローパスフィルタによって周波数帯域を制限した信号として出力され、該出力された信号を基に視覚モデル式に従って算出されることを特徴とする。
【００２１】
請求項６記載の発明は、請求項５記載の発明において、ダイナミックレンジ圧縮手段は、各色信号から算出された輝度の最大値を求める最大値検出部を有し、視覚モデル式を画像の明るさによって変える場合には、最大値検出部にて検出した最大値を視覚モデル式の入力とし、該入力による視覚モデル式の出力の最大値が最大値検出部にて求められた最大値となるように、視覚モデル式を設定することを特徴とする。
【００２２】
請求項７記載の発明は、請求項６記載の発明において、ダイナミックレンジ圧縮手段は、視覚モデル式を設定するために、最大値検出部にて求められる最大値と、当該最大値に対応する視覚モデル式の係数とを予め記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００２３】
請求項８記載の発明は、請求項４から７のいずれかに記載の発明において、高ダイナミックレンジ画像処理装置は、色分離処理においてマトリクス手段を有することを特徴とする。
【００２４】
請求項９記載の発明は、請求項８記載の発明において、高ダイナミックレンジ画像処理装置は、色分離処理においてマトリクス手段の後段にホワイトバランス手段を有することを特徴とする。
【００２５】
請求項１０記載の発明は、垂直オーバーフロードレイン構造をもつ少なくとも一つの固体撮像素子を有し、該固体撮像素子の後段にて入力信号間の線形性を前提とした処理を実行し、当該処理後の信号を表示手段に出力する高ダイナミックレンジ画像処理方法において、固体撮像素子における入射輝度と出力電圧間の特性が非線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とする線形変換工程と、線形変換工程によって処理された信号を入力として色補間処理を行なう色補間処理工程と、色補間処理工程によって処理された信号から、各色信号が線形性を保つように各色信号のダイナミックレンジを圧縮するダイナミックレンジ圧縮工程と、ダイナミックレンジを圧縮後の各色信号を入力として色補正を行なう色補正処理工程と、を有することを特徴とする。
【００２６】
請求項１１記載の発明は、請求項１０記載の発明において、線形変換工程では、更に、固体撮像素子における入射輝度と出力電圧間の特性が線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とすることを特徴とする。
【００２７】
請求項１２記載の発明は、請求項１０または１１記載の発明において、線形変換工程では、固体撮像素子からの入力信号から線形特性をもつ信号に変換する際に、当該変換演算方式として、固体撮像素子からの入力信号と当該変換後の出力信号とを対応させて記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００２８】
請求項１３記載の発明は、請求項１０記載の発明において、ダイナミックレンジ圧縮工程では、色補間処理にて出力された各色信号から輝度を算出し、該算出された輝度に応じて当該各色信号のそれぞれに対し同じ比率で除算することを特徴とする。
【００２９】
請求項１４記載の発明は、請求項１３記載の発明において、ダイナミックレンジ圧縮工程においては、同じ比率は、各色信号から算出された輝度をローパスフィルタによって周波数帯域を制限した信号として出力され、該出力された信号を基に視覚モデル式に従って算出されることを特徴とする。
【００３０】
請求項１５記載の発明は、請求項１４記載の発明において、ダイナミックレンジ圧縮工程では、各色信号から算出された輝度の最大値を求め、視覚モデル式を画像の明るさによって変える場合には、算出した輝度の最大値を視覚モデル式の入力とし、該入力による視覚モデル式の出力の最大値が輝度の最大値となるように、視覚モデル式を設定することを特徴とする。
【００３１】
請求項１６記載の発明は、請求項１５記載の発明において、ダイナミックレンジ圧縮工程では、視覚モデル式を設定するために、輝度の最大値と、当該最大値に対応する視覚モデル式の係数とを予め記憶させたルックアップテーブル方式を採用したことを特徴とする。
【００３２】
請求項１７記載の発明は、請求項１３から１５のいずれかに記載の発明において、高ダイナミックレンジ画像処理方法は、色分離処理においてマトリクス工程を有することを特徴とする。
【００３３】
請求項１８記載の発明は、請求項１７記載の発明において、高ダイナミックレンジ画像処理方法は、色分離処理においてマトリクス工程の後段にホワイトバランス工程を有することを特徴とする。
【００３４】
【発明の実施の形態】
通常、非線形入出力特性をもつ固体撮像素子を用いた画像処理装置において、線形領域と非線形領域の処理を分離すると、それぞれの領域用に信号処理手段が必要となるため、回路規模や消費電力が増大してしまう。そこで、信号処理の前段で非線形領域を線形領域の信号に予め換算し直す。この線形化処理によって色分離処理における色補間処理などの異なる画素間の信号の線形性を前提とした処理が、ビット幅を拡大する修正のみで行うことができる。
【００３５】
色空間変換は赤・青・緑といった色信号間のみの線形性が必要であり、異なる画素間の線形性は必要ない。そこで、マトリクス処理やホワイトバランスといった色空間変換を行う前に、色信号間の線形性が保たれるようにダイナミックレンジを圧縮することによって、線形化処理で拡大したビット幅を少なくすることができる。特に、色空間変換では回路規模の大きい乗算を多用するため、ビット幅を削減することによって回路規模や消費電力を大幅に削減することができる。
【００３６】
つまり、ダイナミックレンジが拡大しても、ビット幅が広がる部分は内挿補間手段前後のみで済むため回路規模が削減できる。また、マトリクス手段、ホワイトバランス手段、ガンマ補正などの色分離処理回路を従来のまま使うことができる。このときのダイナミックレンジ圧縮では、各色信号を同じ比率で除算するため色の再現性が保たれる。
【００３７】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００３８】
図１は、１個の固体撮像素子を基に本発明の画像処理装置の構成を説明するためのブロック図である。本図に基づいて本発明の一実施形態について説明する。また、ここでいう画像処理装置とは動画用のビデオカメラや静止画用のディジタルスチルカメラを含むものとする。以下では、固体撮像素子１００が図２に示される色フィルタをもつ場合を一例として本実施形態について述べる。
【００３９】
レンズなどの光学手段を透過した光は、固体撮像素子１００において光電変換される。この固体撮像素子１００は非線形入出力特性を有するものとする。固体撮像素子１００からのアナログ映像出力信号は、Ａ／Ｄ変換手段１０１によってディジタル信号ｒａｗに変換され、Ａ／Ｄ変換手段１０１のディジタル出力信号ｒａｗは、線形変換手段１０２によってディジタル出力信号ｒａｗの非線形特性領域を線形特性に換算した信号ｒａｗｌｉｎｅａｒとなる。
【００４０】
図２に示されるような色フィルタを備えた固体撮像素子１００において一つの色フィルタを透過しない波長域の信号については、隣接する別の色フィルタを備えた画素からの出力信号を用いて色補間手段１０３で算出される。この時、色補間手段１０３の出力の色空間がＲＧＢ空間である場合には、ここでの色補間によって出力される信号は、赤信号ｒ０、緑信号ｇ０、青信号ｂ０であるとする。
【００４１】
また、本実施形態においては、後述するマトリクス手段１０５による色空間変換処理の前に、ダイナミックレンジ圧縮手段１０４を用いて、色補間手段１０３から出力された各々の色信号のビット幅を削減する。これにより、マトリクス手段１０５における色空間変換処理のために要する回路規模を縮小し、それに伴い、消費電力を削減することできる。
【００４２】
ダイナミックレンジ圧縮手段１０４から出力された各色の信号ｒ１、ｇ１、ｂ１は、３行３列のマトリクス手段１０５にて所望の色空間に適するように色補正が行われてｒ２、ｇ２、ｂ２が出力され、さらに、各色信号ｒ２、ｇ２、ｂ２はホワイトバランス手段１０６〜１０８によってホワイトバランスが調節されてｒ３、ｇ３、ｂ３が出力され、ホワイトバランスが調節された色信号ｒ３、ｇ３、ｂ３はガンマ補正手段１０９〜１１１によって表示装置に応じたガンマ補正が行われて、出力機器１１２に色信号ｒ４、ｇ４、ｂ４が出力される。
【００４３】
図３は、固体撮像素子における入射輝度と出力電圧間に有する線形および非線形特性の一例を示した図である。図３に示されるように、例えば、垂直オーバーフロードレイン構造を持つ固体撮像素子では入射輝度と出力電圧間の特性に非線形特性を有している。固体撮像素子が飽和するまでの入射輝度領域では、下記式４に示されるような線形特性を有する。
【００４４】
【数４】
但し、ｘを入射輝度、ｙを出力電圧とする。入射輝度が大きくなり飽和するとと、固体撮像素子は下記の式５に示されるような対数特性を有する。
【００４６】
【数５】
オーバーフロードレイン構造をもつ固体撮像素子の飽和後の対数特性の参考文献として、Ｋａｗａｉ，ｅｔ．ａｌ：”Ｐｈｏｔｏ Ｒｅｓｐｏｎｓｅ Ａｎａｌ＿ｙ＿ｓｉｓ ｉｎ ＣＣＤ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ ＶＯＤ ｓｔｒｕｃｔｕｒｅ ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ，Ｖｏｌ．４２，Ｎｏ．４，Ａｐｒ．１９９５．がある。
【００４８】
図４は、線形変換手段１０２の一構成例を示したブロック図である。入射輝度が対数領域（非線形領域）にあるときの変換式は、上記の式４および式５から得られるもので、下記の式６に示される変換式となる。
【００４９】
【数６】
一方、入射輝度が線形領域にあるときは、線形変換手段１０２では下記の式７に示される変換が行われる。
【００５１】
【数７】
しかし、線形変換手段１０２にて式７に従って変換処理を行う場合は、その計算量は多く、その上、入射輝度が線形領域と非線形領域（対数領域）にある場合についての条件分けもしなければならない。そこで、本発明では、この条件分けを含めて式６と式７を予め計算しておいて、その結果をルックアップテーブル（ＬＵＴ）に記憶させておく。これにより、この変換処理時に要する計算時間を短縮した動画像処理が可能になり、全体として回路規模や消費電力を削減することができる。
【００５３】
図４に、上述したルックアップテーブル（ＬＵＴ）を用いた線形変換手段１０２の概略構成を示す。ルックアップテーブル４００の更新は、ＣＰＵ４０１が入力されるａ、ｂ、ｃ、ｄを基にした式６の演算によって行われるが、固体撮像素子１００における入射輝度と出力電圧間の特性が時間的に変化しない場合には、ＣＰＵ４０１によるルックアップテーブル４００の更新は行う必要がない。この場合においては特にＣＰＵ４０１は設けなくてもよい。
【００５４】
図５は、ダイナミックレンジ圧縮手段１０４の概略構成を示した図である。ダイナミックレンジ圧縮手段１０４に入力された各色信号ｒ０、ｇ０、ｂ０は除算器５０６〜５０８によって下記の式８に示される同じ値ｋで除算されて色信号ｒ１、ｇ１、ｂ１として出力される。
【００５５】
【数８】
ここで留意すべき点は、全ての色信号で除算する値ｋが同じであるため、色の再現性は確保されることである。尚、この値ｋは次のように算出される。先ず、入力された各色信号ｒ０、ｇ０、ｂ０から輝度算出手段５００にて輝度を算出しその結果を輝度信号Ｙとして出力する。次に、輝度信号Ｙをローパスフィルタ５０２に通すことで、周波数帯域が制限された輝度を示す信号Ｙｌｏｗ が出力される。ここでダイナミックレンジを圧縮するために、下記の式９に示されるような視覚モデル式を仮定する。（図７参照）
【００５７】
【数９】
例えば、ダイナミックレンジを１／２５６に圧縮すると仮定すると、ダイナミックレンジ圧縮手段１０４への入力信号のビット幅が１８ｂｉｔ、出力信号のビット幅が１０ｂｉｔの場合、変数ｊは２１０／２１８／３＝２４ ＝１６となり、変数ｋについては上記の式８および式９に基づき下記の式１０のように算出される。
【００５９】
【数１０】
上記の式１０のｘにローパスフィルタ５０２から出力されたＹｌｏｗ を代入することにより変数ｋが算出できる。但し、ここでダイナミックレンジを圧縮するには、換言すると、ダイナミックレンジを広げないようにするためには、変数ｋに一定の下限ｋ１（ｋ１＞１）を設ける必要がある。式１０に従うこのような除算は除算手段５０５で実行される。
【００６１】
また、式１０におけるＸ２／３ 部分については、ローパスフィルタ５０２から出力されるＹｌｏｗ と、当該Ｙｌｏｗ に対応するＸ２／３ の結果をルックアップテーブル５０３として実装することで処理速度を向上させることができる。変数ｊを画像の明るさによって変える場合には、最大値検出手段５０１によって輝度Ｙ信号から求められた当該輝度Ｙのフレーム内における最大値Ｙｍａｘ を用いる。即ち、式９の最大値がＹｍａｘ となるようにｊを算出するルックアップテーブル５０４を設定する。
【００６２】
図７は、マトリクス手段１０５の一構成例を示した図である。マトリクス手段１０５の出力信号を赤信号ｒ２、緑信号ｇ２、青信号ｂ２とすると、この赤信号ｒ２、緑信号ｇ２、青信号ｂ２は、入力信号である赤信号ｒ１、緑信号ｇ１、青信号ｂ１から従来技術で示した式２に従って同様に求めることができる。
【００６３】
但し、マトリクスＭは３行３列の行列で、任意の値の９個の色分離係数または要素、ｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３が含まれているものとする。ここで、マトリクス手段１０５の後段にホワイトバランス手段１０６〜１０８が設けられている場合には、マトリクスＭの対角成分ｍ１１、ｍ２２、ｍ３３はそれぞれ１となり、マトリクスＭは６個の色分離係数または要素をもつことになる。図７では、６個の要素を持つマトリクス手段１０５の構成を示す。７００〜７０５は乗算手段であり、７０６〜７０８は加算手段である。
【００６４】
図８は、ホワイトバランス手段１０６〜１０８の概略構成を示す図である。ホワイトバランス手段１０６〜１０８の出力信号を赤信号ｒ３、緑信号ｇ３、青信号ｂ３とすると、これらの赤信号ｒ３、緑信号ｇ３、青信号ｂ３は、入力信号である赤信号ｒ２、緑信号ｇ２、青信号ｂ２から従来技術と同様に式２で求めることができる。但し、ホワイトバランスの係数をＷＲ（ｗｂｒ、ｗｂｇ、ｗｂｂ）とする。８００〜８０２は式２に従った演算を行う乗算手段である。
【００６５】
図９には、本発明の他の実施形態として複数個（ここでは３個）の固体撮像素子を基に構成される画像処理装置のブロック図示している。尚、ここでいう画像処理装置とは上記の実施形態と同様に、動画用のビデオカメラや静止画用のディジタルカメラを含むものとする。以下では、赤、緑、青の各色信号をそれぞれ一つの固体撮像素子で出力できるように３つの固体撮像素子２００〜２０２を備えた例として述べる。
【００６６】
レンズ等を透過した光はプリズムによって色分解され、色分解された光は固体撮像素子２００〜２０２において光電変換される。この固体撮像素子２００〜２０２は、上記の実施形態と同様に、非線形入出力特性を有するものとする。固体撮像素子２００〜２０２からの各アナログ出力信号は、固体撮像素子２００〜２０２に対応して設けられたＡ／Ｄ変換手段２０３〜２０５によってディジタル信号へ各々変換される。
【００６７】
Ａ／Ｄ変換手段２０３〜２０５からの各ディジタル映像出力信号は、固体撮像素子２００〜２０２、Ａ／Ｄ変換手段２０３〜２０５に対応して設けられた線形変換手段２０６〜２０８によって非線形特性領域を線形特性領域に換算され、更に、線形特性領域に換算された各ディジタル映像出力信号は、ダイナミックレンジ圧縮手段２０９によってビット幅が削減される。
【００６８】
これらの線形変換手段２０６〜２０８やダイナミック圧縮手段２０９は、前述した実施形態において説明した線形変換手段１０２、ダイナミック圧縮手段１０４と同じものである。ダイナミック圧縮手段２０９から出力された各色信号ｒ１、ｇ１、ｂ１は、マトリクス手段２１０によって所望の色空間に適するように色補正される。さらに、マトリクス手段２１０から出力された各色信号ｒ２、ｇ２、ｂ２はホワイトバランス手段２１１〜２１３によってホワイトバランスが調整され、次に、ホワイトバランス手段２１１〜２１３から出力された各色信号ｒ３、ｇ３、ｂ３はガンマ補正手段２１４〜２１６によって表示装置に応じたガンマ補正が行われて、出力機器２１７に出力される。
【００６９】
【発明の効果】
以上の説明より明らかなように、本発明の第１の効果として、画像処理装置のダイナミックレンジを大幅に拡大することができる。
【００７０】
その理由は、固体撮像素子の入力輝度と出力電圧間の特性が線形関係にある輝度領域だけでなく、非線形関係にある輝度領域も活用するためである。例えば、垂直オーバーフロードレイン構造をもつ固体撮像素子では入力輝度と出力電圧間の特性に図４に示されるような非線形領域を有している。このような特性をもつ固体撮像素子では、対数領域の傾きが線形領域に対して小さくなることから入力輝度のダイナミックレンジが広くなる。例えば、式４と式５のａおよびｂが同じオーダーになると仮定する。このとき、式５において、ｘ＝１０００であるするとｌｏｇ１０００＝３であることから線形領域に対して対数領域の傾きはおよそ１／１００以下となる。従って、非線形関係にある輝度領域では線形領域の１００倍以上の入射輝度領域を実現できる。
【００７１】
第２の効果として、上記の線形および非線形関係にある輝度領域に対する処理を分けることがないため、全体として回路規模を削減することができる。
【００７２】
その理由は、非線形領域にある入射輝度に対して一旦線形関係に変換するためである。さらに、線形領域と非線形領域の輝度領域に対してルックアップテーブルを用いて同時に変換するため、双方に対する条件分岐などの処理が不要になるためである。
【００７３】
第３の効果として、画像処理装置自体のダイナミックレンジが拡大しても、内部でビット幅が広がる部分は色補間手段前後のみで済むため回路規模が削減できることである。
【００７４】
その理由は、画像処理装置内においてビット幅は色補間手段前にて拡大されるが、色補間手段後ではその拡大されたビット幅を狭めているからである。
【００７５】
第４の効果として、本発明による画像処理装置では、マトリクス手段、ホワイトバランス手段、ガンマ補正などの色分離処理回路（色補間手段）を従来と同じ手段で使用することができる。
【００７６】
その理由は、ダイナミックレンジ圧縮手段によってビット幅が狭められるため、その後段のマトリクス手段、ホワイトバランス手段、ガンマ補正には影響を及ぼさないためである。
【００７７】
第５の効果として、本発明の画像処理装置では上記の処理に関わらず常に色の再現性が保つことができる。
【００７８】
その理由は、全ての色信号は、ダイナミックレンジ圧縮手段において同率で除算されることから色信号間の線形性が保たれるからである。
【図面の簡単な説明】
【図１】本発明の実施形態における高ダイナミックレンジ画像処理装置の一構成例を示したブロック図である。
【図２】本発明の実施形態におけるカラーフィルタ配列の一構成例を示した図である。
【図３】本発明の実施形態における撮像素子の線形及び非線形特性の一例を示した図である。
【図４】本発明の実施形態における線形変換手段の一構成例を示した図である。
【図５】本発明の実施形態におけるダイナミックレンジ圧縮手段の一構成例を示した図である。
【図６】本発明の実施形態における圧縮率算出の特性の一例を示した図である。
【図７】本発明の実施形態におけるマトリクス手段の一構成例を示した図である。
【図８】本発明の実施形態におけるホワイトバランス手段の一構成例を示した図である。
【図９】本発明の他の実施形態として、本発明の高ダイナミックレンジ画像処理装置を３板式カラーカメラに適用したときの一構成例を示すブロック図である。
【図１０】従来技術における単板式カラーカメラ配列の概略構成を示した図である。
【符号の説明】
１００、９００〜９０２ 撮像素子
１０１、３０３〜３０５ ＡＤ変換器
１０２、９０６〜９０８ 線形変換手段
１０３ 色補間手段
１０４、９０９ ダイナミックレンジ圧縮手段
１０５、９１０ マトリクス手段
１０６、９１１ 赤信号ホワイトバランス手段
１０７、９１２ 緑信号ホワイトバランス手段
１０８、９１３ 青信号ホワイトバランス手段
１０９〜１１１、９１４〜９１６ ガンマ補正手段
１１２、９１７ 外部装置
４００、５０３、５０４ ルックアップテーブル
４０１ ＣＰＵ
５００ 輝度算出手段
５０１ 最大値検出手段
５０２ ローパスフィルタ
５０５〜５０８ 除算回路
７００〜７０５、８００〜８０２ 乗算回路
７０６〜７０８ 加算回路
Claims (18)
- 垂直オーバーフロードレイン構造をもつ少なくとも一つの固体撮像素子を有し、該固体撮像素子の後段にて入力信号間の線形性を前提とした処理を実行し、当該処理後の信号を表示手段に出力する高ダイナミックレンジ画像処理装置において、
前記固体撮像素子における入射輝度と出力電圧間の特性が非線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とする線形変換手段と、
前記線形変換手段からの出力信号を入力として色補間処理を行なう色補間処理手段と、
前記色補間処理手段から出力された各色信号の線形性を保つように前記各色信号のダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、
前記ダイナミックレンジを圧縮後の各色信号を入力として色補正を行なう色補正処理手段と、
を有することを特徴とする高ダイナミックレンジ画像処理装置。 - 前記線形変換手段は、他の処理として、前記固体撮像素子における入射輝度と出力電圧間の特性が線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを特徴とする請求項１記載の高ダイナミックレンジ画像処理装置。
- 前記線形変換手段は、前記固体撮像素子からの入力信号から線形特性をもつ信号に変換する際に、当該変換演算方式として、前記固体撮像素子からの入力信号と当該変換後の出力信号とを対応させて記憶させたルックアップテーブル方式を採用したことを特徴とする請求項１または２記載の高ダイナミックレンジ画像処置装置。
- 前記ダイナミックレンジ圧縮手段は、前記色補間処理にて出力された各色信号から輝度を算出し、該算出された輝度に応じて当該各色信号のそれぞれに対し同じ比率で除算することを特徴とする請求項１記載の高ダイナミックレンジ画像処理装置。
- 前記ダイナミックレンジ圧縮手段においては、前記同じ比率は、前記各色信号から算出された輝度をローパスフィルタによって周波数帯域を制限した信号として出力され、該出力された信号を基に視覚モデル式に従って算出されることを特徴とする請求項４記載の高ダイナミックレンジ画像処理装置。
- 前記ダイナミックレンジ圧縮手段は、
前記各色信号から算出された輝度の最大値を求める最大値検出部を有し、
前記視覚モデル式を画像の明るさによって変える場合には、前記最大値検出部にて検出した最大値を前記視覚モデル式の入力とし、該入力による前記視覚モデル式の出力の最大値が前記最大値検出部にて求められた最大値となるように、前記視覚モデル式を設定することを特徴とする請求項５記載の高ダイナミックレンジ画像処理装置。 - 前記ダイナミックレンジ圧縮手段は、前記視覚モデル式を設定するために、前記最大値検出部にて求められる最大値と、当該最大値に対応する前記視覚モデル式の係数とを予め記憶させたルックアップテーブル方式を採用したことを特徴とする請求項６記載の高ダイナミックレンジ画像処理装置。
- 前記高ダイナミックレンジ画像処理装置は、前記色分離処理においてマトリクス手段を有することを特徴とする請求項４から７のいずれかに記載の高ダイナミックレンジ画像処理装置。
- 前記高ダイナミックレンジ画像処理装置は、前記色分離処理において前記マトリクス手段の後段にホワイトバランス手段を有することを特徴とする請求項８記載の高ダイナミックレンジ画像処理装置。
- 垂直オーバーフロードレイン構造をもつ少なくとも一つの固体撮像素子を有し、該固体撮像素子の後段にて入力信号間の線形性を前提とした処理を実行し、当該処理後の信号を表示手段に出力する高ダイナミックレンジ画像処理方法において、
前記固体撮像素子における入射輝度と出力電圧間の特性が非線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とする線形変換工程と、
前記線形変換工程によって処理された信号を入力として色補間処理を行なう色補間処理工程と、
前記色補間処理工程によって処理された信号から、各色信号が線形性を保つように前記各色信号のダイナミックレンジを圧縮するダイナミックレンジ圧縮工程と、
前記ダイナミックレンジを圧縮後の各色信号を入力として色補正を行なう色補正処理工程と、
を有することを特徴とする高ダイナミックレンジ画像処理方法。 - 前記線形変換工程では、更に、前記固体撮像素子における入射輝度と出力電圧間の特性が線形関係にある領域に該当する入力信号を、線形特性をもつ信号に変換することを一処理とすることを特徴とする請求項１０記載の高ダイナミックレンジ画像処理方法。
- 前記線形変換工程では、前記固体撮像素子からの入力信号から線形特性をもつ信号に変換する際に、当該変換演算方式として、前記固体撮像素子からの入力信号と当該変換後の出力信号とを対応させて記憶させたルックアップテーブル方式を採用したことを特徴とする請求項１０または１１記載の高ダイナミックレンジ画像処置方法。
- 前記ダイナミックレンジ圧縮工程では、前記色補間処理にて出力された各色信号から輝度を算出し、該算出された輝度に応じて当該各色信号のそれぞれに対し同じ比率で除算することを特徴とする請求項１０記載の高ダイナミックレンジ画像処理方法。
- 前記ダイナミックレンジ圧縮工程においては、前記同じ比率は、前記各色信号から算出された輝度をローパスフィルタによって周波数帯域を制限した信号として出力され、該出力された信号を基に視覚モデル式に従って算出されることを特徴とする請求項１３記載の高ダイナミックレンジ画像処理方法。
- 前記ダイナミックレンジ圧縮工程では、
前記各色信号から算出された輝度の最大値を求め、前記視覚モデル式を画像の明るさによって変える場合には、前記算出した輝度の最大値を前記視覚モデル式の入力とし、該入力による前記視覚モデル式の出力の最大値が前記輝度の最大値となるように、前記視覚モデル式を設定することを特徴とする請求項１４記載の高ダイナミックレンジ画像処理方法。 - 前記ダイナミックレンジ圧縮工程では、前記視覚モデル式を設定するために、前記輝度の最大値と、当該最大値に対応する前記視覚モデル式の係数とを予め記憶させたルックアップテーブル方式を採用したことを特徴とする請求項１５記載の高ダイナミックレンジ画像処理方法。
- 前記高ダイナミックレンジ画像処理方法は、前記色分離処理においてマトリクス工程を有することを特徴とする請求項１３から１５のいずれかに記載の高ダイナミックレンジ画像処理方法。
- 前記高ダイナミックレンジ画像処理方法は、前記色分離処理において前記マトリクス工程の後段にホワイトバランス工程を有することを特徴とする請求項１７記載に高ダイナミックレンジ画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25601299A JP3551857B2 (ja) | 1999-09-09 | 1999-09-09 | 高ダイナミックレンジ画像処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25601299A JP3551857B2 (ja) | 1999-09-09 | 1999-09-09 | 高ダイナミックレンジ画像処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001086402A JP2001086402A (ja) | 2001-03-30 |
| JP3551857B2 true JP3551857B2 (ja) | 2004-08-11 |
Family
ID=17286693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25601299A Expired - Fee Related JP3551857B2 (ja) | 1999-09-09 | 1999-09-09 | 高ダイナミックレンジ画像処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3551857B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060061008A1 (en) | 2004-09-14 | 2006-03-23 | Lee Karner | Mounting assembly for vehicle interior mirror |
| US7443427B2 (en) * | 2002-08-23 | 2008-10-28 | Micron Technology, Inc. | Wide dynamic range linear-and-log active pixel |
| JP2005160027A (ja) * | 2003-11-05 | 2005-06-16 | Konica Minolta Holdings Inc | 撮像装置 |
| JP2006140666A (ja) * | 2004-11-11 | 2006-06-01 | Renesas Technology Corp | 撮像装置の駆動方法 |
| WO2006064629A1 (ja) * | 2004-12-17 | 2006-06-22 | Konica Minolta Holdings, Inc. | 撮像装置及び撮像方法 |
| JP4661788B2 (ja) * | 2004-12-20 | 2011-03-30 | コニカミノルタホールディングス株式会社 | 撮像装置及び撮像方法 |
| JP4678218B2 (ja) * | 2005-03-24 | 2011-04-27 | コニカミノルタホールディングス株式会社 | 撮像装置及び画像処理方法 |
| JP4736939B2 (ja) * | 2005-08-16 | 2011-07-27 | コニカミノルタホールディングス株式会社 | 撮像装置及び画像処理方法 |
| US7791656B2 (en) | 2005-08-16 | 2010-09-07 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
| US8698894B2 (en) | 2006-02-07 | 2014-04-15 | Magna Electronics Inc. | Camera mounted at rear of vehicle |
| JP2007318724A (ja) | 2006-04-25 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 固体撮像装置の駆動方法、及び固体撮像装置 |
| JP2007324998A (ja) * | 2006-06-01 | 2007-12-13 | Konica Minolta Holdings Inc | 撮像装置 |
| JP5282306B2 (ja) * | 2007-11-01 | 2013-09-04 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
| US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
| JP5877693B2 (ja) * | 2011-11-18 | 2016-03-08 | 株式会社キーエンス | 画像処理センサ、画像処理方法及びコンピュータプログラム |
| JP2013223152A (ja) | 2012-04-18 | 2013-10-28 | Clarion Co Ltd | 撮像装置 |
| JP6231284B2 (ja) | 2013-02-21 | 2017-11-15 | クラリオン株式会社 | 撮像装置 |
| WO2017046408A1 (en) * | 2015-09-18 | 2017-03-23 | Thomson Licensing | Determination of a co-located luminance sample of a color component sample, for hdr coding/decoding |
| CN117956312A (zh) * | 2022-10-27 | 2024-04-30 | 格科微电子（上海）有限公司 | 图像传感器的实现方法 |
-
1999
- 1999-09-09 JP JP25601299A patent/JP3551857B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001086402A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3551857B2 (ja) | 高ダイナミックレンジ画像処理装置および方法 | |
| US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
| US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
| US7102669B2 (en) | Digital color image pre-processing | |
| US6999119B1 (en) | Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element | |
| US6201530B1 (en) | Method and system of optimizing a digital imaging processing chain | |
| CN101009851B (zh) | 一种图像处理方法及其装置 | |
| US20070247532A1 (en) | Image processing apparatus | |
| US8086032B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
| WO2011132618A1 (ja) | 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム | |
| US6967660B2 (en) | Image processing apparatus and image processing system | |
| US8115826B2 (en) | Image processing apparatus, imaging apparatus, method and program | |
| US20060017597A1 (en) | Method of signal reconstruction, imaging device and computer program product | |
| US20070285432A1 (en) | Processing of image data | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JPH11146410A (ja) | ビデオカメラ | |
| JP4028395B2 (ja) | デジタルカメラ | |
| US7551204B2 (en) | Imaging apparatus having a color image data measuring function | |
| US20070046787A1 (en) | Chrominance filter for white balance statistics | |
| US20060050181A1 (en) | Method and device for luminance correction | |
| JP2006279389A (ja) | 固体撮像装置およびその信号処理方法 | |
| JP3586238B2 (ja) | 撮像装置 | |
| JP4003037B2 (ja) | ホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラ | |
| JP2005086630A (ja) | 撮像装置 | |
| JP3361957B2 (ja) | 画像のダイナミックレンジを拡張する方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040419 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |