JP4168743B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4168743B2 JP4168743B2 JP2002366576A JP2002366576A JP4168743B2 JP 4168743 B2 JP4168743 B2 JP 4168743B2 JP 2002366576 A JP2002366576 A JP 2002366576A JP 2002366576 A JP2002366576 A JP 2002366576A JP 4168743 B2 JP4168743 B2 JP 4168743B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- flag signal
- horizontal
- reduced image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 71
- 230000009467 reduction Effects 0.000 claims description 38
- 238000003672 processing method Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000011946 reduction process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は撮像装置およびそれを備えたシステムに関し、特に、画像縮小のためのメモリを削減する技術に関する。
【０００２】
【従来の技術】
撮像装置は、単独のカメラを構成することもあれば、携帯電話等の機器に備えられることもあり、マルチメディアを支える技術として発展している。撮像装置には一般にズーム機能が備えられている（例えば特許文献１参照）。
【０００３】
図１５は、従来の典型的な撮像装置の構成例を示している。撮像装置１００は、ＣＣＤ等の光電変換素子およびその駆動回路を含む撮像素子１０２と、撮像素子１０２からの画像信号を処理する撮像処理回路１０４と、撮像処理回路１０４の出力信号を記録するメモリ１０６を有する。メモリ１０６は、撮像素子１０２の画素数の画像信号を記憶可能に構成される。
【０００４】
撮像素子１０２は、被写体の光学像を電気信号に変換し、撮像処理回路１０４に出力する。撮像処理回路１０４は、画像信号に対してホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理を施し、メモリ１０６に出力する。そして、図示されない制御部により、設定された電子ズーム倍率に従ってメモリ１０６からの読出アドレスが制御され、メモリ１０６に記憶された画像信号の一部が読み出され、出力される。これによりズーム処理が実現される。
【０００５】
また、ズーム機能を実現する他の構成例としては、図１３のメモリ１０６を持たない構成も知られている。この場合、メモリを設ける代わりに、撮像素子がズーム機能を備える。すなわち、撮像素子は、ズーム倍率の情報に従って、光電変換素子からの電荷の読出し範囲の一部から電荷を読み出し、画像信号として出力する。
【０００６】
【特許文献１】
特開２００２−７７６９８号公報（第５ページ、図２）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の撮像装置は、上述したように、ズーム倍率に従い撮像素子の読出し範囲を適宜変更する場合はメモリが不要だが、そうでない場合は、メモリを備える必要がある。そして、従来装置は、一旦、撮像画像をメモリに蓄積した後に、ズーム倍率に従って画像の一部を読み出して出力しており、このような処理では、上述のように撮像素子の画素数の画像信号を記憶可能なメモリが必要とされるので、メモリ規模が大きく、さらに、そのようなメモリのための消費電力もかかる。
【０００８】
本発明は上記背景の下になされたものであり、その目的は、メモリ規模の削減が可能な撮像装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像して撮像画像データを生成する撮像手段と、前記撮像画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する縮小手段とを備える。
【００１０】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１１】
また、本発明の撮像装置は、前記水平縮小画像データは前記撮像画像データの画素と前記１クロック遅延データの画素の隣接する画素から生成する。
【００１２】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１３】
また、本発明の撮像装置において、前記垂直縮小画像データは前記水平縮小画像データの画素と前記１ライン遅延データの画素の隣接する画素から生成される前記垂直縮小画像データは前記水平縮小画像データの画素と前記１ライン遅延データの画素の隣接する画素から生成される。
【００１４】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１５】
また、本発明の撮像装置において、前記水平有効フラグ信号は、前記撮像画像データのクロックに対して前記撮像画像データの縮小率の逆数に１度生成され、前記垂直有効フラグ信号は、前記水平縮小画像データの１ライン遅延データに対して前記縮小率の逆数に１ライン毎に生成される。
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１６】
また、本発明の撮像記録システムは、前記水平有効フラグ信号は、前記撮像画像データの１ラインの画素に対して前記縮小率の画素分連続して生成され、前記垂直有効フラグ信号は、前記撮像画像データのラインに対して前記縮小率のライン分連続して生成される。
【００１７】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１８】
また、本発明の撮像表示システムは、上述の撮影装置を備え、前記撮像装置から出力される有効信号に基づいて有効データをメモリに記録することを特徴とする。
【００１９】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
撮像表示システムは、例えばデジタルカメラであり、また例えば、携帯電話等の電子機器である。
【００２０】
また、本発明の画像処理システムは、上述の撮像装置を備え、前記撮像装置から出力される有効信号に基づいて有効データを表示部に表示することを特徴とする。
【００２１】
この構成によれば、上述の撮像装置の態様に関して説明したように、ズーム処理のためのメモリ規模を削減できる。なお、この構成では、元画像は例えば撮像手段により生成される撮像画像であるが、これに限定されない。そして、この態様は撮像装置の画像処理以外の用途にも適用可能である。
【００２２】
また、本発明の画像処理方法は、元画像データをズーム倍率に従い縮小して縮小画像データを生成する画像処理方法であって、前記画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する。
この方法により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００２３】
また、本発明のプログラムは、元画像データをズーム倍率に従い縮小して縮小画像データを生成する画像処理をコンピュータに実行させるプログラムであって、前記画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する。
このプログラムにより、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
図１は、本発明の第１の実施の形態の撮像装置を示している。図示のように、撮像装置１０は、レンズ１２と、ＣＣＤセンサおよびＣＣＤ駆動回路を含む固体撮像素子１２と、固体撮像素子１２から出力される画像信号を処理する信号処理部１６と、信号処理部１６で処理された画像のズーム処理を行うズーム処理部１８と、画像データを出力する出力処理部２０とを有する。ズーム処理部１８は本発明の縮小手段に相当し、縮小処理を行うときにズーム倍率が適用される。
【００２６】
図１の撮像装置１０において、レンズ１２を通った光が固体撮像素子１４で光電変換され、固体撮像素子１４から画像信号が出力される。ここでは、画素ごとに赤色、緑色または青色のいずれかの信号が出力される。固体撮像素子１４から出力された画像信号は、信号処理部１６で処理される。画像信号は、ＣＤＳ（correlated Double Sampling）、ゲインコントロール、ＡＤコンバート、ホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理を施され、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒに変換される。
【００２７】
信号処理部１６から出力された画像信号は、ズーム処理部１８にて、ズーム倍率に従い、指示されたサイズへと縮小されて、縮小画像データが生成される。縮小処理では、後述にて例を挙げて詳細に説明するように、撮像画像データのクロック周波数が維持され、水平方向および垂直方向の同期の間隔が維持され、そして、縮小画像を構成すべき一部のデータが有効である縮小画像データが生成される。クロックは、図示されないクロック発生部により発生されている。縮小画像データと共に、縮小画像データ中の有効データを示す有効フラグ信号（本発明の有効信号に相当）が生成される。
【００２８】
出力処理部２０は、上記の縮小画像データおよび有効信号を、クロックに同期させて出力する。出力処理部２０は、ズーム処理が施された縮小画像データの他に、ズーム処理を受けない撮像サイズの画像データも出力できるが、本実施の形態では、どちらの場合もクロック周波数は同一である。
【００２９】
以下、具体例を参照して、撮像装置１０での処理を説明する。
【００３０】
まず、図２は、固体撮像素子の画素配列を例示しており、図２の例は、水平６４０画素、垂直４８０画素に対応している。図示の６９８×５０４画素の素子があり、遮蔽等により水平信号画素が６５９画素であり、垂直信号画素が４９２画素であり、そして、６４０×４８０画素のデータが出力されることになる。
【００３１】
図３は、図２の固体撮像素子を用いる場合の出力インターフェースを示している。図３（ａ）に示すように、６４０クロックに一ラインの水平方向の画像データ、すなわち６４０画素のデータが対応している。図中では、あるラインの１、２、３・・・番目の画素のデータが、符号Ｙ０、Ｙ１、Ｙ２・・・で示されている。そして、水平同期信号が６４０クロックの画素データと１４０クロックの水平ブランク期間に対応しており、水平有効フラグ信号も同様である。また、図３（ｂ）の垂直同期タイミングの図に示されるように、固体撮像素子から出力される画像データは、４８０ラインのデータで構成されており、図中では、１、２、３・・・番目の各々の水平ラインのデータが符号０、１、２・・・で示されている。そして、垂直同期信号が４８０ラインの画像データと４５ライン相当の垂直ブランク期間に対応しており、垂直有効フラグ信号も同様である。有効フラグ信号出力は、水平有効フラグ信号と垂直有効フラグ信号を合成した信号の出力である。
【００３２】
図４は、ズーム処理部１８での縮小処理を示している。ここでは、説明を分かりやすくするために、水平８画素×垂直６画素の小さい画像を例として用いる。図２に対応する水平６４０画素×垂直４８０画素の画像の処理については後述する。
【００３３】
図４の例では、８×６の画像が、４×３の画像へと縮小される。元の画像（本実施の形態ではズーム処理部１８への入力画像）およびそのサイズを撮像画像および撮像サイズと呼び、縮小後の画像およびそのサイズを縮小画像および縮小サイズと呼ぶ。図４は１倍ズーム処理の例であり、すなわち、撮像画像の全範囲が縮小画像でカバーされる。
【００３４】
図５は、図４の縮小処理で生成される縮小画像データをクロックなどと共に示している。
【００３５】
図５（ａ）において、クロックおよび水平同期信号は、縮小前の撮像画像データに対応する図３に相当するようなクロックおよび水平同期信号と同様でよい。水平縮小画像データは、元の撮像画像データとその１クロック遅延データとから生成される。図示のように、それらデータの平均が有効データ（有効画素）として求められる。したがって、各有効データは、隣接する２つの画素の画素値の平均になる。有効データは１クロックおきに求められ、残りは無効データ（無効画素）とされる。すなわち、水平縮小画像データでは有効データと無効データが交互に現れるように生成される。
【００３６】
また、図示のように、水平縮小画像データと共に水平有効フラグ信号が生成される。水平有効フラグ信号は有効データ（有効画素）を示すためのものであり、そこで、図５の例では、水平有効フラグ信号は１クロックおきにハイになるように生成されている。
【００３７】
次に、図５の（ｂ）の垂直同期タイミングの図について説明すると、垂直同期信号は図３に相当するような撮像画像の垂直同期信号と同様でよい。垂直縮小画像データは、元の撮像画像データとその１ライン遅延データから生成される。ここでも、元の撮像画像データと１ライン遅延データの平均が有効データ（有効ライン）として求められており、したがって、各有効データは上下に隣接する２ラインの平均になる。また、有効データは１ラインおきに求められ、残りは無効データであり、したがって、垂直縮小画像データでも有効データと無効データが交互に現れる。
【００３８】
また、垂直縮小画像データと共に、有効データ（有効ライン）示すための垂直有効フラグ信号が生成される。図５の例では、有効データを示すために、垂直有効フラグ信号は１ラインおきにハイになるように生成される。
【００３９】
以上より、図５の例では、水平方向および垂直方向に一つおきに有効データが存在する。したがって、元の８×６画素の撮像画像が、４×３画素の縮小画像へと縮小されたことになる。また、この例では、縮小画像が撮像画像の全範囲を網羅しているから、１倍のズーム倍率が達成されている。縮小画像データ中の有効データは有効フラグ信号により示される。
【００４０】
次に、図６は、ズーム処理部１８での縮小処理のもう一つの例を示している。ここでも、８×６の画像が、４×３の画像へと縮小される。ただし、この例では、図示のように、縮小画像は、元の撮像画像の４分の１（水平方向に２分の１、垂直方向に２分の１）の範囲を網羅しており、すなわち、ズーム倍率が２倍である。
【００４１】
図７は、図６の縮小処理で生成される縮小画像データを示している。図７（ａ）の処理では、図５（ａ）の処理と同様に、入力される撮像画像データのクロック周波数および水平同期信号を維持した上で、撮像画像データの１クロック遅延データが用いられる。
【００４２】
ただし、図５（ａ）では、有効データが、撮像画像データと１クロック遅延データの平均であるのに対し、図７（ａ）では、有効データが、平均ではなく、１クロック遅延データの値である。また、図５（ａ）では有効データが１クロックおきに求められていたのに対して、図７（ａ）では、有効データが中央の４クロックで連続的に生成されており、これらの点で図７は図５と相違する。これにより、図５では有効データと無効データが交互に現れるのに対して、図７では有効データが連続して現れ、その前後に無効データが現れる。水平有効フラグ信号は、上記の相違に対応して、有効データを示すべく、中央の４クロックでハイになるように生成される。
【００４３】
また、垂直方向に関しては、図７（ｂ）の処理は、図５（ｂ）と同様に、撮像画像データの垂直同期信号を維持した上で、撮像画像データと１ライン遅延データの平均を求めている。
【００４４】
ただし、ここでも図５と図７の処理の相違として、図５（ｂ）の処理は有効データを１ラインおきに求められるのに対して、図７（ｂ）の処理は中央の３ラインで連続的に有効データを求める。これにより、図５では有効データと無効データが交互に現れるのに対して、図７では有効データが連続して現れ、その前後に無効データが現れる。そして、垂直有効フラグ信号は、有効データを示すべく、中央の３ラインでハイになるように生成される。
【００４５】
以上より、図７の例では、中央領域に有効データが存在し、この領域の大きさは、撮影画像に対して水平方向に半分かつ垂直方向に半分である。したがって、図７の例でも、元の８×６画素の撮像画像が、４×３画素の縮小画像へと縮小される。そして、この例では、縮小画像が、撮像画像の水平方向に半分および垂直方向に半分の範囲を網羅しているから、ズーム倍率は２倍である。また、図７の例でも縮小画像データ中の有効データは有効信号により示されている。
【００４６】
上記のようにしてズーム処理された縮小画像データは、クロック信号に同期させて、出力処理部２０から出力される。この縮小サイズの縮小画像データを出力するときのクロック周波数は、撮像サイズの撮像画像データを出力するときのクロック周波数と同一である。また、出力処理部２０では、水平有効フラグ信号と垂直有効フラグ信号が合成されて有効フラグ信号が生成され、この有効フラグ信号が縮小画像データと共に出力される。
【００４７】
上記では、説明を分かりやすくするために、水平８画素×垂直６画素の小さな画像を例示した。通常のより大型の画像を処理するときも、以下に説明するように、原理的には同様の処理が行われる。
【００４８】
図８は、水平６４０画素×垂直４８０画素の撮像サイズから、水平３２０画素×垂直２４０画素の縮小サイズへの変換を行う場合の出力インターフェースを示している。
【００４９】
図８では、図３の撮像画像データに対して１倍ズーム処理が施されている。図８の処理は、図５の１倍ズーム処理と原理的には同様である。すなわち、図３の撮像画像データのクロック周波数を維持し、垂直同期信号および水平同期信号の間隔すなわち同期の間隔で示される同期タイミングを維持した上で、水平縮小画像データおよび垂直縮小画像データにて有効データと無効データが交互に現れるように縮小画像データが生成される。有効データは、１クロックおきにハイになる水平有効フラグ信号と１ラインおきにハイになる垂直有効フラグ信号により示される。そして、図８の最下段に示されるように、水平有効フラグ信号と垂直有効フラグ信号が合成され、合成された有効フラグ信号が出力される。
【００５０】
図９は、図８と同様に、水平６４０画素×垂直４８０画素の撮像サイズから、水平３２０画素×垂直２４０画素の縮小サイズへの変換を行った場合の出力インターフェースを示している。ただし、図８が１倍ズーム処理を示すのに対して、図９は２倍ズーム処理を示している。
【００５１】
図９の処理は、図７の２倍ズーム処理と原理的に同様である。したがって、ここでも撮像画像データのクロック周波数を維持し、また、同期タイミングを維持した上で、水平縮小画像データおよび垂直縮小画像データにて中央の半分領域で有効データが連続して現れるように縮小画像データが生成される。そして、有効データは、中央の半分領域で連続してハイになる水平有効フラグ信号および垂直有効フラグ信号により示される。
【００５２】
そして、図８と同様に、図９でも、水平有効フラグ信号と垂直有効フラグ信号は合成され、合成された有効フラグ信号が出力される。有効データが水平方向および垂直方向の中央で連続しているので、図９の有効フラグ信号は図８と異なるものになっている。
【００５３】
図８および図９の縮小画像データが有効フラグ信号とともに出力されると、これらがホスト側に受け取られる。ホスト側は、有効フラグ信号がハイの期間の画像信号のみを受け取る。したがって、有効データのみが受け取られ、これによりホストは縮小画像を入手できる。
【００５４】
本実施の形態の撮像装置１０は例えば携帯電話（図示せず）に備えられる。携帯電話の制御部が上記のホストとして機能する。また、携帯電話は画像記録メモリおよび画像表示部を備える。撮像装置１０から出力された縮小画像データは携帯電話の制御部に入手され、画像記録メモリに記録され、あるいは、画像表示部に表示される。この例では、携帯電話が撮像記録装置および撮像表示装置に相当する。
【００５５】
以上に本発明の第１の実施の形態を説明した。本実施の形態によれば、縮小手段がズーム倍率に従いつつ縮小処理を行うときに、撮像画像データのクロック周波数を維持した上で、一部のデータが縮小画像を構成する有効データである縮小画像データを生成する。水平同期信号と垂直同期信号が表す同期の間隔に対応する同期タイミングについても、撮像画像データの同期タイミングが好適に維持される。図５および図８の例では有効データと無効データが交互に現れ、図７および図９の例では有効データが中央で連続的に現れる。そして、縮小画像データ中の有効データを示す有効信号が生成される。このようなデータ処理でズーム機能を実現できるので、従来のような固体撮像素子の画素数に対応する大規模メモリを設けずとも、ズーム処理画像が得られ、したがって、ズーム処理のためのメモリ規模を削減できる。
【００５６】
なお、本実施の形態では、縮小率が２分の１であって、ズーム倍率が１倍と２倍の例が示された。しかし、もちろん、本発明がこれらの例に限定されず、他の任意の縮小率およびズーム倍率に本発明が適用されてよく、それに伴い縮小画像データ中の有効データの数および配置が適当に調整される。例えば、縮小率が３分の１であれば、３画素に１つが有効データになり、そして有効データの配置がズーム倍率に応じて設定される。
【００５７】
次に、本発明の第２の実施の形態について説明する。本実施の形態では、出力処理部の構成が変更される。すなわち、第１の実施の形態の出力処理部がズーム処理された縮小画像データをそのまま出力するのに対して、第２の実施の形態の出力処理部は、以下に説明するように、縮小画像データ中で同一の水平ライン上にある有効データをそれ以外の無効データから分けて、有効データを連続的に出力する処理を行うように構成される。
【００５８】
図１０は、第２の実施の形態の出力処理部３０を示している。その他の構成は第１の実施の形態と同様なので、説明を省略する。
【００５９】
図１０に示されるように、出力処理部３０は、縮小画像データの１本の水平ラインの画像を記憶可能なラインメモリ部３２を有し、さらに、ラインメモリ部３２から出力される画像データに適合する有効フラグ信号を生成するために１Ｈ遅延部３４、水平有効信号生成部３６および合成部３８が設けられている。
【００６０】
ラインメモリ部３２には、ズーム処理された縮小画像データが入力される。縮小画像データは、前述のように、一部が有効データである。ラインメモリ部３２は、縮小画像データに加えて、水平有効フラグ信号が入力される。ラインメモリ部３２においては、１本の水平ラインの画像信号が順次入力されるとき、水平有効フラグ信号に基づいて書込制御が行われる。そして、ラインメモリ部３２には、水平有効フラグ信号がハイの画像信号のみが書き込まれる。
【００６１】
ラインメモリ部３２に書き込まれた画像信号は、次のラインのタイミングにて、連続的に読み出される。図示のように書込みクロックと読出しクロックは同じである。したがって、ラインメモリ部３２により有効データが無効データと分けられ、有効データが連続的に出力されることになる。
【００６２】
上記のようにラインメモリ部３２が機能すると、縮小画像データは１ライン分遅延して出力され、また、１ライン中の有効データの位置が変換される。この画像信号出力に適合するために、有効フラグ信号が以下のようにして生成される。
【００６３】
すなわち、１Ｈ遅延部３４は、垂直有効信号を１水平ライン分遅延させる。また、水平有効信号生成部３６は、水平同期信号と、出力データの水平方向のサイズである水平出力サイズの情報に基づき、ラインメモリ部３２に書き込まれた有効データ（有効画像信号）の分だけ、ハイの水平有効フラグ信号を出力する。すなわち、ラインメモリ部３２から１ライン上の有効データが連続的に出力されるときに、それに合わせてハイの水平有効フラグ信号が連続的に出力される。合成部３８は、１Ｈ遅延部３４から出力される垂直有効フラグ信号と水平有効信号生成部３６で生成される水平有効フラグ信号を合成する。これにより、ラインメモリ部３２の出力に適合する有効フラグ信号が生成され、この合成された有効フラグ信号が縮小画像データと共に出力される。
【００６４】
図１１は、図１０の出力処理部３０を有する構成における出力インターフェースを示している。ここでは、図８の１倍ズームの画像が処理されている。図１１に示されるように、出力画像データにおいて、有効データは１本の水平ラインの前半にて連続的に出力され、このことは、水平ラインの前半でハイになっている水平有効フラグ信号により示される。
【００６５】
垂直方向については図８と同様である。すなわち、垂直縮小画像データでは１ラインおきに有効データが現れ、垂直有効フラグ信号も１ラインおきにハイである。また、図１１の最下段に示されるように、水平有効フラグ信号と垂直有効フラグ信号の合成出力は、１ラインおきにハイになり（図１１では偶数ライン）、かつ、各ラインでは有効データの出力期間だけハイになる。
【００６６】
なお、図９の２倍ズーム画像を処理するときも、水平方向の出力は図１１と同じである。ただし、垂直方向について見ると、有効データが１ラインおきではなく連続的に現れるので（図９参照）、この点が異なったものになる。
【００６７】
以上に説明したように、本実施の形態によれば、縮小画像データ中で同一ライン上にある有効データをそれ以外のデータから分けられる。そして、有効データは連続的に出力される。したがって、出力画像を受け取るホスト側は、一ライン上の有効データを連続的に取り込む事が可能となるとともに、有効な画像データが入力されない時間も連続的にとることが可能となる。これにより、撮像装置から画像データを取り込んで表示装置へ転送するような処理において制御が容易になる。
【００６８】
次に、本発明の第３の実施の形態を説明する。第３の実施の形態は、上述の第２の実施の形態の変形例であり、クロック周波数を画像サイズに応じて調整する制御が加わっている。
【００６９】
図１２は、本実施の形態の構成を示しており、図１０の構成に対して分周部４０が追加されている。分周部４０は、元のクロック周波数を整数Ｎ分の１のクロック周波数に変換する機能をもつ。分周部４０は、撮像画像データでの水平方向の一ラインに対応するクロック数、すなわち水平撮像走査クロック数、に対して、縮小画像の水平方向サイズである画素数が整数Ｎ分の１以下の場合、クロック周波数をＮ分の１にする。周波数がＮ分の１のクロックは、図１２に示されるように、ラインメモリ部３２の読出しクロックとして用いられる。
【００７０】
図１３の出力タイミングチャートを参照して、本実施の形態の出力処理を説明する。図１３の例では、ズーム処理を通じて水平方向の有効な画素数が３５２になっている。すなわち、縮小後の出力画像サイズは水平方向に３５２画素であり、これは、元の水平撮像走査クロック数７８０（＝６４０＋１４０）に対して２分の１以下である。そこで、分周部４０は、クロック周波数を２分の１にし、水平クロック数を３９０にする。ブランキング期間は３８（＝３９０−３５２）に設定され、その結果、図１３に示される出力が行われる。
【００７１】
なお、有効フラグ信号も、上記のクロック周波数の変更に合わせて調整される。すなわち、水平有効フラグ信号は、図１３に示すように、２分の１のクロック周波数上にて、有効データが続く３５２クロックの期間でハイになる。その結果、水平有効フラグ信号は、水平ブランキング期間を除く全期間でハイになる。このような水平有効フラグ信号が、前述の垂直有効フラグ信号と合成されて、出力される。
【００７２】
図１４は、本実施の形態の出力処理のもう一つの例を示している。図１４では、ズーム処理により水平方向の有効画素数が３２０になっており、すなわち、縮小画像の水平方向サイズが３２０である。したがって、この例でも水平方向サイズが水平撮像走査クロック数７８０の２分の１以下であり、その結果、図１３と同一にクロック周波数およびクロック数が設定される。有効画素数が３２０なのでブランキング期間は７０クロック（＝３９０−３２０）に設定される。また、水平有効フラグ信号は、有効データが続く３２０クロックの期間でハイになる。
【００７３】
以上に説明したように、本発明の第３の実施の形態によれば、縮小画像のサイズに応じてクロック周波数を低減するので、低い周波数のクロックでの転送が可能になる。縮小時の画像データ中で有効データが一部なので、クロック周波数を下げても、有用な画像を得るための有効データは十分に出力される。そして、クロック周波数を低くしてのインタフェースが可能となるので、画像を取り込むホスト側の取込み能力が低くて済むという利点が得られる。
【００７４】
また、上記第３の実施の形態では、撮像画像データでの水平方向のラインの走査に対応するクロック数に対する縮小画像の水平方向画素数が整数Ｎ分の１以下の場合に、Ｎ分の１に調整された出力クロック周波数にて縮小画像データを出力する。この構成により、上述したように低い周波数のクロックでの転送が可能になる。
【００７５】
以上に本発明の第１〜第３の実施の形態について説明したが、上述の実施の形態を本発明の範囲内で当業者が変形可能なことはもちろんである。
【００７６】
【発明の効果】
以上に説明したように、本発明は、縮小手段が縮小処理と共にズーム処理を行うように構成し、このときに撮像画像データのクロック周波数維持して、縮小画像データの一部のデータが縮小画像を構成する有効データであるように縮小画像データを生成するので、ズーム処理のためのメモリを削減できるというすぐれた効果を有する撮像装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における撮像装置の構成図
【図２】本発明の第１の実施の形態における撮像素子の説明図
【図３】本発明の第１の実施の形態における撮像素子の出力インタフェースの説明図
【図４】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした１倍ズーム処理の説明図
【図５】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした１倍ズーム処理の説明図
【図６】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした２倍ズーム処理の説明図
【図７】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした２倍ズーム処理の説明図
【図８】本発明の第１の実施の形態における水平６４０画素×垂直４８０画素の画像を対象とした１倍ズームの出力インタフェースの説明図
【図９】本発明の第１の実施の形態における水平６４０画素×垂直４８０画素の画像を対象とした２倍ズームの出力インタフェースの説明図
【図１０】本発明の第２の実施の形態における撮像装置の出力処理部の構成図
【図１１】本発明の第２の実施の形態における出力インタフェースの説明図
【図１２】本発明の第３の実施の形態における撮像装置の出力処理部の構成図
【図１３】本発明の第３の実施の形態における出力インタフェースの説明図
【図１４】本発明の第３の実施の形態における出力インタフェースの説明図
【図１５】従来の撮像装置の構成図
【符号の説明】
１０ 撮像装置
１２ レンズ
１４ 固体撮像素子
１６ 信号処理部
１８ ズーム処理部
２０ 出力処理部
【発明の属する技術分野】
本発明は撮像装置およびそれを備えたシステムに関し、特に、画像縮小のためのメモリを削減する技術に関する。
【０００２】
【従来の技術】
撮像装置は、単独のカメラを構成することもあれば、携帯電話等の機器に備えられることもあり、マルチメディアを支える技術として発展している。撮像装置には一般にズーム機能が備えられている（例えば特許文献１参照）。
【０００３】
図１５は、従来の典型的な撮像装置の構成例を示している。撮像装置１００は、ＣＣＤ等の光電変換素子およびその駆動回路を含む撮像素子１０２と、撮像素子１０２からの画像信号を処理する撮像処理回路１０４と、撮像処理回路１０４の出力信号を記録するメモリ１０６を有する。メモリ１０６は、撮像素子１０２の画素数の画像信号を記憶可能に構成される。
【０００４】
撮像素子１０２は、被写体の光学像を電気信号に変換し、撮像処理回路１０４に出力する。撮像処理回路１０４は、画像信号に対してホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理を施し、メモリ１０６に出力する。そして、図示されない制御部により、設定された電子ズーム倍率に従ってメモリ１０６からの読出アドレスが制御され、メモリ１０６に記憶された画像信号の一部が読み出され、出力される。これによりズーム処理が実現される。
【０００５】
また、ズーム機能を実現する他の構成例としては、図１３のメモリ１０６を持たない構成も知られている。この場合、メモリを設ける代わりに、撮像素子がズーム機能を備える。すなわち、撮像素子は、ズーム倍率の情報に従って、光電変換素子からの電荷の読出し範囲の一部から電荷を読み出し、画像信号として出力する。
【０００６】
【特許文献１】
特開２００２−７７６９８号公報（第５ページ、図２）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の撮像装置は、上述したように、ズーム倍率に従い撮像素子の読出し範囲を適宜変更する場合はメモリが不要だが、そうでない場合は、メモリを備える必要がある。そして、従来装置は、一旦、撮像画像をメモリに蓄積した後に、ズーム倍率に従って画像の一部を読み出して出力しており、このような処理では、上述のように撮像素子の画素数の画像信号を記憶可能なメモリが必要とされるので、メモリ規模が大きく、さらに、そのようなメモリのための消費電力もかかる。
【０００８】
本発明は上記背景の下になされたものであり、その目的は、メモリ規模の削減が可能な撮像装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像して撮像画像データを生成する撮像手段と、前記撮像画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する縮小手段とを備える。
【００１０】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１１】
また、本発明の撮像装置は、前記水平縮小画像データは前記撮像画像データの画素と前記１クロック遅延データの画素の隣接する画素から生成する。
【００１２】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１３】
また、本発明の撮像装置において、前記垂直縮小画像データは前記水平縮小画像データの画素と前記１ライン遅延データの画素の隣接する画素から生成される前記垂直縮小画像データは前記水平縮小画像データの画素と前記１ライン遅延データの画素の隣接する画素から生成される。
【００１４】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１５】
また、本発明の撮像装置において、前記水平有効フラグ信号は、前記撮像画像データのクロックに対して前記撮像画像データの縮小率の逆数に１度生成され、前記垂直有効フラグ信号は、前記水平縮小画像データの１ライン遅延データに対して前記縮小率の逆数に１ライン毎に生成される。
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１６】
また、本発明の撮像記録システムは、前記水平有効フラグ信号は、前記撮像画像データの１ラインの画素に対して前記縮小率の画素分連続して生成され、前記垂直有効フラグ信号は、前記撮像画像データのラインに対して前記縮小率のライン分連続して生成される。
【００１７】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００１８】
また、本発明の撮像表示システムは、上述の撮影装置を備え、前記撮像装置から出力される有効信号に基づいて有効データをメモリに記録することを特徴とする。
【００１９】
この構成により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
撮像表示システムは、例えばデジタルカメラであり、また例えば、携帯電話等の電子機器である。
【００２０】
また、本発明の画像処理システムは、上述の撮像装置を備え、前記撮像装置から出力される有効信号に基づいて有効データを表示部に表示することを特徴とする。
【００２１】
この構成によれば、上述の撮像装置の態様に関して説明したように、ズーム処理のためのメモリ規模を削減できる。なお、この構成では、元画像は例えば撮像手段により生成される撮像画像であるが、これに限定されない。そして、この態様は撮像装置の画像処理以外の用途にも適用可能である。
【００２２】
また、本発明の画像処理方法は、元画像データをズーム倍率に従い縮小して縮小画像データを生成する画像処理方法であって、前記画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する。
この方法により、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００２３】
また、本発明のプログラムは、元画像データをズーム倍率に従い縮小して縮小画像データを生成する画像処理をコンピュータに実行させるプログラムであって、前記画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する。
このプログラムにより、縮小手段が、縮小処理とともにズーム処理を行う。縮小手段は、縮小画像データ中の一部のデータが縮小画像を構成する有効データであるような縮小画像データを、有効データを示す有効信号と共に生成する。このようなデータ処理を行う手段を備えることによってズームが実現されるので、撮像素子の画素数の画像信号を記憶するような大規模なメモリを用いずともズーム処理が可能であり、メモリ規模を削減できる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
図１は、本発明の第１の実施の形態の撮像装置を示している。図示のように、撮像装置１０は、レンズ１２と、ＣＣＤセンサおよびＣＣＤ駆動回路を含む固体撮像素子１２と、固体撮像素子１２から出力される画像信号を処理する信号処理部１６と、信号処理部１６で処理された画像のズーム処理を行うズーム処理部１８と、画像データを出力する出力処理部２０とを有する。ズーム処理部１８は本発明の縮小手段に相当し、縮小処理を行うときにズーム倍率が適用される。
【００２６】
図１の撮像装置１０において、レンズ１２を通った光が固体撮像素子１４で光電変換され、固体撮像素子１４から画像信号が出力される。ここでは、画素ごとに赤色、緑色または青色のいずれかの信号が出力される。固体撮像素子１４から出力された画像信号は、信号処理部１６で処理される。画像信号は、ＣＤＳ（correlated Double Sampling）、ゲインコントロール、ＡＤコンバート、ホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理を施され、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒに変換される。
【００２７】
信号処理部１６から出力された画像信号は、ズーム処理部１８にて、ズーム倍率に従い、指示されたサイズへと縮小されて、縮小画像データが生成される。縮小処理では、後述にて例を挙げて詳細に説明するように、撮像画像データのクロック周波数が維持され、水平方向および垂直方向の同期の間隔が維持され、そして、縮小画像を構成すべき一部のデータが有効である縮小画像データが生成される。クロックは、図示されないクロック発生部により発生されている。縮小画像データと共に、縮小画像データ中の有効データを示す有効フラグ信号（本発明の有効信号に相当）が生成される。
【００２８】
出力処理部２０は、上記の縮小画像データおよび有効信号を、クロックに同期させて出力する。出力処理部２０は、ズーム処理が施された縮小画像データの他に、ズーム処理を受けない撮像サイズの画像データも出力できるが、本実施の形態では、どちらの場合もクロック周波数は同一である。
【００２９】
以下、具体例を参照して、撮像装置１０での処理を説明する。
【００３０】
まず、図２は、固体撮像素子の画素配列を例示しており、図２の例は、水平６４０画素、垂直４８０画素に対応している。図示の６９８×５０４画素の素子があり、遮蔽等により水平信号画素が６５９画素であり、垂直信号画素が４９２画素であり、そして、６４０×４８０画素のデータが出力されることになる。
【００３１】
図３は、図２の固体撮像素子を用いる場合の出力インターフェースを示している。図３（ａ）に示すように、６４０クロックに一ラインの水平方向の画像データ、すなわち６４０画素のデータが対応している。図中では、あるラインの１、２、３・・・番目の画素のデータが、符号Ｙ０、Ｙ１、Ｙ２・・・で示されている。そして、水平同期信号が６４０クロックの画素データと１４０クロックの水平ブランク期間に対応しており、水平有効フラグ信号も同様である。また、図３（ｂ）の垂直同期タイミングの図に示されるように、固体撮像素子から出力される画像データは、４８０ラインのデータで構成されており、図中では、１、２、３・・・番目の各々の水平ラインのデータが符号０、１、２・・・で示されている。そして、垂直同期信号が４８０ラインの画像データと４５ライン相当の垂直ブランク期間に対応しており、垂直有効フラグ信号も同様である。有効フラグ信号出力は、水平有効フラグ信号と垂直有効フラグ信号を合成した信号の出力である。
【００３２】
図４は、ズーム処理部１８での縮小処理を示している。ここでは、説明を分かりやすくするために、水平８画素×垂直６画素の小さい画像を例として用いる。図２に対応する水平６４０画素×垂直４８０画素の画像の処理については後述する。
【００３３】
図４の例では、８×６の画像が、４×３の画像へと縮小される。元の画像（本実施の形態ではズーム処理部１８への入力画像）およびそのサイズを撮像画像および撮像サイズと呼び、縮小後の画像およびそのサイズを縮小画像および縮小サイズと呼ぶ。図４は１倍ズーム処理の例であり、すなわち、撮像画像の全範囲が縮小画像でカバーされる。
【００３４】
図５は、図４の縮小処理で生成される縮小画像データをクロックなどと共に示している。
【００３５】
図５（ａ）において、クロックおよび水平同期信号は、縮小前の撮像画像データに対応する図３に相当するようなクロックおよび水平同期信号と同様でよい。水平縮小画像データは、元の撮像画像データとその１クロック遅延データとから生成される。図示のように、それらデータの平均が有効データ（有効画素）として求められる。したがって、各有効データは、隣接する２つの画素の画素値の平均になる。有効データは１クロックおきに求められ、残りは無効データ（無効画素）とされる。すなわち、水平縮小画像データでは有効データと無効データが交互に現れるように生成される。
【００３６】
また、図示のように、水平縮小画像データと共に水平有効フラグ信号が生成される。水平有効フラグ信号は有効データ（有効画素）を示すためのものであり、そこで、図５の例では、水平有効フラグ信号は１クロックおきにハイになるように生成されている。
【００３７】
次に、図５の（ｂ）の垂直同期タイミングの図について説明すると、垂直同期信号は図３に相当するような撮像画像の垂直同期信号と同様でよい。垂直縮小画像データは、元の撮像画像データとその１ライン遅延データから生成される。ここでも、元の撮像画像データと１ライン遅延データの平均が有効データ（有効ライン）として求められており、したがって、各有効データは上下に隣接する２ラインの平均になる。また、有効データは１ラインおきに求められ、残りは無効データであり、したがって、垂直縮小画像データでも有効データと無効データが交互に現れる。
【００３８】
また、垂直縮小画像データと共に、有効データ（有効ライン）示すための垂直有効フラグ信号が生成される。図５の例では、有効データを示すために、垂直有効フラグ信号は１ラインおきにハイになるように生成される。
【００３９】
以上より、図５の例では、水平方向および垂直方向に一つおきに有効データが存在する。したがって、元の８×６画素の撮像画像が、４×３画素の縮小画像へと縮小されたことになる。また、この例では、縮小画像が撮像画像の全範囲を網羅しているから、１倍のズーム倍率が達成されている。縮小画像データ中の有効データは有効フラグ信号により示される。
【００４０】
次に、図６は、ズーム処理部１８での縮小処理のもう一つの例を示している。ここでも、８×６の画像が、４×３の画像へと縮小される。ただし、この例では、図示のように、縮小画像は、元の撮像画像の４分の１（水平方向に２分の１、垂直方向に２分の１）の範囲を網羅しており、すなわち、ズーム倍率が２倍である。
【００４１】
図７は、図６の縮小処理で生成される縮小画像データを示している。図７（ａ）の処理では、図５（ａ）の処理と同様に、入力される撮像画像データのクロック周波数および水平同期信号を維持した上で、撮像画像データの１クロック遅延データが用いられる。
【００４２】
ただし、図５（ａ）では、有効データが、撮像画像データと１クロック遅延データの平均であるのに対し、図７（ａ）では、有効データが、平均ではなく、１クロック遅延データの値である。また、図５（ａ）では有効データが１クロックおきに求められていたのに対して、図７（ａ）では、有効データが中央の４クロックで連続的に生成されており、これらの点で図７は図５と相違する。これにより、図５では有効データと無効データが交互に現れるのに対して、図７では有効データが連続して現れ、その前後に無効データが現れる。水平有効フラグ信号は、上記の相違に対応して、有効データを示すべく、中央の４クロックでハイになるように生成される。
【００４３】
また、垂直方向に関しては、図７（ｂ）の処理は、図５（ｂ）と同様に、撮像画像データの垂直同期信号を維持した上で、撮像画像データと１ライン遅延データの平均を求めている。
【００４４】
ただし、ここでも図５と図７の処理の相違として、図５（ｂ）の処理は有効データを１ラインおきに求められるのに対して、図７（ｂ）の処理は中央の３ラインで連続的に有効データを求める。これにより、図５では有効データと無効データが交互に現れるのに対して、図７では有効データが連続して現れ、その前後に無効データが現れる。そして、垂直有効フラグ信号は、有効データを示すべく、中央の３ラインでハイになるように生成される。
【００４５】
以上より、図７の例では、中央領域に有効データが存在し、この領域の大きさは、撮影画像に対して水平方向に半分かつ垂直方向に半分である。したがって、図７の例でも、元の８×６画素の撮像画像が、４×３画素の縮小画像へと縮小される。そして、この例では、縮小画像が、撮像画像の水平方向に半分および垂直方向に半分の範囲を網羅しているから、ズーム倍率は２倍である。また、図７の例でも縮小画像データ中の有効データは有効信号により示されている。
【００４６】
上記のようにしてズーム処理された縮小画像データは、クロック信号に同期させて、出力処理部２０から出力される。この縮小サイズの縮小画像データを出力するときのクロック周波数は、撮像サイズの撮像画像データを出力するときのクロック周波数と同一である。また、出力処理部２０では、水平有効フラグ信号と垂直有効フラグ信号が合成されて有効フラグ信号が生成され、この有効フラグ信号が縮小画像データと共に出力される。
【００４７】
上記では、説明を分かりやすくするために、水平８画素×垂直６画素の小さな画像を例示した。通常のより大型の画像を処理するときも、以下に説明するように、原理的には同様の処理が行われる。
【００４８】
図８は、水平６４０画素×垂直４８０画素の撮像サイズから、水平３２０画素×垂直２４０画素の縮小サイズへの変換を行う場合の出力インターフェースを示している。
【００４９】
図８では、図３の撮像画像データに対して１倍ズーム処理が施されている。図８の処理は、図５の１倍ズーム処理と原理的には同様である。すなわち、図３の撮像画像データのクロック周波数を維持し、垂直同期信号および水平同期信号の間隔すなわち同期の間隔で示される同期タイミングを維持した上で、水平縮小画像データおよび垂直縮小画像データにて有効データと無効データが交互に現れるように縮小画像データが生成される。有効データは、１クロックおきにハイになる水平有効フラグ信号と１ラインおきにハイになる垂直有効フラグ信号により示される。そして、図８の最下段に示されるように、水平有効フラグ信号と垂直有効フラグ信号が合成され、合成された有効フラグ信号が出力される。
【００５０】
図９は、図８と同様に、水平６４０画素×垂直４８０画素の撮像サイズから、水平３２０画素×垂直２４０画素の縮小サイズへの変換を行った場合の出力インターフェースを示している。ただし、図８が１倍ズーム処理を示すのに対して、図９は２倍ズーム処理を示している。
【００５１】
図９の処理は、図７の２倍ズーム処理と原理的に同様である。したがって、ここでも撮像画像データのクロック周波数を維持し、また、同期タイミングを維持した上で、水平縮小画像データおよび垂直縮小画像データにて中央の半分領域で有効データが連続して現れるように縮小画像データが生成される。そして、有効データは、中央の半分領域で連続してハイになる水平有効フラグ信号および垂直有効フラグ信号により示される。
【００５２】
そして、図８と同様に、図９でも、水平有効フラグ信号と垂直有効フラグ信号は合成され、合成された有効フラグ信号が出力される。有効データが水平方向および垂直方向の中央で連続しているので、図９の有効フラグ信号は図８と異なるものになっている。
【００５３】
図８および図９の縮小画像データが有効フラグ信号とともに出力されると、これらがホスト側に受け取られる。ホスト側は、有効フラグ信号がハイの期間の画像信号のみを受け取る。したがって、有効データのみが受け取られ、これによりホストは縮小画像を入手できる。
【００５４】
本実施の形態の撮像装置１０は例えば携帯電話（図示せず）に備えられる。携帯電話の制御部が上記のホストとして機能する。また、携帯電話は画像記録メモリおよび画像表示部を備える。撮像装置１０から出力された縮小画像データは携帯電話の制御部に入手され、画像記録メモリに記録され、あるいは、画像表示部に表示される。この例では、携帯電話が撮像記録装置および撮像表示装置に相当する。
【００５５】
以上に本発明の第１の実施の形態を説明した。本実施の形態によれば、縮小手段がズーム倍率に従いつつ縮小処理を行うときに、撮像画像データのクロック周波数を維持した上で、一部のデータが縮小画像を構成する有効データである縮小画像データを生成する。水平同期信号と垂直同期信号が表す同期の間隔に対応する同期タイミングについても、撮像画像データの同期タイミングが好適に維持される。図５および図８の例では有効データと無効データが交互に現れ、図７および図９の例では有効データが中央で連続的に現れる。そして、縮小画像データ中の有効データを示す有効信号が生成される。このようなデータ処理でズーム機能を実現できるので、従来のような固体撮像素子の画素数に対応する大規模メモリを設けずとも、ズーム処理画像が得られ、したがって、ズーム処理のためのメモリ規模を削減できる。
【００５６】
なお、本実施の形態では、縮小率が２分の１であって、ズーム倍率が１倍と２倍の例が示された。しかし、もちろん、本発明がこれらの例に限定されず、他の任意の縮小率およびズーム倍率に本発明が適用されてよく、それに伴い縮小画像データ中の有効データの数および配置が適当に調整される。例えば、縮小率が３分の１であれば、３画素に１つが有効データになり、そして有効データの配置がズーム倍率に応じて設定される。
【００５７】
次に、本発明の第２の実施の形態について説明する。本実施の形態では、出力処理部の構成が変更される。すなわち、第１の実施の形態の出力処理部がズーム処理された縮小画像データをそのまま出力するのに対して、第２の実施の形態の出力処理部は、以下に説明するように、縮小画像データ中で同一の水平ライン上にある有効データをそれ以外の無効データから分けて、有効データを連続的に出力する処理を行うように構成される。
【００５８】
図１０は、第２の実施の形態の出力処理部３０を示している。その他の構成は第１の実施の形態と同様なので、説明を省略する。
【００５９】
図１０に示されるように、出力処理部３０は、縮小画像データの１本の水平ラインの画像を記憶可能なラインメモリ部３２を有し、さらに、ラインメモリ部３２から出力される画像データに適合する有効フラグ信号を生成するために１Ｈ遅延部３４、水平有効信号生成部３６および合成部３８が設けられている。
【００６０】
ラインメモリ部３２には、ズーム処理された縮小画像データが入力される。縮小画像データは、前述のように、一部が有効データである。ラインメモリ部３２は、縮小画像データに加えて、水平有効フラグ信号が入力される。ラインメモリ部３２においては、１本の水平ラインの画像信号が順次入力されるとき、水平有効フラグ信号に基づいて書込制御が行われる。そして、ラインメモリ部３２には、水平有効フラグ信号がハイの画像信号のみが書き込まれる。
【００６１】
ラインメモリ部３２に書き込まれた画像信号は、次のラインのタイミングにて、連続的に読み出される。図示のように書込みクロックと読出しクロックは同じである。したがって、ラインメモリ部３２により有効データが無効データと分けられ、有効データが連続的に出力されることになる。
【００６２】
上記のようにラインメモリ部３２が機能すると、縮小画像データは１ライン分遅延して出力され、また、１ライン中の有効データの位置が変換される。この画像信号出力に適合するために、有効フラグ信号が以下のようにして生成される。
【００６３】
すなわち、１Ｈ遅延部３４は、垂直有効信号を１水平ライン分遅延させる。また、水平有効信号生成部３６は、水平同期信号と、出力データの水平方向のサイズである水平出力サイズの情報に基づき、ラインメモリ部３２に書き込まれた有効データ（有効画像信号）の分だけ、ハイの水平有効フラグ信号を出力する。すなわち、ラインメモリ部３２から１ライン上の有効データが連続的に出力されるときに、それに合わせてハイの水平有効フラグ信号が連続的に出力される。合成部３８は、１Ｈ遅延部３４から出力される垂直有効フラグ信号と水平有効信号生成部３６で生成される水平有効フラグ信号を合成する。これにより、ラインメモリ部３２の出力に適合する有効フラグ信号が生成され、この合成された有効フラグ信号が縮小画像データと共に出力される。
【００６４】
図１１は、図１０の出力処理部３０を有する構成における出力インターフェースを示している。ここでは、図８の１倍ズームの画像が処理されている。図１１に示されるように、出力画像データにおいて、有効データは１本の水平ラインの前半にて連続的に出力され、このことは、水平ラインの前半でハイになっている水平有効フラグ信号により示される。
【００６５】
垂直方向については図８と同様である。すなわち、垂直縮小画像データでは１ラインおきに有効データが現れ、垂直有効フラグ信号も１ラインおきにハイである。また、図１１の最下段に示されるように、水平有効フラグ信号と垂直有効フラグ信号の合成出力は、１ラインおきにハイになり（図１１では偶数ライン）、かつ、各ラインでは有効データの出力期間だけハイになる。
【００６６】
なお、図９の２倍ズーム画像を処理するときも、水平方向の出力は図１１と同じである。ただし、垂直方向について見ると、有効データが１ラインおきではなく連続的に現れるので（図９参照）、この点が異なったものになる。
【００６７】
以上に説明したように、本実施の形態によれば、縮小画像データ中で同一ライン上にある有効データをそれ以外のデータから分けられる。そして、有効データは連続的に出力される。したがって、出力画像を受け取るホスト側は、一ライン上の有効データを連続的に取り込む事が可能となるとともに、有効な画像データが入力されない時間も連続的にとることが可能となる。これにより、撮像装置から画像データを取り込んで表示装置へ転送するような処理において制御が容易になる。
【００６８】
次に、本発明の第３の実施の形態を説明する。第３の実施の形態は、上述の第２の実施の形態の変形例であり、クロック周波数を画像サイズに応じて調整する制御が加わっている。
【００６９】
図１２は、本実施の形態の構成を示しており、図１０の構成に対して分周部４０が追加されている。分周部４０は、元のクロック周波数を整数Ｎ分の１のクロック周波数に変換する機能をもつ。分周部４０は、撮像画像データでの水平方向の一ラインに対応するクロック数、すなわち水平撮像走査クロック数、に対して、縮小画像の水平方向サイズである画素数が整数Ｎ分の１以下の場合、クロック周波数をＮ分の１にする。周波数がＮ分の１のクロックは、図１２に示されるように、ラインメモリ部３２の読出しクロックとして用いられる。
【００７０】
図１３の出力タイミングチャートを参照して、本実施の形態の出力処理を説明する。図１３の例では、ズーム処理を通じて水平方向の有効な画素数が３５２になっている。すなわち、縮小後の出力画像サイズは水平方向に３５２画素であり、これは、元の水平撮像走査クロック数７８０（＝６４０＋１４０）に対して２分の１以下である。そこで、分周部４０は、クロック周波数を２分の１にし、水平クロック数を３９０にする。ブランキング期間は３８（＝３９０−３５２）に設定され、その結果、図１３に示される出力が行われる。
【００７１】
なお、有効フラグ信号も、上記のクロック周波数の変更に合わせて調整される。すなわち、水平有効フラグ信号は、図１３に示すように、２分の１のクロック周波数上にて、有効データが続く３５２クロックの期間でハイになる。その結果、水平有効フラグ信号は、水平ブランキング期間を除く全期間でハイになる。このような水平有効フラグ信号が、前述の垂直有効フラグ信号と合成されて、出力される。
【００７２】
図１４は、本実施の形態の出力処理のもう一つの例を示している。図１４では、ズーム処理により水平方向の有効画素数が３２０になっており、すなわち、縮小画像の水平方向サイズが３２０である。したがって、この例でも水平方向サイズが水平撮像走査クロック数７８０の２分の１以下であり、その結果、図１３と同一にクロック周波数およびクロック数が設定される。有効画素数が３２０なのでブランキング期間は７０クロック（＝３９０−３２０）に設定される。また、水平有効フラグ信号は、有効データが続く３２０クロックの期間でハイになる。
【００７３】
以上に説明したように、本発明の第３の実施の形態によれば、縮小画像のサイズに応じてクロック周波数を低減するので、低い周波数のクロックでの転送が可能になる。縮小時の画像データ中で有効データが一部なので、クロック周波数を下げても、有用な画像を得るための有効データは十分に出力される。そして、クロック周波数を低くしてのインタフェースが可能となるので、画像を取り込むホスト側の取込み能力が低くて済むという利点が得られる。
【００７４】
また、上記第３の実施の形態では、撮像画像データでの水平方向のラインの走査に対応するクロック数に対する縮小画像の水平方向画素数が整数Ｎ分の１以下の場合に、Ｎ分の１に調整された出力クロック周波数にて縮小画像データを出力する。この構成により、上述したように低い周波数のクロックでの転送が可能になる。
【００７５】
以上に本発明の第１〜第３の実施の形態について説明したが、上述の実施の形態を本発明の範囲内で当業者が変形可能なことはもちろんである。
【００７６】
【発明の効果】
以上に説明したように、本発明は、縮小手段が縮小処理と共にズーム処理を行うように構成し、このときに撮像画像データのクロック周波数維持して、縮小画像データの一部のデータが縮小画像を構成する有効データであるように縮小画像データを生成するので、ズーム処理のためのメモリを削減できるというすぐれた効果を有する撮像装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における撮像装置の構成図
【図２】本発明の第１の実施の形態における撮像素子の説明図
【図３】本発明の第１の実施の形態における撮像素子の出力インタフェースの説明図
【図４】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした１倍ズーム処理の説明図
【図５】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした１倍ズーム処理の説明図
【図６】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした２倍ズーム処理の説明図
【図７】本発明の第１の実施の形態における水平８画素×垂直６画素の画像を対象とした２倍ズーム処理の説明図
【図８】本発明の第１の実施の形態における水平６４０画素×垂直４８０画素の画像を対象とした１倍ズームの出力インタフェースの説明図
【図９】本発明の第１の実施の形態における水平６４０画素×垂直４８０画素の画像を対象とした２倍ズームの出力インタフェースの説明図
【図１０】本発明の第２の実施の形態における撮像装置の出力処理部の構成図
【図１１】本発明の第２の実施の形態における出力インタフェースの説明図
【図１２】本発明の第３の実施の形態における撮像装置の出力処理部の構成図
【図１３】本発明の第３の実施の形態における出力インタフェースの説明図
【図１４】本発明の第３の実施の形態における出力インタフェースの説明図
【図１５】従来の撮像装置の構成図
【符号の説明】
１０ 撮像装置
１２ レンズ
１４ 固体撮像素子
１６ 信号処理部
１８ ズーム処理部
２０ 出力処理部
Claims (9)
- 被写体を撮像して撮像画像データを生成する撮像手段と、
前記撮像画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、
前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、
前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成する縮小手段とを備えることを特徴とする撮像装置。 - 前記水平縮小画像データは前記撮像画像データの画素と前記１クロック遅延データの画素の隣接する画素から生成されることを特徴とする請求項１に記載の撮像装置。
- 前記垂直縮小画像データは前記水平縮小画像データの画素と前記１ライン遅延データの画素の隣接する画素から生成されることを特徴とする請求項１に記載の撮像装置。
- 前記水平有効フラグ信号は、前記撮像画像データのクロックに対して前記撮像画像データの縮小率の逆数に１度生成され、
前記垂直有効フラグ信号は、前記水平縮小画像データの１ライン遅延データに対して前記縮小率の逆数に１ライン毎に生成されることを特徴とする請求項１に記載の撮像装置。 - 前記水平有効フラグ信号は、前記撮像画像データの１ラインの画素に対して前記縮小率の画素分連続して生成され、前記垂直有効フラグ信号は、前記撮像画像データのラインに対して前記縮小率のライン分連続して生成されることを特徴とする請求項１記載の撮像装置。
- 請求項１〜５のいずれかに記載の撮像装置を備え、前記撮像装置から出力される有効信号に基づいて有効データをメモリに記録することを特徴とする撮像記録システム。
- 請求項１〜５のいずれかに記載の撮像装置を備え、前記撮像装置から出力される有効信号に基づいて有効データを表示部に表示することを特徴とする撮像表示システム。
- 元画像データをズーム倍率に従い縮小して縮小画像データを生成する画像処理方法であって、
前記画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、
前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、
前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成することを特徴とする画像処理方法。 - 元画像データをズーム倍率に従い縮小して縮小画像データを生成する画像処理をコンピュータに実行させるプログラムであって、
前記画像データの画素および前記撮像画像データの１クロック遅延データの画素とから水平縮小画像データおよび水平有効フラグ信号を生成し、
前記水平縮小画像データの画素および前記水平縮小画像データの１ライン遅延データの画素とから垂直縮小画像データおよび垂直有効フラグ信号を生成し、
前記水平有効フラグ信号および前記垂直有効フラグ信号から有効フラグ信号を生成することを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366576A JP4168743B2 (ja) | 2002-12-18 | 2002-12-18 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366576A JP4168743B2 (ja) | 2002-12-18 | 2002-12-18 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004200987A JP2004200987A (ja) | 2004-07-15 |
| JP4168743B2 true JP4168743B2 (ja) | 2008-10-22 |
Family
ID=32763740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002366576A Expired - Fee Related JP4168743B2 (ja) | 2002-12-18 | 2002-12-18 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4168743B2 (ja) |
-
2002
- 2002-12-18 JP JP2002366576A patent/JP4168743B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004200987A (ja) | 2004-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4131052B2 (ja) | 撮像装置 | |
| US7432958B2 (en) | Image pickup apparatus with function of adjusting incident light quantity | |
| JP2003259383A (ja) | データ転送システム、データ転送方法およびデジタル・カメラ | |
| TW201215121A (en) | Camera system, video processing apparatus, and camera apparatus | |
| KR20090074067A (ko) | 촬상 장치 및 촬상 방법 | |
| JPH10210367A (ja) | 電子的撮像装置 | |
| JP4253881B2 (ja) | 撮像装置 | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP2000125213A (ja) | 固体撮像装置 | |
| JP2001078210A (ja) | 固体撮像装置および信号読出し方法 | |
| JP4168743B2 (ja) | 撮像装置 | |
| JP2022046629A (ja) | 撮像素子、撮像素子の画像データ処理方法、及びプログラム | |
| JP4158245B2 (ja) | 信号処理装置 | |
| KR20070078508A (ko) | 주사변환이 가능한 감시카메라 및 주사변환방법 | |
| JP2005080143A (ja) | 資料提示装置およびその画像処理方法 | |
| JP6069857B2 (ja) | 撮像装置 | |
| JP4264602B2 (ja) | 画像処理装置 | |
| US8804014B2 (en) | Imaging device for reducing color moire | |
| JP7354300B2 (ja) | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム | |
| JP2005303653A (ja) | 撮像装置 | |
| JP2003092764A (ja) | 画像信号処理装置 | |
| JP3728075B2 (ja) | 撮像方法及び撮像装置 | |
| JP2009033438A (ja) | 撮像装置 | |
| JP2000115693A (ja) | 画像データ記録方法、画像データ記録装置、画像データ再生方法、画像データ再生装置、情報記録媒体及びコンピュータ読み取り可能な記録媒体 | |
| JP2002354344A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080728 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |