JP3746056B2 - 画像拡大装置および方法 - Google Patents
画像拡大装置および方法 Download PDFInfo
- Publication number
- JP3746056B2 JP3746056B2 JP2003581482A JP2003581482A JP3746056B2 JP 3746056 B2 JP3746056 B2 JP 3746056B2 JP 2003581482 A JP2003581482 A JP 2003581482A JP 2003581482 A JP2003581482 A JP 2003581482A JP 3746056 B2 JP3746056 B2 JP 3746056B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lines
- zoom
- signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 7
- 238000009966 trimming Methods 0.000 claims description 45
- 238000007906 compression Methods 0.000 claims description 25
- 230000006835 compression Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000007423 decrease Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
- H04N5/7755—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver the recorder being connected to, or coupled with, the antenna of the television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
(技術分野)
本発明は、画質劣化の少ない電子式画像拡大効果を瞬時に生成出来る様にした画像拡大装置と方法に関するものである。
【0002】
(背景技術)
近年、ビデオカメラは電子式画像拡大機能とその画質と操作性が共に要望されている。
以下に従来の画像拡大装置について、ビデオカメラを一例に説明する。
従来、電子式画像拡大機能については電気的信号処理による拡大回路がある。その画像拡大装置を図8に示す。図8は従来の画像拡大装置の構成を示すブロック図である。図8において、201は画像の光学的な拡大/縮小を行うズームレンズ201bや、ズームレンズ201bを光軸方向へ移動させるズームモータ201aを備えたレンズユニット、202は入射される被写体の光学信号を結像し電気的な画像に変換して出力する固体撮像素子であるCCD、203はCCD202からの画像信号の出力レベルを上げるアナログ信号処理回路、204はアナログ信号処理回路203からの画像信号をアナログ信号からデジタル信号に変換するアナログ/デジタル変換回路(以下、A/Dと記す)、205はA/D204からの画像信号にガンマ補正やアパーチャ補正をかける映像画質処理回路、206は映像画質処理回路205からの画像における垂直方向の信号処理を行う垂直画像信号処理回路で、映像画質処理回路205からの画像信号の垂直方向ライン数をテレビジョン方式の垂直方向ライン数に応じて圧縮動作をしている。207は垂直画像信号処理回路206からの画像に対して水平方向の信号処理を行う水平画像信号処理回路で、垂直画像信号処理回路206からの画像信号の水平方向ライン数をテレビジョン方式の水平方向ライン数に応じて圧縮処理をしている。210は水平画像信号処理回路207からの画像信号を電子的に拡大または縮小処理する画像サイズ可変回路であり、いわゆる電子ズームを行う回路である。214はデジタル信号処理回路200内の各回路の制御を行う制御手段であるマイクロコンピューター(以下、マイコンと記す)である。215はズームスイッチであり、通常ビデオカメラに搭載されているズームレバーやズームボタンに相当するものであり、このズームスイッチ215を操作することで光学的及び電子的に連続的なズーミング動作を行うことができる。212はマイコン214からの制御によりズームレンズ駆動回路213にズームレンズの移動方向や移動量などの制御信号を出力するズームモータ制御信号処理回路、213はズームモータ制御信号処理回路212からの制御信号に基づきレンズユニット201内のズームモータを駆動するズームレンズ駆動回路、211はマイコン214からの制御によりCCD202を駆動制御するCCD駆動回路である。
【0003】
図2(a)はズームスイッチ215を操作した際の動作を説明するための模式図である。
図において、31aはCCD202にて取り込み映像画質処理回路205から出力された第1画像エリアで、本構成では垂直方向のライン数は720本となっている。33aは第1画像エリア31aに映った被写体映像、32aは第1画像エリア31aの画像をテレビジョン方式に合致するように、垂直及び水平方向にライン数を圧縮された第2画像エリアで、本構成では垂直方向のライン数は480本となっている。36aはズームスイッチ215を操作した時に第2画像エリア32a上において切り出される切り出しエリアで、電子ズームの倍率が高くなるほど、第2の切り出しエリア36aの垂直及び水平方向ライン数が少なくなる。例えば、1.5倍に電子ズームする時は、320ライン分の画像を切り出している。35aは第2の切り出しエリア36aにて切り出され垂直480ラインに変換された出力画像エリアである。
【0004】
以上のように構成された従来の画像拡大装置について、以下その動作について説明する。
まず、通常撮影時(ズーム操作を行わない時)の動作について説明する。
レンズユニット201に設けられたレンズ群を介してCCD202に入射した被写体の光学信号は電気的な画像に変換され、アナログ信号処理回路203に出力される。アナログ信号処理回路203では、CCD202からの信号はレベルが低いためレベル増幅処理を行い、A/D204でアナログ信号からデジタル信号に変換される。A/D204の出力信号は映像画質処理回路205に入力され、ガンマ補正やアパーチャ補正などの信号処理が行われ、図2(a)の第1画像エリア31aに示すような画像が、垂直画像信号処理回路206に入力される。
【0005】
垂直画像信号処理回路206では、図2(a)の第1画像エリア31aに示す画像の垂直方向のライン数を、テレビジョン方式の垂直有効ライン数に合致するようにライン数の圧縮処理を行う。本構成では、映像画質処理回路205からの画像の垂直方向のライン数が720本なので、その2/3である480本に圧縮処理を行っている。垂直画像信号処理回路206から出力された画像は水平画像信号処理回路207に入力され、前述のように垂直方向の圧縮に応じて、水平方向のライン数の圧縮処理を行っている。この時の画像を、図2(a)の第2画像エリア32aに示す。このように、画像のライン数圧縮を行うことで、CCD202からの画像の画角をそのままにしてサイズのみを小さくすることができる。
【0006】
水平画像信号処理回路207からの画像信号は、画像サイズ可変回路210を介して、出力端子から出力される。出力された画像信号は、デジタル信号圧縮回路表示手段で画像圧縮処理をされた後、表示手段(例えばビデオカメラの場合は、液晶表示部や電子ビューファインダなど)や記録手段(テープやディスクなどの記録媒体に記録する手段)などに出力される。なお、画像サイズ可変回路210では、本説明のようにズームスイッチ215によるズーム動作を行っていない時は、水平画像信号処理回路207からの画像をそのまま出力している。
【0007】
次に、ズームスイッチ215が操作された時の動作について説明する。
使用者によりズームスイッチ215が操作されると、マイコン214はズームレンズ駆動回路213を制御して、現在の光学ズームの倍率を把握する。倍率が1〜10倍の間の時は、マイコン214はズームモータ制御信号処理回路212に対して、入力される画像の拡大または縮小を行うように命令を行う。その命令によりズームモータ制御信号処理回路212は、ズームスイッチ215の操作内容(望遠/広角のズーミング方向やズーム量)に基づき、ズームレンズ201bを駆動するための制御信号を生成する。生成した制御信号はズームレンズ駆動回路213に出力され、ズームレンズ駆動回路213はその制御信号に基づきズームモータ201aを駆動し、ズームレンズ201bを光軸方向へ移動させる。この時のズーミング方向やズーム量は、ズームモータ制御信号処理回路212で生成された制御信号に基づいて決定される。
【0008】
ズームレンズ201bを所定位置まで移動させ、CCD202にて光学信号を電気信号に変換して画像信号としてアナログ信号処理回路203に出力する。アナログ信号処理回路203では画像信号の信号レベルを高くして出力し、A/D204でアナログ信号をデジタル信号に変換する。デジタル信号に変換された画像信号は映像画質調整回路205にてガンマ補正やアパーチャ補正などを行い、垂直画像信号処理回路206及び水平画像信号処理回路207で垂直方向及び水平方向のライン数をテレビジョン信号のライン数に合致するように圧縮する。圧縮された画像信号は画像サイズ可変回路210を介して出力される。
【0009】
光学ズームの場合は、ズームレンズ201bによって拡大/縮小された画像が図2(a)の第1画像エリア31aに示す画像として映像画質処理回路205に入力されるため、最終的に出力端子から出力される画像信号は、第2画像エリア32aに示す画像となる。
【0010】
一方、ズーム倍率が10倍以上の時は、光学ズームは望遠端にあるので、電子ズームを行う。その時は、マイコン214は画像サイズ可変回路210に対して、入力される画像信号の拡大/縮小を行うよう制御する。画像サイズ可変回路210では、図2(a)の第2画像エリア32aに示す画像信号が入力され、その画像信号の略中央部(第2の切り出しエリア36a)を切り出して、ズームスイッチ215により指示された倍率に、電子的に拡大する。例えば、図示のように、垂直方向480ラインの第2画像エリア32aの、略中央部の垂直方向320ラインを切り出し、垂直方向480ライン相当に拡大処理することで、倍率15倍の画像信号を得ることができる。
先行技術文献として、特開平06−350892号公報がある。
【0011】
(発明の開示)
(発明が解決しようとする技術的課題)
しかしながら上記の従来の構成では、垂直画像信号処理回路206及び水平画像信号処理回路207にて画像のライン数圧縮を行い、圧縮された画像を画像サイズ可変回路210で拡大しているため、拡大処理に応じて解像度(特に垂直解像度)が劣化し、画像全体として劣化が起きるという問題点を有していた。
本発明は上記従来の問題点を解決するもので、画像劣化の少ない画像拡大効果を、瞬時に得られるようにする画像拡大装置とその操作系を提供することを目的とする。
【0012】
(その解決方法)
この目的を達成するために本発明の画像拡大装置は、被写体の光学信号を電気的画像に変換して出力する固体撮像素子と、前記固体撮像素子からの画像のライン数をテレビジョン方式に合致したライン数に圧縮処理を行う信号処理手段と、使用者が操作可能な選択手段と、前記選択手段の操作に基づき前記信号処理手段に対して制御を行う制御手段とを備え、前記制御手段は、前記選択手段が操作された時、前記信号処理手段における画像の圧縮処理を行わなわず、前記固体撮像素子からの画像から前記テレビジョン方式に合致したライン数の画像を切り出すように制御する。
【0013】
(従来技術より有効な効果)
この構成によって、画質劣化の少ない画像拡大効果を瞬時に得られる。
【0014】
発明を実施するための最良の形態
本発明の請求項1に記載の発明は、被写体の光学信号を電気的画像に変換して出力する固体撮像素子と、前記固体撮像素子からの画像のライン数をテレビジョン方式に合致したライン数に圧縮処理を行う信号処理手段と、使用者が操作可能な選択手段と、前記選択手段の操作に基づき前記信号処理手段に対して制御を行う制御手段とを備え、前記制御手段は、前記選択手段が操作された時、前記信号処理手段における画像の圧縮処理を行わなわず、前記固体撮像素子からの画像から前記テレビジョン方式に合致したライン数の画像を切り出すように制御するものであり、画質劣化の少ない電子式画像拡大効果を瞬時に得られるという作用を有する。
【0015】
以下、本発明の実施の形態について、図面を用いて説明する。
(実施の形態1)
図1は本発明の実施の形態の画像拡大装置の構成を示すブロック図であり、図1において、101は画像の光学的な拡大/縮小を行うズームレンズ101bや、ズームレンズ101bを光軸方向へ移動させるズームモータ101aを備えたレンズユニット、102は入射される被写体の光学信号を結像し電気的な画像に変換して出力する固体撮像素子であるCCD、103はCCD102からの画像信号の出力レベルを上げるアナログ信号処理回路、104はアナログ信号処理回路103からの画像信号をアナログ信号からデジタル信号に変換するアナログ/デジタル変換回路(以下、A/Dと記す)、105はA/D104からの画像信号にガンマ補正やアパーチャ補正をかける映像画質処理回路、106は映像画質処理回路105からの画像における垂直方向の信号処理を行う垂直画像信号処理回路で、映像画質処理回路105からの画像信号の垂直方向ライン数をテレビジョン方式の垂直方向ライン数に応じて圧縮動作をしている。107は垂直画像信号処理回路106からの画像に対して水平方向の信号処理を行う水平画像信号処理回路で、垂直画像信号処理回路106からの画像信号の水平方向ライン数をテレビジョン方式の水平方向ライン数に応じて圧縮処理をしている。なお、垂直画像信号処理回路106と水平画像信号処理回路107とで信号処理手段を構成している。108は映像画質処理回路105からの画像信号の略中央エリアを切り出す画像トリミング回路、109は水平画像信号処理回路107または画像トリミング回路108のいずれか一方を選択するスイッチ、110は水平画像信号処理回路107または画像トリミング回路108からの画像信号を電子的に拡大または縮小処理する画像サイズ可変回路であり、いわゆる電子ズームを行う回路である。
【0016】
114はデジタル信号処理回路100内の各回路の制御を行う制御手段であるマイクロコンピューター(以下、マイコンと記す)である。115は第1のズームスイッチであり、通常ビデオカメラに搭載されているズームレバーやズームボタンに相当するものであり、この第1のズームスイッチ115を操作することで光学的及び電子的に連続的なズーミング動作を行うことができる。なお、このズームスイッチ115を操作することにより画像の拡大を行う機能を第1の拡大機能とする。116は操作することで瞬時に拡大画像(本実施の形態では拡大前の1.5倍)を得ることができる選択手段である第2のズームスイッチで、この第2のズームスイッチ116を操作することにより動作させることができる拡大機能を第2の拡大機能(瞬間ズーム機能)とする。117は、撮影画像内においてトリミング画像を切り出す位置を特定するトリミング位置特定部である。
【0017】
112はマイコン114からの制御によりズームレンズ駆動回路113にズームレンズの移動方向や移動量などの制御信号を出力するズームモータ制御信号処理回路、113はズームモータ制御信号処理回路112からの制御信号に基づきレンズユニット101内のズームモータ101aを駆動するズームレンズ駆動回路、111はマイコン114からの制御によりCCD102を駆動制御するCCD駆動回路である。
【0018】
なお、映像画質処理回路105と垂直画像信号処理回路106と水平画像信号処理回路107と画像トリミング回路108とスイッチ109と画像サイズ可変回路110とズームモータ制御信号処理回路112とで、デジタル信号処理回路100を構成し、1チップで構成することができる。
図2は画像拡大装置の動作原理を示す模式図で、同図(a)は第1のズームスイッチ115を操作した際の動作を説明するための模式図、同図(b)は第2のズームスイッチ116を操作した際の動作を説明するための模式図である。
【0019】
図2において、31a及び31bはCCD102にて取り込み映像画質処理回路105から出力された第1画像エリアで、撮影画像を示す。撮影画像の垂直方向のライン数および水平方向のライン数は、それぞれ、テレビジョン方式の垂直方向のライン数および水平方向のライン数よりも多く設定されている。ここで、垂直方向のライン数とは、垂直方向に並んだ、Hライン(水平ライン)のライン数を言い、水平方向のライン数とは、Hライン上に並んだ画素数を言う。本構成では撮影画像の垂直方向の走査線本数は720本となっている一方、テレビジョン方式の垂直方向のライン数は、480本となっている。また、水平方向のライン数(画素数)は、撮影画像では971本である一方、テレビジョン方式では720本である。
【0020】
なお、この実施の形態の説明では、例示的にNTSC方式の場合にもとづいて、数値をあげているが、PAL方式については、別の数値となる。
33a及び33bは第1画像エリア31a及び31bに映った被写体映像である。32aは第1画像エリア31aの撮影画像をテレビジョン方式に合致するように、垂直及び水平方向にライン数を圧縮した第2画像エリアで、圧縮画像を示す。32bは第1画像エリア31bの撮影画像をテレビジョン方式に合致するように、垂直及び水平方向にライン数をトリミングした第2画像エリアで、トリミング画像を示す。34は第2のズームスイッチ116を操作することで切り出されるトリミング画像エリアで、第2のズームスイッチ116を操作することで第1画像エリア31bの略中央の所定範囲を切り出して得られたものである。トリミング画像エリア34は、テレビジョン方式の垂直ライン数に合わせるべく、垂直方向のライン数が480本となっている。36aは、第1のズームスイッチ115を操作した時に第2画像エリア32a上において切り出される切り出しエリアで、36bは、第2のズームスイッチ116を操作した時に第2画像エリア32b上において切り出される切り出しエリアである。電子ズームの倍率が高くなるほど第2の切り出しエリア36a及び36bの垂直及び水平方向ライン数が少なくなる。例えば、1.5倍に電子ズームする時は、320ライン分の画像を切り出している。35a及び35bは第2の切り出しエリア36a及び36bにて切り出され垂直480ラインに変換された出力画像エリアである。以上において、垂直方向の処理について説明されたが、言うまでもなく水平方向についても同様の処理がなされている。
【0021】
以上のように構成された本実施の形態の画像拡大装置について、図面を用いてその動作を説明する。
マイコン114は、第1のズームスイッチ115が操作されると、映像画質処理回路105と垂直画像信号処理回路106と水平画像信号処理回路107と画像サイズ可変回路110とを動作状態にし、スイッチをb側へ接続する。また、第2のズームスイッチ116が操作されると、映像画質処理回路105と画像トリミング回路108と画像サイズ可変回路110とを動作状態にし、スイッチをa側へ接続する。また、第1のズームスイッチ115と第2のズームスイッチ116の両方が操作されていない時は、第1のズームスイッチ115が操作された時と同様に回路動作させている。
【0022】
まず、通常撮影時(ズーム操作を行わない時)の動作について説明する。
レンズユニット101に設けられたレンズ群を介してCCD102に入射した被写体の光学信号は電気的な画像に変換され、アナログ信号処理回路103に出力される。アナログ信号処理回路103では、CCD102からの信号はレベルが低いためレベル増幅処理を行い、A/D104でアナログ信号からデジタル信号に変換される。A/D104の出力信号は映像画質処理回路105に入力され、ガンマ補正やアパーチャ補正などの信号処理が行われ、図2(a)の第1画像エリア31aに示すような画像が、垂直画像信号処理回路106に入力される。
【0023】
垂直画像信号処理回路106では、図2(a)の第1画像エリア31aに示す画像の垂直方向のライン数を、テレビジョン方式の垂直有効ライン数に合致するようにライン数の圧縮処理を行う。本実施の形態では、映像画質処理回路105からの画像の垂直方向のライン数が720本なので、その2/3である480本に圧縮処理を行っている。垂直画像信号処理回路106から出力された画像は水平画像信号処理回路107に入力され、前述のように垂直方向の圧縮に応じて、水平方向のライン数の圧縮処理を行っている。この時の画像を、図2(a)の第2画像エリア32aに示す。このように、画像のライン数圧縮を行うことで、CCD102からの画像の画角をそのままにしてサイズのみを小さくすることができる。
【0024】
水平画像信号処理回路107からの画像信号は、スイッチ109及び画像サイズ可変回路110を介して、出力端子から出力される。出力された画像信号は、デジタル信号圧縮回路表示手段で画像圧縮処理をされた後、表示手段(例えばビデオカメラの場合は、液晶表示部や電子ビューファインダなど)や記録手段(テープやディスクなどの記録媒体に記録する手段)などに出力される。なお、画像サイズ可変回路110では、本説明のように第1のズームスイッチ115によるズーム動作を行っていない時は、水平画像信号処理回路107からの画像をそのまま出力している。
【0025】
次に、ズーム動作について説明する。
図3はズーム倍率と出力画像サイズとの関係を示す特性図である。図において、特性Aは第2の拡大機能を動作させていない状態での第1の拡大機能を動作させた時の特性、特性Bは第2の拡大機能を動作させた状態で第1の拡大機能を動作させた時の特性である。なお、図示の特性は、光学ズーム10倍と電子ズーム20倍以上のズーム装置の特性を示している。ズーム倍率が1倍から10倍は光学ズームで拡大動作を行い、10倍以降は電子ズームにて拡大動作を行っている。図示のように、ズーム倍率が大きくなるに従って、映像出力画像サイズが大きくなっている。
【0026】
また、図4はズーム倍率と垂直解像度の関係を示す特性図である。特性Aは第2の拡大機能を動作させていない状態での第1の拡大機能を動作させた時の特性、特性Bは第2の拡大機能を動作させた状態で第1の拡大機能を動作させた時の特性である。図示のように、ズーム倍率が光学ズームの領域である1〜10倍の時は、特性Aも特性Bも垂直解像度は低下しない。一方でズーム倍率が10倍を超えると電子ズーム領域となるため、特性Aの場合は倍率10倍以降、垂直解像度は低下していく。
【0027】
次に、第1のズームスイッチ115のみが操作された時の動作について説明する。
使用者により第1のズームスイッチ115が操作されると、マイコン114はズームレンズ駆動回路113を制御して、現在の光学ズームの倍率を把握する。倍率が1〜10倍の間の時は、マイコン114はズームモータ制御信号処理回路112に対して、入力される画像の拡大または縮小を行うように命令を行う。その命令によりズームモータ制御信号処理回路112は、第1のズームスイッチ115の操作内容(望遠/広角のズーミング方向やズーム量)に基づき、ズームレンズ101bを駆動するための制御信号を生成する。生成した制御信号はズームレンズ駆動回路113に出力され、ズームレンズ駆動回路113はその制御信号に基づきズームモータ101aを駆動し、ズームレンズ101bを光軸方向へ移動させる。この時のズーミング方向やズーム量は、ズームモータ制御信号処理回路112で生成された制御信号に基づいて決定される。
【0028】
ズームレンズ101bを所定位置まで移動させ、CCD102にて光学信号を電気信号に変換して画像信号としてアナログ信号処理回路103に出力する。アナログ信号処理回路103では画像信号の信号レベルを高くして出力し、A/D104でアナログ信号をデジタル信号に変換する。デジタル信号に変換された画像信号は映像画質調整回路105にてガンマ補正やアパーチャ補正などを行い、垂直画像信号処理回路106及び水平画像信号処理回路107で垂直方向及び水平方向のライン数をテレビジョン信号のライン数に合致するように圧縮する。圧縮された画像信号はスイッチ109及び画像サイズ可変回路110を介して出力される。
【0029】
光学ズームの場合は、ズームレンズ101bによって拡大/縮小された画像が図2(a)の第1画像エリア31aに示す画像として映像画質処理回路105に入力されるため、最終的に出力端子から出力される画像信号は、第2画像エリア32aに示す画像となる。
【0030】
一方、ズーム倍率が10倍以上の時は、光学ズームは望遠端にあるので、電子ズームを行う。その時は、マイコン114は画像サイズ可変回路110に対して、入力される画像信号の拡大/縮小を行うよう制御する。画像サイズ可変回路110では、図2(a)の第2画像エリア32aに示す画像信号が入力され、その画像信号の略中央部(第2の切り出しエリア36a)を切り出して、第1のズームスイッチ115により指示された倍率に、電子的に拡大する。例えば、図示のように、垂直方向480ラインの第2画像エリア32aの、略中央部の垂直方向320ラインを切り出し、垂直方向480ライン相当に拡大処理し、出力画像エリア35aに出力することで、倍率15倍の画像信号を得ることができる。
【0031】
なお、320ラインを切り出して480ライン相当に拡大する際、ライン数が異なるが、ライン補間(隣接ラインの信号に基づき、足りないラインの信号を疑似ラインとして生成する処理)を行うことでライン数を合わせている。よって、最終的に出力される画像信号は出力画像エリア35aの480ラインであるが、解像度は320ライン相当のものである。
【0032】
本説明では、倍率15倍の拡大を行うため第2画像エリア32aの略中央320ライン分を切り出しているが、出力画像エリア35aの垂直ライン数は480ラインに決まっているので、倍率がさらに高くなると、第2の切り出しエリア36aの大きさは小さくなり垂直ライン数は少なくなる。したがって、図4の特性Aからもわかるように、倍率が高くなるに連れて垂直解像度も低下していく。
【0033】
次に、第2のズームスイッチ116を操作した際の動作について説明する。
使用者により第2のズームスイッチ116が操作されると、マイコン114はスイッチ109をa側へ切り換え、画像トリミング回路108を動作状態にする。すると映像画質処理回路105から出力されている画像信号は画像トリミング回路108に入力され、画像の切り出しが行われる。具体的な切り出し動作について、図2(b)を用いて詳述する。
【0034】
前述と同様に、レンズユニット101、CCD102、アナログ信号処理回路103、A/D104、映像画質処理回路105を介して得られた画像信号は、図2(b)の第1画像エリア31bに示すように、垂直方向のライン数が720ラインとなっている。この画像信号が画像トリミング回路108に入力され、第1の切り出しエリア34に示すように、第1画像エリア31bの略中央部の480ライン分を切り出し、第2画像エリア32bに示すような画像信号を得る。図示のように第2画像エリア32bは、被写体33の上下が切れた画像で、相対的に被写体画像が拡大されている。なお、この切り出しの際、垂直方向及び水平方向のライン数の圧縮は行っていない。また、垂直方向の切り出しライン数に伴って、水平方向の切り出し範囲も自動設定され、結果的にテレビジョン方式の垂直方向及び水平方向のライン数と同等な画像信号となっている。このようにして得られた画像信号を画像サイズ可変回路110に出力する。
【0035】
画像サイズ可変回路110では、第1のズームスイッチ115が操作されていないか、操作されていたとしても光学ズームの範囲(ズーム倍率が1〜10倍の時。図3参照)の時は、画像の拡大/縮小処理を行わずにそのまま出力する。
このようにして得られる画像は、図3のズーム倍率の1〜10倍に示すように、画像サイズが第2のズームスイッチ116の操作前と操作後で1.5倍のものとなる。つまり、第2のズームスイッチ116を操作していない状態から第2のズームスイッチ116を操作すると、図3におけるズーム倍率と画像サイズとの関係を示す特性は、特性Aから特性Bに変化する。例えば、現在のズーム倍率が10倍にある時に第2のズームスイッチ116を操作すると、実際の画像サイズは10倍から15倍に拡大されるわけである。また、図4に示すように、ズーム倍率が1〜10倍の光学ズーム領域では、レンズユニット101により画像拡大されたものを画像トリミング回路108で切り出し、垂直及び水平方向の圧縮も行っていないため、解像度は低下しない。
【0036】
また、垂直画像信号処理回路106における圧縮処理や、水平画像信号処理回路107における圧縮処理を行わないため、つまり画像エリア34を切り出した画像をそのまま出力するので、第2のズームスイッチ116の操作から拡大画像出力までの応答性が、第1のズームスイッチ115を用いて1.5倍の拡大画像を得る操作時に比べて格段に速くなる。
【0037】
一方、第2のズームスイッチ116を操作した時のズーム位置が、第1のズームスイッチ115による電子ズーム(ズーム倍率が10倍以上。図3参照)の領域にある場合、あるいは、第2のズームスイッチ116によるズーム中に第1のズームスイッチ115の操作によって電子ズームの領域に入ってしまった場合は、マイコン114は画像サイズ可変回路110を制御し、画像サイズ可変回路110は画像トリミング回路108から出力される画像信号の拡大/縮小処理を行う。図2(b)において、画像トリミング回路108から得られる第2画像エリア32bの画像信号において、画像サイズ可変回路110では、第2の切り出しエリア36bに示すように画像の切り出しを行う。この第2の切り出しエリア36bのサイズは、電子ズームのズーム倍率により異なり、ズーム倍率が高くなるにつれ第2の切り出しエリア36bのサイズは小さくなる。第2の切り出しエリア36bにより切り出した画像信号は、テレビジョン方式の垂直方向のライン数(720ライン)及び水平方向のライン数(480ライン)に合うように拡大され、出力画像エリア35bに示す画像信号が出力される。
【0038】
このように電子ズーム領域における第2の拡大機能については、ズーム倍率と画像サイズとの関係は図3を用いて前述したのと同様で、特性Aから特性Bに切り換えてズーム動作を行い、特性Aのズーム倍率に対して画像サイズが1.5倍の画像を得ることができる。また、解像度については、図4の特性Bに示すように、倍率が10〜15倍までは実際に光学ズームにより拡大された画像を画像トリミング回路108にて1.5倍しているため解像度の低下はないが、15倍を超えると実際のズーム動作は電子ズームに切り替わるため、倍率の拡大に伴って解像度が低下していく。しかし、図に示すように第2のズームスイッチ116を操作しない特性Aに比べて、解像度の低下は軽減されている。例えば、倍率20倍における特性A上の解像度は約0.5倍に低下しているのに対し、特性Bによれば約0.75倍の低下に止めることができている。
【0039】
以上のように本実施の形態によれば、第2のズームスイッチ116を操作した時に画像トリミング回路108において、圧縮処理を行わず所定範囲の画像を切り出すことにより、出力画像の解像度が改善されるとともに、圧縮処理などの信号処理に要する時間を省くことができるので瞬間的に拡大画像を出力できる簡便さを実現することができる。
【0040】
図6は図1における画像トリミング回路108の内部構成を示すブロック図であり、51は映像画質処理回路105からの画像信号が入力される入力端子、52は入力端子51から入力された画像信号を記憶する画像メモリで、フレームメモリやラインメモリが用いられ、コストを考えるとラインメモリを用いた方が好ましい。53は画像メモリ52から読み出された画像信号を図1におけるスイッチ109に出力する出力端子、54はマイコン114からの制御信号が入力される制御入力端子、56はマイコン114からの制御信号に基づきトリミング開始点(以下、開始点と記す)を指定し開始点信号を出力する開始点指定部、57はマイコン114からの制御信号に基づきトリミング終了点(以下、終了点と記す)を指定し終了点信号を出力する終了点指定部、55は開始点指定部56及び終了点指定部57からの開始点信号及び終了点信号に基づき画像メモリ52における画像の読み出し制御を行う読み出し制御部である。
【0041】
以上のように構成された画像トリミング回路108について、動作を説明する。
まず、開始点と終了点について、図7を用いて説明する。
図7は図3(b)と同等の図であり、説明をわかりやすくするために、各種ライン数の値を表示した。61は、開始点、62は終了点でありる。すなわち、画像トリミング回路108は、矩形のトリミング画像の対角線の一方の点である開始点61と、同対角線の他方の点である終了点62を、撮影画像上で特定する。
【0042】
開始点の値とは、図7の第1のトリミングエリア34の開始点61における、垂直方向の最上段ライン(第1ライン)からのライン数を示す値と、水平方向の左端ラインからのライン数を示す値である。本実施の形態では、垂直方向の開始点は、最上段ラインから120ライン分は不要ラインなので121ラインとし、水平方向の開始点は、左端ラインから160ライン分は不要ラインなので161ラインとした。
【0043】
また終了点の値とは、図7の第1のトリミングエリア34の終了点62における、垂直方向の最上段ライン(第1ライン)からのライン数を示す値と、水平方向の左端ラインからのライン数を示す値である。本実施の形態では、垂直方向は最上段ラインから600ラインとし、水平方向は左端ラインから800ラインとした。なお、本実施の形態では開始点と終了点の値に基づき、両方の位置を決定する構成としたが、終了点の位置は特に指定せずに、開始点の位置から4:3の画面アスペクト比に基づき、終了点の位置を決定する構成としてもよい。
したがって、画像メモリ52から読み出される(トリミング)画像信号のサイズは、垂直480ライン、水平640ラインとなる。
【0044】
次に、具体動作について説明する。
第2のズームスイッチ116が操作されると、マイコン114からの制御によりスイッチ109がa側に切り換えられ、映像画質処理回路105から出力される画像信号が、画像トリミング回路108の入力端子51に入力される。入力端子51に入力された画像信号は画像メモリ52に一時的に書き込まれる。
一方、第2のズームスイッチ116が操作された時、マイコン114からの制御信号は、制御入力端子54にも入力される。制御入力端子54に入力された制御信号は、画像トリミング回路108を起動する制御信号とともに、開始点及び終了点の値も含まれている。
【0045】
制御入力端子54に入力された制御信号は、開始点指定部56及び終了点指定部57に入力される。開始点指定部56では入力された制御信号中の開始点の値に基づき、開始点信号を生成する。また終了点指定部56では入力された制御信号中の終了点の値に基づき、終了点信号を生成する。開始点指定部56及び終了点指定部57で各々生成された開始点信号及び終了点信号は、読み出し制御部55に入力される。
【0046】
読み出し制御部55では入力された開始点信号に基づき、画像メモリ52に書き込まれた画像信号のトリミング開始点を決定する。読み出し制御部55ではラインカウンタ(図示せず)を用いて、垂直及び水平方向のライン数をカウントし、図7の開始点61(垂直121ライン、水平161ライン)を決定する。次に、終了点信号に基づき、画像メモリ52に書きこまれた画像信号のトリミング終了点を決定する。読み出し制御部55ではラインカウンタ(図示せず)を用いて、垂直及び水平方向のライン数をカウントし、図7の終了点62(垂直600ライン、水平800ライン)を決定する。これにより、第1のトリミングエリア34の範囲を決定することができる。
【0047】
次に、読み出し制御部55はラインカウンタで、画像メモリ52における画像信号の垂直及び水平方向のライン数をカウントしていく。そして開始点61に到達すると読み出しを開始し、終了点62まで、つまり第1のトリミングエリア34に示す範囲の画像信号の読み出しを行う。画像メモリ52から読み出された画像信号は、出力端子53から図1のスイッチ109のa側端子に出力される。
【0048】
本実施の形態では、図8の操作部117(例えばカーソルキー)を操作することで、図5に示すように第1のトリミングエリア34の位置を、34a及び34bに示すように任意に設定可能である。この時の動作として、操作部117が1回操作されると、マイコン114は図5(a)の位置34aに対応した開始点及び終了点の値を、画像トリミング回路108に出力する。画像トリミング回路108は入力される開始点及び終了点の値に基づき、図5(a)の位置34aに示す部分のトリミング制御を行う。
【0049】
また、操作部117がもう1回操作されると、マイコン114は図5(b)の位置34bに対応した開始点及び終了点の値を、画像トリミング回路108に出力する。画像トリミング回路108は入力される開始点及び終了点の値に基づき、図5(b)の位置34bに示す部分のトリミング制御を行う。
なお、本実施の形態では、図2(b)に示すように第1画像エリア31bにおいて第1の切り出しエリア34を略中央部としたが、図5に示すように中央部以外の位置に任意設定可能にするようにしてもよい。同図(a)は略左上の位置34a、同図(b)は略右下の位置34bに設定した例である。それぞれの第1の切り出しエリアは、32c及び32dに示すようになる。このように切り出し位置を任意に設定する方法としては、例えばカーソルキーを操作して左上や右下などを設定してもよく、第2のズームスイッチ116の操作に伴い、同図(a)(b)に切り替わるようトグル動作できるようにしてもよい。
【0050】
以上のように本発明は、画質劣化の少ない拡大画像の出力と、その拡大効果をスイッチ操作により瞬間的に得られるという優れた効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における画像拡大装置の構成を示すブロック図である。
【図2】(a)、(b)は、それぞれ、第1、第2の拡大機能による画像拡大の概念を示す模式図である。
【図3】同実施の形態におけるズーム倍率と画像サイズとの関係を示す特性図である。
【図4】同実施の形態における画像サイズと解像度の関係を示す特性図である。
【図5】同実施の形態における画像トリミング回路の切り出しエリアの応用例を示す模式図である。
【図6】画像トリミング回路の詳細を示すブロック図である。
【図7】画像トリミング回路の動作を説明する模式図である。
【図8】従来の画像拡大装置の構成を示すブロック図である。
Claims (6)
- 画像の垂直方向のライン数および水平方向のライン数のそれぞれをテレビジョン方式の垂直方向のライン数および水平方向のライン数よりも多く設定して被写体の撮影画像を出力する撮像手段と、
前記撮影画像の垂直方向のライン数および水平方向のライン数がそれぞれテレビジョン方式の垂直方向のライン数および水平方向のライン数と合致するように、撮影画像をトリミング処理し、トリミング画像を生成するトリミング処理手段と、
前記トリミング処理手段と並列に設け、前記撮影画像の垂直方向のライン数および水平方向のライン数がそれぞれテレビジョン方式の垂直方向のライン数および水平方向のライン数と合致するように、撮影画像を圧縮処理し、圧縮画像を生成する圧縮処理手段と、
前記トリミング画像と、圧縮画像のいずれか一方を選択する切り替え手段と、 選択した画像を拡大処理する拡大処理手段を有する画像拡大装置。 - 前記トリミング処理手段は、矩形のトリミング画像の対角線の一方の点である開始点と、同対角線の他方の点である終了点を、撮影画像上で特定する、請求項1記載の画像拡大装置。
- 前記撮影画像内において前記トリミング画像の位置を特定するトリミング位置特定手段を更に有する、請求項1記載の画像拡大装置。
- 画像の垂直方向のライン数および水平方向のライン数のそれぞれをテレビジョン方式の垂直方向のライン数および水平方向のライン数よりも多く設定して被写体の撮影画像を生成し、
前記撮影画像の垂直方向のライン数および水平方向のライン数がそれぞれテレビジョン方式の垂直方向のライン数および水平方向のライン数と合致するように、撮影画像をトリミング処理し、トリミング画像を生成し、
前記撮影画像の垂直方向のライン数および水平方向のライン数がそれぞれテレビジョン方式の垂直方向のライン数および水平方向のライン数と合致するように、撮影画像を圧縮処理し、圧縮画像を生成し、
前記トリミング画像と、圧縮画像のいずれか一方を選択し、
選択した画像を拡大処理する画像拡大方法。 - 前記トリミング処理は、矩形のトリミング画像の対角線の一方の点である開始点と、同対角線の他方の点である終了点を、撮影画像上で特定する、請求項4記載の画像拡大方法。
- 前記撮影画像内において前記トリミング画像の位置を特定する、請求項4記載の画像拡大方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002096514 | 2002-03-29 | ||
JP2002096514 | 2002-03-29 | ||
PCT/JP2003/003808 WO2003084215A1 (fr) | 2002-03-29 | 2003-03-27 | Dispositif et procede d'agrandissement d'image |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2003084215A1 JPWO2003084215A1 (ja) | 2005-08-11 |
JP3746056B2 true JP3746056B2 (ja) | 2006-02-15 |
Family
ID=28671837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003581482A Expired - Fee Related JP3746056B2 (ja) | 2002-03-29 | 2003-03-27 | 画像拡大装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050046710A1 (ja) |
EP (1) | EP1494465A4 (ja) |
JP (1) | JP3746056B2 (ja) |
WO (1) | WO2003084215A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100617702B1 (ko) * | 2004-01-13 | 2006-08-28 | 삼성전자주식회사 | 이미지 편집이 가능한 휴대용 단말기 및 이를 이용한이미지 편집 방법 |
US7688364B2 (en) * | 2004-12-10 | 2010-03-30 | Ambarella, Inc. | Decimating and cropping based zoom factor for a digital camera |
KR100756129B1 (ko) | 2005-06-28 | 2007-09-05 | 주식회사 팬택앤큐리텔 | 디스플레이영역 변화에 따른 유동적 디스플레이 장치 및방법 |
JP4435228B2 (ja) * | 2007-12-27 | 2010-03-17 | キヤノン株式会社 | 撮像装置、およびその制御方法 |
US11057572B1 (en) * | 2020-03-26 | 2021-07-06 | Qualcomm Incorporated | Apparatus and methods for image capture control |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5805132A (en) * | 1991-09-17 | 1998-09-08 | Minolta Co., Ltd. | Image editing apparatus capable of setting image processing region on display screen |
KR0159109B1 (ko) * | 1991-09-19 | 1999-01-15 | 강진구 | 화상신호의 종횡비 및 주사선 수 변환장치 |
US5287188A (en) * | 1992-01-07 | 1994-02-15 | Thomson Consumer Electronics, Inc. | Horizontal panning for wide screen television |
DE69319810T2 (de) * | 1992-09-01 | 1998-12-03 | Canon K.K., Tokio/Tokyo | Bildverarbeitungsgerät |
JPH07107359A (ja) * | 1993-09-30 | 1995-04-21 | Canon Inc | 撮像装置 |
JPH0879620A (ja) * | 1994-08-31 | 1996-03-22 | Sony Corp | 画像特殊効果装置 |
JP3991543B2 (ja) * | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
-
2003
- 2003-03-27 WO PCT/JP2003/003808 patent/WO2003084215A1/ja not_active Application Discontinuation
- 2003-03-27 US US10/501,741 patent/US20050046710A1/en not_active Abandoned
- 2003-03-27 EP EP03715488A patent/EP1494465A4/en not_active Withdrawn
- 2003-03-27 JP JP2003581482A patent/JP3746056B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1494465A1 (en) | 2005-01-05 |
US20050046710A1 (en) | 2005-03-03 |
WO2003084215A1 (fr) | 2003-10-09 |
EP1494465A4 (en) | 2006-04-26 |
JPWO2003084215A1 (ja) | 2005-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4250437B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
US7154544B2 (en) | Digital camera including a zoom button and/or a touch tablet useable for performing a zoom operation | |
JP3971246B2 (ja) | デジタル撮影装置 | |
JP4254825B2 (ja) | 撮像装置、ズーム情報表示方法、およびズーム情報表示プログラム | |
US20030071904A1 (en) | Image capturing apparatus, image reproducing apparatus and program product | |
JP5043635B2 (ja) | 撮像装置 | |
JP2001145010A (ja) | 画像解像度最大化方法 | |
WO2006107524A2 (en) | User established variable image sizes for a digital image capture device | |
JP2002077673A (ja) | 電子カメラ | |
JP2007028283A (ja) | 撮像装置 | |
JP4593820B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
US20030076429A1 (en) | Image capturing apparatus | |
JP2004304798A (ja) | 光学ズームとデジタルズームの組み合わせ | |
US8068699B2 (en) | Imaging apparatus and imaging method | |
US20030076437A1 (en) | Image capturing apparatus | |
JP4735166B2 (ja) | 画像表示装置及びプログラム | |
JP2006287735A (ja) | 画像音声記録装置及び集音方向調整方法 | |
JP3746056B2 (ja) | 画像拡大装置および方法 | |
JP4788172B2 (ja) | 撮像装置及びプログラム | |
JP4043595B2 (ja) | 撮像装置 | |
EP1575257A1 (en) | A selection switch and display | |
JP4724041B2 (ja) | 撮像装置、撮影時警告方法及びコンピュータ読み取り可能な記録媒体 | |
JP4003172B2 (ja) | 画像信号処理装置及び電子カメラ | |
JP2006166358A (ja) | 撮像装置および撮像システム | |
JPH11331545A (ja) | 電子的撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |