JP3768182B2 - 電子カメラ - Google Patents
電子カメラ Download PDFInfo
- Publication number
- JP3768182B2 JP3768182B2 JP2002308530A JP2002308530A JP3768182B2 JP 3768182 B2 JP3768182 B2 JP 3768182B2 JP 2002308530 A JP2002308530 A JP 2002308530A JP 2002308530 A JP2002308530 A JP 2002308530A JP 3768182 B2 JP3768182 B2 JP 3768182B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- compression
- image
- electronic camera
- camera according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007906 compression Methods 0.000 claims description 47
- 230000006835 compression Effects 0.000 claims description 44
- 230000006837 decompression Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000002427 irreversible effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 43
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/212—Motion video recording combined with still video recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/21—Intermediate information storage
- H04N2201/212—Selecting different recording or reproducing modes, e.g. high or low resolution, field or frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
この発明は、電子カメラに関し、特にたとえば携帯通信端末に適用され、カメラ装置とプロセサとを備える、電子カメラに関する。
【0002】
【従来技術】
従来の電子カメラの一例が、特許文献1に開示されている。この従来技術では、シャッタボタンの操作に応答して撮影された被写体の画像信号は、フレームメモリに一旦格納された後、YUV変換やJPEG圧縮などの信号処理を経て記録媒体に記録される。フレームメモリに格納された画像信号はまた、YUV変換や間引き処理を経てモニタに出力され、これによって撮影された被写体の静止画像(フリーズ画像)がモニタ画面に表示される。
【0003】
【特許文献1】
特開2001−231003号公報
【0004】
【発明が解決しようとする課題】
しかし、JPEG圧縮は非可逆圧縮であり、伸長画像には画質劣化が生じる。その一方、モニタ画面に表示されるフリーズ画像は圧縮処理および伸長処理を経た画像ではない。このため、従来技術では、伸長画像に生じる画質の劣化をフリーズ画像から判断することができず、画質劣化を確認するには再生モードへの移行が必要であった。つまり、従来技術では、撮影画像の画質劣化を確認するには、煩雑な操作が必要であった。
【0005】
それゆえに、この発明の主たる目的は、撮影画像の画質劣化を簡単かつ速やかに確認することができる、電子カメラを提供することである。
【0006】
【課題を解決するための手段】
この発明によれば、電子カメラは、複数の第1画素ブロックが割り当てられた受光面を有するイメージセンサ、複数の第1画素ブロックを特定順序で走査して受光面で生成された電荷をイメージセンサから読み出す読み出し手段、読み出し手段によって読み出された電荷に基づいて第1画素ブロックに対応する第2画素ブロック毎に画像データを生成する生成手段、生成手段によって生成された画像データを特定順序で第2画素ブロック毎に圧縮する圧縮手段、圧縮手段によって生成された圧縮画像データを特定順序で第2画素ブロック毎に伸長する伸長手段、および伸長手段によって生成された伸長画像データを出力する出力手段を備える。
【0007】
【作用】
イメージセンサは、複数の第1画素ブロックが割り当てられた受光面を有する。読み出し手段は、複数の第1画素ブロックを特定順序で走査して受光面で生成された電荷をイメージセンサから読み出し、生成手段は、読み出された電荷に基づいて第1画素ブロックに対応する第2画素ブロック毎に画像データを生成する。圧縮手段は、生成された画像データを特定順序で第2画素ブロック毎に圧縮し、伸長手段は、圧縮画像データを特定順序で第2画素ブロック毎に伸長する。伸長画像データは、出力手段によって出力される。
【0008】
好ましくは、第1起動手段は、撮影指示に応答して圧縮手段を起動する。また、第2起動手段は、圧縮手段による圧縮処理の完了に応答して伸長手段を起動する。
【0009】
好ましくは、圧縮手段によって生成された圧縮画像データは、保存手段によってメモリに一時的に保存される。記録手段は、メモリに保存された圧縮画像データを記録指示に応答して記録媒体に記録する。これによって、画質が不十分な画像についての意図しない記録が回避され、操作性が向上する。
【0011】
好ましくは、受光面に形成された複数の画素をそれぞれ覆う複数の色要素を有する色フィルタをさらに備える。また、複数の画素の各々で生成される電荷は複数色のいずれか1つの色情報を有し、生成手段によって生成された画像データを形成する画素は複数色の全てを有する。第2画素ブロックは第1画素ブロックよりも大きく、かつ互いに隣接する2つの第2画素ブロックは部分的に重複する。なお、イメージセンサがCMOS型であれば、上記のような電荷の読み出しが可能となる。
【0012】
出力手段が伸長画像データの解像度を低減させる場合、伸長された高解像度の画像データを一旦格納するメモリが不要となる。
【0013】
圧縮手段は、好ましくは非可逆方式で圧縮を行う。かかる場合に、出力される伸長画像データに画質劣化が生じる。
【0014】
また、画像データは好ましくは静止画像データである。静止画像の画質劣化の方が動画像の画質劣化よりも目立つため、静止画像データについて上述の処理を行う場合により顕著な効果が現れると言える。
【0015】
【発明の効果】
この発明によれば、圧縮画像データの生成後に速やかに伸長画像データが生成され、生成された伸長画像データが出力される。このため、伸長画像の画質劣化を簡単かつ速やかに確認することができる。
【0016】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0017】
【実施例】
図1を参照して、この実施例の移動通信システムは、携帯通信端末200と無線通信を行う複数のBS(Base Station)100,100,…を含む。BS100はMLS(Mobile Local Switch)400と接続され、MLS400はMGS(Mobile Gateway Switch)300を介して他のMLS400と接続される。携帯通信端末200同士での電話のやり取り、つまり音声データの通信は、BS100,MLS400およびMGS300を介して行われる。
【0018】
MLS400はまた、PPM(Packet Processing Module)500を介してバックボーンネットワーク600と接続され、バックボーンネットワーク600にはサーバ700が接続される。サーバ700は、インターネット800にも接続される。
【0019】
携帯通信端末200からパケットデータが発信されたとき、このパケットデータは、BS100,MLS400,PPM500およびバックボーンネットワーク600を介してサーバ700に与えられる。転送されたパケットデータが他の携帯通信端末200宛のメールであれば、サーバ700は、このパケットデータをバックボーンネットワーク600,PPM500,MLS400,BS100を介して宛先の携帯通信端末200に送信する。一方、転送されたパケットデータがWEBサイト800へのアクセス要求であれば、サーバ700は、インターネット800を介してWEBサイト900にアクセスし、アクセス先から取得したパケットデータを要求元の携帯通信端末200に返送する。このときも、パケットデータは、バックボーンネットワーク600,PPM500,MLS400,BS100を介して要求元の携帯通信端末200に転送される。
【0020】
携帯通信端末200は、具体的には図2に示すように構成される。操作キー36によって通話のための発呼操作が行われると、メインCPU28は、信号処理回路16,無線回路14およびアンテナ12を通して、発呼信号を相手方の携帯通信端末200に送信する。これに対して、相手方が着呼操作を行うと、通話可能状態となる。
【0021】
通話可能状態となった後にマイクロホン24に音声が入力されると、この音声は、マイクロホン24によってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ26によって増幅され、AD/DA変換回路18によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路16によって符号化処理を施され、さらに無線回路14によって変調処理を施される。無線回路14によって生成された変調音声データは、アンテナ12から発信される。
【0022】
一方、相手方から送られてきた変調音声データは、アンテナ12によって受信され、無線回路14によって復調処理を施されるとともに、信号処理回路16によって復号処理を施される。信号処理回路16によって復号された音声データは、AD/DA変換回路18によってアナログ信号である音声信号に変換され、変換された音声信号は、アンプ20を介してスピーカ22から出力される。
【0023】
このようにして相手方との間で通話が行われている最中に、操作キー36によって通話終了操作が行われると、メインCPU28は、信号処理回路16および無線回路14を制御して、相手方に通話終了信号を送信する。通話終了信号の送信後、メインCPU28は、通話処理を終了する。先に相手方から通話終了信号を受信した場合も、メインCPU28は、通話処理を終了する。
【0024】
通話が行われていない状態で、操作キー36によってカメラ機能が有効化されると、カメラユニット34およびメインCPU28によってスルー画像出力処理が実行される。まずカメラユニット34が、被写体を撮影し、撮影した被写体に対応する低解像度の動画像データを生成し、そして生成した動画像データをメインCPU28に出力する。メインCPU28は、カメラユニット34から出力された動画像データをVRAM38に転送する。VRAM38に格納された動画像データはLCDドライバ40によって読み出され、この結果、被写体のリアルタイム動画像(スルー画像)がLCD42に表示される。
【0025】
操作キー36に設けられたレリーズキー36aが操作されると、カメラユニット34およびメインCPU28によって画像圧縮/保存処理が実行される。まずカメラユニット34が、レリーズキー36aが操作された時点の被写体に対応する高解像度の圧縮静止画像データを生成し、生成した圧縮静止画像データをメインCPU28に出力する。メインCPU28は、カメラユニット34から与えられた圧縮静止画像データをワークメモリ34に一時的に保存する。
【0026】
画像圧縮/保存処理が完了すると、伸長画像出力処理が実行される。まずカメラユニット34が、圧縮静止画像データをJPEG方式で伸長し、伸長静止画像データの解像度を低減し、そして低解像度の伸長静止画像データをメインCPU28に出力する。メインCPU28は、カメラユニット34から出力された伸長静止画像データをVRAM38に書き込む。VRAM38に格納された伸長静止画像データはLCDドライバ40によって読み出され、この結果、レリーズキー36aが操作された時点の被写体の静止画像(フリーズ画像)がLCD42に表示される。
【0027】
JPEG方式は非可逆方式であるため、伸長静止画像データには画質の劣化が生じる。この結果、LCD42に表示されるフリーズ画像にも、この画質劣化が反映される。オペレータは、表示されたフリーズ画像によって画質劣化を簡単かつ速やかに確認することができる。
【0028】
フリーズ画像がLCD42に表示された後に記録キー36bが操作されると、メインCPU28によって記録処理が実行される。つまり、ワークメモリ34に保存されている圧縮静止画像データが、メインCPU28によってフラッシュメモリ30に記録される。フラッシュメモリ30には、圧縮静止画像データを含むデータファイルが形成される。記録が完了すると、スルー画像出力処理が再開される。
【0029】
なお、記録キー36bの代わりにキャンセルキー36cが操作されたときは、圧縮画像データの記録処理を経ることなく、スルー画像出力処理が再開される。
【0030】
メール送信機能が有効化されると、メインCPU28は、宛先アドレス,タイトルおよびメッセージの入力と、フラッシュメモリ30からの任意の圧縮静止画像データの選択とをオペレータに要求する。操作キー36の操作によって、宛先アドレス,タイトルおよびメッセージが入力され、かつ任意の圧縮静止画像データが選択されると、メインCPU28は、メールを作成し、信号処理回路16,無線回路14およびアンテナ12を通してこのメールを送信する。
【0031】
なお、上述のカメラ機能を実現するためのプログラムは、インターネット900上に存在する特定のWEBサイト900からダウンロードすることができる。このとき、ダウンロードされたプログラムは、フラッシュメモリ30に書き込まれる。
【0032】
カメラユニット34は、詳しくは図3に示すように構成される。被写体の光学像は、光学レンズ52と図4に示すような原色ベイヤ配列を有する色フィルタ54とを経て、CMOS型のイメージセンサ56の受光面に入射される。色フィルタ54を形成する色要素はイメージセンサ56の受光面に形成された受光素子(画素)と1対1で対応し、各々の受光素子では、R,GおよびBのいずれか1つの色情報のみを有する電荷が生成される。
【0033】
スルー画像出力処理時、ドライバ62は、TG(Timing Generator)64から出力された垂直同期信号に応答して、ラスタ走査方式でイメージセンサ56を駆動する。イメージセンサ56からは、上述の電荷からなる生画像信号が1ラインずつ出力される。センサ処理回路58は、イメージセンサ56から出力された各フレームの生画像信号にCDS,AGC,A/D変換などの処理を施してディジタル信号である生画像データを生成し、カメラ信号処理回路60は、生成された生画像データに白バランス調整や色分離などの処理を施して補間画像データを生成する。補間画像データを形成する各々の画素は、R,GおよびBの全ての色情報を有することとなる。なお、センサ処理回路58およびカメラ信号処理回路60は、TG64から出力されたクロック信号に応答して処理を実行する。
【0034】
スルー画像出力処理時、スイッチSW1は端子S1と接続され、スイッチSW2は端子S3と接続される。カメラ信号処理回路60から出力された補間画像データは、スイッチSW1を介して間引き回路70に与えられ、解像度低減処理を施される。間引き回路70からは低解像度の補間画像データが出力され、この補間画像データは、スイッチSW2を介してメモリコントローラ76に与えられる。
【0035】
スルー画像出力処理時、メモリコントローラ76は、TG64から出力された垂直同期信号に応答して、いわゆるバンク切り換えを実行する。つまり、メモリコントローラ76は、スイッチSW2から与えられた現フレームの補間画像データを第1フレームメモリ78aに書き込むときは、第2フレームメモリ78bから前フレームの補間画像データを読み出し、スイッチSW2から与えられた現フレームの補間画像データを第2フレームメモリ78bに書き込むときは、第1フレームメモリ78aから前フレームの補間画像データを読み出す。したがって、読み出しアドレスと書き込みアドレスとの間で追い越しが生じることはない。メモリコントローラ76によって読み出された連続フレームの補間画像データつまり動画像データは、I/F80を経てメインCPU28に出力される。
【0036】
画像圧縮/保存処理時、ドライバ62は、イメージセンサ56をブロック走査方式で1フレーム期間にわたって駆動する。これによって、1フレームの生画像信号が、水平10画素×垂直10画素からなる画素ブロック単位でイメージセンサ56から出力される。このとき、互いに隣接する画素ブロックには、図5(A)に示すように、2画素分の重複が生じる。この重複は、カメラ信号処理回路60における色分離処理を考慮したものである。
【0037】
イメージセンサ56から出力された生画像信号はセンサ処理回路58によって生画像データに変換され、センサ処理回路58から出力された生画像データはカメラ信号処理回路60によって補間画像データに変換される。補間画像データは、図5(B)に示すような8画素×8画素からなる画素ブロック単位でカメラ信号処理回路60から出力される。
【0038】
画像圧縮/保存処理時、スイッチSW1は端子S2と接続され、スイッチSW2は端子S4と接続される。また、画像圧縮回路68に圧縮命令が与えられ、メモリコントローラ76にバンク固定命令が与えられる。このバンク固定命令によって、第1フレームメモリ78aが書き込み先および読み出し先として指定される。
【0039】
カメラ信号処理回路60から出力された各画素ブロックの補間画像データは、色変換回路66に与えられる。補間画像データの色形式は、RGB形式からYUV形式に変換される。変換された補間画像データは、圧縮命令によって起動した画像圧縮回路68に画素ブロック単位で与えられ、JPEGのような非可逆方式の圧縮処理を施される。
【0040】
圧縮された補間画像データつまり圧縮静止画像データは、スイッチSW2を介してメモリコントローラ76に与えられ、これによって第1フレームメモリ78aに書き込まれる。第1フレームメモリ78aは読み出し先としても指定されているため、第1フレームメモリ78aに格納された圧縮静止画像データは、その後メモリコントローラ76によって読み出される。読み出された圧縮静止画像データは、I/F80を介してメインCPU28に出力される。
【0041】
伸長画像出力処理時は、画像伸長回路74に伸長命令が与えられ、メモリコントローラ76に設定変更命令が与えられる。この設定変更命令によって、第1フレームメモリ78aが読み出し先として指定され、第2フレームメモリ78bが書き込み先として指定される。メモリコントローラ76は、第1フレームメモリ78aから圧縮静止画像データを読み出し、伸長命令によって起動した画像伸長回路74は、読み出された圧縮静止画像データにJPEG伸長を施す。伸長処理は画素ブロック単位で実行され、伸長された各画素ブロックの補間画像データつまり伸長静止画像データは、色変換回路72によってYUV形式からRGB形式への色変換を施される。
【0042】
スイッチSW1はこの時点において端子S2と接続されており、色変換回路72から出力された伸長静止画像データはスイッチSW1を介して間引き回路70に与えられる。間引き回路70は、与えられた伸長静止画像データに解像度低減処理を施し、これによって生成された低解像度の伸長静止画像データは、スイッチSW2を介してメモリコントローラ76に入力される。メモリコントローラ76は、入力された伸長静止画像データを第2フレームメモリ78bに書き込む。
【0043】
画像伸長回路74による1フレーム分の伸長処理が完了すると、設定変更命令がメモリコントローラ76に与えられる。この命令によって、第2フレームメモリ78bが読み出し先として指定される。メモリコントローラ76は、第2フレームメモリ78bから伸長静止画像データを読み出し、読み出した伸長静止画像データをI/F80を介してメインCPU28に出力する。
【0044】
カメラ機能が有効化されたとき、メインCPU28は図6および図7に示すフロー図に従う処理を実行し、カメラCPU78は図8および図9に示すフロー図に従う処理を実行する。なお、図6および図7に示すフロー図に対応する制御プログラムはフラッシュメモリ30に記憶され、図8および図9に示すフロー図に対応する制御プログラムはフラッシュメモリ84に記憶される。
【0045】
図6および図7を参照して、まずメインCPU28の処理について説明する。ステップS1では所定の初期化処理を実行する。続くステップS3では、スルー画像出力処理を実行するべく、動画像モードをカメラユニット34に設定する。具体的には、“動画像モード”を示すモード情報を図3に示すI/F80に設定する。このモード設定に対してI/F80から割込信号が返送されると、ステップS5でYESと判断し、ステップS7で1フレームの補間画像データをI/F80から取得する。ステップS9では、取得した補間画像データをVRAM38に転送する。ステップS11ではレリーズキー36aの操作の有無を判別し、NOであればステップS3に戻る。このため、レリーズキー36aが押されない限り、連続する複数フレームの補間画像データがI/F80から取り込まれ、VRAM38に転送される。
【0046】
VRAM38に転送された複数フレームの補間画像データは、LCDドライバ40によって順次読み出される。この結果、複数フレームの補間画像データからなる動画像つまり被写体のスルー画像が、LCD42に表示される。
【0047】
レリーズキー36aが操作されると、ステップS11からステップS13に進む。ステップS13では、画像圧縮/保存処理を実行するべく、画像圧縮モードをI/F80に設定する。このモード設定に対して割込信号がI/F80から返送されると、ステップS15でYESと判断する。そして、ステップS17でI/F80から圧縮静止画像データを取得し、ステップS19でこの圧縮静止画像データをワークメモリ32に転送する。取得された圧縮静止画像データは、レリーズキー36aが操作された時点の被写体の画像データである。ステップS19の処理によって、かかる圧縮静止画像データがワークメモリ32に一時的に保存される。
【0048】
圧縮静止画像データの保存が完了すると、伸長画像出力処理を実行するべく、ステップS21で画像伸長モードをI/F80に設定する。このモード設定に対して割込信号がI/F80から返送されると、ステップS23でYESと判断する。そして、ステップS25でI/F80から伸長静止画像データを取得し、ステップS27でこの伸長静止画像データをVRAM38に転送する。取得された伸長静止画像データは、上述の圧縮静止画像データを伸長し、かつ解像度を低減させた画像データである。ステップS27の処理によって、かかる伸長静止画像データがVRAM38に書き込まれる。VRAM38に格納された伸長静止画像データは、LCDドライバ40によって読み出される。この結果、レリーズボタン36aの操作に応答して撮影された被写体の静止画像つまりフリーズ画像が、LCD42に表示される。
【0049】
ステップS29では記録キー36bの操作の有無を判別し、ステップS31ではキャンセルキー36cの操作の有無を判別する。記録キー36bが操作されたときはステップS29からステップS33に進み、ワークメモリ32に保存された圧縮画像データをファイル形式でフラッシュメモリ30に記録する。かかる記録処理が完了すると、ステップS3に戻る。一方、キャンセルキー36cが操作されたときは、ステップS31でYESと判断し、記録処理を経ることなくステップS3に戻る。この結果、スルー画像出力処理が再開される。
【0050】
次に、図8および図9を参照して、カメラCPU82の処理について説明する。ステップS41では所定の初期化処理を実行し、ステップS43ではメインCPU28によって設定されたモード情報をI/F80から取得する。ステップS45ではモード情報の内容が“動画像モード”を表しているかどうかを判別し、ステップS47ではモード情報の内容が“画像圧縮モード”を表しているかどうかを判別する。ステップS45でYESと判断されたときはスルー画像出力処理を実行するべくステップS49に進み、ステップS47でYESと判断されたときは画像圧縮/保存処理を実行するべくステップS61に進む。ステップS45およびS47のいずれにおいてもNOと判断されたときは、ステップS43に戻る。
【0051】
スルー画像出力処理時は、まずステップS49でスイッチSW1およびSW2を端子S1およびS3に接続する。これによって、間引き回路70が有効化される。ステップS51ではドライバ62にラスタ走査を命令し、ステップS53ではメモリコントローラ76にバンク切り換えを命令する。ステップS55では垂直同期信号がTG64から出力されたかどうか判断し、YESであれば、ステップS57で割り込み信号をI/F80を介してメインCPU28に出力する。ステップS57の処理が完了すると、ステップS43に戻る。したがって、動画像モードがI/F80に設定されている限り、ステップS49〜S57の処理が繰り返される。
【0052】
ドライバ62は、TG64からの垂直同期信号に応答してイメージセンサ54をラスタ走査方式で駆動する。このラスタ走査に基づいて、カメラ信号処理回路58からは連続するフレームの補間画像データが出力される。カメラ信号処理回路58から出力された補間画像データは間引き回路70で間引き処理を施され、間引き回路70から出力された低解像度の補間画像データは、メモリコントローラ76によって第1フレームメモリ78aまたは第2フレームメモリ78bに書き込まれる。
【0053】
バンク切り換えが命令されているため、メモリコントローラ76は、書き込み先を第1フレームメモリ78aと第2フレームメモリ78bとの間で1フレーム毎に切り換え、読み出し先を第2フレームメモリ78bと第1フレームメモリ78aとの間で1フレーム毎に切り換える。したがって、各フレームの補間画像データは、第1フレームメモリ78aおよび第2フレームメモリ78bに交互に書き込まれ、第2フレームメモリ78bおよび第1フレームメモリ78aから交互に読み出される。読み出された一連のフレームの補間画像データは、I/F80を介してメインCPU28に出力される。
【0054】
画像圧縮/保存処理時は、まずステップS59でスイッチSW1およびSW2を端子S2およびS4にそれぞれ接続し、ステップS61で画像圧縮回路68に圧縮処理を命令する。ステップS63ではメモリコントローラ76にバンク固定を命令し、ステップS65ではドライバ62にブロック走査を命令する。
【0055】
ドライバ62は、イメージセンサ56をブロック走査方式で1フレーム期間にわたって駆動する。カメラ信号処理回路60からは、このブロック走査に基づく1フレームの補間画像データが出力される。出力された補間画像データは、色変換回路66で色変換を施され、圧縮命令によって起動した画像圧縮回路68でJPEG圧縮を施される。これによって1フレームの圧縮静止画像データが生成される。生成された圧縮静止画像データは、メモリコントローラ76によって第1フレームメモリ78aに書き込まれ、その後メモリコントローラ76によって第1フレームメモリ78aから読み出される。読み出された圧縮静止画像データは、I/F80を介してメインCPU28に出力される。
【0056】
図9のステップS67では、画像圧縮回路68による1フレームの圧縮処理が完了したかどうかを判断する。ここでYESと判断されるとステップS69に進み、割り込み信号をI/F80を介してメインCPU28に出力する。割り込み信号の出力が完了すると、ステップS71でI/F80からモード情報を取得し、ステップS73でこのモード情報の内容を判別する。そして、モード情報が“画像伸長モード”を示していれば、ステップS75以降で伸長画像出力処理を実行する。
【0057】
まずステップS75で画像伸長回路74に伸長処理を命令し、ステップS77でメモリコントローラ76に設定変更を命令する。設定変更の命令によって、メモリコントローラ76は、第1フレームメモリ78aを読み出し先とし、第2フレームメモリ78bを書き込み先とする。第1フレームメモリ78aに格納された圧縮静止画像データは、メモリコントローラ76によって読み出され、伸長命令によって起動した画像伸長回路74でJPEG伸長を施される。伸長静止画像データは、色変換回路72による色変換、および間引き回路70による間引きを経て、メモリコントローラ76によって第2フレームメモリ78bに書き込まれる。
【0058】
ステップS79では、画像伸長回路74の伸長処理が完了したかどうか判断する。ここでYESであれば、ステップS81でメモリコントローラ76に設定変更を命令する。この設定変更命令によって、メモリコントローラ76は第2フレームメモリを読み出し先とする。このため、第2フレームメモリ78bに格納された低解像度の伸長静止画像データは、メモリコントローラ76によって読み出され、I/F80を介してメインCPU28に出力される。ステップS81の処理が完了すると、ステップS83で割り込み信号をI/F80を介してメインCPU28に出力し、その後ステップS43に戻る。
【0059】
以上の説明から分かるように、携帯通信端末200は、カメラユニット34とメインCPU28とを備える。カメラユニット34では、色変換回路66および画像圧縮回路68の一連の処理系が、撮影された被写体の補間画像データに基づいて高解像度の圧縮静止画像データを生成する。また、画像伸長回路74,色変換回路72および間引き回路70の一連の処理系が、高解像度の圧縮静止画像データに基づいて低解像度の伸長静止画像データを生成する。
【0060】
ここで、メインCPU28は、レリーズキー36aが操作されたとき画像圧縮回路68を起動し、圧縮静止画像データの生成が完了したとき画像伸長回路74を起動する。画像伸長回路74の起動によって生成された低解像度の伸長静止画像データは、メインCPU28によってカメラユニット34から取得され、VRAM38に書き込まれる。この結果、伸長画像がLCD42に表示される。したがって、JPEGのような非可逆方式の圧縮処理に起因する伸長画像の画質劣化を簡単かつ速やかに確認することができる。
【0061】
また、メインCPU28は、画像圧縮回路68によって生成された圧縮静止画像データをワークメモリ32に一時的に保存し、記録キー36bが操作されるとこの圧縮静止画像データがフラッシュメモリ30に記録される。このようにフラッシュメモリ30への記録にあたって記録キー36bの操作を要求することで、画質が不十分な圧縮静止画像データの意図しない記録が回避される。かかる点で操作性が向上する。
【0062】
さらに、画像圧縮回路68は画素ブロック単位で圧縮処理を実行するため、ドライバ62は、ブロック走査方式でイメージセンサ56を駆動する。これによって、カメラ信号処理回路60から出力される補間画像データをメモリに一時的に格納する必要がなくなり、メモリ容量の削減が可能となる。
【0063】
なお、この実施例では、携帯通信端末を用いて説明しているが、この発明は、カメラ機能を有するあらゆる電子機器(好ましくは携帯電子機器)に適用することができる。
【0064】
また、この実施例では、メモリ容量の削減も考慮してCMOS型のイメージセンサを用いているが、メモリ容量に制限がないのであれば、ラスタ走査しかできないCCD型のイメージセンサを用いてもよい。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】図1実施例に適用される携帯通信端末の構成の一例を示すブロック図である。
【図3】図2実施例に適用されるカメラユニットの構成の一例を示すブロック図である。
【図4】図3実施例に適用される色フィルタの構成の一例を示す図解図である。
【図5】(A)は図3実施例の動作の一部を示す図解図であり、(B)は図3実施例の動作の一部を示す図解図である。
【図6】図2実施例に適用されるメインCPUの動作の一部を示すフロー図である。
【図7】図2実施例に適用されるメインCPUの動作の他の一部を示すフロー図である。
【図8】図3実施例に適用されるカメラCPUの動作の一部を示すフロー図である。
【図9】図3実施例に適用されるカメラCPUの動作の他の一部を示すフロー図である。
【符号の説明】
28…メインCPU
30…フラッシュメモリ
32…ワークメモリ
34…カメラユニット
36…操作キー
42…LCD
54…色フィルタ
56…イメージセンサ
68…画像圧縮回路
74…画像伸長回路
76…メモリコントローラ
82…カメラCPU
Claims (8)
- 複数の第1画素ブロックが割り当てられた受光面を有するイメージセンサ、
前記複数の第1画素ブロックを特定順序で走査して前記受光面で生成された電荷を前記イメージセンサから読み出す読み出し手段、
前記読み出し手段によって読み出された電荷に基づいて前記第1画素ブロックに対応する第2画素ブロック毎に画像データを生成する生成手段、
前記生成手段によって生成された画像データを前記特定順序で前記第2画素ブロック毎に圧縮する圧縮手段、
前記圧縮手段によって生成された圧縮画像データを前記特定順序で前記第2画素ブロック毎に伸長する伸長手段、および
前記伸長手段によって生成された伸長画像データを出力する出力手段を備える、電子カメラ。 - 撮影指示に応答して前記圧縮手段を起動する第1起動手段、および
前記圧縮手段による圧縮処理の完了に応答して前記伸長手段を起動する第2起動手段をさらに備える、請求項1記載の電子カメラ。 - 前記圧縮手段によって生成された圧縮画像データをメモリに一時的に保存する保存手段、および前記メモリに保存された圧縮画像データを記録指示に応答して記録媒体に記録する記録手段をさらに備える、請求項1または2記載の電子カメラ。
- 前記受光面に形成された複数の画素をそれぞれ覆う複数の色要素を有する色フィルタをさらに備え、
前記複数の画素の各々で生成される電荷は複数色のいずれか1つの色情報を有し、前記生成手段によって生成された画像データを形成する画素は前記複数色の全てを有し、前記第2画素ブロックは前記第1画素ブロックよりも大きく、かつ互いに隣接する2つの第2画素ブロックは部分的に重複する、請求項1ないし3のいずれかに記載の電子カメラ。 - 前記イメージセンサはCMOS型である、請求項1ないし4のいずれかに記載の電子カメラ。
- 前記出力手段は前記伸長画像データの解像度を低減させる解像度低減手段を含む、請求項1ないし5のいずれかに記載の電子カメラ。
- 前記圧縮手段は非可逆方式で圧縮を行う、請求項1ないし6のいずれかに記載の電子カメラ。
- 前記画像データは静止画像データである、請求項1ないし7のいずれかに記載の電子カメラ。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002308530A JP3768182B2 (ja) | 2002-10-23 | 2002-10-23 | 電子カメラ |
EP03809426A EP1558031A4 (en) | 2002-10-23 | 2003-09-03 | ELECTRONIC CAMERA |
US10/532,337 US7420593B2 (en) | 2002-10-23 | 2003-09-03 | Electronic camera utilizing pixel blocks |
CNB038246317A CN100490518C (zh) | 2002-10-23 | 2003-09-03 | 电子照相机 |
AU2003261917A AU2003261917A1 (en) | 2002-10-23 | 2003-09-03 | Electronic camera |
PCT/JP2003/011278 WO2004039073A1 (ja) | 2002-10-23 | 2003-09-03 | 電子カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002308530A JP3768182B2 (ja) | 2002-10-23 | 2002-10-23 | 電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004147008A JP2004147008A (ja) | 2004-05-20 |
JP3768182B2 true JP3768182B2 (ja) | 2006-04-19 |
Family
ID=32170978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002308530A Expired - Fee Related JP3768182B2 (ja) | 2002-10-23 | 2002-10-23 | 電子カメラ |
Country Status (6)
Country | Link |
---|---|
US (1) | US7420593B2 (ja) |
EP (1) | EP1558031A4 (ja) |
JP (1) | JP3768182B2 (ja) |
CN (1) | CN100490518C (ja) |
AU (1) | AU2003261917A1 (ja) |
WO (1) | WO2004039073A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1768384A1 (en) * | 2004-06-18 | 2007-03-28 | Konica Minolta Opto, Inc. | Image capturing device |
KR100693587B1 (ko) | 2004-08-20 | 2007-03-14 | 주식회사 팬택앤큐리텔 | 고화질 영상 및 동영상 처리 기능을 가지는무선통신단말기 및 그 방법 |
CN100566372C (zh) * | 2006-05-11 | 2009-12-02 | 宏达国际电子股份有限公司 | 具有历史图像数字相簿功能的手持电子设备及其应用方法 |
KR101409769B1 (ko) * | 2007-08-01 | 2014-06-19 | 삼성전자주식회사 | 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법 |
JP4958758B2 (ja) * | 2007-12-14 | 2012-06-20 | 三星電子株式会社 | 記録装置、再生装置、記録方法、再生方法及びプログラム |
US8571280B2 (en) * | 2010-02-22 | 2013-10-29 | Canon Kabushiki Kaisha | Transmission of medical image data |
US9001267B2 (en) * | 2011-11-11 | 2015-04-07 | Qualcomm Incorporated | Method and apparatus for tightly coupled, low power image processing |
JP2014013506A (ja) * | 2012-07-04 | 2014-01-23 | Canon Inc | 情報処理装置、制御方法、及びプログラム |
JP2014186196A (ja) * | 2013-03-25 | 2014-10-02 | Toshiba Corp | 映像処理装置および映像表示システム |
JP2015186235A (ja) * | 2014-03-26 | 2015-10-22 | ソニー株式会社 | イメージセンサ、および電子装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US201074A (en) * | 1878-03-05 | Improvement in hammock-supports | ||
US260230A (en) * | 1882-06-27 | Hammock and tent frame | ||
US838078A (en) * | 1906-05-07 | 1906-12-11 | Hugh Mcintosh | Hammock. |
US5046203A (en) * | 1990-09-14 | 1991-09-10 | Cuadros Graciela V O De | Collapsible hammock support |
JPH05110979A (ja) * | 1991-10-18 | 1993-04-30 | Olympus Optical Co Ltd | 画像記録装置 |
US5659907A (en) * | 1995-01-30 | 1997-08-26 | Huang; Ton-Chau | Foldable hammock assembly |
JP3096618B2 (ja) * | 1995-08-10 | 2000-10-10 | 三洋電機株式会社 | 撮像装置 |
US5983422A (en) * | 1998-03-26 | 1999-11-16 | Bayless; Lee | Collapsible hammock |
US7253836B1 (en) * | 1998-06-30 | 2007-08-07 | Nikon Corporation | Digital camera, storage medium for image signal processing, carrier wave and electronic camera |
JP2001223921A (ja) * | 1999-11-30 | 2001-08-17 | Canon Inc | 画像処理装置及び方法、並びに記憶媒体 |
US7424207B2 (en) * | 2000-02-18 | 2008-09-09 | Sanyo Electric Co., Ltd. | Digital camera |
JP3515467B2 (ja) * | 2000-02-18 | 2004-04-05 | 三洋電機株式会社 | ディジタルカメラ |
US6765611B1 (en) * | 2000-11-21 | 2004-07-20 | Eastman Kodak Company | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device |
JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
-
2002
- 2002-10-23 JP JP2002308530A patent/JP3768182B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-03 EP EP03809426A patent/EP1558031A4/en not_active Withdrawn
- 2003-09-03 CN CNB038246317A patent/CN100490518C/zh not_active Expired - Fee Related
- 2003-09-03 AU AU2003261917A patent/AU2003261917A1/en not_active Abandoned
- 2003-09-03 US US10/532,337 patent/US7420593B2/en not_active Expired - Fee Related
- 2003-09-03 WO PCT/JP2003/011278 patent/WO2004039073A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP1558031A4 (en) | 2010-06-09 |
JP2004147008A (ja) | 2004-05-20 |
EP1558031A1 (en) | 2005-07-27 |
AU2003261917A8 (en) | 2004-05-13 |
WO2004039073A1 (ja) | 2004-05-06 |
US20060061667A1 (en) | 2006-03-23 |
AU2003261917A1 (en) | 2004-05-13 |
CN100490518C (zh) | 2009-05-20 |
CN1692642A (zh) | 2005-11-02 |
US7420593B2 (en) | 2008-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050264650A1 (en) | Apparatus and method for synthesizing captured images in a mobile terminal with a camera | |
CN100527820C (zh) | 视频重放设备和视频重放方法 | |
KR20070050822A (ko) | 촬상 장치, 화상 처리 방법, 및 프로그램 | |
US7652692B2 (en) | Apparatus and method for photographing a moving picture | |
JP3768182B2 (ja) | 電子カメラ | |
KR100770835B1 (ko) | 영상 데이터 처리 시스템 및 그 방법 | |
JP2004007436A (ja) | 電子カメラ、画像記録装置、画像記録方法及びプログラム | |
US6661452B1 (en) | Digital camera capable of decreasing a required memory capacity | |
JP3512327B2 (ja) | 携帯形テレビ電話システムにおける画像データ領域可変方式 | |
KR20110109886A (ko) | 송신 장치, 방법, 및 프로그램 | |
JP3379537B2 (ja) | デジタルカメラにおける高速画像選択 | |
JP2001197460A (ja) | 画像データの中継方法および通信管理センタ | |
JP3379536B2 (ja) | デジタルカメラにおける高速画像表示 | |
JP2000341252A (ja) | データ通信システム、データ送信装置、データ受信装置およびデータ通信装置 | |
JPH1051762A (ja) | インターフォン | |
JP4015567B2 (ja) | 携帯端末機器 | |
JPH11187371A (ja) | テレビ電話システムにおけるリアルタイム画像伝送方式 | |
JPH11146034A (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
JP3661682B2 (ja) | デジタルカメラにおける高速画像表示 | |
JP3832511B2 (ja) | デジタルカメラ | |
JP3365413B2 (ja) | デジタルカメラにおける高速画像表示 | |
JP2005039777A (ja) | 画像撮影装置及び画像撮影システム | |
JP2000152069A (ja) | 撮影装置、映像伝送システム、映像受信装置、映像送信装置、映像符号化装置および映像再生装置 | |
JP3729200B2 (ja) | デジタルカメラ | |
JPH07312746A (ja) | テレビ電話装置及びその画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060131 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |