JP3781449B2 - 電子カメラのデジタル画像記憶装置 - Google Patents

電子カメラのデジタル画像記憶装置 Download PDF

Info

Publication number
JP3781449B2
JP3781449B2 JP03655295A JP3655295A JP3781449B2 JP 3781449 B2 JP3781449 B2 JP 3781449B2 JP 03655295 A JP03655295 A JP 03655295A JP 3655295 A JP3655295 A JP 3655295A JP 3781449 B2 JP3781449 B2 JP 3781449B2
Authority
JP
Japan
Prior art keywords
image
algorithm
storage device
card
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03655295A
Other languages
English (en)
Other versions
JPH07282238A (ja
Inventor
イー ラスロップ ジョージ
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JPH07282238A publication Critical patent/JPH07282238A/ja
Application granted granted Critical
Publication of JP3781449B2 publication Critical patent/JP3781449B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/214Checking or indicating the storage space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Input (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、電子画像処理、特に、取り外し可能なデジタル画像記憶装置に捕らえた画像を記憶する電子スチルカメラにおける画像記憶処理に関する。
【0002】
【従来の技術】
現在、画像記憶処理の分野では、デジタルコンピュータの大容量記憶装置として広く用いられている取り外し可能なデジタル記憶装置を使用する傾向にある。かかる記憶装置は画像データのみを記憶するわけではなく、あらゆる種類の電子データ、例えば、データベース情報やワードプロセッサ文書、ソフトウェアプログラム、その他を記憶することができる。カリフォルニア州サニーベイル所在のPersonal Computer Memory Card International Association(PCMCIA)発行のPCMCIA・PCカード・スタンダード・リリース2.0(1991年9月)に準拠したPCメモリカードもそのうちの一つといえる。このようなメモリカードを電子カメラで使用するには、電子カメラが画像データを処理、変形して、カード・インタフェース・スタンダード(規格)に準拠させる。その規格に則った画像データはカードを支持するハード側のインタフェースを介してメモリカードに取り込まれる。
【0003】
この種の記処理概念は、例えば、米国特許第5018017号に開示される。この米国特許によれば、露光値やシャッタスピードといった画像側の情報と、画像処理システムや圧縮モードといったカメラ本体側の情報とが、メモリカードの1つのディレクトリ(directory )に取り込まれる。1992年4月14日に本出願人が出願した米国特許出願第868163号「Memory Card with Programmable Interleaving」に記載される技術が上回っている点は、メモリカードが、ホストシステムから入力されるインタリーブ要因を記憶する制御回路を持つことである。インタリーブ要因の記憶によって、メモリカード内の複数の記憶装置にデータを分配する方法が特定される。インタリーブ要因を変化させると、ホストシステムは特定の用途にデータ転送速度を関連づけることができる。例えば、ホストシステムとしてパーソナルコンピュータを用いた場合、低い転送速度を許容することができるため、インタリーブ要因を小さくしたり、不要とすることができる。ところが、ホストシステムが高解像度カメラとなると、転送をリアルタイムで行うためにインタリーブ要因が大きくなるであろう。米国特許第4887161号には他の画像に特化した例が示されている。この米国特許では、メモリカードがディスプレイを備える。記憶された画像をメモリカードのプロセッサが読み出し、ディスプレイ上に表示する。このプロセッサは、カメラ本体から入力された取消要求に応じて、不必要な画像を消去することができる。
【0004】
【発明が解決しようとする課題】
上述のように、PCMCIA準拠のメモリカードを採用する傾向の中で、デジタル記憶装置に画像特有の能力を持たせる提案がなされているにも拘わらず、依然として電子カメラ側が画像データを記憶に適した形態に変形し、処理する状況が変化してはいない。しばしば数メガバイトのデータ量に達する大量のバイナリデータで画像が表現されるため、記憶に際し、電子カメラ本体側がデータを圧縮しなければならない。例えば、色空間や精細画像の処理等もそういった処理の一部となる。結果的に、デジタル記憶装置にデータを記憶しても、元々そのデータを変形/処理した型のカメラやプロセッサでなければ読み出すことができない。現行の技術的利点を活かしながら、様々な型のカメラやプロセッサに対応することのできる汎用的な装置としてのデジタル記憶装置を実現する記憶技術が待望されている。
【0005】
【課題を解決するための手段及び作用】
本発明が提供するデジタル記憶装置は、色空間や圧縮といった画像特有のデータ処理能力を備え、画像データの取扱いや処理を記憶装置自体において行うことが可能になる。外部から見れば、このデジタル記憶装置は「ブラックボックス」のようにデータの形式を問わず動作することとなる。画像はカメラによって撮影された後、記憶装置に記憶される。その際、カメラ側は、画像データの処理や記憶のために要する演算処理の負担から解放される。このため、画像データを記憶装置から読み出して、元のままの画像を画像読み出し機に表示することには記憶装置側が責任を負うこととなる。記憶装置によっては、画像を他の形態に加工して画像読み出し機に表示させることもできよう。
【0006】
本発明によれば、デジタル記憶装置が取り外し可能に電子カメラに接続され、この電子カメラは、画像信号を生成してその画像信号を出力部から出力する。デジタル記憶装置は、画像信号を処理するための複数のアルゴリズムを記憶するアルゴリズムメモリと、電子カメラの出力部との間で信号伝送を行う信号インタフェースとを備える。電子カメラから信号インタフェースを介して書き込み指令信号が入力されると、プロセッサは、アルゴリズムメモリに記憶されたアルゴリズムのうちの1つを選択し、その選択されたアルゴリズムに従って、インタフェースを介して供給された画像信号を処理する。処理された画像信号は画像メモリ部に記憶される。デジタル記憶装置は複数のアルゴリズムで提供される被支援機能の情報を記憶する特性メモリを有し、信号インタフェースを介して特性メモリの情報が電子カメラに供給され、特性メモリの情報の中から選択され、信号インタフェースを介して電子カメラから供給された書き込み信号指令に応じてアルゴリズムメモリに記憶されたアルゴリズムを選択する。
【0007】
【実施例】
以下、添付図面を参照しつつ本発明の好適な実施例を説明する。なお、CCDセンサを使用する電子カメラやデジタル記憶装置は周知であるため、特に本発明に係る装置と直接的に関連し、あるいは装置の一部となる要素についてのみ説明する。特に言及されていない要素を当業者が適宜選択することも自由である。さらに、図面は本発明の1具体例を示すに過ぎず、他の型のインタフェース等も本発明の範囲内と解釈される。以下の説明では、本発明をスチルカメラに適用している例が示されるが、本発明は、電子動画カメラによるデジタル動画の記憶媒体としても使用することができる。
【0008】
図1は、本発明に係るインテリジェント記憶装置が適用される電子スチルカメラ12を示す。この記憶装置としては、例えば、EEPROMメモリ、フラッシュメモリ、スタティックRAMメモリ、ダイナミックRAMメモリ、磁気メモリ(フロッピーやハードディスク)、光学メモリ等が様々なものが用いられる。図示例においては、固体集積回路メモリを用いるメモリカード10がインテリジェント記憶装置として用いられている。ハード磁気ドライブを含む同形状の記憶カードを利用してもよい。メモリカード10は、入力インタフェース16からカード10へ入力される画像データを記憶する複数の不揮発性EEPROMメモリ装置14a,14b,14cを備える。図示例では、3つのEEPROMメモリ装置のみ示されるが、通常それ以上の数のものが用いられる。また図示されるパラレルインタフェースの他、シリアルインタフェースや光学式インタフェース、その他を用いることができる。メモリカード10は、インタフェースアドレスや、インタフェース16から入力される制御信号をラッチするバッファ18、プログラム可能なプロセッサ20、不揮発性アルゴリズムメモリ22を備える。データバス23はこれらの素子を接続する。このメモリカードの特性は、後述するように、特性テーブル21に記憶される。入力インタフェース16はカード側コネクタ24を備え、このコネクタ24は電子カメラ12のカメラ側コネクタ26と接続されるように形作られる。
【0009】
電子スチルカメラ12は、被写体(図示せず)からの光を画像センサ32に向ける露光部30を備える。この露光部30の光学系34は、画像からの光をダイアフラム36に通過させる。ダイアフラム36は光学アパーチャを調整する。露光部30のシャッタ38は露光時間を調整する。画像の画素に対応するフォトサイト(photosites)行列を含むセンサ32は、周知のインターライン転送(interline transfer)またはフレーム転送(frame transfer)技術を用いた周知の電荷結合素子(CCD)である。センサ32はカラーフィルタアレイ40で覆われる。センサ32は画像光で露光され、アナログの画像電荷情報が各フォトサイトごとに生成される。出力部42に供給された電荷情報は、各画素に対応するアナログ画像信号に変換される。アナログ画像信号はA/D変換器44に供給され、各画素ごとにアナログ入力信号からデジタル画像信号を形成する。
【0010】
デジタル信号は画像バッファ46に送られる。この画像バッファ46は、少なくとも1画像分の記憶容量を有するランダムアクセスメモリ(RAM)で構成される。記憶された信号はデジタル信号プロセッサ48に送られ、このデジタル信号プロセッサ48がホワイトバランスやガンマ補正等の信号補正を行う。補正されたデジタル信号は出力インタフェース49へ送られる。制御プロセッサ50は露光を初期化したり制御したりする。露光を制御するには、ダイアフラム36およびシャッタ38を作動させたり、水平方向クロックや垂直方向クロックを形成してセンサ32を駆動し、センサからの画像データにクロックを与えたりする。制御プロセッサ50はユーザ入力部52からの指示を受信する。指示には、撮影指令、使用すべき圧縮アルゴリズムの選択等が含まれる。後述するように、指示には、色空間といったアルゴリズムの選択を含めてもよい。制御プロセッサ50はフォトセル54から露光状態を検知し、表示装置56にて作動条件を表示させる。表示装置56にはカード10によって提供される諸機能が表示され、ユーザ入力部52の操作で所望の機能が選択される。露光条件によっては、プロセッサ50によってフラッシュユニット58が作動する。カメラ12の作動コードはROMメモリ60に記憶される。
【0011】
制御プロセッサ50が作動すると、ユーザ入力部52からの撮影指令に応答して撮影シーケンスが初期化される。ダイアフラム36がアパーチャをセットし、シャッタ38の最適な露光時間が選択される。この選択は、フォトセル54を通じて得られた周囲の光量データおよびフラッシュユニット58の使用等の情報に従う。その結果得られる画像は画像センサ32から読み出され、A/D変換器44にてデジタル信号に変換され、メモリカード10に記憶するためにデジタル信号プロセッサ48で処理される。制御プロセッサ50は、適切な制御信号を出力インタフェース49に設定する。本発明によれば、決められた制御信号によってメモリカード10が行うべき処理が指示される。例えば、ユーザ入力部52が全く損失のない圧縮を選択するか視覚的に損失のない圧縮を選択するかによって別個の制御信号がインタフェース49に供給される。その他、書き込みや読み出し、消去を指示する制御信号もある。制御信号によってデータラインにデータが現れていることが特定されるが、特定のアドレス指定はメモリカード10のプロセッサ20によってなされる。
【0012】
画像カード10は2つの基本的機能を有する。書き込み機能と読み出し機能である。ここで、書き込み機能とは、カード10の状態を変化させる指令をいうものとし、読み出し機能とは、物理的状態を変えないものをいう。図2〜図4は、これらの機能をフローチャートの形で示す。「画像書き込み」機能によれば、特定の解像度の画像を画像カード10に記憶することができる。本実施例では「画像書き込み」機能には2つのタイプがある。「損失のない画像書き込み」と「視覚レベルで損失のない画像書き込み」である。これらの「画像書き込み」機能に加えて、書き込み機能には管理型機能が含まれる。管理型機能には、画像カードの能力に応じて適切な「画像カード消去」や「選択的画像消去」といったものが含まれる。「画像読み出し」機能に加えて、読み出し機能には管理型機能が含まれる。この管理型機能には、「画像カード特性読み出し」や「画像カウント読み出し」等が含まれる。読み出し機能は、カメラ12からだけでなく、プレーヤ、プリンタ、表示装置等の読み出し装置からも行える。管理型機能も含め、カード機能の数に制限はなく、例えば、本実施例では、以下の機能を含んでいる。
【0013】
A.書き込み機能
(1)「損失のない画像書き込み」機能に従って記憶された画像は、いかなるデータの損失を伴わずに再構成されることとなる。全体としても数学的にも損失はない。無損失アルゴリズムのためのコードはアルゴリズムメモリ22に記憶される。損失のない符号化としてはランレングス(run-length)符号化が挙げられる。このランレングス符号化は、同一キャラクタの連なりを単一の数値として符号化するデータ圧縮方法である。医療分野のように画像処理が適用されるある種の分野では、画像が圧縮されたり変形されたりすることに極めて神経質になる。かかる場合にはカメラ12は全く損失のない形で画像を記憶する必要がある。この場合でもカメラ12はユーザ入力部52からの入力に従って出力インタフェース49に対して制御信号を供給するだけである。この制御信号は、メモリカード10では、損失のない圧縮アルゴリズムが用いられるべきことを指示する。制御信号を受信すると、プロセッサ20は、アルゴリズムメモリ22から無損失アルゴリズムを復元し、このアルゴリズムに従って入力デジタル信号を圧縮し、その圧縮された信号をEEPROM14a,14b,14cに記憶する。
【0014】
(2)「視覚レベルで損失のない画像書き込み」機能に従って記憶された画像は、視覚的レベルでは損失がないように再構成される。つまり視覚的に許容し得る程度の損失で再構成される。視覚的無損失符号化としては、離散コサイン変換や微分パルスコード変調を用いる圧縮技術がある。この機能は、カメラ12からの指令によって選択されてもよく画像カードに選択させてもよい。どちらにするかは画像カードの利用可能な記憶空間に依存する。画像カードに選択させる場合、記憶容量が許すならば、画像カードは「損失のない画像書き込み」に従って画像を記憶することを選択できるようにしてもよい。この記憶方法では、視覚レベルで損失のないように画像を再構成することもできるからである。損失のない画像書き込みと同様に、カードへ適切な制御信号が入力されると、プロセッサ20はアルゴリズムメモリ22から視覚的無損失の圧縮アルゴリズムを復元し、この圧縮アルゴリズムに従って入力デジタル画像信号を処理する。いずれかの機能に用いられるある種の画像圧縮では、このように「ブラックボックス」様のアプローチ技術に基づき、外部に対して差し障りのないものとなっている。
【0015】
(3)「画像カード消去」機能は、画像データを全く持たない状態に画像カードを初期化するために用いられる。消去機能のためのコードはアルゴリズムメモリ22に記憶され、カメラからの消去命令に従ってアクセスされる。
【0016】
(4)「選択的画像消去」機能は、画像カードから1つの画像を選択的に消去し、後で記憶されるべき別の画像のための空間を確保しておくために用いられる。この機能のためのコードはアルゴリズムメモリ22に記憶される。
【0017】
B.読み出し機能
(1)「画像読み出し」機能によれば、画像カード10に含まれる特定された画像を画像カード10からカメラ12へ転送する。転送先は他の読み出し装置(図示せず)、例えば、ディスプレイ、プリンタであってもよい。どんな画像データを再構成するにしても、画像の色空間を用いて画像データをカメラへ転送する際に、どんな画像データを再構成するにしても画像カード側が責任を持つ。特に、「画像読み出し」信号によって、プロセッサ20はアルゴリズムメモリ22からの適切な伸張アルゴリズムを引き出す。続いて、カード10の中で伸張処理が行われ、伸張されたデータは、インタフェース16、19を通じてカード10からカメラ12に読み出される。画像カードからは圧縮された画像データの形で読み出されることがないので、このカードは本質的に広範囲の撮影や処理装置に対して汎用性を有するものである。
【0018】
(2)「画像カード特性読み出し」機能は、使用する画像カードの画像記憶機能性や画像処理機能性に関して画像カードの能力を決定するために用いられる。カード特性は特性テーブル21に含まれ、インタフェース16からの命令に従ってアクセスされる。この機能によって得られる情報には以下のものが含まれる。色空間、出力特性(output rendering)、圧縮等の型といった被支援機能のリスト。データ転送速度。「画像特性」のバイト。この機能の1つの使い方では、被支援機能のリストは、制御プロセッサ50によってテーブル21から読み出され、カメラ12のディスプレイ56で表示される。そこでカメラ(もしくは読み出し装置)の使用者は適切な機能を選択し、選択された機能に従ってカード10が画像データを処理する。
【0019】
(3)「画像カウント読み出し」機能は、カメラ12(もしくは読み出し装置)が、画像カード10に記憶されている画像の数を決定する。この機能のためのコードはアルゴリズムメモリ22に記憶される。
【0020】
これらのカード機能は、図2〜図4に示すフローチャートによって示される。どの場合にも、指令バイトはインタフェース16から伝送され、プロセッサ20によって読み出される。指令バイトは様々な形をとるが、フローチャートでは以下のように示される。
【0021】
A.「書き込み」が表明された場合
損失のない画像書き込み 00h
視覚レベルで損失のない画像書き込み 01h
画像カード消去 02h
選択的画像消去 03h
B.「読み出し」が表明された場合
画像読み出し 00h
カード特性読み出し 01h
画像カウント読み出し 02h
表明および指令の適切な組合せが与えられると、選択された機能が遂行される。例えば、損失のない画像書き込み機能および視覚レベルで損失のない画像書き込み機能は、ともにカメラ側から画像特性バイトを獲得し、カメラは、画像カードに記憶されている画像データの形式、即ち用いられる色空間や画素当たりのバイト数等を特定することができる。画像特性バイトはカードに記憶される。次に画像のX方向およびY方向寸法が獲得され、その寸法によって必要な記憶スペースが決定される。画像データは転送されて記憶される。そのとき、どのアルゴリズムが要求されるかによって損失のないデータまたは視覚レベルで損失のないデータとして記憶される。書き込みに基づいた消去機能は、図3に示すように作用する。特に、選択的画像消去に注意を払っている。この選択的画像消去では、カメラから得られた画像番号によって消去が制限され、消去に続いて残りの画像は詰められる。読み出し機能は、書き込み機能の反対の動作を行う。先ずカメラ(もしくは読み出し装置)から所望の画像番号を獲得し、続いてカメラ(もしくは読み出し装置)に画像特性バイトやX−Y方向寸法を供給する。最後に画像データは、適切な伸張処理または他の処理によって復元され、カメラ(もしくは読み出し装置)へ転送される。
【0022】
画像カード10およびそのインタフェース16は、特に画像関連データだけを記憶するように設計されている。画像カードに提供され得る画像データフォーマットとしては、既存の色空間の24ビットRGB(赤色、緑色、青色)が挙げられる。この画像データフォーマットは、カラーデータの濃度もしくは差量ばかりでなく、異なる色空間をカバーし、種々のアプリケーションに適応させることができる。このフォーマットにおいては、画像カードインタフェース16により、ある画像サイズ、すなわち、あるX/Y寸法の24ビットRGB画像データの記憶および再現が可能である。画像カードインタフェースにおける画像データの色空間は「カード特性」テーブル21によって特定され、用途ごとの画像カードの形式や型番によって異なってもよい。言い換えれば、どの色空間がカードによって支援されるかは「カード特性」テーブル21によって決定される。色空間には、例えば、(ニューヨーク州、ロチェスタのイーストマンコダック社によって公表され、そのフォトCDシステムにおいて用いられている)「フォトYCC」色空間や一般的に広く知られているCCIR709、CIELabもしくはCIELuvといった標準的な色空間がある。画像カードは、選択/特定された色空間で画像データが提供されていることを想定し、他の指令がない限り、画像再生の際にはこの色空間内で画像を再構成することになる。仮に指令があった場合には、カード10は、アルゴリズムメモリ22から選択された色空間アルゴリズムを復元し、それに従って画像データを新たな色空間に変換する。
【0023】
カード10のアルゴリズムメモリ22は、記憶された画像データを送り出すアルゴリズム、すなわち特定の出力経路もしくは使用形式に先だって画像データを処理するアルゴリズムを含んでもよい。例えば、カードに記憶された画像データは、特定の色空間で作動する出力プリント装置に送り出される。この場合、「特定出力の記憶」機能といった付加的な書き込み機能が設けられる。このような効果を得る制御信号は、制御プロセッサ50によって発行され、適切な送り出しアルゴリズムがアルゴリズムメモリ22から復元され、形成される画像出力を出力装置に適合した形式に変形する。
【0024】
カード上での画像データの処理はカメラからのエネルギを使ってプロセッサ20によって行われる。実質的に、このような処理はカメラおよびその使用者に対し理解しやすいものである。圧縮、色空間変換、色送り出しといった「ブラックボックス」的な画像データ処理は、カード10による受信後直ちに行われるか、遅れてもよい。どのくらい遅れてもよいかは、カードの条件や必要な処理形式に応じて決められる。例えば、画像の撮影および記憶後すぐに処理を行ってもよいし、撮影指令を待つ「待機」モードからカメラが脱出するまで処理を遅れさせることもできる。さらに処理を遅らせて、カード10が接続を解かれて取り外されるのを待ってもよい。後者の場合には、カード自体が内部のプロセッサ20や他素子を駆動させる電源を備えることになる。
【0025】
この画像カードによれば、解像度に応じて画像記憶を行うことができる。画像カードに画像を書き込む際には、画像のX/Y方向寸法が与えられる。画像カードから画像を読み出す際には、画像カードは、画像データの転送に先だって画像のX/Y方向寸法をホストに供給する。その他、画像を読み出す際には、サブサンプル(subsampled)もしくはスケール(scaled)化してカード10から画像を読み出すこともできる。例えば、プロセッサ20にアルゴリズムメモリ22から特殊なサブサンプリングアルゴリズムを復元させ、それに従って記憶された画像データをサブサンプルさせるようにした「クロップ読み出し(cropped read)」指示を含んでいる。
【0026】
24ビットRGB形式の画像撮影フォーマットが付与されると、赤色(8ビット)、緑色(8ビット)及び青色(8ビット)データでその順に画像データの画素が形成される。この3−バイトシーケンス(3-byte sequence )は、RGBトリプレット(triplet )と言われる。典型的な書き込み/読み出しシーケンスは、次のようになっている。画像データを画像カードに書き込む場合は、ホストカメラは、画像の上部左の隅から始めて左から右へ、そして上から下へ移動するRGBトリプレットデータを形成する。また画像データを画像カードからホストカメラに読み出す場合は、画像カードは、画像の上部左の隅から始めて左から右へ、そして上から下へ移動するRGBトリプレットデータを形成する。画像カード10のデータバス23は、例えば高速データ転送を可能にする付加的な制御ラインを備えた8ビットのパラレスバスである。その最大データ転送速度は、画像カードのバージョン/モデルによって変化することができる。
【0027】
上記のように好適実施例を特に参照して本発明を詳細に説明したが、本発明思想の範囲内で変更や変形が可能である。例えば、画像カードをカメラ12に結合させるために用いた技術としては、図1から分かるように金属製ピン/ソケット結合でよく、また実質的に光学式のものでもよい。更に別のものとしては、高速直列インタフェースであってもよい。インタフェースの形式は必ずしもこれらに限定されるものではなく、その他の形式を採用し得る。更に、アルゴリズムメモリ22については、一定数の記憶されたアルゴリズムを有する例を説明したが、既存のアルゴリズムを変更し或いは新たな機能を付加させるために、書き込み保護機能を介して適宜のホストプロセッサから更新するようにしてもよい。
【0028】
【発明の効果】
以上のように本発明によれば、一般のコンピュータ記憶媒体に対して主として以下の利点を有する。第1に、撮影装置は、画像データを物理的媒体に記憶するための通常の論理的処理を行う必要がない。第2に、撮影装置は、画像データを記憶する際に必要とされる圧縮等の実際の画像処理を行う必要がない。このような「ブラックボックス」的なアプローチによれば、読み出し装置が物理的媒体からの画像データを演算処理して再現する必要がなく、その上、記憶の際に圧縮されていても画像データを伸張する必要がない。さらに、この「ブラックボックス」的なアプローチによれば、記憶、その後のディスプレイやプリントのための再現に際して画質の一貫性が確立される。そのために、記憶装置自体において均一な画像処理が行われる。カメラはいずれにしろ画像記憶装置のインタフェースの規格に随伴しなければならないため、本発明の画像記憶装置の考え方によれば、電子撮影装置にとって電子的画像記憶の標準化に貢献することになる。そして、異なる能力を備えた画像記憶装置が、共通のインタフェースに適合したカメラと協働する。
【図面の簡単な説明】
【図1】 本発明に係る電子カメラおよびデジタル記憶装置を含む電子画像処理システムの構成図である。
【図2】 図1のデジタル記憶装置によって支援される書き込み機能を示すフローチャートである。
【図3】 図1のデジタル記憶装置によって支援される書き込み機能を示すフローチャートである。
【図4】 図1のデジタル記憶装置によって支援される読み出し機能を示すフローチャートである。
【符号の説明】
10 メモリカード、12 電子スチルカメラ、14a,14b,14c メモリ装置、16 インタフェース、18 バッファ、20 プログラム可能なプロセッサ、21 特性テーブル、22 アルゴリズムメモリ、23 データバス、24 カードエッジコネクタ、26 カメラエッジコネクタ、30 露光部、32 画像センサ、34 光学系、36 ダイアフラム、38 シャッタ、40カラーフィルタアレイ、42 出力部、44 A/D変換器、46 画像バッファ、48 デジタル信号プロセッサ、49 出力インタフェース、50 制御プロセッサ、52 ユーザ入力部、54 フォトセル、56 表示装置、58 フラッシュユニット、60 ROMメモリ。

Claims (4)

  1. 画像信号を生成し、その画像信号を出力部に送り出す電子カメラに取り外し可能に接続されるデジタル記憶装置において、
    画像信号の処理に供される複数のアルゴリズムを記憶するアルゴリズムメモリであって、前記複数のアルゴリズムには複数の書き込み機能を含むアルゴリズムメモリと、
    前記複数のアルゴリズムで提供される被支援機能の情報を記憶する特性メモリと
    電子カメラの出力部との間で信号伝送を行う信号インタフェースと、
    前記信号インタフェースを介して前記特性メモリの情報がカメラに供給され、前記特性メモリの情報の中から選択され、前記信号インタフェースを介してカメラから供給された書き込み信号指令に応じて、前記アルゴリズムメモリに記憶されたアルゴリズムを選択し、前記信号インタフェースを介して供給された画像信号にその選択されたアルゴリズムを適用して画像信号を処理するプロセッサと、
    処理された画像信号を記憶する画像メモリ部と、
    を備える電子カメラのデジタル画像記憶装置。
  2. 請求項1に記載のデジタル記憶装置において、
    前記アルゴリズムには、少なくとも1つの圧縮アルゴリズムが含まれる電子カメラのデジタル画像記憶装置。
  3. 請求項1に記載のデジタル記憶装置において、
    前記アルゴリズムには、画像メモリ部に記憶された1以上の画像信号を消去する消去アルゴリズムが含まれる電子カメラのデジタル画像記憶装置。
  4. 請求項1に記載のデジタル記憶装置において、
    このデジタル記憶装置は、画像信号を処理するために用いられるアルゴリズムの同一性を保持し、
    前記プロセッサは、前記信号インタフェースからの読み出し指令に応じて、前記画像メモリ部に記憶された画像信号を選択し、選択した画像信号を元の画像信号または他の形態に再現する、電子カメラのデジタル画像記憶装置。
JP03655295A 1994-02-28 1995-02-24 電子カメラのデジタル画像記憶装置 Expired - Lifetime JP3781449B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202538 1994-02-28
US08/202,538 US5563655A (en) 1994-02-28 1994-02-28 Intelligent digital image storage for an electronic camera

Publications (2)

Publication Number Publication Date
JPH07282238A JPH07282238A (ja) 1995-10-27
JP3781449B2 true JP3781449B2 (ja) 2006-05-31

Family

ID=22750305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03655295A Expired - Lifetime JP3781449B2 (ja) 1994-02-28 1995-02-24 電子カメラのデジタル画像記憶装置

Country Status (4)

Country Link
US (1) US5563655A (ja)
EP (1) EP0669752B1 (ja)
JP (1) JP3781449B2 (ja)
DE (1) DE69518560T2 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407773B1 (en) * 1994-02-28 2002-06-18 Canon Kabushiki Kaisha Image sensing apparatus
DE69528918T2 (de) 1994-02-28 2003-04-24 Canon Kk Bildaufnahmegerät
JP3893480B2 (ja) * 1994-09-28 2007-03-14 株式会社リコー デジタル電子カメラ
US6452629B1 (en) * 1995-03-15 2002-09-17 Canon Kabushiki Kaisha System for installing image sensing program
US5852472A (en) * 1995-09-28 1998-12-22 Intel Corporation Method and apparatus for connecting video sources and video sinks
US5790193A (en) * 1995-11-22 1998-08-04 Eastman Kodak Company Accessory module for an electronic camera
US6870566B1 (en) * 1995-12-07 2005-03-22 Canon Kabushiki Kaisha Image sensing system for sensing an image and converting the image into image signals with a controlled operating rate
US20020057349A1 (en) 1996-03-06 2002-05-16 Masanori Yamaguchi Image pickup apparatus and solid state image pickup device
SG88729A1 (en) * 1996-03-06 2002-05-21 Sony Corp Image pickup apparatus and solid state image pickup device
DE69732409D1 (de) * 1996-05-06 2005-03-10 Cimatrix Canton Intelligente ccd-kamera mit progressiver abtastung
DE69737082D1 (de) * 1996-08-21 2007-01-25 Casio Computer Co Ltd Einem Speicher mit ein oder zwei Datenspeicherbereichen verwendendes Datenspeichergerät
US6157394A (en) * 1996-08-29 2000-12-05 Apple Computer, Inc. Flexible digital image processing via an image processing chain with modular image processors
US6028611A (en) * 1996-08-29 2000-02-22 Apple Computer, Inc. Modular digital image processing via an image processing chain
US5991465A (en) 1996-08-29 1999-11-23 Apple Computer, Inc. Modular digital image processing via an image processing chain with modifiable parameter controls
US6765612B1 (en) * 1996-12-09 2004-07-20 Flashpoint Technology, Inc. Method and system for naming images captured by a digital camera
JPH10233986A (ja) * 1997-02-21 1998-09-02 Hitachi Ltd 映像信号記録装置
US6411331B1 (en) 1997-02-28 2002-06-25 Hewlett-Packard Company Automatic white balance detection and correction of an image captured in a digital camera
US6940541B1 (en) * 1997-04-04 2005-09-06 Eastman Kodak Company Printer parameter compensation by a host camera
US7212229B2 (en) * 1997-04-04 2007-05-01 Eastman Kodak Company Digital camera providing image processing for an attachable printer
JPH10285362A (ja) * 1997-04-09 1998-10-23 Nikon Corp データ処理装置および記録媒体
DE69736347T2 (de) * 1997-05-09 2007-07-12 Stmicroelectronics S.R.L., Agrate Brianza Digitale Photographievorrichtung mit einer Bildverarbeitungsvorrichtung
US6522354B1 (en) * 1997-06-09 2003-02-18 Nikon Corporation Electronic camera and method of operating an electronic camera
JP3519913B2 (ja) * 1997-06-10 2004-04-19 三洋電機株式会社 ディジタルスチルカメラ
JP3423191B2 (ja) * 1997-06-16 2003-07-07 三洋電機株式会社 画像番号配置方法および画像番号配置装置
US6009201A (en) * 1997-06-30 1999-12-28 Intel Corporation Efficient table-lookup based visually-lossless image compression scheme
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
DE69841996D1 (de) * 1997-09-03 2010-12-23 Panasonic Corp Digitales Bildaufnahmesystem
US6212632B1 (en) 1998-07-31 2001-04-03 Flashpoint Technology, Inc. Method and system for efficiently reducing the RAM footprint of software executing on an embedded computer system
US6463177B1 (en) 1998-11-04 2002-10-08 Sharp Laboratories Of America, Inc. Dynamic management of embedded coded images in a digital storage device
US6317141B1 (en) 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US8636648B2 (en) 1999-03-01 2014-01-28 West View Research, Llc Endoscopic smart probe
US10973397B2 (en) 1999-03-01 2021-04-13 West View Research, Llc Computerized information collection and processing apparatus
US8068897B1 (en) 1999-03-01 2011-11-29 Gazdzinski Robert F Endoscopic smart probe and method
US7914442B1 (en) 1999-03-01 2011-03-29 Gazdzinski Robert F Endoscopic smart probe and method
JP3905992B2 (ja) * 1999-03-23 2007-04-18 株式会社東芝 デジタルデータ記録装置
WO2000074370A1 (en) * 1999-06-02 2000-12-07 Eastman Kodak Company Customizing digital image transfer
JP2001177793A (ja) * 1999-12-17 2001-06-29 Minolta Co Ltd デジタルカメラおよび画像記録システム
US20020027603A1 (en) * 2000-09-01 2002-03-07 Seiko Epson Corporation Apparatus, method, signal and computer program product configured to provide output image adjustment for image files
JP4532717B2 (ja) * 2000-10-31 2010-08-25 キヤノン株式会社 画像通信装置、電子メール送信制御方法、及び記憶媒体
JP2002330383A (ja) * 2001-04-26 2002-11-15 Toshiba Corp デジタルカメラとその制御方法
US20030018852A1 (en) * 2001-07-17 2003-01-23 Xircom, Inc. Digital remote store
US6870578B2 (en) * 2001-12-19 2005-03-22 Thomson Licensing Sa. Apparatus and method for sharing signal control lines
US6876400B2 (en) * 2001-12-19 2005-04-05 Thomson Licensing S.A. Apparatus and method for protecting a memory sharing signal control lines with other circuitry
US7471310B2 (en) * 2001-12-28 2008-12-30 Karl Storz Imaging, Inc. Intelligent camera head
US7466344B2 (en) * 2002-06-07 2008-12-16 Scimeasure Analytical Systems, Inc. High-speed low noise CCD controller
US7561793B2 (en) * 2002-11-12 2009-07-14 Eastman Kodak Company User interface for controlling cropping in electronic camera
US6907194B2 (en) 2002-11-12 2005-06-14 Eastman Kodak Company Camera having continuously cropping viewfinder
US7006764B2 (en) * 2002-11-12 2006-02-28 Eastman Kodak Company User interface for controlling cropping in electronic camera
US7197189B2 (en) * 2003-05-15 2007-03-27 Hewlett-Packard Development Company, L.P. System and method having removable storage medium with data compression
US20050129385A1 (en) * 2003-09-16 2005-06-16 Jmz Llc Intelligent portable memory device with display
US8659619B2 (en) 2004-03-26 2014-02-25 Intellectual Ventures Fund 83 Llc Display device and method for determining an area of importance in an original image
US7406548B2 (en) * 2004-03-26 2008-07-29 Hewlett-Packard Development Company, L.P. Systems and methods for responding to a data transfer
JP2006019932A (ja) * 2004-06-30 2006-01-19 Canon Inc 処理装置及び撮像装置
JP4883468B2 (ja) * 2005-11-02 2012-02-22 カシオ計算機株式会社 ブレ検出システム装置、撮像装置及び外部記録媒体、及び、そのプログラム
JP5136062B2 (ja) * 2005-11-16 2013-02-06 株式会社ニコン カメラ、電子スチルカメラ及びカメラシステム
TW200735662A (en) * 2006-03-08 2007-09-16 Benq Corp Image capture systems and methods
DE202006005643U1 (de) * 2006-03-31 2006-07-06 Faro Technologies Inc., Lake Mary Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs
US9224145B1 (en) 2006-08-30 2015-12-29 Qurio Holdings, Inc. Venue based digital rights using capture device with digital watermarking capability
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
CN104702926B (zh) 2007-04-11 2017-05-17 Red.Com 公司 摄像机
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
DE102009057101A1 (de) 2009-11-20 2011-05-26 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102012100609A1 (de) 2012-01-25 2013-07-25 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
JP7425569B2 (ja) * 2019-09-20 2024-01-31 キヤノン株式会社 撮像装置、デバイス、制御方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4420773A (en) * 1980-06-30 1983-12-13 Nippon Kogaku K.K. Electronic photographic camera
JPS5778286A (en) * 1980-10-31 1982-05-15 Nippon Kogaku Kk <Nikon> Electronic camera
US4901160A (en) * 1985-09-13 1990-02-13 Takao Kinoshita Electronic camera
US4907231A (en) * 1987-05-06 1990-03-06 Fuji Photo Film Co., Ltd. Memory cartridge-connectable electronic device such as electronic still video camera
JPH0620283B2 (ja) * 1987-05-19 1994-03-16 富士写真フイルム株式会社 画像デ−タ記録装置
US4887161A (en) * 1987-05-28 1989-12-12 Fuji Photo Film Co., Ltd. Memory cartridge and digital electronic still video camera in which said memory cartridge is freely loadable/unloadable
US5018017A (en) * 1987-12-25 1991-05-21 Kabushiki Kaisha Toshiba Electronic still camera and image recording method thereof
US5153729A (en) * 1988-10-24 1992-10-06 Fuji Photo Film Co., Ltd. Digital electronic still camera automatically determining conditions of a memory cartridge
US5138503A (en) * 1988-11-16 1992-08-11 Sharp Kabushiki Kaisha Field or frame recording method and apparatus for an electronic still camera
JP2959773B2 (ja) * 1989-04-20 1999-10-06 オリンパス光学工業株式会社 電子スチルカメラ
US5016107A (en) * 1989-05-09 1991-05-14 Eastman Kodak Company Electronic still camera utilizing image compression and digital storage
US5231501A (en) * 1989-05-25 1993-07-27 Asahi Kogaku Kogyo Kabushiki Kaisha Still video apparatus
JP3226271B2 (ja) * 1989-07-27 2001-11-05 オリンパス光学工業株式会社 ディジタル電子スチルカメラ
JP3117138B2 (ja) * 1989-09-13 2000-12-11 オリンパス光学工業株式会社 電子スチルカメラとその撮像記録素子
US5040068A (en) * 1989-12-28 1991-08-13 Eastman Kodak Company Electronic imaging apparatus with interchangeable pickup units
JPH04137081A (ja) * 1990-09-28 1992-05-12 Fuji Photo Film Co Ltd Eepromを有するicメモリカード
US5138459A (en) * 1990-11-20 1992-08-11 Personal Computer Cameras, Inc. Electronic still video camera with direct personal computer (pc) compatible digital format output
US5341489A (en) * 1992-04-14 1994-08-23 Eastman Kodak Company Memory card with programmable interleaving
JP3548191B2 (ja) * 1993-03-22 2004-07-28 キヤノン株式会社 カメラ

Also Published As

Publication number Publication date
EP0669752A3 (en) 1996-06-05
DE69518560D1 (de) 2000-10-05
DE69518560T2 (de) 2001-05-23
US5563655A (en) 1996-10-08
EP0669752A2 (en) 1995-08-30
EP0669752B1 (en) 2000-08-30
JPH07282238A (ja) 1995-10-27

Similar Documents

Publication Publication Date Title
JP3781449B2 (ja) 電子カメラのデジタル画像記憶装置
JP3109677B2 (ja) 画像圧縮及びディジタル記憶を利用した電子スチルカメラ
US6650366B2 (en) Digital photography system using direct input to output pixel mapping and resizing
JP4044727B2 (ja) カメラのグラフィカルユーザインターフェイスにおいて縦横比を補正するための方法及び装置
US7230643B2 (en) Digital camera with electronic zooming function
US8264572B2 (en) Image processing apparatus and electronic camera that reduce the length of time required to complete reproduction of recorded image data
JPH06350907A (ja) 電子スチルカメラ
US20050007626A1 (en) Image capture apparatus
JP3348917B2 (ja) 画像信号処理装置
US7362468B2 (en) Image sensing device and image processing method
AU8761191A (en) Mechanism for accessing digitized image database to provide iteratively improved display resolution
JPH11282446A (ja) 画像処理方法及び記憶媒体
JP3962440B2 (ja) 画像処理装置
JP2000092437A (ja) ディジタルカメラ装置
JP3519526B2 (ja) ディジタルスチルカメラ
US6950127B1 (en) Digital camera
JP3154069B2 (ja) 静止画記録装置
EP0998130B1 (en) Digital camera and image processing method
JP3710066B2 (ja) 電子スチルビデオカメラ
JPH0877049A (ja) 電子スチルカメラの情報記録方法およびその装置
JP2999490B2 (ja) 電子カメラおよび画像記録方法
JP2869424B2 (ja) デジタル電子スチルカメラ
JP2000149001A (ja) ディジタル画像記録装置
KR100577646B1 (ko) 디지털 스틸 카메라의 메모리 운영장치 및 운영방법
JPH0879686A (ja) 電子スチルカメラの情報記録方法およびその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050421

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050421

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060307

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140317

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term