JP4536916B2 - Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium - Google Patents

Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium Download PDF

Info

Publication number
JP4536916B2
JP4536916B2 JP2000400036A JP2000400036A JP4536916B2 JP 4536916 B2 JP4536916 B2 JP 4536916B2 JP 2000400036 A JP2000400036 A JP 2000400036A JP 2000400036 A JP2000400036 A JP 2000400036A JP 4536916 B2 JP4536916 B2 JP 4536916B2
Authority
JP
Japan
Prior art keywords
printing
image
data
print
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000400036A
Other languages
Japanese (ja)
Other versions
JP2002204411A (en
JP2002204411A5 (en
Inventor
岳 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000400036A priority Critical patent/JP4536916B2/en
Publication of JP2002204411A publication Critical patent/JP2002204411A/en
Publication of JP2002204411A5 publication Critical patent/JP2002204411A5/ja
Application granted granted Critical
Publication of JP4536916B2 publication Critical patent/JP4536916B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像印刷システム、撮像装置、画像印刷システムの制御方法、撮像装置の制御方法及び記憶媒体に関し、特に、単体で撮影動作が可能なデジタルカメラと、印刷装置とを組み合わせた画像印刷システムに用いて好適なものである。
【0002】
【従来の技術】
従来、デジタルカメラを既存のカメラの代替手段として用いるユーザーは、デジタルカメラで撮影した画像をプリンターで印刷して鑑賞する場合が多い。この場合、デジタルカメラからプリンターに直接印字するのではなく、デジタルカメラから画像データをパソコンヘ転送し、上記パソコンに接続されたプリンターで印刷することが一般的であった。しかし、近年はデジタルカメラとプリンターとを直接接続して画像を印刷可能なシステムも出現している。
【0003】
このような画像印刷システムは、高価なパソコンを用いないで撮影画像を印刷することができるので、画像印刷システムの構成を安価に構築できるとともに、単純な操作で写真のようなプリントを得ることができる利点を有している。
【0004】
【発明が解決しようとする課題】
しかし、上記のようなパソコンを使用しない画像印刷システムには以下のような問題があった。すなわち、上記画像印刷システムにおいて使用するプリンターには単独で画像を印刷する機能がないため、印刷に必要な演算処理の大部分はデジタルカメラ側で処理するようになされている。
【0005】
このため、プリント中にはデジタルカメラ内部の演算回路と演算リソース(記録メモリやバッファ)に多大な負荷がかかり、プリント作業を継続しながら撮影作業を行うと、撮影作業に演算リソースを全て振り分けることができないので、高速速写や高画質撮影などを軽快に行うことができない問題があった。
【0006】
上記のような問題を解消するために、撮影を行う場合には印刷を中止するように構成した場合には、ユーザーによる印刷中止操作が必要であるので、この間に撮影のチャンスを逃す恐れがあった。更に、印刷を中止して撮影を行った場合には、中止した印刷を途中から再開することができず、上記中止した画像の印刷を最初からやり直さなければならに問題があった。
【0007】
本発明は上述の問題点にかんがみ、単体で撮影動作が可能な撮影装置と、これに接続された印刷装置によって構成される画像印刷システムにおいて、印刷作業の実行とは無関係に撮影動作を行うことができるようにすることを第1の目的とする。
また、中止した印刷作業を無駄にすることなく、撮影終了後に印刷作業を再開できることを第2の目的とする。
【0008】
【課題を解決するための手段】
本発明の画像印刷システムは、撮像手段と、前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有する撮像装置と、前記撮像装置と通信手段によって接続される印刷装置とによって構成される画像印刷システムであって、
前記画像処理手段は、前記印刷処理が一時停止された場合は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納することを特徴とする。
【0009】
本発明の撮像装置は、撮像手段と、前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有し、前記印刷処理が一時停止された場合は、前記画像処理手段は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納することを特徴とする。
【0011】
本発明の画像印刷システムの制御方法は、撮像手段と、前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有する撮像装置と、前記撮像装置と通信手段によって接続される印刷装置とによって構成される画像印刷システムの制御方法であって、
前記印刷処理が一時停止された場合は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納するよう、前記画像処理手段を制御することを特徴とする。
本発明の撮像装置の制御方法は、撮像手段と、前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有する撮像装置の制御方法であって、前記印刷処理が一時停止された場合は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納するよう前記画像処理手段を制御することを特徴とする。
【0012】
本発明の記憶媒体は、上記に記載の制御方法の各処理をコンピュータに実行させるプログラムを記憶したことを特徴とする。
【0013】
本発明は上記技術手段を有するので、印刷作業が実行されているときに撮影動作が行われる場合には、印刷が自動的に一時停止するので、撮影装置においては単体で動作している時と同じ使用感を実現することが可能となる。また、中止されるまでに既に行われた印刷作業を無駄にすることなく、撮影終了後に印刷作業を再開することが可能となる。
【0014】
【発明の実施の形態】
(第1の実施の形態)
以下、本発明の画像印刷システム、撮像装置、印刷装置、印刷制御方法及び記憶媒体の実施の形態を説明する。
図1に、本実施の形態の画像印刷システムの構成例を示す。図1中、上部が本システムの撮影装置(CAMERA DEVICE)100、下部が印刷装置(PRINTER DEVICE)200である。これら2つの装置は有線あるいは無線通信手段によって接続され、有線通信手段によって接続されている場合には分離することができる。
【0015】
図1において、101は撮像ユニット、102は制御ユニット、103は画像メモリ、104はフラッシュメモリカード、105はカラー液晶表示装置、106はデータバス、107は印刷装置の制御CPU、108は入力装置、109は制御線、110は撮影装置の通信インターフェイス、111は計時装置である。
【0016】
また、201は印刷装置の制御CPU、202は印刷装置の制御処理用メモリ、203は印刷ユニット、204は印刷装置の通信インターフェイス、205はデータバス、206はCPUの制御線である。本実施の形態のシステムの全体的な制御は主にCPUユニット107が行う。
【0017】
撮影装置の制御CPU107は複数のタスク実行が可能なCPUで、内部に各処理に必要なワークメモリ空間を持つ。本システムでは撮影・印刷・中断・再開の4つのタスクが撮影装置の制御CPU107で並列実行される。各タスクは互いにメッセージを送受信する。
【0018】
以下、各タスクの処理内容を説明する。
「撮影タスク」
本実施の形態の画像印刷システムにおける撮影装置を単独で動作させ、撮影動作を行う方法を図2のフローチャートに対応して以下述べる。撮影動作は、図2の撮影タスクを撮影装置の制御CPU107が実行することで行われる。
【0019】
最初のステップS101において、本撮影システムは着脱可能な電池によって電源供給が行われる。電源供給が開始されると、撮影装置の制御CPU107は撮影動作プログラムタスクの起動を行う。
【0020】
次に、ステップS102において、本システムの使用者が、入力装置108を通じて撮影装置の制御CPU107に撮影命令を出すことで本システムは撮影動作を開始する。
次に、ステップS103において、本撮影システムによって印刷が行われているか確認する。
【0021】
この確認の結果、印刷が行われている場合にはステップS110に進んで印刷の中断処理を行う。上記中断処理については後述する。ステップS203の判定の結果、印刷が行われていなければステップS104に進んで画像メモリ103に画像を格納する処理を行う。
【0022】
但し、ステップS102における撮影命令がタイマー撮影命令である場合には、中断処理を直ちに行わない。タイマー撮影命令は、通常の撮影命令と同様に使用者が入力装置108を通じて撮影装置の制御CPU107に発行できる。
【0023】
タイマー撮影命令が発行された場合、命令発行後10分が経過してから撮影を行う。撮影装置の制御CPU107は接続された計時装置111の出力より計時動作を行い、命令発行後9分が経過してから中断処理へ移行する。中断が行われると、印刷タスク(後述)より印刷中断メッセージが発信されるので、撮影装置の制御CPU107は印刷の中断を知ることができる。
【0024】
次に、ステップS104において、撮影装置が撮影を開始する。撮影タスクは撮影開始メッセージ印刷開始メッセージを発信する。撮影装置は、撮像素子・光学レンズ群・電子絞り・電子合焦手段によって構成される撮像ユニット101と、撮像ユニット101を制御する制御ユニット102によってデジタル画像を撮影する。
【0025】
撮影装置の全ての制御は撮影装置の制御CPU107によって行われる。撮影装置の制御CPU107は内部に予め決められた制御プログラムを持ち、制御線109によって接続されたユニットを制御する。
【0026】
撮影装置の制御CPU107は、制御ユニット102を制御線109経由で制御し、撮像ユニット101に装備されている電子絞り・電子合焦手段を制御する。撮影装置の制御CPU107は制御ユニット102を制御し、撮影された画像データはデータバス106を経由し、制御ユニット102に接続されている画像メモリ103に格納される。このときの画像メモリ103のメモリ空間を図5に示す。
【0027】
本撮影装置への電力供給が失われると画像メモリ103に格納された画像は消去される。撮影装置の制御CPU107が画像データを画像メモリ103に格納する領域は固定されており、前回撮影したデータは上書きされる。
【0028】
次に、ステップS105において、撮影装置の制御CPU107は、画像メモリ103に格納された画像データを予め決められたプログラムに従って処理し、データサイズを圧縮する。画像データ(処理前)を画像処理・圧縮したデータが、図5における画像データ(処理・圧縮後)である。画像データ(圧縮・処理後)のデータサイズは画像データ(処理前)より必ず小さくなる。このとき、前述中断処理ステップS110を行った経緯がある場合、画像メモリ上に残る印刷用データ領域に上書きして上記圧縮後の画像データを書き込む。本動作により、画像メモリ容量を有効に活用して撮影動作を行うことが可能である。
【0029】
次に、ステップS106において、撮影装置の制御CPU107は上記ステップS104で圧縮した画像データ(圧縮・処理後)を、フラッシュメモリカード104に格納する。フラッシュメモリカード104は、本撮影装置から取り外し可能に取り付けられている。
【0030】
撮影装置の電源の供給が停止した場合、撮影装置から取り外した場合、いずれの場合にもフラッシュメモリカード104の内容は保持される。図5に示したように、画像データ(圧縮・処理後)は撮影された順番にフラッシュメモリカード104へ格納される。画像データ(処理・圧縮後)がフラッシュメモリカード104に格納されると、撮影タスクは撮影終了メッセージを各タスクヘ送信する。
【0031】
次にステップS107に進み、撮影が終了すると、撮影装置の制御CPU107は撮影が終了したことをカラー液晶表示装置105に表示する。
【0032】
次に、ステップS108において、撮影装置の制御CPU107は、フラッシュメモリカード104の空き容量を確認し、次回の撮影に必要な充分な空き容量が無ければステップS109に進んで残容量が無い旨を表示して撮影動作を終了する。
【0033】
また、フラッシュメモリカード104に空き容量がある場合、撮影装置の制御CPU107は、接続されている計時装置111が発生する300msec毎の信号出力に同期して、入力装置108の状態をチェックする。このチェックにより次に入力装置108によって撮影を指示されるまで撮影装置の制御CPU107は待機する。
【0034】
計時装置111は、内部にリアルタイムクロック機能を備え、撮影装置の制御CPU107は計時装置111から現時点を示す時間データを得ることができる。撮影装置の制御CPU107は通常内蔵するプログラムコードによって動作するが、入力装置108による使用者の指示によってプログラムコードを更新することもできる。このとき、更新するプログラムコードはフラッシュメモリカード104から撮影装置の制御CPU107へと転送される。
【0035】
ステップS109においては、上述したように、フラッシュメモリカード104の空き容量が無い場合、撮影装置の制御CPU107はカラー液晶表示装置105に残容量無し表示を行い、撮影動作を終了する。使用者は、本撮影装置の電源を切り、フラッシュメモリカード104を新たに空き容量があるものに交換した上で再度電源投入を行う。このことにより再び撮影が可能となる。
【0036】
「印刷タスク」
本実施の形態の画像印刷システムにおいて、印刷動作を行う手順を図3のフローチャートを参照しながら説明する。
図3は、本システムにおける印刷プログラムタスクの処理を示したものである。また、印刷の中断と再開において各タスクが発信するメッセージを図4に示した。
【0037】
電源が投入されると、最初のステップST201において、撮影装置の制御CPU107は印刷プログラムタスクを起動して、印刷タスク処理に必要な初期処理を行う。
【0038】
次に、ステップS202において、印刷プログラムは、本システムで撮影が行われているか確認する。撮影が行われている場合には、印刷動作を開始しない。
【0039】
上記ステップS202における確認の結果、撮影中ではない場合にはステップS203に進み、撮影装置の制御CPU107は使用者が入力装置108によって発行する印刷命令を受信し、印刷を開始する。あるいは、再開タスク(後述)より再開開始メッセージを受信した場合も印刷を開始する。但し、再開不能を受信している場合はステップS212に進む。
【0040】
次に、ステップS204において、撮影装置の制御CPU107は印刷装置と通信を行い、正常に通信が行われているか確認する。このとき、通信インターフェイスCIF(C010)より信号送出を行う。印刷装置を制御する撮像ユニット101は、予め決められたプログラムによって、受信した上記撮影装置の制御CPU107の信号に対し通信インターフェイス印刷装置の通信インターフェイス204(P004)を通じて返信を行う。
【0041】
印刷装置の制御CPU201は、内部にワークメモリ及び予め書き込まれたプログラムコードを持ち、撮影装置の制御CPU107の指令とは無関係に独自に処理を行うことができる。ここで、印刷装置の制御CPU201は印刷装置の残インク容量、残紙枚数などをチェックした後、撮影装置の制御CPU107に対して印刷が可能であるかを返信する。
【0042】
これにより、撮影装置の制御CPU107は印刷装置が正常に使用できるか確認することができる。印刷が開始できない場合はステップS211に進む。ここで本タスクは印刷開始メッセージを発信する。
【0043】
次に、ステップS205において、図6に示すように、撮影装置の制御CPU107は印刷対象となる画像データをフラッシュメモリカード104から読み出して画像メモリ103上にコピーする。なお、本実施例では、フラッシュメモリカード104上の全ての画像データを印刷する例を述べるが、実際には印刷対象となる画像データを使用者が選択しても良い。
【0044】
次に、ステップS206において、図6に示すように、撮影装置の制御CPU107はステップS205で読み出した画像データ(圧縮・処理後)を印刷装置で適切に処理できるデータ印刷用データへと変換する。
【0045】
次に、ステップS207において、画像メモリ103に展開された印刷用データを通信インターフェイス110を通じて印刷装置200へ送信する。撮影装置の制御CPU107は画像メモリ103メモリ空間における印刷用データ読み出しポインタ印刷用データを常に管理している。
【0046】
印刷装置の制御CPU201は、印刷用データを印刷装置の通信インターフェイス204を通じて受信する。印刷装置の制御CPU201は、データバス205及びCPUの制御線206で接続されたデバイスを制御して印刷作業を行う。
【0047】
印刷装置の通信インターフェイス204から受信された印刷データはデータバス205を経由して印刷装置の制御処理用メモリ202に一度展開され、予め決められた処理を行った後印刷ユニット203へ送られる。
【0048】
印刷ユニット203は受信した印字データを印刷用紙に印刷する。印刷用紙の検知や、紙送り、インクの保守などは全て印刷装置の制御CPU201が制御する。
【0049】
次に、ステップS208において、撮影装置の制御CPU107はステップS207で得たデータ及び制御信号を印刷装置の制御CPU201へ送信し、かつ印刷中であることをカラー液晶表示装置105によって使用者へ表示する。
【0050】
次に、ステップS209に進み、印刷中に中断する場合、撮影装置の制御CPU107は中断タスクを起動する。中断タスクの詳細は後述する。撮影装置の制御CPU107が中断を行うのは下記の場合である。
【0051】
1)通信の切断:撮影装置の制御CPU107と印刷装置の制御CPU201は、撮影装置の通信インターフェイス110及び印刷装置の通信インターフェイス204を通じて相互に通信を行っている。なんらかの要因で通信が切断された場合、撮影装置の制御CPU107は撮影装置の通信インターフェイス110に接続された制御線制御線109を通じて通信切断を知ることができる。
【0052】
2)印刷装置の制御CPU201の中断要求:印刷装置の制御CPU201は予め設定されている印刷装置の状態に対応して、CIF及び印刷装置の通信インターフェイス204を通じて撮影装置の制御CPU107へ中断要求を出すことができる。印刷装置の使用する用紙・インクなど消耗品が払底したことにより中断要求を発行する。
【0053】
3)ユーザーによる中断要求:本システム使用者は、入力装置108を使用して撮影装置の制御CPU107に対して印刷中断要求を発行できるように成されている。
【0054】
4)撮影による中断要求:本システムが印刷を行っている際に、使用者が撮影を行おうとすると、撮影装置の制御CPU107は印刷を中断する。撮影動作が行われる時は印刷開始メッセージが撮影タスクによって発信されるので、このメッセージを受信した場合は、印刷タスクは印刷を中断する。
【0055】
撮影装置の制御CPU107は、上記条件に対応した値として、中断要因を得る。中断要因は、次回内容が更新されるまで撮影装置の制御CPU107の内蔵メモリに保存されている。
【0056】
次に、ステップS210においては、印刷が完了したか否かを判断する。この判定の結果、印刷が完了すると、撮影装置の制御CPU107は印刷タスクを終了する。また、上記判断の結果、印刷終了ではない場合にはステップS208に戻って上述した処理を繰り返し行う。
【0057】
ステップS211に進んだ場合には、撮影装置の制御CPU107はカラー液晶表示装置105に印刷開始不能であることを表示して使用者に通知する。
【0058】
また、ステップS212に進んだ場合には、再開不能メッセージか否かを判断し、再開不能メッセージであった場合は、印刷動作を終了する。
【0059】
また、ステップS209からステップS213に進んだ場合には、印刷を中断する。印刷タスクは印刷中断メッセージを発信する。
【0060】
「中断タスク」
上述のステップS209において、印刷の中断が要求されると撮影装置の制御CPU107は中断処理タスクを実行する。中断処理タスクの処理手順を図7のフローチャートを参照しながら、以下説明する。
【0061】
先ず、最初のステップS301において、撮影装置の制御CPU107はタスク処理に必要な初期処理を行う。
【0062】
次に、ステップS302において、撮影装置の制御CPU107はカラー液晶表示装置105に印刷の中断を表示し、上述したステップS209で保存された中断要因中断要因を読み出し、併せて表示する。使用者は中断要因の表示を見ることで、印刷の中断要因を知ることが可能である。
【0063】
次に、ステップS303において、撮影装置の制御CPU107は中断要因を撮影装置の制御CPU107の内部ワークメモリに再度保存する。
【0064】
次に、ステップS304において、撮影装置の制御CPU107は現在印刷中の画像ファイルのデータナンバー及び、スプールデータ読み出し用ポインターを内部ワークメモリに保存する。
【0065】
通信の切断による中断の場合、撮影装置の制御CPU107は印刷装置の制御CPU201と通信し、印刷中の画像データ番号及びスプールデータ読み出し用ポインターを印刷装置の制御CPU201の内部メモリに保存する。
【0066】
また、撮影装置の制御CPU107は計時装置111より現在時刻データを読み出し、印刷が中断した時点を示す時間データとして印刷装置の制御CPU201に保存する。
【0067】
ここで、撮影装置の制御CPU107は中断タスク終了メッセージを発信し、印刷再開タスクを起動する。印刷再開タスクの詳細は以下に述べる。撮影装置の制御CPU107は中断タスクを終了する。
【0068】
「再開タスク」
印刷再開タスクの処理手順を図7のフローチャートを参照しながら説明する。
【0069】
先ず、最初のステップS401において、撮影装置の制御CPU107は中断タスクの最後に、印刷再開タスクを起動する。
次に、ステップS402において、撮影装置の制御CPU107は中断要因を読み出す。同時に、上記ステップS304で保存した印刷中断時刻データも読み出す。
【0070】
次に、ステップS403において、撮影装置の制御CPU107は、ステップS402で読み出した中断要因に応じて、印刷が再開可能であるかを確認する。再開可能でなければ、計時装置111を利用して定期的にシステムの状態を調べる。再開条件を下記に述べる。
【0071】
1)通信の切断により印刷が中断した場合:撮影装置の制御CPU107は計時装置111を利用して撮影装置の通信インターフェイス110を定期的に調べ、通信が再開されるまで待機する。
【0072】
2)印刷装置の制御CPU201の中断要求により印刷が中断した場合:撮影装置の制御CPU107は計時装置111を使用して印刷装置の制御CPU201を定期的に調べ、印刷が可能になるまで待機する。
【0073】
3)ユーザーによる中断要求により印刷が中断した場合:撮影装置の制御CPU107は計時装置111を使用して入力装置108を定期的に調べ、ユーザーが再開を指示するまで待機する。
【0074】
4)撮影による中断要求により印刷が中断した場合:撮影装置の制御CPU107は撮影が終了したか調べ、更に計時装置111を利用して一定時間経過するまで待機する。
【0075】
ここで、撮影装置の制御CPU107が待つ時間は予めプログラムされており、入力装置108によって使用者が変更することが可能である。この機能により、使用者による連続した撮影作業を妨害せず、かつ終了後に速やかに印刷再開が可能である。
【0076】
次に、ステップS404において、撮影装置の制御CPU107は印刷中断時の印刷進行データとして内部メモリに保持していた印刷中の画像データ番号及びスプールデータ読み出し用ポインターを読み出す。
【0077】
次に、ステップS405において、撮影装置の制御CPU107は印刷が再開できるか分析する。通信の切断により印刷が中断した場合には下記のチェックが必要である。
【0078】
すなわち、撮影装置の制御CPU107は、撮影装置の通信インターフェイス110を通じて印刷装置の制御CPU201と通信し、印刷装置の制御CPU201に保存した印刷中の画像データ番号及びスプールデータ読み出し用ポインターを読み出す。
【0079】
この印刷装置の制御CPU201より読み出したデータとステップS404で読み出した印刷中の画像データ番号及びスプールデータ読み出し用ポインターを比較する。これらが一致しない場合、通信が切断している間に、別の撮影装置が印刷を行ったと考えられるので撮影装置の制御CPU107は印刷を再開しない。
【0080】
この場合、ステップS406の処理を行う。再開する場合はステップS407の処理を行う。このとき、接続された印刷装置が本システムに使用できないものであったり、あるいは印刷を中断したりしたときに接続されていた印刷装置と個体認識が異なる場合も、同様に印刷を再開しない。
【0081】
ステップS406の処理は、他のタスクに対し、再開エラーメッセージを発信する。印刷タスクは再開不能メッセージを受信すると印刷タスクを終了する。
ステップS407の処理は、撮影装置の制御CPU107はカラー液晶表示装置105に「再開してよいか」使用者の許可を求める表示を行い、入力装置108の入力を待機する。
【0082】
また、同時にステップS402で得た印刷中断時刻と計時装置111から得る現在時刻を減算し、中断後の経過時間をカラー液晶表示装置105に表示する。現在の時刻と比較して長時間が経過している場合には、印刷装置のインクが乾くなどトラブルが考えられるので、この点を使用者に注意喚起する。
【0083】
入力装置108により使用者から印刷の許可が出た場合は、ステップS408へ進む。許可が得られない場合は、ステップS403へ戻り、再度一定時間が経過したあとに許可を求める。
【0084】
ステップS408においては、再開メッセージを発信する。印刷タスクは印刷開始メッセージを受信すると印刷を中断するが、その後再開開始を受信すると印刷を再開する。
【0085】
(本発明の他の実施の形態)
本発明は複数の機器(例えば、ホストコンピュータ、インターフェイス機器、リーダ、プリンター等)から構成されるシステムに適用しても1つの機器からなる装置に適用しても良い。
【0086】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【0087】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0088】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【0089】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基いてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【0090】
【発明の効果】
本発明は上述したように、本発明によれば、印刷作業が実行されているときに撮影動作が行われる場合には、印刷を自動的に一時停止させることができ、撮影装置を単体で動作させている時と同様な使用感を実現することができる。これにより、印刷中であっても撮影のチャンスを逃す恐れを可及的に無くすことができる。
また、本発明の他の特徴によれば、印刷を中止するまでに既に行われていた印刷作業を無駄にすることなく、撮影終了後に中断していた印刷作業を再開することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示し、システムの構成を示すブロック図である。
【図2】撮影動作の手順を示すフローチャートである。
【図3】印刷動作の手順を示すフローチャートである。
【図4】印刷中断/再開時におけるタスク間のメッセージを示す図である。
【図5】画像メモリからフラッシュメモリカードに画像データを格納する様子を示す図である。
【図6】フラッシュメモリカードに格納されている画像データを画像メモリに読み出す様子を示す図である。
【図7】中断タスクの動作を示すフローチャートである。
【図8】再開タスクの動作を示すフローチャートである。
【符号の説明】
101 撮像ユニット
102 制御ユニット
103 画像メモリ
104 フラッシュメモリカード
105 カラー液晶表示装置
106データバス
107 撮影装置の制御CPU
108 入力装置
109 CPUの制御線
110 撮影装置の通信インターフェイス
111 計時装置
201 印刷装置の制御CPU
202 印刷装置の制御処理用メモリ
203 印刷ユニット
204 印刷装置の通信インターフェイス
205 データバス
206 CPUの制御線
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image printing system, an imaging apparatus, an image printing system control method, an imaging apparatus control method, and a storage medium, and more particularly, to an image printing system that combines a digital camera capable of shooting operation alone and a printing apparatus. It is suitable for use.
[0002]
[Prior art]
Conventionally, a user who uses a digital camera as an alternative to an existing camera often prints an image taken with the digital camera and views the image. In this case, it is general that image data is transferred from a digital camera to a personal computer and printed by a printer connected to the personal computer, instead of printing directly from the digital camera to the printer. However, in recent years, a system that can directly print an image by directly connecting a digital camera and a printer has appeared.
[0003]
Since such an image printing system can print a captured image without using an expensive personal computer, the configuration of the image printing system can be constructed at a low cost, and a photograph-like print can be obtained with a simple operation. It has the advantage that it can.
[0004]
[Problems to be solved by the invention]
However, the image printing system that does not use a personal computer as described above has the following problems. That is, since the printer used in the image printing system does not have a function of printing an image alone, most of the arithmetic processing required for printing is performed on the digital camera side.
[0005]
For this reason, during printing, a large load is applied to the arithmetic circuit and arithmetic resources (recording memory and buffer) inside the digital camera, and if the photographing operation is performed while the printing operation is continued, all the arithmetic resources are allocated to the photographing operation. However, there is a problem that high-speed shooting and high-quality shooting cannot be performed easily.
[0006]
In order to solve the above problems, if the printing is configured to be canceled when shooting is performed, the user needs to cancel the printing operation. It was. Further, when printing is stopped and shooting is performed, the canceled printing cannot be resumed from the middle, and there is a problem that the canceled image must be printed again from the beginning.
[0007]
In view of the above-described problems, the present invention performs a shooting operation regardless of the execution of a printing operation in an image printing system including a shooting apparatus capable of shooting alone and a printing apparatus connected thereto. The first purpose is to be able to.
It is a second object of the present invention to be able to resume the printing work after the photographing is completed without wasting the canceled printing work.
[0008]
[Means for Solving the Problems]
An image printing system according to the present invention includes an imaging unit, an image processing unit that performs image processing on image data captured by the imaging unit, and temporarily stores the image data after the image processing in an image memory; and the image processing unit Recording means for recording image data subjected to image processing on a removable recording medium, and image data to be printed is read from the recording medium, temporarily stored in the image memory, and stored in the image memory Converting means for converting the image data into print data and storing it in the image memory; communication means for transmitting and receiving data between the printing device for printing the print data stored in the image memory; and Printing pause means for pausing the printing process when a shooting instruction is input when the printing process for printing an image is being executed by the printing apparatus; An imaging device having, an image printing system constituted by a printing device connected by the imaging device and the communication means,
When the printing process is temporarily stopped, the image processing unit captures image data after being imaged according to the shooting instruction and performs image processing, and an area of the image memory in which the printing data is recorded. It is characterized by being overwritten and stored.
[0009]
The imaging apparatus according to the present invention includes an imaging unit, an image processing unit that performs image processing on image data captured by the imaging unit, and temporarily stores the image data after the image processing in an image memory; and the image processing unit. Recording means for recording image data subjected to image processing on a detachable recording medium, and image data to be printed is read from the recording medium, temporarily stored in the image memory, and stored in the image memory Conversion means for converting image data into print data and storing it in the image memory; communication means for transmitting and receiving data to and from a printing apparatus for printing the print data stored in the image memory; and the printing Printing pause means for pausing the printing process when a shooting instruction is input when a printing process for printing an image is being executed by the apparatus; When the printing process is paused, the image processing means captures the image data that has been imaged in accordance with the shooting instruction and has performed the image processing, as an area of the image memory in which the printing data is recorded. It is characterized by being overwritten and stored.
[0011]
An image printing system control method according to the present invention includes an imaging unit, an image processing unit that performs image processing on image data captured by the imaging unit, and temporarily stores the image data after the image processing in an image memory; Recording means for recording image data subjected to image processing by the image processing means on a detachable recording medium; reading out image data to be printed from the recording medium; temporarily storing it in the image memory; and Communication means for transmitting / receiving data between conversion means for converting image data stored in the memory into print data and storing it in the image memory, and a printing apparatus for printing the print data stored in the image memory And a print temporary that pauses the print process when a shooting instruction is input while a print process for printing an image is being executed by the printing apparatus. An imaging device having a stop means, a control method of the composed image printing system by the printing device and to be connected by the imaging device and the communication means,
When the printing process is paused, the image data that has been picked up according to the shooting instruction and subjected to the image processing is overwritten and stored in the area of the image memory in which the printing data is recorded. The image processing means is controlled as described above.
An image pickup apparatus control method according to the present invention includes an image pickup unit, an image processing unit that performs image processing on image data picked up by the image pickup unit, and temporarily stores image data after image processing in an image memory; Recording means for recording image data subjected to image processing by the processing means on a detachable recording medium; and reading out image data to be printed from the recording medium and temporarily storing it in the image memory; Conversion means for converting the image data stored in the image data into print data and storing it in the image memory; and communication means for transmitting and receiving data between the printing apparatus for printing the print data stored in the image memory; And a printing pause means for temporarily stopping the printing process when a shooting instruction is input when the printing process for printing an image is being executed by the printing apparatus. When the printing process is paused, the printing data is recorded as image data after being imaged and subjected to image processing in response to the shooting instruction. The image processing means is controlled to overwrite and store the area of the image memory.
[0012]
The storage medium of the present invention stores a program that causes a computer to execute each process of the control method described above.
[0013]
Since the present invention has the above technical means, when the photographing operation is performed while the printing operation is being performed, the printing is automatically paused, so that the photographing apparatus is operating alone. The same feeling of use can be realized. In addition, it is possible to resume the printing work after the photographing is completed without wasting the printing work already performed before the cancellation.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
Embodiments of an image printing system, an imaging apparatus, a printing apparatus, a printing control method, and a storage medium according to the present invention will be described below.
FIG. 1 shows a configuration example of the image printing system of the present embodiment. In FIG. 1, the upper part is a photographing apparatus (CAMERA DEVICE) 100 of the present system, and the lower part is a printing apparatus (PRINTER DEVICE) 200. These two devices are connected by wired or wireless communication means, and can be separated when connected by wired communication means.
[0015]
In FIG. 1, 101 is an image pickup unit, 102 is a control unit, 103 is an image memory, 104 is a flash memory card, 105 is a color liquid crystal display device, 106 is a data bus, 107 is a control CPU of the printing device, 108 is an input device, Reference numeral 109 denotes a control line, 110 denotes a communication interface of the photographing apparatus, and 111 denotes a timing device.
[0016]
Also, 201 is a control CPU of the printing apparatus, 202 is a memory for control processing of the printing apparatus, 203 is a printing unit, 204 is a communication interface of the printing apparatus, 205 is a data bus, and 206 is a control line of the CPU. The overall control of the system according to the present embodiment is mainly performed by the CPU unit 107.
[0017]
The control CPU 107 of the photographing apparatus is a CPU capable of executing a plurality of tasks, and has a work memory space necessary for each process. In this system, four tasks of photographing / printing / interrupting / resuming are executed in parallel by the control CPU 107 of the photographing apparatus. Each task sends and receives messages to and from each other.
[0018]
Hereinafter, processing contents of each task will be described.
"Shooting Task"
A method for performing the photographing operation by independently operating the photographing apparatus in the image printing system of the present embodiment will be described below with reference to the flowchart of FIG. The photographing operation is performed when the control CPU 107 of the photographing apparatus executes the photographing task of FIG.
[0019]
In the first step S101, the imaging system is powered by a detachable battery. When the power supply is started, the control CPU 107 of the photographing apparatus activates the photographing operation program task.
[0020]
Next, in step S102, the user of the system issues a shooting command to the control CPU 107 of the shooting apparatus through the input device 108, so that the system starts a shooting operation.
Next, in step S103, it is confirmed whether printing is performed by the photographing system.
[0021]
As a result of the confirmation, if printing is being performed, the process proceeds to step S110 to perform printing interruption processing. The interruption process will be described later. If the result of determination in step S203 is that printing has not been performed, processing proceeds to step S104 where an image is stored in the image memory 103.
[0022]
However, if the shooting command in step S102 is a timer shooting command, the interruption process is not immediately performed. The timer shooting command can be issued to the control CPU 107 of the shooting device through the input device 108 by the user in the same way as a normal shooting command.
[0023]
When a timer shooting command is issued, shooting is performed after 10 minutes have elapsed since the command was issued. The control CPU 107 of the photographing apparatus performs a time measuring operation from the output of the connected time measuring device 111, and shifts to an interruption process after 9 minutes have passed since the command was issued. When the interruption is performed, a printing interruption message is transmitted from a printing task (described later), so that the control CPU 107 of the photographing apparatus can know the interruption of printing.
[0024]
Next, in step S104, the photographing apparatus starts photographing. The shooting task sends a shooting start message print start message. The imaging apparatus captures a digital image with an imaging unit 101 including an imaging element, an optical lens group, an electronic aperture, and electronic focusing means, and a control unit 102 that controls the imaging unit 101.
[0025]
All control of the photographing apparatus is performed by the control CPU 107 of the photographing apparatus. The control CPU 107 of the photographing apparatus has a predetermined control program inside and controls units connected by the control line 109.
[0026]
The control CPU 107 of the imaging apparatus controls the control unit 102 via the control line 109 to control the electronic aperture / electronic focusing means provided in the imaging unit 101. The control CPU 107 of the photographing apparatus controls the control unit 102, and the photographed image data is stored in the image memory 103 connected to the control unit 102 via the data bus 106. The memory space of the image memory 103 at this time is shown in FIG.
[0027]
When the power supply to the photographing apparatus is lost, the image stored in the image memory 103 is deleted. The area where the control CPU 107 of the photographing apparatus stores the image data in the image memory 103 is fixed, and the previously photographed data is overwritten.
[0028]
In step S105, the control CPU 107 of the photographing apparatus processes the image data stored in the image memory 103 according to a predetermined program, and compresses the data size. Data obtained by performing image processing / compression on image data (before processing) is image data (after processing / compression) in FIG. The data size of image data (after compression / processing) is always smaller than that of image data (before processing). At this time, if there is a history of performing the interruption processing step S110, the compressed image data is written over the print data area remaining on the image memory. With this operation, it is possible to perform a shooting operation by effectively utilizing the image memory capacity.
[0029]
Next, in step S106, the control CPU 107 of the photographing apparatus stores the image data (after compression / processing) compressed in step S104 in the flash memory card 104. The flash memory card 104 is detachably attached to the photographing apparatus.
[0030]
In any case, the contents of the flash memory card 104 are retained when the supply of power to the imaging apparatus is stopped or removed from the imaging apparatus. As shown in FIG. 5, the image data (after compression and processing) is stored in the flash memory card 104 in the order in which the image data was taken. When image data (after processing and compression) is stored in the flash memory card 104, the shooting task transmits a shooting end message to each task.
[0031]
In step S107, when shooting is completed, the control CPU 107 of the shooting apparatus displays on the color liquid crystal display device 105 that shooting has ended.
[0032]
Next, in step S108, the control CPU 107 of the photographing apparatus checks the free space of the flash memory card 104, and if there is not enough free space necessary for the next photographing, the process proceeds to step S109 and displays that there is no remaining capacity. To end the shooting operation.
[0033]
When the flash memory card 104 has free space, the control CPU 107 of the photographing apparatus checks the state of the input device 108 in synchronization with the signal output every 300 msec generated by the connected timing device 111. By this check, the control CPU 107 of the photographing apparatus waits until the next photographing is instructed by the input device 108.
[0034]
The timing device 111 has a real-time clock function therein, and the control CPU 107 of the photographing apparatus can obtain time data indicating the current time from the timing device 111. The control CPU 107 of the photographing apparatus normally operates with a built-in program code, but the program code can be updated according to a user instruction from the input device 108. At this time, the program code to be updated is transferred from the flash memory card 104 to the control CPU 107 of the photographing apparatus.
[0035]
In step S109, as described above, when there is no free space in the flash memory card 104, the control CPU 107 of the photographing apparatus displays no remaining capacity on the color liquid crystal display device 105 and ends the photographing operation. The user turns off the power of the photographing apparatus, replaces the flash memory card 104 with a new one having free space, and turns on the power again. This makes it possible to shoot again.
[0036]
"Print Task"
A procedure for performing the printing operation in the image printing system of the present embodiment will be described with reference to the flowchart of FIG.
FIG. 3 shows processing of the print program task in this system. Also, FIG. 4 shows messages sent by each task when printing is interrupted and resumed.
[0037]
When the power is turned on, in the first step ST201, the control CPU 107 of the photographing apparatus activates a print program task and performs an initial process necessary for the print task process.
[0038]
Next, in step S202, the printing program confirms whether shooting is performed by the system. When shooting is being performed, the printing operation is not started.
[0039]
If the result of confirmation in step S202 is that photographing is not in progress, control proceeds to step S203, and the control CPU 107 of the photographing apparatus receives a print command issued by the user through the input device 108, and starts printing. Alternatively, printing is also started when a restart start message is received from a restart task (described later). However, if resumability is received, the process proceeds to step S212.
[0040]
Next, in step S204, the control CPU 107 of the photographing apparatus communicates with the printing apparatus to check whether communication is normally performed. At this time, a signal is transmitted from the communication interface CIF (C010). The imaging unit 101 that controls the printing apparatus replies to the received signal from the control CPU 107 of the photographing apparatus through the communication interface 204 (P004) of the communication interface printing apparatus according to a predetermined program.
[0041]
The control CPU 201 of the printing apparatus has a work memory and a pre-written program code inside, and can perform processing independently regardless of the instruction of the control CPU 107 of the photographing apparatus. Here, the control CPU 201 of the printing apparatus checks the remaining ink capacity of the printing apparatus, the number of remaining sheets, and the like, and then returns whether printing is possible to the control CPU 107 of the photographing apparatus.
[0042]
Thereby, the control CPU 107 of the photographing apparatus can confirm whether the printing apparatus can be used normally. If printing cannot be started, the process proceeds to step S211. Here, this task sends a print start message.
[0043]
Next, in step S205, as shown in FIG. 6, the control CPU 107 of the photographing apparatus reads image data to be printed from the flash memory card 104 and copies it onto the image memory 103. In this embodiment, an example in which all image data on the flash memory card 104 is printed will be described. However, the user may actually select image data to be printed.
[0044]
Next, in step S206, as shown in FIG. 6, the control CPU 107 of the photographing apparatus reads out in step S205. image data (After compression and processing) is converted into data printing data that can be appropriately processed by the printing apparatus.
[0045]
In step S 207, the printing data expanded in the image memory 103 is transmitted to the printing apparatus 200 through the communication interface 110. The control CPU 107 of the photographing apparatus always manages print data read pointer print data in the image memory 103 memory space.
[0046]
The control CPU 201 of the printing apparatus receives printing data through the communication interface 204 of the printing apparatus. The control CPU 201 of the printing apparatus performs a printing operation by controlling devices connected by the data bus 205 and the control line 206 of the CPU.
[0047]
The print data received from the communication interface 204 of the printing apparatus is once expanded in the control processing memory 202 of the printing apparatus via the data bus 205, and is sent to the printing unit 203 after performing a predetermined process.
[0048]
The printing unit 203 prints the received print data on printing paper. The control CPU 201 of the printing apparatus controls all detection of printing paper, paper feeding, ink maintenance, and the like.
[0049]
Next, in step S208, the control CPU 107 of the photographing apparatus transmits the data and control signal obtained in step S207 to the control CPU 201 of the printing apparatus, and the color liquid crystal display apparatus 105 displays to the user that printing is in progress. .
[0050]
Next, the process proceeds to step S209, and in the case of interruption during printing, the control CPU 107 of the photographing apparatus activates an interruption task. Details of the suspended task will be described later. The control CPU 107 of the photographing apparatus interrupts in the following cases.
[0051]
1) Disconnection of communication: The control CPU 107 of the photographing apparatus and the control CPU 201 of the printing apparatus communicate with each other through the communication interface 110 of the photographing apparatus and the communication interface 204 of the printing apparatus. When communication is disconnected due to some cause, the control CPU 107 of the image capturing apparatus can know the communication disconnection through the control line control line 109 connected to the communication interface 110 of the image capturing apparatus.
[0052]
2) Interruption request from the control CPU 201 of the printing apparatus: The control CPU 201 of the printing apparatus issues an interruption request to the control CPU 107 of the photographing apparatus through the CIF and the communication interface 204 of the printing apparatus in response to a preset state of the printing apparatus. be able to. An interruption request is issued when the consumables such as paper and ink used by the printing apparatus have run out.
[0053]
3) User interruption request: This system user can use the input device 108 to issue a print interruption request to the control CPU 107 of the photographing apparatus.
[0054]
4) Interruption request by photographing: When the user tries to photograph while the system is printing, the control CPU 107 of the photographing apparatus interrupts printing. When a shooting operation is performed, a print start message is transmitted by the shooting task. When this message is received, the print task interrupts printing.
[0055]
The control CPU 107 of the photographing apparatus obtains the interruption factor as a value corresponding to the above condition. The interruption factor is stored in the built-in memory of the control CPU 107 of the photographing apparatus until the next content is updated.
[0056]
Next, in step S210, it is determined whether printing has been completed. When printing is completed as a result of this determination, the control CPU 107 of the photographing apparatus ends the printing task. If the result of the determination is that printing has not ended, the process returns to step S208 and the above-described processing is repeated.
[0057]
When the process proceeds to step S211, the control CPU 107 of the photographing apparatus displays on the color liquid crystal display device 105 that printing cannot be started and notifies the user.
[0058]
If the process proceeds to step S212, it is determined whether the message cannot be restarted. If the message is not restartable, the printing operation is terminated.
[0059]
If the process proceeds from step S209 to step S213, printing is interrupted. The print task sends a print interruption message.
[0060]
"Suspended Task"
In step S209 described above, when printing interruption is requested, the control CPU 107 of the photographing apparatus executes an interruption processing task. The processing procedure of the interruption processing task will be described below with reference to the flowchart of FIG.
[0061]
First, in the first step S301, the control CPU 107 of the photographing apparatus performs initial processing necessary for task processing.
[0062]
Next, in step S302, the control CPU 107 of the photographing apparatus displays the interruption of printing on the color liquid crystal display device 105, reads out the interruption factor interruption factor stored in the above-described step S209, and displays it together. The user can know the cause of interruption of printing by viewing the indication of the cause of interruption.
[0063]
Next, in step S303, the control CPU 107 of the photographing apparatus saves the interruption factor again in the internal work memory of the control CPU 107 of the photographing apparatus.
[0064]
In step S304, the control CPU 107 of the photographing apparatus stores the data number of the image file currently being printed and the spool data read pointer in the internal work memory.
[0065]
In the case of interruption due to disconnection of communication, the control CPU 107 of the photographing apparatus communicates with the control CPU 201 of the printing apparatus, and stores the image data number being printed and the pointer for reading spool data in the internal memory of the control CPU 201 of the printing apparatus.
[0066]
Further, the control CPU 107 of the photographing apparatus reads the current time data from the timing device 111 and stores it in the control CPU 201 of the printing apparatus as time data indicating when printing is interrupted.
[0067]
Here, the control CPU 107 of the photographing apparatus transmits an interruption task end message and activates a print resumption task. Details of the print restart task will be described below. The control CPU 107 of the photographing apparatus ends the interruption task.
[0068]
"Resume Task"
The processing procedure of the print restart task will be described with reference to the flowchart of FIG.
[0069]
First, in the first step S401, the control CPU 107 of the photographing apparatus activates a print resumption task at the end of the interruption task.
Next, in step S402, the control CPU 107 of the photographing apparatus reads the interruption factor. At the same time, the print interruption time data stored in step S304 is also read.
[0070]
In step S403, the control CPU 107 of the photographing apparatus confirms whether printing can be resumed according to the interruption factor read in step S402. If the restart is not possible, the system status is periodically checked using the time measuring device 111. The restart conditions are described below.
[0071]
1) When printing is interrupted due to disconnection of communication: The control CPU 107 of the photographing apparatus periodically checks the communication interface 110 of the photographing apparatus using the time measuring device 111 and waits until communication is resumed.
[0072]
2) When printing is interrupted due to an interruption request from the control CPU 201 of the printing apparatus: The control CPU 107 of the photographing apparatus periodically checks the control CPU 201 of the printing apparatus using the timing device 111 and waits until printing is possible.
[0073]
3) When printing is interrupted due to an interruption request by the user: The control CPU 107 of the photographing apparatus periodically checks the input device 108 using the time measuring device 111 and waits until the user instructs resumption.
[0074]
4) When printing is interrupted due to an interruption request due to photographing: The control CPU 107 of the photographing apparatus checks whether photographing has been completed, and further waits until a predetermined time elapses using the time measuring device 111.
[0075]
Here, the time that the control CPU 107 of the photographing apparatus waits is programmed in advance, and can be changed by the user using the input device 108. With this function, it is possible to resume printing promptly after completion without interfering with continuous shooting operations by the user.
[0076]
In step S404, the control CPU 107 of the photographing apparatus reads the image data number being printed and the spool data reading pointer held in the internal memory as print progress data at the time of printing interruption.
[0077]
In step S405, the control CPU 107 of the photographing apparatus analyzes whether printing can be resumed. When printing is interrupted due to communication disconnection, the following checks are required.
[0078]
That is, the control CPU 107 of the photographing apparatus communicates with the control CPU 201 of the printing apparatus through the communication interface 110 of the photographing apparatus, and reads the image data number being printed and the spool data reading pointer stored in the control CPU 201 of the printing apparatus.
[0079]
The data read from the control CPU 201 of the printing apparatus is compared with the image data number being printed and the spool data reading pointer read in step S404. If they do not match, the control CPU 107 of the photographing apparatus does not resume printing because it is considered that another photographing apparatus has performed printing while communication is disconnected.
[0080]
In this case, the process of step S406 is performed. When resuming, the process of step S407 is performed. At this time, even when the connected printing apparatus cannot be used in the present system or when the individual recognition is different from the printing apparatus connected when the printing is interrupted, the printing is not resumed.
[0081]
In step S406, a restart error message is transmitted to another task. When the print task receives a non-resumable message, the print task is terminated.
In the process of step S407, the control CPU 107 of the photographing apparatus displays on the color liquid crystal display device 105 "Can you restart?" Asking for the user's permission, and waits for input from the input device 108.
[0082]
At the same time, the printing interruption time obtained in step S402 and the current time obtained from the timing device 111 are subtracted, and the elapsed time after the interruption is displayed on the color liquid crystal display device 105. If a long time has elapsed compared to the current time, problems such as drying of the ink in the printing apparatus may be considered, and this point is alerted to the user.
[0083]
If the user gives permission to print by the input device 108, the process proceeds to step S408. If permission cannot be obtained, the process returns to step S403, and permission is requested after a predetermined time has elapsed.
[0084]
In step S408, a restart message is transmitted. The print task suspends printing when it receives a print start message, but resumes printing when it receives a restart start.
[0085]
(Another embodiment of the present invention)
The present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.) or an apparatus composed of one device.
[0086]
In addition, for operating various devices so as to realize the functions of the above-described embodiments, for realizing the functions of the above-described embodiments for an apparatus or a computer in the system connected to the various devices. Implementations by supplying software program codes and operating the various devices in accordance with programs stored in a computer (CPU or MPU) of the system or apparatus are also included in the scope of the present invention.
[0087]
In this case, the program code itself of the software realizes the functions of the above-described embodiment, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. This storage medium constitutes the present invention. As a storage medium for storing the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0088]
Further, by executing the program code supplied by the computer, not only the functions described in the above-described embodiments are realized, but also the OS (operating system) or other operating system in which the program code is running on the computer. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions described in the above-described embodiment are realized in cooperation with application software or the like.
[0089]
Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code The present invention also includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.
[0090]
【The invention's effect】
As described above, according to the present invention, according to the present invention, when a photographing operation is performed while a printing operation is being performed, printing can be automatically paused, and the photographing apparatus can be operated alone. It is possible to realize the same feeling of use as when making it happen. This eliminates as much as possible the possibility of missing a shooting opportunity even during printing.
In addition, according to another feature of the present invention, it is possible to resume the printing work that has been interrupted after the photographing is completed without wasting the printing work that has already been performed until the printing is stopped.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a system configuration according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a procedure of a photographing operation.
FIG. 3 is a flowchart illustrating a procedure of a printing operation.
FIG. 4 is a diagram illustrating a message between tasks when printing is interrupted / resumed.
FIG. 5 is a diagram illustrating a state in which image data is stored from an image memory to a flash memory card.
FIG. 6 is a diagram showing how image data stored in a flash memory card is read out to an image memory.
FIG. 7 is a flowchart showing the operation of an interrupt task.
FIG. 8 is a flowchart showing an operation of a restart task.
[Explanation of symbols]
101 Imaging unit
102 Control unit
103 Image memory
104 flash memory card
105 color liquid crystal display device
106 data bus
107 Control CPU of photographing apparatus
108 Input device
109 CPU control line
110 Communication interface of imaging device
111 timing device
201 Control CPU of printing apparatus
202 Memory for control processing of printing apparatus
203 Printing unit
204 Communication interface of printing device
205 Data bus
206 CPU control line

Claims (14)

撮像手段と、前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有する撮像装置と、前記撮像装置と通信手段によって接続される印刷装置とによって構成される画像印刷システムであって、
前記画像処理手段は、前記印刷処理が一時停止された場合は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納することを特徴とする画像印刷システム。
An image processing unit, an image processing unit that performs image processing on image data captured by the image capturing unit, and temporarily stores image data after image processing in an image memory; and an image that has undergone image processing by the image processing unit Recording means for recording data on a detachable recording medium, image data to be printed is read from the recording medium, temporarily stored in the image memory, and the image data stored in the image memory is used as printing data. Conversion means for converting and storing in the image memory, communication means for transmitting and receiving data between the printing device for printing the printing data stored in the image memory, and printing the image by the printing device An image pickup apparatus having a print pause means for temporarily stopping the print process when a shooting instruction is input while the print process is being executed, and the image pickup An image printing system comprising a print device connected by location and communication means,
When the printing process is temporarily stopped, the image processing unit captures image data after being imaged according to the shooting instruction and performs image processing, and an area of the image memory in which the printing data is recorded. An image printing system characterized by being overwritten and stored.
撮像手段と、
前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、
前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、
印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、
前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、
前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有し、
前記印刷処理が一時停止された場合は、前記画像処理手段は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納することを特徴とする撮像装置。
Imaging means;
Image processing means for performing image processing on the image data picked up by the image pickup means, and temporarily storing the image data after the image processing in an image memory;
Recording means for recording image data subjected to image processing by the image processing means on a removable recording medium;
Conversion means for reading out image data to be printed from the recording medium and temporarily storing the image data in the image memory, converting the image data stored in the image memory into print data, and storing the data in the image memory;
Communication means for transmitting and receiving data to and from a printing apparatus that prints the printing data stored in the image memory;
Printing pause means for pausing the printing process when a shooting instruction is input when a printing process for printing an image is being executed by the printing apparatus;
When the printing process is temporarily stopped, the image processing unit captures image data after being imaged and processed according to the shooting instruction, and an area of the image memory in which the printing data is recorded. An imaging device characterized by being overwritten and stored.
前記印刷処理が一時停止されたときに、印刷作業の進行状態を示す印刷作業データを記録する印刷進行状態記録手段を具備することを特徴とする請求項2に記載の撮像装置。  The imaging apparatus according to claim 2, further comprising: a print progress state recording unit that records print work data indicating a progress state of the print work when the print processing is temporarily stopped. 前記撮像手段により撮影した画像データを記録する媒体として第1のメモリ手段と、取り外し可能な第2のメモリ手段とを有し、撮影した画像データを前記第2のメモリ手段に記録した後に印刷を再開することを特徴とする請求項2または3に記載の撮像装置。  First medium means and removable second memory means as a medium for recording image data photographed by the imaging means, and printing after the photographed image data is recorded in the second memory means. The imaging apparatus according to claim 2, wherein the imaging apparatus restarts. 前記第2のメモリ手段に撮影画像データを最後に記録した後、予め設定された時間を経過した後に印刷を再開することを特徴とする請求項4に記載の撮像装置。  5. The image pickup apparatus according to claim 4, wherein printing is resumed after elapse of a preset time after the last recorded photographic image data in the second memory means. 前記印刷装置が印刷を再開するときに、一時停止されていた画像の印刷を再開することを使用者が入力可能な入力装置を具備することを特徴とする請求項2〜5の何れか1項に記載の撮像装置。  6. The input device according to claim 2, further comprising: an input device that allows a user to input to resume printing of the image that has been paused when the printing device resumes printing. The imaging device described in 1. 前記印刷作業の一時停止時に、前記印刷進行状態記録手段に記録された印刷作業の進行状態を示す印刷作業データを用いて印刷作業を再開することを特徴とする請求項3〜6の何れか1項に記載の撮像装置。  7. The print job is resumed by using print job data indicating the progress of the print job recorded in the print progress status recording means when the print job is paused. The imaging device according to item. 前記印刷装置による印刷が一時停止されたときに、印刷作業の進行状態を示す印刷作業データを記録する印刷作業データ記録手段と、
印刷作業データ記録手段と前記印刷装置に記録された印刷作業データとを比較照合する印刷作業データ比較照合手段と、
前記印刷作業データ比較照合手段の結果に基いて印刷再開の是非を決定する印刷再開是非決定手段とを具備することを特徴とする請求項2〜7の何れか1項に記載の撮像装置。
Print work data recording means for recording print work data indicating a progress state of the print work when printing by the printing apparatus is suspended;
A printing work data comparison and collation means for comparing and collating the printing work data recording means and the printing work data recorded in the printing apparatus;
The image pickup apparatus according to claim 2, further comprising: a print restart determination unit that determines whether to restart printing based on a result of the print work data comparison and collation unit.
システム使用者による撮影命令発行後、撮影動作が予め設定された第1の所定時間が経過した後に行われるとき、前記第1の所定時間以下の第2の所定時間が経過するまで印刷を中止させる印刷中止手段を具備することを特徴とする請求項2〜8の何れか1項に記載の撮像装置。  When a shooting operation is performed after a preset first predetermined time has elapsed after a shooting command is issued by the system user, printing is stopped until a second predetermined time equal to or shorter than the first predetermined time elapses. The image pickup apparatus according to claim 2, further comprising a print cancel unit. 前記印刷装置による印刷作業が一時停止されたときに、印刷を一時停止したときの時刻データを記録する印刷中止時刻記録手段を具備することを特徴とする請求項2〜9の何れか1項に記載の撮像装置。  The printing stop time recording means for recording time data when printing is paused when printing work by the printing apparatus is paused is provided. The imaging device described. 前記一時停止されていた印刷作業を再開するときに、印刷を一時停止してから再開までの経過時間を使用者に対して表示する経過時間表示手段を具備することを特徴とする請求項2〜10の何れか1項に記載の撮像装置。  3. An elapsed time display means for displaying, for a user, an elapsed time from when printing is paused to when the printing operation that has been paused is resumed. The imaging device according to any one of 10. 撮像手段と、前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有する撮像装置と、前記撮像装置と通信手段によって接続される印刷装置とによって構成される画像印刷システムの制御方法であって、
前記印刷処理が一時停止された場合は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納するよう、前記画像処理手段を制御することを特徴とする画像印刷システムの制御方法。
An image processing unit, an image processing unit that performs image processing on image data captured by the image capturing unit, and temporarily stores image data after image processing in an image memory; and an image that has undergone image processing by the image processing unit Recording means for recording data on a detachable recording medium, image data to be printed is read from the recording medium, temporarily stored in the image memory, and the image data stored in the image memory is used as printing data. Conversion means for converting and storing in the image memory, communication means for transmitting and receiving data between the printing device for printing the printing data stored in the image memory, and printing the image by the printing device An image pickup apparatus having a print pause means for temporarily stopping the print process when a shooting instruction is input while the print process is being executed, and the image pickup A method of controlling a composed image printing system by the printing apparatus connected by location and communication means,
When the printing process is paused, the image data that has been picked up according to the shooting instruction and subjected to the image processing is overwritten and stored in the area of the image memory in which the printing data is recorded. A control method for an image printing system, characterized in that the image processing means is controlled.
撮像手段と、
前記撮像手段により撮像した画像データに画像処理を施し、画像処理後の画像データを画像メモリに一時的に格納する画像処理手段と、
前記画像処理手段により画像処理が施された画像データを着脱可能な記録媒体に記録する記録手段と、
印刷対象となる画像データを前記記録媒体から読み出して前記画像メモリに一時的に格納し、前記画像メモリに格納した画像データを印刷用データに変換して前記画像メモリに格納する変換手段と、
前記画像メモリに格納された印刷用データを印刷する印刷装置との間でデータの送受信を行う通信手段と、
前記印刷装置で画像を印刷するための印刷処理が実行されているときに撮影指示が入力された場合に、前記印刷処理を一時停止させる印刷一時停止手段とを有する撮像装置の制御方法であって、
前記印刷処理が一時停止された場合は、前記撮影指示に応じて撮像され画像処理を施した後の画像データを、前記印刷用データが記録されている前記画像メモリの領域に上書きして格納するよう前記画像処理手段を制御することを特徴とする撮像装置の制御方法。
Imaging means;
Image processing means for performing image processing on the image data picked up by the image pickup means, and temporarily storing the image data after the image processing in an image memory;
Recording means for recording image data subjected to image processing by the image processing means on a removable recording medium;
Conversion means for reading out image data to be printed from the recording medium and temporarily storing the image data in the image memory, converting the image data stored in the image memory into print data, and storing the data in the image memory;
Communication means for transmitting and receiving data to and from a printing apparatus that prints the printing data stored in the image memory;
A method for controlling an imaging apparatus, comprising: a printing pause unit that pauses the printing process when a shooting instruction is input when a printing process for printing an image is being performed by the printing apparatus. ,
When the printing process is paused, the image data that has been picked up according to the shooting instruction and subjected to the image processing is overwritten and stored in the area of the image memory in which the printing data is recorded. A method for controlling an image pickup apparatus, comprising controlling the image processing means.
請求項12または13に記載の制御方法の各処理をコンピュータに実行させるプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。  A computer-readable storage medium storing a program for causing a computer to execute each process of the control method according to claim 12 or 13.
JP2000400036A 2000-12-28 2000-12-28 Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium Expired - Fee Related JP4536916B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000400036A JP4536916B2 (en) 2000-12-28 2000-12-28 Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000400036A JP4536916B2 (en) 2000-12-28 2000-12-28 Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium

Publications (3)

Publication Number Publication Date
JP2002204411A JP2002204411A (en) 2002-07-19
JP2002204411A5 JP2002204411A5 (en) 2008-02-07
JP4536916B2 true JP4536916B2 (en) 2010-09-01

Family

ID=18864703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000400036A Expired - Fee Related JP4536916B2 (en) 2000-12-28 2000-12-28 Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium

Country Status (1)

Country Link
JP (1) JP4536916B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079686A (en) * 1993-06-17 1995-01-13 Seiko Epson Corp Electronic system using ink jet printer and its control method
JPH09311770A (en) * 1996-05-24 1997-12-02 Canon Inc Information processor, and printer, and its print control method
JPH11298831A (en) * 1998-04-07 1999-10-29 Fuji Photo Film Co Ltd Electronic camera
JP2000108381A (en) * 1998-10-09 2000-04-18 Canon Inc Ink jet recorder

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079686A (en) * 1993-06-17 1995-01-13 Seiko Epson Corp Electronic system using ink jet printer and its control method
JPH09311770A (en) * 1996-05-24 1997-12-02 Canon Inc Information processor, and printer, and its print control method
JPH11298831A (en) * 1998-04-07 1999-10-29 Fuji Photo Film Co Ltd Electronic camera
JP2000108381A (en) * 1998-10-09 2000-04-18 Canon Inc Ink jet recorder

Also Published As

Publication number Publication date
JP2002204411A (en) 2002-07-19

Similar Documents

Publication Publication Date Title
JP4146991B2 (en) Electronic camera system, electronic camera, and control method of electronic camera system
US7612807B2 (en) Image capture device
WO2004012075A1 (en) Print system
WO2004009362A1 (en) Printing system
JP3116801B2 (en) Image processing device
JP4536916B2 (en) Image printing system, imaging apparatus, image printing system control method, imaging apparatus control method, and storage medium
JP4259071B2 (en) Printing system
JP7115262B2 (en) Image forming apparatus, control method and program
JP3006603B1 (en) Imaging device, control method thereof, and recording medium
JP2010099873A (en) Information processing system, information processing program, and recording medium for recording the information processing program
JP4290824B2 (en) Image printing device
JP3539916B2 (en) Peripheral device management device and system having peripheral device management function
JP2007096854A (en) Photographing device and image transmission system
JP2001113789A (en) Image-forming apparatus
JPH11298833A (en) Digital camera, printer system, print output control method and storage medium
JP2004015403A (en) Printer and its method
JP2003276254A (en) Printer unit
JP4554015B2 (en) Image pickup apparatus, image pickup recording system, and image transmission / reception method
JP4250274B2 (en) Image reproduction method and apparatus, and imaging apparatus
JP2006086744A (en) Printing system, printer, image pickup device and method for controlling them
JP2002262217A (en) Electronic camera device
JP3785770B2 (en) Imaging apparatus and power control method in imaging apparatus
JP4499901B2 (en) Electronic camera
JP5144913B2 (en) Image forming apparatus and reprint control program
JPH10275068A (en) Image processor and its control method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100617

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees