JPH10164359A - 画像合成装置および方法 - Google Patents

画像合成装置および方法

Info

Publication number
JPH10164359A
JPH10164359A JP8328007A JP32800796A JPH10164359A JP H10164359 A JPH10164359 A JP H10164359A JP 8328007 A JP8328007 A JP 8328007A JP 32800796 A JP32800796 A JP 32800796A JP H10164359 A JPH10164359 A JP H10164359A
Authority
JP
Japan
Prior art keywords
image
image data
template
printing
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8328007A
Other languages
English (en)
Other versions
JP3655717B2 (ja
Inventor
Takeyoshi Itou
武善 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP32800796A priority Critical patent/JP3655717B2/ja
Publication of JPH10164359A publication Critical patent/JPH10164359A/ja
Application granted granted Critical
Publication of JP3655717B2 publication Critical patent/JP3655717B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Image Processing (AREA)
  • Storing Facsimile Image Data (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【目的】 表示装置上でテンプレート画像に合成した画
像と印刷されたテンプレート画像に合成した画像との間
の位置ずれを無くす。 【構成】 テンプレート画像に合成する画像がユーザに
よって選択されると,新写真フイルムが順方向に送られ
ながらその選択画像を表わすプリント用画像データが読
取られる。プリント用画像データの読取り開始タイミン
グはその選択画像が記録されている領域に対応したパー
フォレーションによって規定される。プリント用画像デ
ータから編集用画像データが生成され,この編集用画像
データによって表わされる画像を表示装置の表示画面に
表示しながら画像合成を行なう。印刷するときには編集
用画像データに対応するプリント用画像データを用い
る。

Description

【発明の詳細な説明】
【0001】
【技術分野】この発明は,テンプレート画像に被写体画
像を合成し,被写体画像が合成された合成画像を生成す
る装置および方法に関する。
【0002】
【発明の背景】ディジタル画像技術が発達するにつれ,
ユーザが撮像した写真をスキャナで読込みディジタル画
像データとしてパーソナル・コンピュータに取込み保存
することが可能となってきた。複数の画像をパーソナル
・コンピュータに取込み,それらの画像をパーソナル・
コンピュータを用いてテンプレート画像に合成すること
も可能である。
【0003】表示装置の表示画面に所望のテンプレート
画像とこのテンプレート画像に合成する対象画像とを表
示しながらテンプレート画像と被写体画像との位置関係
を定め画像合成を行なうのが一般的である。そして,表
示装置の表示画面に表示された合成画像が印刷される。
【0004】しかしながら,印刷された合成画像におけ
るテンプレート画像と対象画像との位置関係と,表示装
置の表示画面に表示された合成画像におけるテンプレー
ト画像と対象画像との位置関係に相異が生じ,被写体画
像の位置ずれが起きることがある。
【0005】
【発明の開示】この発明は,テンプレート画像に対象画
像を合成する場合に,表示装置に表示される合成画像と
印刷される合成画像との間で起きる対象画像の位置ずれ
を防止することを目的とする。
【0006】この発明による画像合成方法は,複数の画
像が記録され,これらの複数の画像のそれぞれに,画像
に対応した指標が形成されているフイルムの中から所望
の画像を選択し,上記フイルムと撮像素子とを相対的に
搬送し,上記搬送により選択された画像に対応した上記
指標を,上記搬送により検出したことに応答して,上記
撮像素子によって上記選択画像を撮像し,上記選択画像
を表わす選択画像データを得,画像を合成する合成エリ
アを有するテンプレート画像を表示装置に表示し,上記
選択画像の大きさが上記合成エリアに合うように上記選
択画像データの縮小処理を行ない,編集用選択画像デー
タを得,上記縮小処理によって得られる上記編集用選択
画像データにより表わされる編集用選択画像を上記表示
装置の表示画面において上記テンプレート画像の上記合
成エリアに位置決めして表示用合成画像を得,上記テン
プレート画像の上記位置決めされた位置にもとづいて上
記選択画像データによって表わされる選択画像を上記テ
ンプレート画像に合成し印刷用合成画像を生成すること
を特徴とする。
【0007】この発明は,上記画像合成方法を実施する
のに適した画像合成装置も提供している。
【0008】この画像合成装置は,複数の画像が記録さ
れ,これらの複数の画像のそれぞれに,画像に対応した
指標が形成されているフイルムの中から所望の画像を選
択する選択手段,上記指標を検出する指標検出手段,上
記フイルムと撮像素子とを相対的に搬送する搬送手段,
上記搬送手段における搬送により,上記指標検出手段
が,上記選択手段によって選択された画像に対応した上
記指標を検出したことに応答して上記撮像素子によって
上記選択画像を撮像し,上記選択画像を表わす選択画像
データを得る撮像制御手段,上記選択画像データによっ
て表わされる上記選択画像の大きさが表示装置に表示さ
れるテンプレート画像の合成エリアに合うように,上記
選択画像データの縮小処理を行ない,編集用選択画像デ
ータを出力する画像縮小手段,上記画像縮小手段から出
力される編集用選択画像データにより表わされる編集用
選択画像を上記表示装置の表示画面において上記テンプ
レート画像の上記合成エリアに位置決めして表示用合成
画像を得る位置決め手段,および上記テンプレート画像
の上記位置決め手段により位置決めされた位置にもとづ
いて上記選択画像データによって表わされる選択画像
を,上記テンプレート画像に合成し,印刷用合成画像を
生成する印刷用合成画像生成手段を備えていることを特
徴とする。
【0009】この発明によると,上記選択処理および上
記撮像処理が行なわれることにより上記選択画像を表わ
す上記選択画像データが得られる。この選択画像データ
を縮小処理することにより得られる編集用選択画像を用
いて上記表示装置の表示画面上において,合成画像を得
るための上記位置決めが行なわれる。上記テンプレート
画像の上記位置決めされた位置にもとづいて上記選択画
像を合成し,印刷用合成画像を得る。
【0010】上記表示装置の表示画面上における位置決
めに用いられる編集用画像データは,上記合成画像の生
成処理に用いられる選択画像データを用いて生成してい
るので,位置決め時に得られる表示用合成画像と生成さ
れた印刷用合成画像との間に合成する選択画像の位置ず
れが起きることを防止できる。位置決めのときに表示さ
れた表示用合成画像と同じ印刷用合成画像が得られる。
【0011】上記印刷用合成画像を表わす印刷用合成画
像データを記録媒体に記録するようにしてもよい。これ
により記録媒体に記録された印刷用合成画像データを読
出すことによって,必要なときに印刷用合成画像を得る
ことができる。
【0012】一実施態様としては,得られた上記選択画
像データを画像メモリに一時記憶しておき,上記画像メ
モリに記憶された上記選択画像データを,上記画像メモ
リから読出し,上記画像メモリから読出された上記選択
画像データによって表わされる選択画像を上記テンプレ
ート画像の上記位置決めされた位置にもとづいて上記印
刷用合成画像を生成する。
【0013】他の実施態様としては,上記搬送後に上記
搬送方向と同じ方向に上記フイルムと上記撮像素子とを
再び相対的に搬送し,上記選択画像に対応した上記指標
を検出することに応答して上記選択画像を撮像し,上記
選択画像を表わす印刷用選択画像データを得,上記テン
プレート画像の上記位置決めされた位置にもとづいて上
記印刷用画像データによって表わされる印刷選択画像
を,上記テンプレート画像に合成し印刷用合成画像を生
成する。
【0014】上記選択画像データを記憶しておくことが
不要となり,画像メモリを削減できる。
【0015】上記選択処理はたとえば上記フイルムに記
録されている画像を撮像し,画像データを得,撮像によ
って得られた画像データにより表わされた画像の縮小画
像を上記表示装置に一覧表示し,一覧表示された画像か
ら上記所望の画像を選択するものである。実際の画像を
見ながら画像選択ができる。
【0016】また上記フイルムに記録されている画像を
撮像し,画像データを得,撮像によって得られた画像デ
ータにより表わされた画像の縮小画像を上記表示装置に
一覧表示し,一覧表示された画像から上記所望の画像を
選択することもできる。縮小画像が表示装置に一覧表示
されるので,所望の画像を容易に選択できる。縮小画像
の一覧表示は迅速にできるので,印刷用合成画像を得る
までの体感速度が遅れない。
【0017】
【実施例の説明】
(1) 情報記録部付写真フイルム 従来タイプの写真フイルム(いわゆる35mmフイルム)は
12駒,24駒または36駒撮りのロール・フイルムである。
この写真フイルムは現像後は6駒の長さに切断され,一
般にシースに格納されて保存される。従来タイプの写真
フイルムには撮影した被写体の画像およびその駒番号が
記録されるだけである。被写体の画像に関する情報(た
とえば画像を端的に表わす情報,撮影日,シャッタ・ス
ピードなど)は駒番号を除いては記録されない。このた
め駒番号以外の,被写体の画像に関する情報はシースに
書込むか,別の紙などにメモしておかなければならな
い。従来の写真フイルムには記録できない画像を端的に
表わす情報,撮影日,シャッタ・スピード等の被写体の
画像に関する情報を記録することのできる新しいタイプ
の写真フイルムが開発されている。この実施例による画
像合成装置ではこの新しいタイプの写真フイルムが用い
られる場合について説明する。
【0018】図1は新しいタイプの写真フイルム,すな
わち情報記録部付写真フイルム(新写真フイルムとい
う)を示している。
【0019】新写真フイルム1は,パトローネ5内に回
転自在に設けられたスプール(図示略)にその端末が固
定されている。図1は新写真フイルム1がパトローネ5
から引出された状態を示している。
【0020】新写真フイルム1の先端部にはカメラの新
写真フイルム巻取軸の一部に係合させるためのいくつか
のパーフォレーション2aが形成されている。
【0021】先端部の適当な長さの部分を除いて,新写
真フイルム1の全体には画像を記録する領域4がある
(この領域は写真撮影によって形成されるもので,図1
では説明の便宜のために鎖線で示されている)。また画
像記録領域4の下側に細長い帯状の光学情報記録部6が
設けられている(この領域6も露光されることによって
形成されるもので,図1では説明の便宜のために鎖線で
示されている)。
【0022】画像記録領域4の両側に細長い帯状の情報
記録部3b,3dが設けられている。一方の情報記録部
3dは光学情報記録部6と重なっている。また,他方の
情報記録部3bの間において,各画像記録領域4の先頭
部分と終り部分とにそれぞれ対応して1つずつパーフォ
レーション2bおよび2cが形成されている。ここでは
各画像記録領域4の先頭部分に形成されているパーフォ
レーション2bを予備パーフォレーション,各画像記録
領域4の終りの部分に形成されているパーフォレーショ
ン2cをCCDパーフォレーションと呼ぶこととする。
予備パーフォレーション2bは新写真フイルム1がパト
ローネ5から引出されるときに,つづいてCCDパーフ
ォレーション2cが現われることを示すパーフォレーシ
ョンである。CCDパーフォレーション2cは画像記録
領域4をカメラにおける撮像装置に位置決めまたは画像
記録領域4に記録された画像の読取りタイミングを規定
するパーフォレーションである。
【0023】新写真フイルム1の先端部分にもまた情報
記録部3a,3cがその両側に設けられている。
【0024】情報記録部3a,3b,3cおよび3dは
一般には透明磁性体を塗布することにより形成される磁
気記録層である。新写真フイルム1の一側に設けられた
情報記録部3aおよび3bは一般にラボラトリィにおい
て使用される。新写真フイルム1の他側に設けられた情
報記録部3cおよび3dは一般にユーザの入力に応じて
またはカメラが自動的に情報(データ)を記録するため
に用いられる。光学情報記録部6は一般にメーカが情報
を記録するために用いられる。
【0025】先端部分の情報記録部(リーダ情報記録
部)3aおよび3cは1本のフイルム1に関する情報
(フイルム情報)の記録のために用いられる。各画像記
録領域4に対応して設けられた情報記録部(フレーム情
報記録部)3bおよび3dは各領域4に記録された画像
に関する情報(フレーム情報)の記録のために用いられ
る。光学情報記録部6はメーカ・コード等の情報を記録
するものである。
【0026】一例を挙げると,ユーザが利用するリーダ
情報記録部3cには,その写真フイルムを用いて撮影さ
れた画像全体が関係する包括的な情報が記録される。こ
の情報をIX1と呼ぶ。
【0027】ユーザが利用するフレーム情報記録部3d
に記録される情報には,ユーザがカメラに入力するタイ
トル情報(タイトルとは,画像を端的に表わすものであ
り,たとえば「花の写真」,「動物の写真」,「子供達
の写真」,「旅行」などである)と,カメラが自動的に
記録する情報(たとえばその駒の画像を撮影するときに
用いたシャッタ速度など)とが含まれる。これらの情報
を情報IX2と呼ぶ。ユーザが入力する情報のみを情報
IX2としてもよい。
【0028】図2は新写真フイルム1の情報記録部3
a,3b,3cおよび3dにおけるデータ配置(フォー
マット)を示している。このデータ・フォーマットは情
報IX1およびIX2の両方に適用され,SS,VE
R,ID,LNG,DATA,LCRおよびESが含ま
れる。
【0029】SSはStart Sentinalの略で,データ列の
開始を表わすコードである。VERは記録フォーマット
(規格)のバージョンを示す。IDは記録される情報の
種類(IX1,IX2など)を表わす。LNGは次に続
くデータの長さを示す。DATAは記録したい,または
記録すべき情報を表わすデータである。LCRはCRC
チェック・コードである。ESはEnd Sentinalの略で,
データ列の終了を表わすコードである。
【0030】このようなフォーマットのデータ列が一つ
の情報記録部3a,3b,3cまたは3dに1または複
数個設けられる。たとえば,フレーム情報記録部3dに
はユーザが入力したデータを表わすデータ列と,カメラ
が書込むべきデータを表わすデータ列とが記録される。
必要に応じて,信頼性を高めるために,情報記録部には
同一のデータ列が並列に複数個記録される。
【0031】(2) 新写真フイルム用カメラ このような新写真フイルムを取扱うことが可能なカメラ
の構成の一部が図3に示されている。この図では新写真
フイルム1の情報記録部3a,3b,3cおよび3dへ
の記録に関する構成が主に示され,撮像光学系等の構成
については図示が省略されている。
【0032】パトローネ5はカメラ内のフォークに回転
自在に支持される。パトローネ5から引出された新写真
フイルム1の先端部は写真フイルム巻取軸16に巻付けれ
る。パーフォレーション2bおよび2cを検出する光電
センサ12が設けられており,この検出信号は制御装置10
に与えられる。制御装置10はモータ14を駆動して巻取軸
16を回転させて新写真フイルム1を順次巻取らせるとと
もに,光電センサ12の検出信号に基づいて画像記録領域
4が結像位置にくるように新写真フイルム1を撮影ごと
に位置決めする。
【0033】ユーザ用の磁気情報記録部3c,3dに情
報を記録するために磁気ヘッド11が磁気情報記録部3
c,3dの走行路上に設けられている。新写真フイルム
1が巻取られる(走行する)過程で,制御装置10の制御
の下に,ヘッド駆動回路13を介して,入力装置15から入
力された情報または制御装置10が生成した情報が,磁気
情報記録部3c,3dに磁気記録されることになる。
【0034】入力装置15は数字や文字を入力するもので
ある。たとえば,入力装置15は数値キー,アルファベッ
ト・キー等を含む。必要に応じて入力装置15は表示装置
を含み,キー入力された情報が表示装置に表示される。
キーの数を少なくするために,一つのキーを押すごとに
表示される文字が変化し,ユーザが表示された文字を選
択できる構成とすることもできる。
【0035】(3) フイルム・スキャナ 図4および図5は新写真フイルム1に記録された画像お
よび情報を読取るフイルム・スキャナの概略構成を示し
ている。図4は平面図,図5は正面図である。
【0036】新写真フイルム1はパトローネ5から引出
され,写真フイルム巻取軸24に巻取られる。新写真フイ
ルム1はフイルム給送機構(図示略)によって所定速度
で搬送される。
【0037】光源21からの光が搬送される新写真フイル
ム1に照射される。新写真フイルム1の画像記録領域に
表わされた画像を表わす光はレンズ系22によってCCD
ライン・センサ23上に結像する。CCDライン・センサ
23は新写真フイルム1の長手方向と直交する方向に配列
された多数の(たとえば2048個)の光電変換素子を含
む。新写真フイルム1が送られる過程でCCDライン・
センサ23から一ライン分ずつの映像信号が画像処理装置
26に与えられる。新写真フイルム1が一画像記録領域の
長さ送られると,一駒分の画像データが得られることに
なる(たとえば最も細かいピッチで送られたときに画像
記録領域4について2048×3584画素の解像度の画像デー
タが得られる)。
【0038】画像処理装置26はCCDライン・センサ23
から得られる映像信号(またはA/D変換後のディジタ
ル画像データ)を処理する信号処理回路(ホワイト・バ
ランス回路,ガンマ補正回路,ネガ/ポジ反転回路等の
うちの必要なものを含む),A/D変換回路等から構成
される。新写真フイルム1が最も細かいピッチで送られ
たときに得られるディジタル画像データをプリント用画
像データという。プリント用画像データは後述の画像メ
モリ35に与えられる。フイルム・スキャナにおいてフイ
ルム1の送りピッチを変えることにより解像度の異なる
画像データを得ることもできる。
【0039】図4および図5に示す読取装置において,
新写真フイルム1の搬送路にはその情報記録部3c,3
dが通過する位置に磁気ヘッド25が設けられている。磁
気ヘッド25は新写真フイルム1が送られる過程で,情報
記録部3c,3dに磁気記録されている情報を読取り,
その読取信号を磁気読取回路27に送る。磁気読取回路27
は読取信号に必要な処理(復調,エンコード等)を加え
て後述のMPU30に与える。
【0040】また図4および図5に示す読取装置におい
て,新写真フイルム1の搬送路にはそのパーフォレーシ
ョン2bおよび2cが通過する位置に光電センサ28が設
けられている。光電センサ28はフイルム1が送られる過
程でパーフォレーション2bおよび2cの位置を示す検
出信号を出力する。図1(B) に光電センサ28から出力さ
れる検出信号が示されている。図1(B) において時刻t
b のタイミングが予備パーフォレーション2bの検出タ
イミングであり,時刻tc のタイミングがCCDパーフ
ォレーション2cの検出タイミングである。
【0041】(4) 画像合成装置 図6は画像合成装置の電気的構成を示している。
【0042】この画像合成装置は種々の場所に設置され
る。たとえば,フイルム現像所(店),写真店,デパー
ト,コンビニエンス・ストア,その他の店舗等である。
この画像合成装置は一般的には顧客(ユーザ)によって
操作される。フイルム現像所等のオペレータが常駐して
いる場所では画像合成装置をすべてオペレータが操作し
てもよい。
【0043】この画像合成装置が取扱う媒体には大別し
て2種類ある。その一は,新写真フイルム,従来の写真
フイルム,印画紙にプリントされた写真,印刷物(ポス
ター,カレンダ等の写真)などの画像を可視的に表わす
ものである。これらを可視画像媒体という。その二は光
ディスク,光磁気ディスク,磁気ディスク,メモリ・カ
ード等の画像を表わすディジタル・データを記録(また
記憶)するものである。これらをディジタル媒体とい
う。
【0044】この画像合成装置は大別して2つの機能を
もつ。それはフォトジョイ・プリント・サービス(画像
合成処理)とディジタル出力サービス(画像変換処理)
である。
【0045】フォトジョイ・プリント・サービスでは,
入力媒体として可視画像媒体およびディジタル媒体のい
ずれもが用いられる。出力媒体としてプリント,メモリ
・カード,光磁気ディスクまたは磁気ディスクが用いら
れる。フォトジョイ・プリント・サービスでは,画像合
成装置にあらかじめ記憶されているテンプレート画像
に,ユーザが持参した入力媒体に記録されている画像を
合成して出力する。
【0046】ディジタル出力サービスでは,入力媒体と
して可視画像媒体が用いられる。出力媒体としてディジ
タル媒体が用いられる。ディジタル出力サービスでは可
視画像媒体に記録されている画像を読取り,読取った画
像を表わすディジタル画像データに変換し,ディジタル
媒体に記録する。
【0047】この実施例では主にフォトジョイ・プリン
ト・サービスについて説明する。
【0048】画像合成装置は,MPU30によって全体の
動作が統括される。
【0049】画像合成装置には,合成した画像その他の
情報を表示するための表示装置33,表示装置33のインタ
フェイス(ビデオ・インタフェイス)34,表示装置33の
表示画面上に配置されユーザからの指令を受付けるタッ
チパネル32,タッチパネル・インタフェイス31,画像デ
ータを一旦記憶する画像メモリ35,SCSI(SmallCom
puter System Interface )36,プリンタ37,磁気ディ
スクを駆動するフロッピー・ディスク・ドライバ39,ハ
ード・ディスクを駆動するハード・ディスク・ドライバ
40,光磁気ディスクを駆動する光磁気ディスク・ドライ
バ46,メモリ・カードを駆動するメモリ・カード・リー
ダ47が含まれている。また画像合成装置には新写真フイ
ルム,従来タイプの写真フイルムまたは写真に表わされ
た画像を読取るスキャナ42(新写真フイルムが入力媒体
の場合にはスキャナ42は図4および図5に示す構成のも
のとなろう。),スキャナ・インタフェイス43,画像デ
ータによって表わされる画像を拡大および縮小する拡大
縮小回路44,およびデータを一時的に記憶するRAM45
が含まれている。
【0050】ユーザは表示装置33の表示にしたがって画
像合成処理の操作を行なう。すなわち,表示装置33の表
示画面上にはタッチパネル32が形成されている。このタ
ッチパネル32はインタフェイス31を介してMPU30と接
続されている。表示装置33の表示面上に,操作を誘導す
るガイダンス(イラスト,文などよりなる)と,タッチ
すべき一または複数の区画とが表示される。各区画内に
はキーの機能(数値を含む)が表示される。これによ
り,機能キーおよび数値キーが実現される。オペレータ
またはユーザが指でタッチした区画の位置を表わす入力
信号がMPU30に与えられる。このタッチパネルを利用
してユーザは処理(サービス)の種類の選択(フォトジ
ョイ・プリント・サービスかディジタル出力サービ
ス),入力媒体の指定,出力媒体に記録すべきまたはプ
リントすべき駒の指定等を行う。
【0051】スキャナ42は,新写真フイルム,従来の写
真フイルムまたは写真,印刷物などの反射原稿に表われ
ている画像を読取り,その画像を表わす画像データを出
力するものである。スキャナ42はスキャナ・インタフェ
イス43を介してMPU30と接続されている。従来の写真
フイルムのスキャナであれば光源,撮像光学系,ライン
・センサ(または二次元撮像素子),フイルムまたはラ
イン・センサの移送機構,信号処理回路,A/D変換回
路等を含むであろうし,反射原稿のスキャナであればフ
ラット・ベッド・スキャナが用いられるであろう。フラ
ット・ベッド・スキャナはフラット・ベッドを備え,こ
のフラット・ベッド上に読取るべき反射原稿が置かれ
る。光源からの光が反射原稿に投射され,反射原稿から
の反射光がライン・センサまたは二次元撮像素子に入力
する。ライン・センサまたは撮像素子から出力される映
像信号は所定の処理ののちディジタル画像データとして
出力される。
【0052】ハード・ディスク・ドライバ40は,ハード
・ディスクへのデータの書込み,ハード・ディスクに記
録されているデータの読出しを行なうものである。
【0053】フロッピー・ディスク・ドライバ39,光磁
気ディスク・ドライバ46またはメモリ・カード・リーダ
47はそれぞれ入,出力媒体としての磁気ディスク,光磁
気ディスクまたはメモリ・カードに画像データを含むデ
ータの書込み,または磁気ディスク,光磁気ディスクま
たはメモリ・カードからの読出し,データの書換え等を
行なうものである。
【0054】プリンタ37は,与えられる画像データによ
って表わされる画像をプリントする。
【0055】(5) ハード・ディスクのファイル構造 図7から図9は,画像合成装置に含まれるハード・ディ
スクのファイル構造(データ構造)を示している。この
ファイル構造は論理的に示すものであり,物理的な構造
を示しているものではない。図7から図9に示す各種デ
ータはひとかたまりの連続した状態になくとも,分散し
た状態にあってもよい。また画像合成装置に複数枚のハ
ード・ディスクがある場合には1枚のハード・ディスク
上に図7から図9に示すすべてのデータが存在しなくと
も,複数枚のハード・ディスク上に分散して記録されて
いてもよい。
【0056】ハード・ディスクには,ハード・ディスク
に記録されているすべてのデータを管理するディレクト
リ管理領域,OS(Operating System)が記録されてい
るOS記録領域,フォトジョイ・プリント・サービスお
よびディジタル出力サービスのためのソフトウェアが記
録されているアプリケーション・ソフトウェア記録領
域,合成すべき被写体画像の背景画像となるテンプレー
ト画像を表わすテンプレート画像データが記録されてい
るテンプレート・データ記録領域,テンプレート画像上
に合成すべき被写体画像の合成位置および合成エリアを
規定するマスク画像を表わすマスク画像データが記録さ
れているマスク・データ記録領域,画像合成に利用され
る合成情報を記憶している合成情報記録領域および未使
用領域が含まれている。
【0057】図8にテンプレート・データ記録領域の詳
細が示されている。
【0058】テンプレート画像データには,表示装置33
の表示画面に表示される合成画像を生成するときに用い
られる画面表示用テンプレート画像データと,プリンタ
37を用いて合成画像を印刷するときに用いられ,画面表
示用テンプレート画像データよりも高解像度の印刷用テ
ンプレート画像データとがある。このためにテンプレー
ト画像データ記録領域には画面表示用テンプレート画像
データ記録領域と印刷用テンプレート画像データ記録領
域とが含まれている。画面表示用テンプレート画像デー
タ記録領域および印刷用テンプレート画像データ記録領
域に画面表示用テンプレート画像データおよび印刷用テ
ンプレート画像データが記録されている。
【0059】この実施例による画像合成装置では,複数
種類のテンプレート画像のうち一種類のテンプレート画
像を選択し,選択されたテンプレート画像に被写体画像
を合成することができる。このために画面表示用テンプ
レート画像データ記録領域および印刷用テンプレート画
像データ記録領域はさらにテンプレート画像の種類に応
じた記録領域(デコレーション画面表示用テンプレート
画像データ記録領域,フォトフレーム画面表示用テンプ
レート画像データ記録領域など)に分けられ,これらの
各領域にテンプレートの種類に対応したテンプレート画
像データが記録されている。
【0060】さらに,このテンプレートの種類には同一
の種類の中であっても複数のタイプのテンプレートがあ
る。たとえばデコレーションのテンプレートであっても
異なる被写体画像の表示数および表示方向を縦にするか
横にするかなどのタイプ(タイプ1,2など)があり,
このタイプごとにテンプレート画像データが記憶されて
いる。
【0061】さらにこの実施例による画像合成装置では
同一のテンプレートのタイプの中であってもさらに複数
の異なる装飾のタイプをもつテンプレートがある。たと
えばデコレーションのテンプレートであって,かつ被写
体画像を3駒横に配置する場合でも異なるタイプの装飾
がある(たとえば結婚式用の装飾など)。この装飾のタ
イプごとにテンプレート画像データが記憶されている。
【0062】したがってテンプレートは種類,タイプお
よび装飾のタイプのすべてが定まって初めて1つのもの
が規定される。
【0063】図9にマスク画像データ記録領域の詳細が
示されている。
【0064】印刷用テンプレート画像データについて
も,画面表示用テンプレート画像データと同様にその種
類,そのタイプ,その装飾タイプごとに画面表示用テン
プレート画像データの数に対応してハード・ディスクの
印刷用テンプレート画像データ記録領域に記録されてい
る。
【0065】テンプレート画像データ記録領域およびマ
スク画像データ記録領域ではビット・マップ・データの
形式でデータ圧縮されてテンプレート画像データおよび
マスク画像データが記録されている。
【0066】再び図7を参照して,ディレクトリ管理領
域には,各画面表示用テンプレート画像データへのパス
(パスは各データが格納されている記憶場所をコンピュ
ータがアクセスするのに必要な情報である),各印刷用
テンプレート画像データへのパス,各画面表示用マスク
・データへのパス,各印刷用マスク画像データへのパ
ス,その他のデータが格納されている。ディレクトリ管
理領域に格納されているこれらのパスを参照することに
より,各データにアクセスすることが可能となる。
【0067】合成情報記録領域には,画像合成に利用さ
れる情報が格納されている。合成情報には,合成画像
数,合成画像エリアの位置情報タイトル数,タイトル合
成位置,タイトル・フォントのタイプ・フェイス名,タ
イトル・フォント・サイズ,タイトル・フォント・カラ
ー,タイトル・レイアウトがある。
【0068】合成画像数は,テンプレートに合成する被
写体画像の数を表わす。合成画像エリアの位置情報は,
テンプレート画像において合成する被写体画像に必要な
大きさを規定する合成規定範囲の位置および大きさを表
わす(詳しくは後述する)。タイトル数は後述のように
テンプレート画像にタイトルを付加する場合に,そのタ
イトルの数を表わす。タイトル合成位置は,タイトルを
テンプレート画像上に付加する場合にタイトルの開始位
置を示す(詳しくは後述する)。タイトル・フォントの
タイプフェイス名は,タイトルがゴシック体か明朝体か
を示す。タイトル・フォント・サイズはタイトルのフォ
ント・サイズを表わす。タイトル・フォント・カラーは
タイトル色を表わす。タイトル・レイアウトは,そのタ
イトルを左詰めにするか,センタリングするか,右詰め
にするかを表わす。
【0069】このような合成情報は,テンプレート画像
データ記録領域に記録されているテンプレート画像デー
タ(種類,タイプおよび装飾タイプがすべて定まり最終
的に規定されたテンプレート画像データ)に対応して合
成情報記録領域に,コード・データとして記録されてい
る。
【0070】図10(A) にテンプレート画像の一例が示さ
れている。図10(B) にマスク画像の一例が示されてい
る。図10(C) に合成情報の一例が示されている。このよ
うなテンプレート画像を表わすテンプレート画像データ
がテンプレート画像データ記録領域に記録され,マスク
画像を表わすマスク画像データがマスク画像データ記録
領域に記録され,合成情報を表わすデータが合成情報記
録領域に記録される。
【0071】図11および図12は,合成情報に含まれる合
成画像エリアの位置情報およびタイトル合成位置情報を
説明するためのものである。合成画像エリアの位置情報
およびタイトル合成位置情報にはそれぞれ合成規定範囲
yn(nは合成規定範囲の番号で図11および図12に示す
場合では,1〜3である)の開始位置および大きさが含
まれる。この開始位置はテンプレート画像の左上隅を原
点とした場合の合成画像エリアSynの左上隅の座標(x
sf,ysf)(fも合成規定範囲の番号で図10および
図11に示す場合では1〜3である)で示される。また合
成規定範囲の大きさは,水平方向の大きさをxnfで,
垂直方向の大きさをynf(fは合成規定範囲の番号)
を表わしている。
【0072】テンプレート画像に合成すべき被写体画像
が,合成規定範囲の大きさよりも小さいと合成された画
像に白枠または黒枠などができてしまう。このため,上
記被写体画像が上記合成規定範囲の大きさよりも小さい
場合にはその旨が報知される。これによりテンプレート
画像に合成すべき被写体画像が,上記マスク画像によっ
て規定される合成エリアの大きさよりも小さい場合に,
合成された画像に白枠または黒枠などができるのを防止
できる。
【0073】(6) 画像合成 図13は,画像合成処理を説明するためにテンプレート画
像,マスク画像,合成すべき被写体画像および合成画像
の関係を斜視的に示している。
【0074】画像合成においては,テンプレート画像が
選択され,ハード・ディスクから選択されたテンプレー
ト画像を表わすテンプレート画像データが読出される。
また選択されたテンプレート画像データに対応するマス
ク画像データがハード・ディスクから読出される。つづ
いて合成すべき被写体画像データがユーザが持参した可
視画像媒体またはディジタル媒体から読出される。
【0075】合成すべき被写体画像と,マスク画像とを
重ね合わせたときに,ハッチングで示すマスク部分AM
に該当する部分の被写体画像についてはテンプレート画
像上に合成されない。これに対して,合成エリア部分A
W (マスク部分AM 以外)に該当する部分の被写体画像
についてはテンプレート画像上に合成され,合成画像が
生成される。マスク画像の合成画像エリア部分AW と合
成すべき被写体画像との位置関係は,画像合成装置を操
作するユーザによって調整される。画像合成についての
詳しい操作は以下の説明によって明らかになるであろ
う。
【0076】(7) 画像合成装置における各種処理 図14から図19は画像合成装置におけるフォトジョイ・プ
リント・サービス等を含む各種処理の処理手順を示すフ
ローチャートである。図20から図34は画像合成装置の表
示装置33に表示される画面の一例を示している。表示装
置33に画面を表示するためのデータはとくに断わらない
限りアプリケーション・ソフト記録領域に記録されてい
る。
【0077】画像合成処理の概要 画像合成装置の表示装置33の表示画面は初期状態におい
ては図20に示す一般サービス画面が表示されている(図
15ステップ52)。
【0078】一般サービス画面には,処理を開始させる
ときにメンテナンス・マン(またはオペレータ)の指に
よってタッチされる区画A08と処理を終了させるときに
メンテナンス・マン(またはオペレータ)の指によって
タッチされる区画A09とが含まれている。メンテナンス
・マン(またはオペレータ)の指によって区画A08がタ
ッチされることにより図21に示すようなサービス選択画
面が表示される(ステップ53でYES ,57)。
【0079】このサービス選択画面には枠で囲まれた3
つの区画A10,A11およびA12が表示される。これらの
区画A10,A11およびA12のうち区画A11上をユーザが
タッスすることによりフォトジョイ・プリント・サービ
スが開始され,表示装置33の画面は図22に示すように入
力媒体選択画面に切換わる(ステップ58)。
【0080】図20に示す一般サービス画面が表示されて
いる場合に,区画A09がタッチされると(ステップ53で
NO,ステップ54でYES ),画像合成装置におけるサービ
ス終了処理に移行する。サービス終了処理においては暗
証番号の入力が促される(ステップ55)。入力された暗
証番号が正しければ(ステップ56でYES ),画像合成装
置におけるサービスは終了する。入力された暗証番号が
誤りであれば(ステップ56でNO),所定のエラー処理に
移行する。画像処理装置にはあらかじめ暗証番号が設定
されているのはいうまでもない。
【0081】図21において区画A12は図6に示す画像合
成装置においてディジタル出力サービスを実行する場合
にユーザによってタッチされる。区画A10は前画面に戻
す場合にユーザによってタッチされる。区画A12がタッ
チされることによりディジタル出力サービスに適した画
面に切換わるが,画像合成処理とは関係ないのでこれ以
上の説明を避ける。
【0082】図22を参照して入力媒体選択画面には枠で
囲まれた区画A21,A22,A23,A24,A25およびA26
が表示される。区画A21は入力媒体が新写真フイルムの
ときにユーザによってタッチされる区画であり,区画A
22は入力媒体が従来タイプの写真フイルムのときにユー
ザによってタッチされる区画であり,区画A23は入力媒
体が反射原稿のときにユーザによってタッチされる区画
であり,区画A24は入力媒体が光磁気ディスクのときに
ユーザによってタッチされる区画であり,区画A25は入
力媒体が磁気ディスクのときにユーザによってタッチさ
れる区画であり,区画A26は入力媒体がメモリ・カード
のときにユーザによってタッチされる区画である。区画
21〜A26のうち入力媒体に合った区画がユーザによっ
てタッチされる。スキャナ42,フロッピー・ディスク・
ドライバ39,光磁気ディスク・ドライバ46またはメモリ
・カード・リーダ47のうち入力媒体に適したものがユー
ザによって選択され,入力媒体が装着される。
【0083】ここではユーザによって区画A21がタッチ
され,入力媒体として新写真フイルムが選ばれたものと
する。新写真フイルムが入力媒体として選ばれると,新
写真フイルムを画像合成装置に装着するためのガイドが
表示装置33上に表示され,新写真フイルムを装着するた
めにスキャナ42のドアが開く(ステップ59,60)。スキ
ャナ42に新写真フイルムが装着されると再び新写真フイ
ルムを画像合成装置に完全に装着するためのガイドが表
示装置33上に表示され,この表示にしたがってユーザに
よってスキャナ42のドアが閉じられる。
【0084】画像合成装置への新写真フイルムの装着が
終ると,図23に示すテンプレート種類選択画面に切換わ
る(ステップ61)。テンプレート種類選択画面では区画
30,A31,A32,A33,A34,A35,A36,A37,A
38およびA39が表示される。区画A30はラージ・インデ
ックス(ラージ・インデックスとは入力媒体に記録され
ている複数の画像を一覧表示するものである)でプリン
トする場合にユーザによってタッチされる区画である。
区画A31はフォトフレーム(フォトフレームは,写真立
てに飾られる写真のように入力媒体に記録される画像を
表わすものである)でプリントする場合にユーザによっ
てタッチされる区画である。区画A32は表紙ポスター
(表紙ポスターは,雑誌の表紙やポスターなどのように
して入力媒体に記録される画像を表わすものである)で
プリントする場合にユーザによってタッチされる区画で
ある。区画A33はカレンダー(カレンダーは,入力媒体
に記録される画像をカレンダーの一部に表わすものであ
る)でプリントする場合にユーザによってタッチされる
区画である。区画A34はデコレーション(デコレーショ
ンは入力媒体に記録される画像の一部または全部を抽出
し,抽出した画像を飾り付けした画像を表わすものであ
る)でプリントする場合にユーザによってタッチされる
区画である。区画A35は大伸し(大伸しは入力媒体に記
録されている画像を拡大するものである)でプリントす
る場合にユーザによってタッチされる区画である。区画
36は,アート(アートは入力媒体に記録されている画
像を装飾するものである)でプリントする場合にユーザ
によってタッチされる区画である。区画A37はマルチ・
サイズ(マルチ・サイズは大きさが異なる複数の同一の
被写体画像を表わす)でプリントするときにユーザによ
ってタッチされる区画である。区画A38はディジタル・
ダイレクト(ディジタル・ダイレクトは入力媒体がディ
ジタル媒体であるときにディジタル媒体から読出した画
像データによって表わされる画像を表わす)でプリント
するときにユーザによってタッチされる区画である。区
画A39はテンプレートの種類の説明が必要なときにユー
ザによってタッチされる区画である。
【0085】この実施例では,ユーザによって区画A34
がタッチされ,デコレーションが選択されたものとする
(ステップ62でYES )。区画A34以外の区画がユーザに
よってタッチされたときにはタッチされた区画に応じて
表示装置33の表示が切換わる。
【0086】区画A34がユーザによってタッチされる
と,表示装置33の表示画面は図24に示すメニュー説明画
面に切換わる(ステップ63)。メニュー説明画面には,
領域A41,区画A42,A43およびA44が表示される。領
域A41に,ユーザが選択したテンプレートがどのような
ものかどのような被写体画像を合成するのに適している
かを示す説明文が表示される。説明文が多いときには,
選択したテンプレートのすべての説明文を領域A41に表
示することができない。このために画面をスクロールさ
せて説明文を読むためにタッチされるのが区画43または
44である。また区画A42をユーザがタッチすることに
より図23に示すテンプレート種類画面に戻る。メニュー
説明文の最後のページになると新たな区画(図示略)が
表示される。この区画をユーザがタッチすることにより
表示装置33の表示画面には図25に示すテンプレート・タ
イプ選択画面に切換わる(ステップ64)。
【0087】テンプレートには,デコレーション,カレ
ンダー,表紙ポスターなどの多くの種類があるが,その
うちの1種類のテンプレートの中にさらにテンプレート
のタイプがある。このテンプレートのタイプを選択する
ときに表示装置33に表示されるのが図25に示すテンプレ
ート・タイプ選択画面である。
【0088】テンプレート・タイプ選択画面には区画A
51,A52,A53,A54,A55およびA56ならびにA42
表示される。区画A51は,3駒の画像をテンプレートに
縦に配置して画像合成するときにユーザによってタッチ
される区画である。区画A52は5駒の画像をテンプレー
トに縦に配置して画像合成するときにユーザによってタ
ッチされる区画である。区画A53は8駒の画像をテンプ
レートに縦に配置して画像合成するときにユーザによっ
てタッチされる区画である。区画A54は3駒の画像をテ
ンプレートに横に配置して画像合成するときにユーザに
よってタッチされる区画である。区画A55は5駒の画像
をテンプレートに横に配置して画像合成するときにユー
ザによってタッチされる区画である。区画A56は8駒の
画像をテンプレートに横に配置して画像合成するときに
ユーザによってタッチされる区画である。区画51〜A56
のうちいずれかの区画がユーザによってタッチされると
(ステップ65),表示装置33の表示画面は図26に示すテ
ンプレート装飾タイプ選択画面に切換わる(ステップ6
6)。
【0089】選択されたテンプレートのタイプ(テンプ
レートに合成する画像の駒数および配置方向)には多く
のタイプがあるがそのうちの1つのタイプの中にさらに
テンプレートの装飾のタイプがある。この装飾のタイプ
を選択するときに表示装置33に表示されるのが図26に示
す装飾選択画面である(ステップ66)。
【0090】装飾選択画面には領域A60ならびに区画A
10およびA13が表示される。領域A60にはテンプレート
の装飾を選択するための区画が複数ある。ユーザは,領
域A60内にある区画のうち所望の装飾を表わす区画をタ
ッチする(ステップ67)。
【0091】このようにテンプレートの種類,タイプお
よび装飾タイプすべてを選択することにより,画像合成
に用いられるテンプレートが特定される。
【0092】テンプレートが特定されると,テンプレー
ト画像データのデータ伸長,テンプレートに合成すべき
被写体画像の選択,テンプレート画像への被写体画像の
合成,印刷用合成画像データの生成処理が行なわれる
(ステップ68,図27〜図32)。これらの各処理について
は詳しくは後述する。
【0093】表示装置33の表示画面上で画像合成が終了
すると(ステップ68の処理が終了すると),表示装置33
の表示画面は図33に示す印刷中表示画面に切換わり(ス
テップ69),印刷が行なわれる(ステップ70)。この印
刷について詳しくは後述する。
【0094】印刷中表示画面には領域A86に加えて区画
83,A84およびA85が表示される。領域A86には,印
刷の間簡単なアニメーションが表示される。印刷を中止
するときには,ユーザによって区画A83がタッチされ,
テンプレートを変えて別の印刷を行うときにはユーザに
よって区画A84がタッチされる。印刷が終了するとユー
ザによって区画A85がタッチされる。区画A85がユーザ
によってタッチされると表示装置33の表示画面は図34に
示す印刷終了画面になる(ステップ71)。
【0095】印刷終了画面には区画A76およびA77が表
示される。区画A76は印刷を終了する場合にユーザによ
ってタッチされる区画であり,区画A77は印刷を続行す
る場合にユーザによってタッチされる区画である。区画
76がタッチされることにより(ステップ72でNO),表
示装置33の表示画面は画像合成装置に装着した新写真フ
イルムを取出す旨のガイド画面に切換わる(ステップ7
3)。画像合成装置から新写真フイルムを取出すと表示
装置33の表示画面は図20に示す一般サービス画面に切換
わる(図14ステップ52)。区画A77がタッチされること
により(ステップ72でYES ),表示装置33の表示画面は
図23に示すテンプレート種類選択画面に切換わる(図15
ステップ61)。これによりユーザは再びテンプレートを
選択し,印刷することができる。
【0096】この実施例ではテンプレートに合成した合
成画像を印刷しているのみであるが,合成画像を表わす
画像データをディジタル媒体に記録してもよい。この場
合には,入力媒体としてユーザがディジタル媒体を持参
したときにはその持参したディジタル媒体に記録しても
よいし,異なるディジタル媒体であってもよい。
【0097】画像合成処理の詳細 図17から図19は画像合成処理の詳細な処理手順を示すフ
ローチャートであり,図16ステップ68の処理に対応して
いる。
【0098】上述したようにしてユーザによってテンプ
レート画像が特定されると(図15ステップ61〜図16ステ
ップ67),特定されたテンプレート画像を表わす画面表
示用テンプレート画像データおよびこの画面表示用テン
プレート画像データに対応する印刷用テンプレート画像
データがハード・ディスクからそれぞれ読出される。読
出された画面表示用テンプレート画像データおよび印刷
用テンプレート画像データは画像メモリ35に与えられ一
旦記憶される。印刷用テンプレート画像データは画像メ
モリ35から読出され拡大縮小回路44に与えられる。ハー
ド・ディスクに記憶されている印刷用テンプレート画像
データはデータ圧縮されているので,拡大縮小回路44に
おいてデータ伸長が行なわれる(ステップ81)。データ
伸長された印刷用テンプレート画像データは再び画像メ
モリ35に与えられ記憶される。
【0099】ハード・ディスクから読出された画面表示
用テンプレート画像データおよび印刷用テンプレート画
像データに対応した,画面表示用マスク画像データおよ
び印刷用マスク画像データがハード・ディスクから読出
される。印刷用マスク画像データもデータ圧縮されてい
るので拡大縮小回路44においてデータ伸長される(ステ
ップ82)。データ伸長された印刷用マスク画像データも
画像メモリ35に与えられ一旦記憶される。
【0100】さらにユーザによって特定されたテンプレ
ート画像に対応する合成情報もハード・ディスクから読
出され,RAM45に一旦記憶される(ステップ83)。
【0101】画面表示用テンプレート画像データおよび
印刷用テンプレート画像データのデータ伸長処理(ステ
ップ81),画面表示用マスク画像データおよび印刷用マ
スク画像データのデータ伸長処理(ステップ82)ならび
に合成情報の読出処理と並行して,新写真フイルム1の
磁気情報読取り処理(ステップ110 ),インデックス用
画像読取り処理(ステップ111 )およびインデックス画
像生成処理(ステップ112 )が行なわれる。磁気情報読
取り処理においては新写真フイルム1は順方向に高速に
送られながら(たとえば120mm /sの速度),磁気記録
領域3a,3b,3cおよび3dに記録された磁気情報
が磁気ヘッド25によって読取られる(ステップ110 )。
インデックス画像読取り処理においては新写真フイルム
1は巻戻し方向に高速に巻戻されながら(たとえば74mm
/sの速度),新写真フイルム1の画像記録領域4に記
録された画像がインデックス画像用として読取られる
(ステップ111 )。インデックス画像とは図27に示すよ
うに新写真フイルム1に記録されているすべての画像を
縮小して一覧表示するための画像である。インデックス
用画像読取り処理においては新写真フイルム1が高速で
巻戻されながら画像が読取られるから,たとえば水平方
向(新写真フイルム1の長手方向)224 画素垂直方向20
48画素の画像データが得られる。
【0102】インデックス用画像読取り処理の読取り開
始タイミングは新写真フイルム1のCCDパーフォレー
ション2cにもとづいて行なわれる。すなわち,光電セ
ンサによって新写真フイルム1のCCDパーフォレーシ
ョン2cが検出され,CCDパーフォレーション2cの
位置を示す光電センサの出力信号の立下りを表わす時刻
c のタイミングから一定期間後に画像記録領域4に記
録されている画像の読取りが開始する。
【0103】つづいてインデックス画像生成処理が行な
われる(ステップ112 )。インデックス画像生成処理は
拡大縮小回路44を用いて水平方向224 画素垂直方向2048
画素の画像データから,水平方向224 画素垂直方向128
画素のインデックス画像データを生成する処理である。
これにより図27に示す表示画面の領域A62に表示される
1駒分の縮小画像が得られる。インデックス画像データ
は画像メモリ35に記憶される。
【0104】インデックス画像データが画像メモリ35に
記憶されると,表示装置33の表示画面には図27に示す画
像選択画面が表示される(ステップ84)。この画像選択
画面には領域A62およびA63ならびに区画A10,A13
14,A15,A16,A61およびA64が表示される。
【0105】領域A62には,ユーザが持参した新写真フ
イルムから読出された画像のインデックス画像データ
(上述のようにすでに画像メモリに記憶されている)に
よって表わされる縮小画像が一覧表示される。領域A62
に表示されている縮小画像のうち所望の縮小画像上をユ
ーザがタッチすることによりテンプレート画像上に合成
すべき画像の選択が行なわれる。ユーザによって選択さ
れた画像は領域A63の区画に表示されていく(ステップ
85〜87)。
【0106】テンプレート画像に合成できる対象画像数
はテンプレートのタイプにより定まっている(図25参
照)ので,このタイプに対応した数だけユーザは対象画
像を選択できる。ユーザが選択可能な駒数が区画A64
表示される。
【0107】区画A15およびA16は,画像数が多いため
領域A62に新写真フイルムに記録されている画像をすべ
て表示できないときにユーザによってタッチされる区画
である。区画A15またはA16がタッチされることにより
領域A62に表示される縮小画像が変わる。テンプレート
画像に表示すべき画像(この実施例では3駒)がユーザ
によって選択されるとユーザによって区画A13がタッチ
される(ステップ88)。これによりテンプレート画像に
合成すべき対象画像が決定される。所望の画像がスキャ
ナ42に装着されている新写真フイルム以外の他の新写真
フイルムのパトローネに入っているときにはユーザによ
って区画A14がタッチされる。
【0108】テンプレート画像に合成する対象画像がユ
ーザによって選択されると(ステップ85〜87),選択さ
れた画像が記録されている画像記録領域4の位置が検出
される。選択された画像が記録されている画像記録領域
4の位置までは新写真フイルム1が高速で順方向に送ら
れる(たとえば120mm /sの速度)。選択された画像が
記録されている画像記録領域4に対応するCCDパーフ
ォレーション2cが検出されると,CCDパーフォレー
ション2cの位置を表わす光電センサの出力信号の立下
りの時刻tc から一定期間経過後からプリント用の画像
データの読取りが開始される。新写真フイルム1が標準
速度(たとえば4.63mm/sの速度)で順方向に送られな
がらプリント用の画像データが読取られる。これにより
水平方向3584画素垂直方向2048画素のプリント用の画像
データが得られる。プリント用画像データの読取り処理
はユーザによって選択されたすべての画像について行な
われ,画像メモリ35に記憶される。プリント用の画像デ
ータは画像メモリ35に一時記憶される(ステップ114
)。
【0109】またプリント用画像データから編集用画像
データが生成される(ステップ115)。編集用画像デー
タは後述のようにはめ込み画面(図28参照)の領域A75
に表示されるテンプレート画像にはめ込む画像を表わす
画像データである。生成された編集用画像データも画像
メモリ35に記憶される(ステップ115 )。
【0110】ユーザによって画像選択画面の区画A13
タッチされると表示装置33の表示画面は図28に示すよう
にはめ込み画面に切換わる(ステップ89)。はめ込み画
面には領域A71,A72,A73,A74およびA75に加えて
区画A10,A13およびA61が表示される。
【0111】領域A71にはテンプレート画像に合成すべ
き対象画像の大きさを調整するための区画が表示され
る。ユーザが領域A71の区画をタッチすることにより対
象画像の大きさが大きく,または小さくなる。領域A72
にはテンプレート画像に合成すべき対象画像とテンプレ
ート画像との角度位置関係を規定する区画が表示され
る。ユーザが領域A72の区画をタッチすることにより,
対象画像が所望の角度回転する。領域A73にはテンプレ
ート画像に合成すべき対象画像とテンプレート画像の合
成エリアとの位置を調整するための区画が表示される。
ユーザが領域A73内の区画をタッチすることにより対象
画像が上,下,左または右に動く。領域A74には図27
(ステップ85〜87)において選択した縮小画像が表示さ
れる。領域A75にはユーザが選択したテンプレート画像
が表示される。領域A75に表示されるテンプレート画像
には画像メモリ35に記憶されている画面表示用のテンプ
レート画像データが用いられる。画面表示用のテンプレ
ート画像データおよび画面表示用マスク画像データは画
面表示用にあらかじめ解像度が規定されているので,表
示装置に表示するために画像の縮小または拡大処理が不
要である。したがって迅速な表示が可能となる。もっと
も拡大または縮小処理を行なってもよいのはいうまでも
ない。
【0112】領域A74に表示されている対象画像のうち
テンプレート画像に合成する1駒目の対象画像がユーザ
によって選択される。この選択は,領域A74に表示され
ている画像上をユーザがタッチすることにより行なわれ
る(ステップ90)。1駒目の画像の選択が終ると図29に
示すように画面に表示されているメッセージが変更さ
れ,その選択された対象画像を合成するエリアの位置指
定が行なわれる。この位置指定はユーザがテンプレート
画像の所望の合成エリア上をタッチすることにより行な
われる。位置指定が行なわれると,ユーザによって選択
された対象画像に対応する編集用画像データが画像メモ
リ35から読出される,ユーザによりタッチされた,テン
プレート画像の合成エリアに編集用画像データによって
表わされる画像が表示される。
【0113】必要ならば領域A71,A72およびA73の区
画を利用してテンプレート画像に合成すべき対象画像の
大きさの調整,角度(回転)調整および位置合わせが行
なわれる(ステップ91,92)。これらの処理が終ると表
示装置33の表示画面は図29に示すようにユーザによって
選択された対象画像が,テンプレート画像の所望の合成
エリアに表示される。さらにこのときに行なわれた,位
置指定,大きさの調整,角度(回転)調整および位置合
わせの情報は選択された画像に対応してRAM45に記憶
される。
【0114】1駒目に選択された画像のテンプレート画
像への合成と同様にして2駒目および3駒目の画像選択
およびテンプレート画像への合成が行なわれる(ステッ
プ93〜97,図30,31)。2駒目および3駒目についても
1駒目と同様に,位置指定,大きさの調整,角度(回
転)調整および位置合わせの情報が,選択された画像に
対応してRAM45に記憶される。
【0115】以上のようにして表示装置33の表示画面上
における画像合成が終了する(図32)。
【0116】つづいて印刷のための画像合成について説
明する。
【0117】図35は,ユーザが持参した新写真フイルム
に記録されている画像の一例を示している。図36(A) ,
(B) および(C) は印刷のための画像合成において用いら
れる画像の一例を示している。図37は印刷された合成画
像の一例を示している。
【0118】印刷のための画像合成においては画像メモ
リ35に記憶されているプリント用画像データのうちユー
ザによって選択された画像を表わすプリント用画像デー
タが画像メモリ35から読出される。
【0119】画像メモリ35に記憶されたプリント用画像
データによって表わされる対象画像の大きさは,印刷用
テンプレート画像データによって表わされるテンプレー
ト画像の大きさと合わないのが普通である。このために
対象画像の大きさが印刷用のテンプレート画像の大きさ
と合うように,表示装置33の表示画面上における画像合
成において得られた大きさの調整および角度(回転)調
整情報からリサイズされる(ステップ99)。このリサイ
ズ後の対象画像が図36(A) に示されている。
【0120】つづいて,テンプレート画像に合成すべき
画像の範囲が,表示装置33の表示画面上における画像合
成において得られた大きさの調整および角度(回転)調
整情報または合成規定範囲Sy を参照して定められる。
合成すべき画像の範囲が図36(B) に示す画像について破
線で示されている。この範囲がマスク画像によって規定
される合成規定範囲Sy の大きさよりも小さいと合成さ
れた画像に白枠または黒枠などができてしまうので,こ
の範囲が規定範囲Sy の大きさとなるように定められる
(図36(B) および(C) の例では一致している)。これに
より合成された画像に白枠または黒枠などができるのを
防止できる。
【0121】破線で示された対象画像の合成範囲(合成
規定範囲Sy )部分が図36(C) に示すように抽出される
(ステップ100 )。表示装置33の表示画面上における画
像合成において得られた位置指定および位置情報にもと
づいて画像合成処理が行なわれる(ステップ101 )。
【0122】このような印刷における画像合成処理が1
駒目〜3駒目まで行なわれることにより図37に示すよう
な合成画像が印刷される。印刷時には,高解像度の印刷
用のテンプレート画像データおよび印刷用マスク画像デ
ータを用いているので高品質の合成画像を印刷できる。
合成画像を表わすデータは,ハード・ディスク,フロッ
ピィ・ディスクなどに記録しておいてもよい。これによ
り合成画像を表わすデータを再び読出し,再び合成画像
を比較的簡単に得ることができる。記録する合成画像を
表わすデータは印刷用の合成画像データおよび表示用の
合成画像データのいずれか一方であってもよいし,両方
であってもよい。
【0123】またテンプレート画像にタイトルを加える
こともできる。このときにはタイトルを入力してもよい
し,あらかじめ定められたタイトルであってもよい。い
ずれにしてもテンプレート画像にタイトルを加えるとき
には合成情報に含まれる情報を利用してタイトル表示位
置,フォントなどが定められる。
【0124】図28から図32に示すはめ込み画面における
テンプレート画像の合成エリアに表示される画像は編集
用画像データによって表わされるものであり,この編集
用画像データはプリント用画像データを間引くことによ
って得られるデータである。したがって合成画像の合成
エリアに印刷された画像と合成画像の合成エリアに表示
された画像とは同じタイミングで新写真フイルム1から
読取られたものである。このために合成画像の合成エリ
アに印刷された画像と合成画像の合成エリアに表示され
た画像とは位置ずれすることなく一致する。
【0125】図38および図39は他の実施例を示すもので
画像合成処理の詳細を示す一部のフローチャートであ
る。図38は図17に相当する処理を示すフローチャートで
あり,図39は図19に相当する処理を示すフローチャート
である。これらの図において図17または図19に示す処理
と同一の処理には同一符号を付して説明を省略する。
【0126】図17においてはプリント用画像データと編
集用画像データとの両方の画像データを画像メモリ35に
格納し,印刷時には画像メモリ35に格納されたプリント
用画像データを読出している。これに対して図38に示す
処理ではプリント用画像データから編集用画像データが
生成され,画像メモリ35に格納されるが,プリント用画
像データは画像メモリ35に格納されない。このため画像
メモリ35は比較的小容量のメモリを用いることができ
る。
【0127】図39を参照して,合成画像を印刷するとき
にはユーザによって選択された画像が再び高速で順方向
に送られて検索される。ユーザによって選択された画像
が記録されている画像記録領域4に対応するCCDパー
フォレーション2cを検出すると,標準速度で新写真フ
イルム1が送られプリント用画像データが読取られる
(ステップ120 )。読取られたプリント用画像データを
用いて合成画像が印刷される(ステップ99〜101 )。
【0128】上述の実施例においてはインデックス画像
を得るときには高速で新写真フイルムを順方向に送って
いるので迅速にインデックス画像を一覧表示でき,合成
画像印刷までの体感速度は遅れることもない。
【図面の簡単な説明】
【図1】(A) は新写真フイルムを示し,(B) はパーフォ
レーションの位置を示す光電センサの出力信号である。
【図2】情報記録部に記録されるデータのフォーマット
を示す。
【図3】新写真フイルムを取扱うことが可能なカメラの
一部を示す。
【図4】フイルム・スキャナの構成を示す。
【図5】フイルム・スキャナの構成を示す。
【図6】画像合成装置の電気的構成を示すブロック図で
ある。
【図7】画像合成装置に含まれるハード・ディスクのフ
ァイル構造を示す。
【図8】テンプレート画像データ記録領域の内容を示
す。
【図9】マスク画像データ記録領域の内容を示す。
【図10】(A) はテンプレート画像の一例を示し,(B)
はマスク画像の一例を示し,(C)は合成情報の一例を示
す。
【図11】合成規定範囲の位置およびタイトル合成位置
とテンプレート画像との関係を示している。
【図12】合成規定範囲の位置およびタイトル合成位置
とテンプレート画像との関係を示している。
【図13】画像合成を説明するための斜視図である。
【図14】画像合成装置における処理手順を示すフロー
チャートである。
【図15】画像合成装置における処理手順を示すフロー
チャートである。
【図16】画像合成装置における処理手順を示すフロー
チャートである。
【図17】画像合成装置における処理手順を示すフロー
チャートである。
【図18】画像合成装置における処理手順を示すフロー
チャートである。
【図19】画像合成装置における処理手順を示すフロー
チャートである。
【図20】画像合成装置の表示装置の表示画面の一例を
示す。
【図21】画像合成装置の表示装置の表示画面の一例を
示す。
【図22】画像合成装置の表示装置の表示画面の一例を
示す。
【図23】画像合成装置の表示装置の表示画面の一例を
示す。
【図24】画像合成装置の表示装置の表示画面の一例を
示す。
【図25】画像合成装置の表示装置の表示画面の一例を
示す。
【図26】画像合成装置の表示装置の表示画面の一例を
示す。
【図27】画像合成装置の表示装置の表示画面の一例を
示す。
【図28】画像合成装置の表示装置の表示画面の一例を
示す。
【図29】画像合成装置の表示装置の表示画面の一例を
示す。
【図30】画像合成装置の表示装置の表示画面の一例を
示す。
【図31】画像合成装置の表示装置の表示画面の一例を
示す。
【図32】画像合成装置の表示装置の表示画面の一例を
示す。
【図33】画像合成装置の表示装置の表示画面の一例を
示す。
【図34】画像合成装置の表示装置の表示画面の一例を
示す。
【図35】ユーザが持参した写真フイルムに記録されて
いる画像の一例を示す。
【図36】(A) ,(B) および(C) は印刷処理における画
像合成処理の様子を示している。
【図37】印刷される合成画像の一例を示している。
【図38】画像合成処理における処理手順を示すフロー
チャートの一部である。
【図39】画像合成処理における処理手順を示すフロー
チャートの一部である。
【符号の説明】
1 新写真フイルム 2b,2c パーフォレーション 25 光電センサ 30 MPU 32 タッチパネル 33 表示装置 35 画像メモリ 37 プリンタ 39 フロッピィ・ディスク・ドライバ 40 ハード・ディスク・ドライバ 42 スキャナ 45 RAM 46 光磁気ディスク・ドライバ

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 複数の画像が記録され,これらの複数の
    画像のそれぞれに,画像に対応した指標が形成されてい
    るフイルムの中から所望の画像を選択し,上記フイルム
    と撮像素子とを相対的に搬送し,選択された画像に対応
    した上記指標を,上記搬送により検出したことに応答し
    て,上記撮像素子によって上記選択画像を撮像し,上記
    選択画像を表わす選択画像データを得,画像を合成する
    合成エリアを有するテンプレート画像を表示装置に表示
    し,上記選択画像の大きさが上記合成エリアに合うよう
    に上記選択画像データの縮小処理を行ない,編集用選択
    画像データを得,上記縮小処理によって得られる上記編
    集用選択画像データにより表わされる編集用選択画像を
    上記表示装置の表示画面において上記テンプレート画像
    の上記合成エリアに位置決めして表示用合成画像を得,
    上記テンプレート画像の上記位置決めされた位置にもと
    づいて上記選択画像データによって表わされる選択画像
    を上記テンプレート画像に合成し印刷用合成画像を生成
    する,画像合成方法。
  2. 【請求項2】 上記印刷用合成画像を印刷する,請求項
    1に記載の画像合成方法。
  3. 【請求項3】 上記印刷用合成画像を表わす印刷用合成
    画像データを記録媒体に記録する,請求項1に記載の画
    像合成方法。
  4. 【請求項4】 得られた上記選択画像データを画像メモ
    リに一時記憶しておき,上記画像メモリに記憶された上
    記選択画像データを,上記画像メモリから読出し,上記
    画像メモリから読出された上記選択画像データによって
    表わされる選択画像を上記テンプレート画像の上記位置
    決めされた位置にもとづいて上記合成画像を生成するも
    のである,請求項1に記載の画像合成方法。
  5. 【請求項5】 上記搬送後に上記搬送方向と同じ方向に
    上記フイルムと上記撮像素子とを再び相対的に搬送し,
    上記選択画像に対応した上記指標を検出することに応答
    して上記選択画像を再び撮像し,上記選択画像を表わす
    印刷用選択画像データを得,上記テンプレート画像の上
    記位置決めされた位置にもとづいて上記印刷用画像デー
    タによって表わされる印刷選択画像を,上記テンプレー
    ト画像に合成し印刷用合成画像を生成するものである,
    請求項1に記載の画像合成方法。
  6. 【請求項6】 上記フイルムに記録されている画像を撮
    像し,画像データを得,撮像によって得られた画像デー
    タにより表わされた画像を上記表示装置に表示し,表示
    された画像から上記所望の画像を選択するものである,
    請求項1に記載の画像合成方法。
  7. 【請求項7】 上記フイルムに記録されている画像を撮
    像し,画像データを得,撮像によって得られた画像デー
    タにより表わされた画像の縮小画像を上記表示装置に一
    覧表示し,一覧表示された画像から上記所望の画像を選
    択するものである,請求項1に記載の画像合成方法。
  8. 【請求項8】 複数の画像が記録され,これらの複数の
    画像のそれぞれに,画像に対応した指標が形成されてい
    るフイルムの中から所望の画像を選択する選択手段,上
    記指標を検出する指標検出手段,上記フイルムと撮像素
    子とを相対的に搬送する搬送手段,上記搬送手段におけ
    る搬送により,上記指標検出手段が,上記選択手段によ
    って選択された画像に対応した上記指標を検出したこと
    に応答して上記撮像素子によって上記選択画像を撮像
    し,上記選択画像を表わす選択画像データを得る撮像制
    御手段,上記選択画像データによって表わされる上記選
    択画像の大きさが表示装置に表示されるテンプレート画
    像の合成エリアに合うように,上記選択画像データの縮
    小処理を行ない編集用選択画像データを出力する画像縮
    小手段,上記画像縮小手段から出力される編集用選択画
    像データにより表わされる編集用選択画像を上記表示装
    置の表示画面において上記テンプレート画像の上記合成
    エリアに位置決めして表示用合成画像を得る位置決め手
    段,および上記テンプレート画像の上記位置決め手段に
    より位置決めされた位置にもとづいて上記選択画像デー
    タによって表わされる選択画像を上記テンプレート画像
    に合成し,印刷用合成画像を生成する印刷用合成画像生
    成手段,を備えた画像合成装置。
  9. 【請求項9】 上記印刷用合成画像生成手段によって生
    成された印刷用合成画像を印刷する印刷装置をさらに備
    えた請求項8に記載の画像合成装置。
  10. 【請求項10】 上記印刷用合成画像生成手段によって
    生成された印刷用合成画像を表わす印刷用合成画像デー
    タを記録媒体に記録する記録制御手段をさらに備えた請
    求項8に記載の画像合成装置。
  11. 【請求項11】 上記撮像制御手段における制御のもと
    に上記撮像素子から得られた上記選択画像データを一時
    記憶する画像メモリをさらに備え,上記画像合成手段
    が,上記画像メモリに記憶された上記選択画像データ
    を,上記画像メモリから読出し,上記画像メモリから読
    出された上記選択画像データによって表わされる選択画
    像を上記テンプレート画像の上記位置決めされた位置に
    もとづいて上記印刷用合成画像を生成するものである,
    請求項8に記載の画像合成装置。
  12. 【請求項12】 上記搬送手段における搬送後に上記搬
    送方向と同じ方向に上記フイルムと上記撮像素子とを再
    び相対的に搬送させる搬送制御手段をさらに備え,上記
    撮像制御手段が,上記指標検出手段によって上記選択画
    像に対応した上記指標を検出することに応答して上記選
    択画像を再び撮像し,上記選択画像を表わす印刷用選択
    画像データを得るものであり,上記画像合成手段が,上
    記テンプレート画像の上記位置決めされた位置にもとづ
    いて上記印刷用画像データによって表わされる印刷選択
    画像を,上記テンプレート画像に合成し印刷用合成画像
    を生成するものである,請求項8に記載の画像合成装
    置。
  13. 【請求項13】 上記選択手段は,上記撮像素子を用い
    て上記フイルムに記録されている画像を撮像することに
    より得られる画像データによって表わされる画像を上記
    表示装置に表示する画像表示制御手段を備え,上記表示
    装置に表示された画像を指定することにより上記所望の
    画像を選択するものである,請求項8に記載の画像合成
    装置。
  14. 【請求項14】 上記選択手段は,上記撮像素子を用い
    て上記フイルムに記録されている画像を撮像することに
    より得られる画像データによって表わされる画像を上記
    表示装置に一覧表示する画像一覧表示制御手段を備え,
    上記表示装置に一覧表示された画像を指定することによ
    り上記所望の画像を選択するものである,請求項8に記
    載の画像合成装置。
JP32800796A 1996-11-25 1996-11-25 画像合成装置および方法 Expired - Fee Related JP3655717B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32800796A JP3655717B2 (ja) 1996-11-25 1996-11-25 画像合成装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32800796A JP3655717B2 (ja) 1996-11-25 1996-11-25 画像合成装置および方法

Publications (2)

Publication Number Publication Date
JPH10164359A true JPH10164359A (ja) 1998-06-19
JP3655717B2 JP3655717B2 (ja) 2005-06-02

Family

ID=18205477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32800796A Expired - Fee Related JP3655717B2 (ja) 1996-11-25 1996-11-25 画像合成装置および方法

Country Status (1)

Country Link
JP (1) JP3655717B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100396083C (zh) * 2003-11-27 2008-06-18 富士胶片株式会社 图像编辑装置及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100396083C (zh) * 2003-11-27 2008-06-18 富士胶片株式会社 图像编辑装置及其方法

Also Published As

Publication number Publication date
JP3655717B2 (ja) 2005-06-02

Similar Documents

Publication Publication Date Title
US6525836B2 (en) Apparatus for and method of synthesizing image
JP3653334B2 (ja) 画像印刷装置およびシステムならびに画像ファイル装置およびシステム
US5072253A (en) Ordering and recording information system for business and greeting cards
JP3367062B2 (ja) プリントの注文装置
US7190473B1 (en) Printer apparatus with integrated graphical user interface and method for using the same
JPH0895163A (ja) ラボラトリィ・システム,再生機およびフイルム画像管理方法
JPH08331494A (ja) デジタル写真プリンタ
JP3655717B2 (ja) 画像合成装置および方法
JP3973651B2 (ja) 画像ファイル装置
JP3593202B2 (ja) ファイリング・システムおよび方法
JP4137908B2 (ja) 画像合成装置および方法
JP3766428B2 (ja) 画像ファイル装置
JP3766427B2 (ja) 画像ファイル装置
JP2005096453A (ja) 画像印刷装置
JP4113866B2 (ja) 画像合成装置
JP2005065308A (ja) 画像ファイル・プリント装置
JP3201127B2 (ja) インデックスプリント焼付装置
JPH10268440A (ja) メッセージプリント方法
JPH10136199A (ja) インデックス画像作成装置
JP3125324B2 (ja) 写真画像の編集機能付きプリンタ
JP2000075415A (ja) プリント作成装置及びプリント作成システム
JP2000180977A (ja) 写真処理装置
JPH103376A (ja) 情報処理装置
JPH07253623A (ja) フィルム情報印字装置および情報処理装置
JPH08191364A (ja) フイルム画像プリント装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050304

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees