JP4368203B2 - 撮像装置および撮像画像加工方法 - Google Patents

撮像装置および撮像画像加工方法 Download PDF

Info

Publication number
JP4368203B2
JP4368203B2 JP2004000862A JP2004000862A JP4368203B2 JP 4368203 B2 JP4368203 B2 JP 4368203B2 JP 2004000862 A JP2004000862 A JP 2004000862A JP 2004000862 A JP2004000862 A JP 2004000862A JP 4368203 B2 JP4368203 B2 JP 4368203B2
Authority
JP
Japan
Prior art keywords
image
cut
pattern
displayed
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004000862A
Other languages
English (en)
Other versions
JP2004140873A (ja
Inventor
純 飯島
一人 山本
孝弘 布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004000862A priority Critical patent/JP4368203B2/ja
Publication of JP2004140873A publication Critical patent/JP2004140873A/ja
Application granted granted Critical
Publication of JP4368203B2 publication Critical patent/JP4368203B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

この発明は、被写体を撮像する撮像装置および撮像画像加工方法に関し、特にデジタルスチルカメラに適用して好適であるが、これのみに限定されない。
近年、CCD等の撮像素子で電気信号化した被写体像をデジタルデータ(以下、画像データ)に変換し記録媒体に記録しておき、使用者の所望により画像を再生できるデジタルカメラが開発され、大衆向け画像記録/再生装置およびパーソナルコンピュータ等の画像入力装置として市場に普及しつつある。また、このようなデジタルカメラの多くは撮影時に被写体像を表示すると共に再生時に再生画像を表示する表示装置を備えている。
デジタルカメラに記憶されている撮像画像データを加工するためには、撮像画像データをパーソナルコンピュータ等の情報処理装置に記憶させ、記憶させた撮像画像データを画像処理用のアプリケーションプログラムを用いて加工処理を行なっている。
しかしながら、既存の画像処理用のアプリケーションプログラムを用いて撮像画像データを加工する場合、加工操作が極めて煩雑であり、例えば、撮像画像中の所望部分を切抜いて他の画像に合成する、といったことが簡単にできなかった。
本発明は、撮像画像中の所望部分を切抜いたり、切抜いた画像を他の画像に貼り付けるのに好適な撮像装置および画像加工方法の提供を目的とする。
上記の目的を達成するために本発明の撮像装置は、被写体を撮像し撮像画像を出力する撮像手段と、前記撮像手段から出力される撮像静止画像を記憶する撮像静止画像記憶手段と、前記撮像手段から出力される撮像動画像をスルー画像として表示手段に表示させる第1の表示制御手段と、画像切抜きパターンを記憶する画像切抜きパターン記憶手段と、前記画像切抜きパターン記憶手段に記憶されている画像切抜きパターンを用いて前記撮像静止画像記憶手段に記憶されている撮像静止画像の対応部分を切抜いて切抜き静止画像を生成する切抜き画像生成手段と、前記切抜き画像生成手段により生成された切抜き静止画像を前記表示手段に表示されているスルー画像上に合成して表示させる第2の表示制御手段と、キー入力手段と、前記第1及び第2の表示制御手段により前記表示手段にスルー画像および切抜き静止画像が表示されている間に前記キー入力手段が操作された場合、前記撮像静止画像記憶手段に前記切抜き静止画像と撮像静止画像との合成画像を記憶させる第1の記憶制御手段と、を有することを特徴とする。
また、前記画像切抜きパターン記憶手段に記憶されている画像切抜きパターンを前記表示手段に表示されているスルー画像上に合成して表示させる第3の表示制御手段を更に有し、前記切抜き画像生成手段は、前記第1及び第3の表示制御手段により前記表示手段にスルー画像および画像切抜きパターンが表示されている間に前記キー入力手段が操作された場合、前記表示手段に表示された画像切抜きパターンを用いて前記撮像静止画像の対応部分を切抜くことにより前記画像切抜きパターンの形状を有する切抜き静止画像を生成する手段を含むようにしてもよい。
また、前記切抜き画像生成手段により生成された切抜き静止画像を前記撮像静止画像記憶手段に記憶させる第2の記憶制御手段を有し、前記第2の表示制御手段は、前記撮像静止画像記憶手段に記憶されている切抜き静止画像を前記表示手段に表示されているスルー画像上に合成して表示させる手段を含むようにしてもよい。
また、前記第2の記憶制御手段は、前記切抜き静止画像を前記撮像静止画像記憶手段に複数記憶させる手段を含み、前記撮像静止画像記憶手段に記憶されている複数の切抜き静止画像の中から所望の切抜き静止画像を選択する切抜き画像選択手段を更に有し、前記第2の表示制御手段は、前記切抜き画像選択手段により選択された切抜き静止画像を前記表示手段に表示されているスルー画像上に合成して表示させる手段を含むようにしてもよい。
また、前記第3の表示制御手段により前記スルー画像上に合成して表示されている前記画像切抜きパターンを、前記スルー画像上の所望の位置に移動指示する移動指示手段を更に有し、前記第3の表示制御手段は、前記移動指示手段により移動指示されたスルー画像上の所望の位置に前記画像切抜きパターンを表示させる手段を含み、前記切抜き画像生成手段は、前記第3の表示制御手段によりスルー画像上の所望の位置に表示されている画像切抜きパターンを用いて前記撮像静止画像の対応部分を切抜くことにより前記画像切抜きパターンの形状を有する切抜き静止画像を生成する手段を含むようにしてもよい。
また、前記第2の表示制御手段により前記スルー画像上に表示されている前記切抜き静止画像を、表示画面内の所望の位置に移動指示する移動指示手段を更に有し、前記第2の表示制御手段は、前記移動指示手段により移動指示されたスルー画像上の所望の位置に前記切抜き静止画像を合成して表示させる手段を含み、前記第1の記憶制御手段は、前記撮像静止画像上の所望の位置に前記切抜き静止画像が合成された合成画像を前記撮像静止画像記憶手段に記憶する手段を含むようにしてもよい。
また、前記画像切抜きパターン記憶手段は、前記画像切抜きパターンを複数記憶する手段を含み、前記画像切抜きパターン記憶手段に記憶されている複数の画像切抜きパターンの中から所望の形状を有する画像切抜きパターンを選択する画像切り抜きパターン選択手段を更に有し、前記切抜き画像生成手段は、前記画像切抜きパターン選択手段により選択された画像切抜きパターンを用いて前記撮像静止画像記憶手段に記憶されている撮像静止画像の対応部分を切抜いて切抜き静止画像を生成する手段を含むようにしてもよい。
また、前記撮像静止画像記憶手段に記憶されている撮像静止画像から前記画像切抜きパターンを生成する画像切抜きパターン生成手段を更に有し、前記画像切抜きパターン記憶手段は、前記画像切抜きパターン生成手段により生成された画像切抜きパターンを記憶する手段を含むようにしてもよい。
また、描画データを入力する描画データ入力手段と、前記描画データ入力手段により入力された描画データから前記画像切抜きパターンを生成する画像切抜きパターン生成手段とを更に有し、前記画像切抜きパターン記憶手段は、前記画像切抜きパターン生成手段により生成された画像切抜きパターンを記憶する手段を含むようにしてもよい。
また、上記の目的を達成するために本発明の撮像画像加工方法は、撮像部から出力される撮像静止画像をメモリに記憶させる第1の記憶制御工程と、画像切抜きパターン記憶部に記憶されている画像切抜きパターンを用いて前記メモリに記憶されている撮像静止画像の対応部分を切抜いて切抜き静止画像を生成する切抜き画像生成工程と、前記撮像部から出力される撮像動画像をスルー画像として表示部に表示させる第1の表示制御工程と、前記生成された切抜き静止画像を前記表示部に表示されているスルー画像上に合成して表示させる第2の表示制御工程と、前記第1及び第2の表示制御工程により前記表示部にスルー画像および切抜き静止画像が表示されている間にキー入力操作が行なわれた場合、前記メモリに前記切抜き静止画像と撮像静止画像との合成画像を記憶させる第2の記憶制御工程と、を有することを特徴とする。
本発明の撮像装置および撮像画像加工方法によれば、記憶されているパターンを用いて記憶されている画像を切抜いて切抜き画像を生成し、その切抜き画像を表示されているスルー画像に合成することができる。
<回路構成例>
図1は、本発明の撮像装置の一実施例としてのデジタルカメラの構成例を示すブロック図であり、デジタルカメラ100はレンズブロック41が接続部43を介してカメラ本体42に接続されてなっている。
レンズブロック41は、撮像レンズ1,CCD(Charge Coupled Device)2,アンプ(デジタルデータ)がタイミングジェネレータに供給されるように構成されている。
タイミングジェネレータ12は、端子部32を介して駆動回路5を制御し、CCD2を駆動する。タイミングジェネレータ12は、また、A/D変換回路4から供給された画像データをDRAM13に書込む。DRAM13に書込まれる画像データは黄色(Ye)、シアン(Cy)、および緑(Gr)の色成分を有している。
DRAM13には画像データを一時記憶する領域の他、本発明の画像加工処理を実行する際の画像加工用ワークエリア(作業用領域)が確保されている。DRAM13に書込まれた画像データは1フレーム分の画像データがそろうと、一定の周期で読み出されてシグナルジェネレータ16に供給される。また、DRAM13に書込まれた画像データは、圧縮/伸張回路15で圧縮され、フラッシュメモリ14(撮影画像記憶手段)に書込まれ、記憶(記録)される。
フラッシュメモリ14には撮影した画像の画像データを記録する領域の他、切抜き画像を記録する切抜き画像メモリ14A(切抜き画像記憶手段)用の領域と、マスクパターンを記録するマスクパターンメモリ14B(マスクパターン記憶手段)用の領域が設けられている。また、切抜き画像メモリ14A用の領域およびマスクパターンメモリ14B用の領域を他の記録媒体、例えば、ROMやメモリカードに設けるようにしてもよい。
シグナルジェネレータ16は、一定の周期でDRAM13から1フレーム分の画像データを取り出して、順次、ホワイトバランス調整や色演算処理を施してYUVデータ(輝度信号Y、色差信号R−Y、B−Y)を生成し、VRAM17に記憶させる。
シグナルジェネレータ16は、また、VRAM17に記憶したYUVデータを読み出してD/A変換回路18に出力し、D/A変換させた後、アンプ19を介して液晶ディスプレイ20に出力し画像表示させる。なお、アンプ19から出力されたビデオ信号は図示しない外部装置にも出力可能である。
上記構成により、液晶ディスプレイ(LCD)20は撮影時にCCD2を介した被写体画像を表示(スルー画像表示)でき、画像再生時には再生された記録画像を表示できる。撮影時に表示される被写体画像は撮像レンズ1を通した動画として表示される(すなわち、被写体またはデジタルカメラ100の動きに応じたモニター画像(以下、スルー画像と記す)が表示されるので、液晶ディスプレイ20をファインダとしても用いることができる。
また、図1で、液晶表示部20の画面上に透明な位置検出センサー(図示せず)を配設するようにしてもよい。位置検出センサーとしては、例えば、特定の光を検出する光検出素子やタッチ電極を用いることができる。位置検出センサーとして光検出素子を用いた場合には、使用者が入力手段として特定の光(例えば、赤外線)を発する入力ペンを用いて画面上をポイントすることにより、ポイントされた位置の光検出素子が能動状態となる。CPU21は能動状態となった光検出素子の座標を検出してポイントされた画像の位置や範囲(形)を知ることができる。また、タッチ電極を用いた場合には、使用者がタッチペンまたは指先で画面上をタッチするとタッチされた部分の電極がオンとなる。CPU21はオンとなったタッチ電極の座標を検出してポイントされた画像の位置や範囲(形)を知ることができる。
CPU21は、ROM22或いはフラッシュメモリ14に記憶されているプログラムに従って各種の処理を実行する。
RAM23は、CPU21が各種の処理を実行する上で必要なプログラムおよびデータ等を適宜記憶する。
キー入力部24は、図2に示すような各種の入力キーやボタンを備えており、使用者によって操作されると、対応するキーやボタンの状態信号をCPU21に送出する。また、キー入力部24の他に、入力ペンやタッチペン等のポインティングデバイスを付加してもよい。
I/Oポート25は、CPU21と外部装置との間におけるデータ入出力のインターフェイス処理を実行する。
また、レンズブロック41またはカメラ本体42に被写体までの距離を計測可能な測距手段(図示せず)を設けてもよい。測距手段としては機械的手段の他に、例えば、デジタルカメラがオートフォーカス機構を有する場合にはオートフォーカス動作により得られる撮像レンズ1の焦点距離fと、撮像レンズ1とCCD2との距離aと撮像レンズ1の移動距離から被写体までの距離bを得る手段として構成できる。また、赤外線受発光装置を用いて測距手段を構成することもできる。
<キー入力部の構成例>
図2は、本発明を適用したデジタルカメラに設けられているキー入力部24の代表的なキーまたボタンの配置例を示す図である。図2で、フレームボタン61は切抜き画像メモリ14Aから切抜き画像を読み出すときに使用者によって操作され、移動キー62は液晶ディスプレイ20に表示されるカーソルを上下左右方向に移動させるときに操作され、レリーズボタン63は撮影された画像をフラッシュメモリ14に記録するときに操作され、再生ボタン64はフラッシュメモリ14に記録された記憶画像(撮影画像、予め登録されている画像、単色画像およびICカードに登録されている画像等を含む)を再生させる再生モードを設定するときに操作される。
また、記録ボタン65は撮影した画像をフラッシュメモリ14に記録する記録モードを設定するときに操作され、マスクボタン66はマスクパターン(画像)を再生するときに操作され、アップダウンキー67は液晶ディスプレイ20に表示されているカーソルを上下させるときや、プログラムで規定された機能の実行開始の指示等を行なう場合に操作され、ダイレクトキー68はカーソルまたはポインティングデバイス(例えば、タッチペン)による描画入力の開始等の通知をCPU21に対して行なう場合等に操作される。
<処理モード>
図3は、図1のデジタルカメラの処理モードの構成例を示す説明図であり、デジタルカメラの処理モードは、記録モードおよび再生モードからなる通常撮影モードと近接撮影等の特殊撮影モードに大別され、通常モードと特殊撮影モードとの切換えは図示しない処理モード切換えスイッチの切換えによりなされる。
処理モードが通常モードに切換えられると先ず記録モードに遷移する。記録モードは被写体の撮影およびスルー画像表示を行なう撮像モードと、スルー画像合成モードと、所望のスルー画像或いは合成された画像等を記録媒体(実施例ではフラッシュメモリ14)に記録する記録保存モードを含んでいる。
通常モード下で再生ボタン64を押すと先ず再生モードに遷移する。再生モードはフラッシュメモリ14に記録されている記録画像を再生して表示する再生/表示モードと、記録画像合成モードと、I/Oポート25を介して外部装置に画像データ(合成された画像データも含む)を出力可能な出力モードを含んでいる。なお、操作者による処理モード切換えスイッチおよびキー入力部24のキー操作やボタン操作でどのモードへ遷移したかはモード判定手段(実施例ではプログラムで構成)によって行なわれる。モード判定手段は、キー入力部24からCPU21に送られるキーおよびボタンの状態信号を調べて対応のモード処理用回路或いはプログラムに遷移する。
<各モード下のデジタルカメラの動作>
次に、図1のデジタルカメラの各モード下での動作について説明する。
[記録モード下の動作]
処理モードが記録モードになると先ず撮像モードに遷移する。撮像モードでは、CCD2から周期的に取込まれる1フレーム分の画像データが液晶ディスプレイ20上にスルー画像表示される。撮像モード下で、マスクボタン66或いはフレームボタン61を押すとスルー画像合成モードとなり、所望の画像をマスクパターンにしたり、画像と所望のマスクパターン或いは切抜き画像を合成表示したり、画像合成等を行なうことができる。また、アップダウンキー67を押すと撮影用案内枠を表示することができる。また、レリーズボタン63を押すと記録保存モードになり、所望のスルー画像或いは合成された画像等をフラッシュメモリ14に記録できる。
(1) 撮影およびスルー画像の表示
記録モード下で、使用者が記録ボタン65を押すと、CPU21は撮影指示信号を送ってタイミングジェネレータ12を制御し、被写体像の取込みを行なわせる。タイミングジェネレータ12は、CPU21から撮影指示信号を受け取ると端子32を介して駆動回路5を駆動し、CCD2によって変換された画像信号を取込ませる。CCD2には使用者が撮像レンズ1を向けた被写体の光学像が撮像レンズ1を介して結像しているので、CCD2を駆動回路5で駆動することによりCCD2で光電変換された画像信号がアンプ3を介してA/D変換回路4に入力される。A/D変換回路4は入力された画像信号をA/D変換して画像データとし、端子31を介してタイミングジェネレータ12に供給する。タイミングジェネレータ12は、入力された画像データ(Ye,Cy,Gr)をDRAM13に記憶する。CPU21はDRAM13に一旦記憶された画像データを読み出し、シグナルジェネレータ16に供給する。
シグナルジェネレータ16はこの画像データのホワイトバランスを調整すると共に、エンコード処理してビデオデータ(YUVデータ)を生成し、VRAM17に一旦記憶させる。シグナルジェネレータ16は、また、VRAM17に描画したビデオデータを読み出してD/A変換回路18に供給する。
D/A変換回路18はこのビデオデータをD/A変換し、アンプ19を介して液晶ディスプレイ20に出力し、表示させる。このようにして、液晶ディスプレイ20には使用者が撮像レンズ1を介してモニターしている画像(スルー画像)が表示される。使用者はこの液晶ディスプレイ20に表示された画像を見て被写体を確認することができる。
なお、以上のようにして液晶ディスプレイ20に表示するスルー画像用のビデオデータは簡単に生成できる。例えば、DRAM13に記憶された画像データのうち、Ye成分のみを用いて輝度データと色差データが生成されるので、これらのデータを用いて、撮像レンズ1を介した時々刻々と変化する画像(すなわち、スルー画像)を迅速に更新し、液晶ディスプレイ20に表示することができる。
(2) スルー画像の合成撮影
モード時に、使用者がマスクボタン66或いはフレームボタン61を押すとスルー画像合成モードとなる。
マスクボタン66が押された場合には、スルー画像のなかからマスクパターンとして望ましい部分を切抜いてマスクパターンメモリ14Bに登録したり、スルー画像の所望の部分と所望のマスクパターンとを合成して所望の切抜き画像を作成することができる。また、フレームボタン61を押すとスルー画像に切抜き画像メモリ14Aに記録されている所望の切抜き画像を貼込み、合成できる。なお、スルー画像合成モード下のデジタルカメラ100の動作については後述する(図4,実施例1〜3,7,8〜10)。
(3) 案内枠の表示
撮像モード下でアップダウンキー67を押すと運転免許証やパスポート写真撮影用等の撮影用案内枠を表示することができる。なお、案内枠の表示動作については後述する(実施例7)
(4) 画像の記録保存
一方、記録モード下で、レリーズボタン63を操作して記録指示を行なうと、CPU21はDRAM13に記憶されている画像データ(画像合成モード下で合成された合成画像データの場合を含む)をシグナルジェネレータ16に供給し、Ye成分,Cy成分,Gr成分の全てを用いて、より正確にビデオデータを生成(エンコード)させ、静止画像として液晶ディスプレイ20に表示する。さらに、CPU21はこのビデオデータを圧縮/伸張回路15に供給し、例えば、JPEG(Joint Photographic Experts Group)方式で圧縮処理を実行させる。圧縮されたビデオデータはフラッシュメモリ14に記録される(書込まれれる)。
なお、記録保存の際にマスクパターンと合成画像とその背景画像(この場合は記録画像)をフラッシュメモリ14上で関連付ける情報(例えば、合成画像および背景画像の画像番号や、マスクパターンの種類や画像番号、切抜き画像の画像番号等)を対応づけてフラッシュメモリ14上に設けられたリンクテーブル50に書込むようにしてもよい。なお、画像番号の代りに各画像やマスクパターンの格納位置を書込むようにしてもよい。
[再生モード下の動作]
通常モード下で、再生ボタン64を押すと再生/表示モードとなり、フラッシュメモリ14に記録されている記録画像を読み出し、再生して液晶ディスプレイ20に表示する。また、再生ボタンを押す毎に次の記録画像が読み出されて再生され、液晶ディスプレイ20に表示されるので、利用者は所望の再生画像を得ることができる。
なお、再生ボタンを押し続けると表示画像が早送りされ、再生ボタンから指を離すとその時点の画像が表示される早送りモードを付加するように構成してもよい。
再生/表示モードでマスクボタン66またはレリーズボタン63を押すと記録画像合成モードとなり、記録画像の中の所望の再生画像からマスクパターンを生成したり、記録画像に所望のマスクパターン或いは切抜き画像を重畳表示したり、所望の切抜き画像を記録画像に貼込み合成することができる。
(1) 記録画像の再生および表示
利用者がキー入力部24の再生ボタン64を操作して再生/表示モードに設定すると、CPU21はフラッシュメモリ14に書込まれている1画像分のビデオデータを読み出して圧縮/伸張回路15に供給する。
圧縮/伸張回路15はこのビデオデータに伸張処理を施してシグナルジェネレータ16に供給する。
シグナルジェネレータ16は受け取ったビデオデータに同期信号などを付加し、VRAM17に一旦描画してから、VRAM17に描画したビデオデータを読み出してD/A変換回路18に供給する。
D/A変換回路18はこのビデオデータをD/A変換し、アンプ19を介して液晶ディスプレイ20に出力し表示させる。このようにして、液晶ディスプレイ20にフラッシュメモリ14に記録した画像を表示させることができる。上述したようにこの表示画像はスルー画像と異なり、より正確な処理を行なって取込んだ画像であるため、スルー画像と比べて明瞭な画像として表示される。
(2) 記録画像の合成
再生/表示モードで、マスクボタン66或いはレリーズボタン63を押すと記録画像合成モードとなり、マスクボタン66を押した場合にはマスクパターンとして、記録画像から望ましいマスクパターンを生成したり、記録画像と所望のパターンを重畳表示したり、所望の記録画像と所望のパターンとの貼込み合成を行なうことができる。また、レリーズボタン63を押すと記録画像から生成されたマスクパターンをマスクパターンメモリ14Bに登録したり、生成された切抜き画像を切抜き画像メモリ14Aに登録したり、合成画像のフラッシュメモリ14への登録を行なうことができる。リンクテーブル50を設け、マスクパターンや切抜き画像と合成画像とその背景画像を関連付ける情報を記録している場合には、記録保存の際にそれら情報を更新する。なお、記録画像合成モード下の動作については後述する(図4,実施例4〜6,実施例9,10)。
<画像加工手段>
画像加工手段100は、通常モード下での画像加工処理を実行する。画像加工手段100はハードウエア回路で構成することもできるが本実施例では画像加工手段100をプログラムで構成している。なお、画像加工手段100の各モジュールのうちあるモジュールをハードウエア回路で、その他のモジュールをプログラムで構成するようにしてもよい。また、プログラムで構成された画像加工手段100の各モジュールはROM22またはフラッシュメモリ14に記録され、制御プログラムのコントロール下でCPU21により実行制御され、本実施例の各種画像加工処理を実現する。図4は画像加工手段100の構成例を示すブロック図であり、画像加工手段100は、スルー画像合成処理手段110と記録画像合成処理手段120および案内枠表示処理手段130を含んでいる。
[スルー画像合成処理手段]
スルー画像合成処理手段110は、記録モード下で撮像モードからスルー画像合成モードに切換えられた場合に画像加工方法を判定する加工方法判定手段111と、スルー画像から所望のマスクパターンを抽出してマスクパターンメモリ14Bに登録するパターン生成/登録手段112と、スルー画像と所望のマスクパターンを重畳表示し、重畳表示されたスルー画像と所望のパターンから所望の切抜き画像を生成してて切抜き画像メモリ14Aに登録する切抜き画像生成/登録手段113と、スルー画像に所望の切抜き画像を重畳表示し、スルー画像と所望の切抜き画像との貼込み合成処理を行なうスルー画像合成手段114を含んでいる。
加工方法判定手段111は、モード判別手段からスルー画像合成処理手段110に遷移すると起動され、CPU21がキー入力部24から受け取った使用者の操作結果(状態信号)を判定して、使用者の操作結果がマスクボタン66の押し下げの場合にはパターン生成/登録手段112を起動し、フレームボタン61の押し下げなら切抜き画像生成/登録手段113を起動し、レリーズボタンの押し下げならスル−画像合成手段114を起動する。
なお、オプションとして、リンクテーブル50をフラッシュメモリ14に設ける場合にリンクテーブル50に登録する情報、例えば、背景画像と合成画像の関係を示す画像番号や、背景画像と切抜き画像或いはマスクパターンとの関係を示すポインタ情報等を生成する加工情報付与手段115をスル−画像合成手段の後段に組込むように構成してもよい。
パターン生成/登録手段112は、2値化パターン生成手段1121と輝度成分加工パターン生成手段1122とを有している。パターン生成/登録手段112は、撮像モードで使用者がマスクパターンとして所望する被写体像を見付けたり、マスクパターンとして登録したいパターンを紙や板に描いたとき(例えば、図8(A))そのスルー画像を見て所望のアングルでマスクボタン66を押した場合に加工方法判定手段111によって起動され、そのスル−画像(パターン候補画像)をDRAM13に取込み、2値化パターン生成手段1121を起動して、取込まれたパターン候補画像を2値化して2値化されたパターン(図8(B))を液晶ディスプレイ20に表示する。この場合、アップダウンキー67が押されると輝度成分加工パターン生成手段1122を起動して、パターン候補画像の輝度成分を所定ビット(実施例では8ビット)で取込み輝度成分を変更して、抽出されたパターン(図8(B'))を液晶ディスプレイ20に表示する。ここで、レリーズボタン63が押されると抽出されたパターンはマスクパターンメモリ14Bに登録(記録)される(実施例1)。
また、被写体の輪郭を検出して抽出する輪郭抽出処理を行なってマスクパターンとして所望する被写体像のパターンを抽出するパターン生成手段1125を含むようにパターン生成/登録手段112を構成してもよい。
また、使用者が移動キー62を用いて液晶表示部20の画面上でカーソルを移動させ、マスクパターンとして所望する被写体像の輪郭をなぞって、パターンを抽出するパターン生成手段1125を含むようにパターン生成/登録手段112を構成してもよい。また、図1で、図2に示したキー入力部24のキーおよびボタンのほかに入力手段として、液晶表示部20の画面上に透明な位置検出センサー(図示せず)を配設してタッチペン等のポインティングデバイス(図示せず)或いは指で指定可能に構成されている場合に、スルー画像中の被写体像の輪郭をなぞってマスクパターンとして抽出できるようにパターン生成手段1125を構成してもよい(実施例8)。
なお、登録するマスクパターンは、図形、模様、枠(例えば、自動車運転免許証用写真の大きさの撮影枠やパスポート写真用の大きさの撮影枠等、画像の大きさを示す撮影枠等)でもよい。
また、物、動物、植物、建物、看板等の付属設備、風景、自然現象等様々の一般的な被写体でもよく、撮影可能であって、マスクパターンとして抽出できるものであればよい。なお、このような一般的な画像に含まれている複数の被写体について、再生時に距離に応じた部分を抽出してマスクパターンを生成することもできる。この場合、撮影時に、測距手段から撮影画像中の複数のポイントの被写体までの距離を得て画像データと共に記憶する距離データ記憶手段1126を含むようにパターン生成/登録手段112を構成する(実施例9)。測定された距離データは後述のリンクテーブル50に書込むようにすることが望ましい。
また、使用者が移動キー62を用いて液晶表示部20の画面上でカーソルを移動させて軌跡を描き、描かれた図形をマスクパターンとして切り取るようにパターン生成手段1125を構成してもよい。また、液晶表示部20の画面上に透明な位置検出センサー(図示せず)を配設してタッチペン等のポインティングデバイス(図示せず)或いは指で指定可能に構成されている場合は、使用者が、液晶表示部20の画面上にポイントしながら図形を描き、描かれた図形をマスクパターンとして切り取るようにパターン生成手段1125を構成してもよい。なお、位置検出センサーをタッチ電極等の接触型検出センサーで構成した場合は、使用者が指で画面にタッチして描いた図形を切抜くこともできる(実施例10)。
切抜き画像生成/登録手段113は、マスクパターンメモリ14Bに登録された所望のマスクパターンでスルー画像のうち所望する部分を切抜いて切抜き画像メモリ14Aに登録(記憶)する(実施例2)。
この場合、画面上に表示したマスクパターンの中から使用者が所望のものを選択する。また、選択されたマスクパターンでスルー画像の所望の部分を切抜く場合にマスクパターンとスルー画像を画面に合成して液晶ディスプレイ20に表示してスルー画像(或いは、マスクパターン)の位置付けを行なう。しかしこのような画面表示(以下、プレビュー画面表示という)には時間がかかるので、プレビュー表示を迅速化するためにプレビュー表示を高速に行なう表示座標決定手段を含むように切抜き画像生成/登録手段113を構成することができる(実施例11)。
スルー画像合成手段114は、切抜き画像メモリ14Aに登録された切抜き画像と撮像モード下のスルー画像のうち所望の画像とを合成し、フラッシュメモリ14に登録(記録)する(実施例3)。この場合、使用者はカメラを移動させてスルー画像を動かし所望のアングルで切抜き画像が重なるようにすることができる。また、カメラを移動させないで、表示された切抜き画像を移動させてスルー画像上の所望の部分に重なるようにすることもできる。
この場合、画面上に表示した切抜き画像の中から使用者が所望のものを選択する。また、選択された切抜き画像をスルー画像の所望の部分に張込んで合成する場合に切抜き画像とスルー画像を画面に表示して位置付けを行なう。このようなプレビュー画面表示を迅速化するため、切抜き画像生成/登録手段113と同様にプレビュー表示を高速に行なう表示座標決定手段を含むようにスルー画像合成114を構成することができる(実施例11)。
また、合成された画像を圧縮してフラッシュメモリ14に登録する場合の解像度を切抜き画像の解像度やスルー画像の解像度等から自動的に決定する解像度決定手段を含むようにスルー画像合成手段114を構成することができる(実施例12)。
[記録画像合成処理手段]
記録画像合成処理手段120は、再生モード下で再生/表示モードから記録画像合成モードに切換えられた場合に画像加工方法を判定する加工方法判定手段121と、記録画像からマスクパターンを抽出/生成してマスクパターンメモリ14Bに登録するマスクパターン生成/登録手段122と、記録画像に所望のパターンを重畳表示して、重畳表示された記録画像を所望のマスクパターンで切抜いて切抜き画像の生成処理を行なう切抜き画像生成/登録手段123と、記録画像と所望の切抜き画像を重畳表示し、所望の記録画像に所望の切抜き画像を張込む記録画像合成手段124を含んでいる。
なお、オプションとして、リンクテーブル50をフラッシュメモリ14に設ける場合にリンクテーブル50に登録する情報、例えば、背景画像と合成画像の関係を示す画像番号や、背景画像と切抜き画像或いはマスクパターンとの関係を示すポインタ情報等を生成する加工情報付与手段125を記録画像合成手段124の後段に組込むように構成してもよい。
加工方法判定手段121は、モード判別手段から記録画像合成処理手段120に遷移すると起動され、CPU21がキー入力部24から受け取った使用者の操作結果(状態信号)を判定して、使用者の操作結果がマスクボタン66の押し下げの場合にはパターン生成/登録手段122を起動し、フレームボタン61を押し下げなら切抜き画像生成/登録手段123を起動し、レリーズボタンを押し下げなら記録画像合成手段124を起動する。
パターン生成/登録手段122は、2値化パターン生成手段1221と輝度成分加工パターン生成手段1222とを有している。ここで、2値化パターン生成手段1221と輝度成分加工パターン生成手段1222は前述の2値化パターン生成手段1121と輝度成分加工パターン生成手段1122と同じ構成および機能を有しているので共通モジュールとして構成し、パターン生成/登録手段112或いはパターン生成/登録手段122が起動された時にそのモジュールに分岐し、処理が終り次第、パターン生成/登録手段112或いはパターン生成/登録手段122に復帰させるように構成することが望ましい。
パターン生成/登録手段122は、再生/表示モードで再生され表示された記録画像のうちから、使用者がマスクパターンとして所望する画像を見付けてマスクボタン66を押した場合に加工方法判定手段121によって起動され、その画像をDRAM13に設けられているワークエリアに書込み、2値化パターン生成手段1221に分岐し、処理が終ると復帰して抽出された2値化パターン(図16(C))を液晶ディスプレイ20に表示する。この場合、アップダウンキー67が押されると輝度成分加工パターン生成手段1222に分岐して、処理が終ると復帰して抽出されたパターン(図16(C'))を液晶ディスプレイ20に表示する。ここで、レリーズボタン63が押されると抽出されたパターンはマスクパターンメモリ14Bに登録(記録)される(実施例4)。
また、前述したパターン生成/登録手段112と同様に、被写体の輪郭を検出して抽出する輪郭抽出処理を行なってマスクパターンとして所望する被写体像のパターンを抽出するパターン生成手段1225を含むようにパターン生成/登録手段122を構成してもよい。また、パターン生成手段1225を、再生時に、使用者が距離を指定すると記憶されている距離データに基づいて一致する画像部分を抽出してマスクパターンを生成するように構成してもよい(実施例9)。
また、前述したパターン生成/登録手段112と同様に、使用者が移動キー62を用いて液晶表示部20の画面上でカーソルを移動させて軌跡を描き、描かれた図形をマスクパターンとして抽出するパターン生成手段1225を含むように構成してもよい。また、同様に、入力手段として、液晶表示部20の画面上に透明な位置検出センサーを配設してポインティングデバイスで指定可能に構成されている場合は、使用者が、液晶表示部20の画面上をポイントしながら図形を描き、描かれた図形をマスクパターンとして切り取るようにパターン生成手段1225を構成してもよい。位置検出センサーを接触型検出素子で構成した場合、使用者が指で画面にタッチして描いた図形を切抜くことができる点も同様である(実施例10)。
なお、登録するマスクパターンは前述したパターン生成/登録手段112の場合と同様、図形、模様、枠(例えば、自動車運転免許証用写真の大きさの撮影枠やパスポート写真用の大きさの撮影枠等、画像の大きさを示す撮影枠等)、物、動物、自然現象等様々なものでよく、マスクパターンとして抽出できるものであればよい。
切抜き画像生成/登録手段123は、マスクパターンメモリ14Bに登録されたマスクパターンで再生された記録画像のうちの所望の画像の所望の部分を切抜き切抜き画像メモリ14Aに登録する(実施例5)。
この場合、画面上に表示されたマスクパターンの中から使用者が所望のものを指定して選択する。また、選択されたマスクパターンで記録画像の所望の部分を切取る場合にマスクパターンと記録画像を画面に合成して表示し、位置付けを行なう。このようなプレビュー画面表示を迅速化するために切抜き画像生成/登録手段113と同様に、プレビュー表示を高速に行なう表示座標決定手段を含むように切抜き画像生成/登録手段123を構成することができる(実施例11)。
記録画像合成手段124は、切抜き画像メモリ14Aに登録された所望の切抜き画像と再生された記録画像のうちの所望の画像の所望の部分とを合成し、フラッシュメモリ14に記録する(実施例6)。
また、使用者は、表示された切抜き画像を移動させて背景となる再生画像上の所望の部分に重なるようにすることができる。また、逆に、背景となる再生画像を移動させて所望のアングルで切抜き画像が重なるようにすることもできる。この場合、画面上に表示した切抜き画像の中から使用者が所望のものを選択する。また、選択された切抜き画像を記録画像の所望の部分に張込んで合成する場合に切抜き画像と記録画像を画面に表示して位置付けを行なう。このようなプレビュー画面表示を迅速化するため、スルー画像合成手段114と同様にプレビュー表示を高速に行なう表示座標決定手段を含むように記録画像合成手段124を構成することができる(実施例11)。
また、合成された画像を圧縮してフラッシュメモリ14に登録する場合の解像度を切抜き画像の解像度や記録画像の解像度等から自動的に決定する解像度決定手段を含むように記録画像合成手段124を構成することができる(実施例12)。
[案内枠表示処理手段]
案内枠表示処理手段130は、撮像モード下でマスクパターンメモリに登録された証明写真用案内枠等の案内枠パターンを液晶ディスプレイ20に表示し、証明写真を撮る際に、被撮影者の像を表示された案内枠内に収るように撮影者がカメラアングルを調整して撮影/記録することにより、所望のサイズの画像を得ることができる。なお、印刷時に所望のサイズで印刷できるように記録時にリンクテーブル50にサイズ情報を画像と対応させて記録することが望ましい。
<リンクテーブル>
図5はリンクテーブルの構成例を示す説明図であり、リンクテーブル50は合成画像とその背景画像(この場合は記録画像)をフラッシュメモリ14上で関連付ける情報、すなわち、合成画像および背景画像の画像番号や、パターンの種類や画像番号や、切抜き画像の画像番号等を記録することができる。
図5で、(A)は貼り付け合成後、合成画像をフラッシュメモリ14に記録した場合の合成画像と背景画像および切抜き画像を対応づけたリンクテーブルの例を示し、画像番号欄511には合成画像の画像番号が、画像番号欄512には背景画像の画像番号が、切抜き画像番号欄513には切抜き画像メモリ14Aに格納されている切抜き画像の番号が記録される。
また、(B)は貼り付け合成後、合成画像を記録することなく、合成画像と背景画像および切抜き画像を対応づける情報を登録するリンクテーブルの例を示し、切抜き画像番号欄513−1〜513−n(n≧1)には画像番号欄512に記録されている画像番号の背景画像と合成した切抜き画像の番号が記録される。
また、(C)は切抜き画像生成の際に用いられた切抜き画像と背景画像(背景画像として合成画像を用いてもよい)およびマスクパターン画像を対応づける情報を登録したリンクテーブルの例を示し、マスクパターン番号欄514にはマスクパターンメモリ14Bに記録されているマスクパターンのうち切抜き画像番号欄513に記録された切抜き画像番号の切抜き画像を生成する際に用いられたマスクパターンの番号が記録されている。また、合成位置欄515には切抜き画像生成の際に背景画像上でマスクパターンが位置付けられた背景画像の位置情報(座標値)が記録される。
なお、画像距離データ記憶手段1226を含むようにパターン生成/登録手段122を構成した場合には、1つの画像に対して複数の距離欄を設けておき指定された被写体までの距離データを記録できるように構成する。また、画像印刷時の印刷画像の大きさを指定する印刷サイズ欄を設け、印刷サイズの値或いは印刷サイズに対応するコードを記録することもできる。
<実施例>
図6は、スルー画像合成モード若しくは記録画像合成モード下での画像と切抜き画像との合成例(貼り付け合成処理)の説明図である。図6(A)の画像を撮像モード下で液晶ディスプレイ20に表示されたスルー画像、若しくは再生モード下で再生された記録画像とする。また、図6(B)に示すような切抜き画像がDRAM13に記憶されているか、若しくは予め切抜き画像メモリ14(A)に登録されているとする。この場合、貼り付け合成処理では、図6(A)の画像と図6(B)に示す切抜き画像とを合成して、図6(C)に示す合成画像を生成する。以下、スルー画像合成モードと記録画像合成モードの実施例について説明する。
[実施例1]:パターン生成/登録処理(スルー画像からのマスクパターン生成/登録)
本実施例は、パターン生成/登録手段112の一実施例であり、スルー画像合成モード下でスルー画像から背景処理により所望のマスクパターンを抽出してマスクパターンメモリ14Bに登録する例である。図7はパターン生成/登録処理動作の一実施例を示すフローチャートであり、図8は図7のフローチャートに基づくパターン生成/登録過程の説明図である。図7で、撮像モードで使用者がマスクパターンとして所望する図8(A)に示すような画像(この例では紙や板に描いたハートマーク)を撮影し、被写体像(ハートマーク)をDRAM13に一旦取込んでスルー画像表示する(T1)。
次に、そのスルー画像を見ながらカメラを移動させ所望のアングルでマスクボタン66を操作するとCPU21はDRAM13に一旦記憶された画像データをDRAM13のワークエリアに書込む(T2)。
ここで、CPU21は使用者がアップダウンキー67を操作したかを調べ、アップダウンキー67が操作された場合にはT7に移行し(T3)、操作されていない場合にはワークエリアに書込まれた被写体像(画像データ)を背景処理して切り取ったのち、2値化処理する(T4)。
2値化処理後、シグナルジェネレータ16はこの2値化画像データをビデオデータ化してVRAM17に描画した後、VRAM17に描画したビデオデータを読み出して液晶ディスプレイ20に出力し表示させる。これにより、液晶ディスプレイ20には使用者が撮像レンズ1を介してモニターしているパターン化候補画像を2値化パターンに加工した結果がスルー画像表示される。使用者はこの液晶ディスプレイ20に表示された画像を見てパターン(図8(B))を確認することができる(T5)。
ここで、CPU21は使用者がレリーズボタン63を操作したかを調べ、レリーズボタン63が押された場合にはT12に移行し、押されていない場合にはT3に戻る(T6)。上記T3でアップダウンキー67が操作された場合には輝度成分変更操作がされたかを調べる。輝度成分変更操作の有無はプラスとマイナスのアップダウンキーが同時に押されたか片方だけ押されたかにより判定し、同時に押された場合には変更操作がされなかったものとしてT9に移行し、片方が押された場合には変更操作があったものとしてT8に移行する(T7)。
上記T7で、アップダウンキー67(+)が押されると輝度値が高い方に所定値ずつ(本実施例では1ずつ)シフトされ、アップダウンキー67(−)が押されると輝度値が低い方に所定値ずつ(本実施例では1ずつ)シフトされる。従って、アップダウンキー67(+)またはアップダウンキー67(−)を操作することにより、パターンの輝度値を変更することができる(T8)。DRAM13のワークエリアに書込まれたパターン候補画像の輝度成分を8ビットで取込み加工し、パターン化する(T9)。
アップダウンキー67が1回操作される毎に、シグナルジェネレータ16はこの輝度加工画像データをビデオデータ化してVRAM17に描画した後、VRAM17に描画したビデオデータを読み出して液晶ディスプレイ20に出力し表示させる。これにより、液晶ディスプレイ20には使用者が撮像レンズ1を介してモニターしているパターン化候補画像を輝度加工パターンに加工した結果がスルー画像表示される。使用者はこの液晶ディスプレイ20に表示された画像を見てパターン(図8(B)')を確認することができる(T10)。
ここで、CPU21は使用者がレリーズボタン63を操作したかを調べ、レリーズボタン63が操作されている場合にはT12に移行し、操作されていない場合にはT7に戻る(T11)。CPU21は、上記T6またはT11でレリーズボタン63が押された場合、すなわち、所望のマスクパターン(図8(B)または(B'))を得た場合には、その時点で表示されているパターンをマスクパターンとして切出し、マスクパターンメモリ14Bに登録する(T12)。上記T10で得た輝度成分加工パターン画像は、図8(B')に示すようにパターンの境界周辺がぼやけた感じのパターンとなり、後述する図11(D)に示すようなぼかした感じの切り抜き画像(切抜き画像)を得ることができる。
本実施例によれば、描画した絵を撮影してマスクパターンとして抽出/登録できるので、マスクパターンの登録が極く簡単にできる。また、好みのパターンをデザインして登録しておくことができるので、後述の合成処理等によりデザインパターンを基にした画像、例えば、商標や社章の試作等も簡単に行なえる。また、上記説明では描画した絵を撮影し、マスクパターンとして抽出/登録した例について述べたが、これに限られず、町や市街の風景やポスター、看板、雑誌等の中にある図形や画像を撮影して、それらのうち、使用者がパターン化してみたいと思うものを抽出してパターン化したり、直接描画入力した図形をパターン化することもできる。
前者の例としては、
(1) 被写体の輪郭を検出して抽出する輪郭抽出処理を行なってマスクパターンとして所望する被写体像のパターンを抽出する例、
(2) 画面上でカーソルを移動させ、マスクパターンとして所望する画像の輪郭をなぞってパターンを抽出する例、
(3) 画面上に透明な位置検出センサーを配設しておき、タッチペン等のポインテングデバイス等で、スルー画像の外郭をなぞってパターンとして抽出した例(実施例8)、を挙げることができ、後者の例としては、
(4) 使用者が画面上でカーソルを移動させて描いた図形を入力してマスクパターンとして抽出した例(実施例9)、
(5) 画面上に透明な位置検出センサーを配設しておき、タッチペン等のポインテングデバイスで画面に図形を描いてマスクパターンとして抽出した例、を挙げることができるが、これらに限定されない。
[実施例2]:切抜き画像生成/登録処理(スルー画像とマスクパターンからの切抜き画像の生成/登録)
本実施例は、画像の生成/登録手段113の一実施例であり、スルー画像合成モード下でスルー画像と登録されたマスクパターンを適宜合成して切抜き画像とし、それを切り抜いて登録する例である。図9は切抜き画像生成/登録処理動作の一実施例を示すフローチャートであり、図10,図11は図9のフローチャートに基づく切抜き画像生成/登録過程の説明図である。以下、使用者が図10(A)に示すような被写体像を切抜き画像とする場合を例として説明する。
図9で、撮像モード下で使用者が切抜き画像として所望する図10(A)に示すような被写体を撮影し、被写体像をDRAM13に一旦取込んでスルー画像表示する(U1)。ここで、CPU21は、マスクボタン66を操作されたか否かを調べ(S2)る。
使用者がマスクボタン66を押すとCPU21はマスクパターンメモリ14Bに記憶されているマスクパターンを読み出し、シグナルジェネレータ16を介してVRAM17に描画し、VRAM17に描画されたマスクパターンを読み出してD/A変換回路18およびアンプ19を介して液晶ディスプレイ20に表示する。これにより、例えば、図10(B)に示すようなマスクパターンが図10(A)に示すようなスルー画像と重畳されて図10(C)のように液晶ディスプレイ20に表示される。この場合、マスクパターンは画面中央に位置付けられている(U3)。
ここで、さらにマスクボタン66を押すと次のマスクパターンが読み出されスルー画像と重畳表示されるので、使用者は液晶ディスプレイ20に表示されたマスクパターンが所望のものか否かを判断し、所望のマスクパターンでない場合には所望のマスクパターンが現われるまでマスクボタン66を押してマスクパターンとスルー画像を合成して重畳表示させる(U4)。
上記U4で、所望のマスクパターンが表示された場合に、使用者が上記U4でマスクパターンに重畳したスルー画像を見て(例えば、スルー画像の所望の部分が画面中央のマスクパターンと重畳していないため)スルー画像の位置を修正する必要があると判断した場合には、使用者がカメラを移動させてアングルを調整してスルー画像の所望の部分が画面中央のマスクパターンと重なるようにし、スルー画像の位置を修正する必要がない場合にはレリーズボタンを押す(U5)。CPU21は使用者がレリーズボタン63を押したか否かを調べ(U6)、レリーズボタン63が押された場合には、液晶ディスプレイ20に表示されている画像部分(図10(D))を切り抜いて切抜き画像メモリ14Aに登録する(U7)。なお、図9のステップU5では、使用者がカメラを動かしてスルー画像の位置を修正し、スルー画像の所望の部分が画面中央のマスクパターンに重なるようにしたが、ステップU5を使用者が移動キー62(或いは、ポインティングデバイス等の入力手段)を操作してマスクパターンを移動できるように構成してもよい。
以上のようにして切抜き画像メモリ14Aに使用者自身が作成した切抜き画像が登録されると、後述する合成処理(実施例3,5)を行なうことができる。なお、図10(B)は2値化されたパターンであり、この場合、切抜き画像は図10(D)に示すように境界が明確である。これに対し、上記実施例で図11(B)に示すような輝度加工パターンを用いて図11(D)に示すような切抜き画像を生成すると境界がぼやけた切抜き画像を得ることができる。また、図9のステップU7では、液晶ディスプレイ20に表示されている画像部分を切抜いて登録するようにしたが、撮影時点では切抜き画像として登録せずに、再生時に切抜き画像生成/登録処理を行なうようにしてもよい。
[実施例3] 貼り付け合成処理(スルー画像と切抜き画像との合成)
本実施例は、スルー画像合成処理手段114の一実施例であり、スルー画像合成モード下で、スルー画像と切抜き画像メモリ14Aに登録された切抜き画像を合成する例である。
図12は、図1のデジタルカメラの貼り付け合成処理動作の一実施例を示すフローチャートであり、図13および図14は図12のフローチャートに基づく貼り付け合成過程の説明図である。図12(A)で、撮像モード下で使用者が所望の被写体を撮影し、被写体像をDRAM13に取込んでスルー画像表示する(V1)。
次に、使用者がフレームボタン61を押すと(V2)、CPU21は切抜き画像メモリ14Aに記録されている切抜き画像の中から最初の切抜き画像を読み出してシグナルジェネレータ16に供給し、VRAM17に描画させる。VRAM17には既に上記V1で取込まれたスルー画像が描画されているので、その結果、VRAM17にはスルー画像と再生切抜き画像を合成した画像が描画されることになる。この合成画像がシグナルジェネレータ16により読み出され、D/A変換回路18でD/A変換された後、アンプ19を介して液晶ディスプレイ20に出力され、液晶ディスプレイ20の所定の位置(実施例では中央)に表示される。これにより、例えば、図13(A)に示すような合成画像が得られる。なお、図13(A)で、21はスルー画像、22は切抜き画像、23は背景画像の例である(V3)。
使用者は液晶ディスプレイ20に表示された図13(A)の合成画像20を見て、表示された切抜き画像22が所望の切抜き画像であるか否かを判定する。いま、表示されている切抜き画像22が所望の切抜き画像でない場合には上記V2に戻る。使用者は所望の切抜き画像との合成画像が表示されるまでフレームボタン61を押し続ける。これにより、CPU21は切抜き画像メモリ14Aに記録されている次の切抜き画像を読み出して上述した場合と同様にして上記V3で合成画像を液晶ディスプレイ20の所定の位置に表示する。所望の切抜き画像との合成画像が表示された場合にはV5に移行する(V4)。
使用者が上記V4で表示された画像を見て(例えば、構図上、図13(A)に示すように貼り付け画像22の配置が好ましくないような場合)スルー画像21の位置を修正する必要があると判断した場合には、使用者がカメラを移動させてアングルを調整して図13(B)に示すようにスルー画像21の所望の部分が画面中央の切抜き画像22と重なるようにする。また、スルー画像21の位置を修正する必要がない場合にはレリーズボタンを押す(V5)。
上記V5で所望の合成画像が得られた場合には、使用者は、それをフラッシュメモリ14に記録するか否かを選択する(V6)。選択の結果、合成画像をフラッシュメモリ14に記録するとした場合には、使用者がさらにレリーズボタン63を操作すると(V7)、CPU21はVRAM17に現在描画されている合成画像データを読み出してフラッシュメモリ14に記録画像の一つとして記録させる(V8)。上記V6での選択の結果、合成画像をフラッシュメモリ14に記録しないとした場合には、この場合は単に合成画像が液晶ディスプレイ20に表示されるだけとなる。
なお、図12(A)のステップV5では、使用者がカメラを移動させてスルー画像21の位置を修正し、スルー画像の所望の部分が貼り付け画像22に重なるようにしたが、ステップV5を使用者がカーソル移動キー62、(または、ポインティングデバイス等の入力手段)を操作して切抜き画像を移動できるように構成してもよい。この場合、図12(B)に示すようにステップV5で切抜き画像の位置を修正する必要がある場合には、使用者が移動キー62のうち所定の方向に対応する移動キーを操作すると(V5')、CPU21はその操作された移動キー62に対応する方向に切抜き画像を移動/表示させV5に戻る(V5")ようにし、上記V5での選択の結果、切抜き画像を修正する必要がないとした場合(V5',V5"による修正操作の結果、OKとなった場合も含む)には、V6に移行するように構成できる。
図13(A'),(B')は切抜き画像を移動させた例であり、図13(A')で中央にある切抜き画像22の位置が背景に重なって背景が見えないので、移動キー62を操作して図13(B')に示すように切抜き画像22を左上方に移動させた例である。
また、本実施例では上記V8で述べたように合成画像データをフラッシュメモリー14に記録画像の一つとして記録するよう構成したが、これに限られず、前述したリンクテーブル50(図5)をフラッシュメモリー14に設け、合成画像を記録する際に、記録画像とは別の画像と意味付けてリンクテーブル50にそれら情報を登録するように構成してもよい。また、合成画像を記録する代りにリンクテーブル50にそれら情報のみを登録し、合成画像の表示或いは外部装置への出力を行なう際にリンクテーブル50に登録した情報を基に合成画像を再生するように構成してもよい。なお、図13で用いた切抜き画像22は2値化されたパターンとの合成画像であり、この場合切抜き画像22の境界は明確である。これに対し、上記実施例で図14に示すような輝度加工パターンとの合成画像による切抜き画像22'を用いると切抜き画像との境界がぼやけた合成画像を得ることができる。
[実施例4]:パターン生成/登録処理(記録画像からのマスクパターン生成/登録)
前述の実施例1ではスルー画像から所望のマスクパターンを抽出して登録したが記録画像からマスクパターンを抽出して登録することもできる。本実施例は、パターン生成/登録手段122の一実施例であり、記録画像合成モード下で、再生した所望の記録画像から所望の部分をマスクパターンとして抽出してマスクパターンメモリー14Bに登録する例である。
図15は、パターン生成/登録処理動作の一実施例を示すフローチャートであり、図16は、図15のフローチャートに基づくパターン生成/登録過程の説明図である。図15で、使用者が再生ボタン64を操作して再生モードに設定し、最初の記録画像を再生して表示させる。使用者は、マスクボタン66を操作してマスクパターンとしたい被写体が含まれた画像を再生して液晶ディスプレイ20に表示させることができる。例えば、図16(A)に示すような再生画像(この例では、パターンを描画した絵の画像)が液晶ディスプレイ20に表示される。また、所定の操作によりCPU21は画面の所定の位置に枠型カーソル171を表示する(W1)。
次に、使用者が、その再生画像を見ながら所望の像172を囲むようにカーソル171を位置付け、マスクボタン66を操作するとCPU21はフラッシュメモリー14に記録されているビデオデータ(圧縮データ)からカーソル171の枠で囲まれた部分に相当するデータを読み出してデータ圧縮/伸張回路15に供給する。そして、伸張処理を施されたビデオデータ(図16(B))をDRAM13のワークエリアに書込む(W2)。なおW1でカーソル171より所望の像が大きい場合にはアップダウンキー67(+)を押してカーソル171を拡大させて、所望の像を囲むことができる。また、カーソル171にくらべ所望の像が小さ過ぎる場合にはアップダウンキー67(−)を押してカーソル172を縮小させて枠の大きさを調整できる。
ここで、CPU21は使用者がアップダウンキー67を操作したかを調べ(W3)、アップダウンキー67が操作された場合にはW7に移行し、操作されていない場合にはワークエリアに書込まれた被写体像(画像データ)を切取ったのち、2値化処理する(W4)。2値化処理後、シグナルジェネレータ16はこの2値化画像データをビデオデータ化してVRAM17に描画した後、VRAM17に描画したビデオデータを読み出して液晶ディスプレイ20に出力し表示させる。これにより、液晶ディスプレイ20には再生されたパターン化候補画像を2値化パターンに加工した結果が表示される。使用者はこの液晶ディスプレイ20に表示された画像を見てパターン(図16(C))を確認することができる(W5)。
ここで、CPU21は使用者がレリーズボタン63を操作したかを調べ、レリーズボタン63が操作されている場合にはW12に移行し、操作されていない場合にはW3に戻る(W6)。上記W3でアップダウンキー67が操作された場合には輝度成分変更操作を行なうか否かを調べ、行なわない場合にはW9に移行し、行なう場合にはW8に移行する(W7)。上記W7で、輝度成分変更操作を行なう場合には、アップダウンキー67(+)が押されると輝度値が高い方に所定値ずつ(本実施例では1ずつ)シフトされ、アップダウンキー67(−)が押されると輝度値が低い方に所定値ずつ(本実施例では1ずつ)シフトされる。従って、アップダウンキー67(+)またはアップダウンキー67(−)を操作することにより、パターンの輝度値を変化させることができる(W8)。
DRAM13のワークエリアに書込まれたパターン候補画像の輝度成分を8ビットで取込み加工してパターン化する(W9)。アップダウンキー67が1回操作される毎に、シグナルジェネレータ16はこの輝度成分加工画像データをビデオデータ化してVRAM17に描画した後、VRAM17に描画したビデオデータを読み出して液晶ディスプレイ20に出力し表示させる。これにより、液晶ディスプレイ20には使用者がフラッシュメモリー14から読み出した所望のパターン化候補画像を輝度成分加工パターンに加工した結果が表示される。使用者はこの液晶ディスプレイ20に表示された画像を見てパターン(図16(C)')を確認することができる(W10)。
ここで、CPU21は使用者がレリーズボタン63を操作したかを調べ、レリーズボタン63が操作されている場合にはW12に移行し、操作されていない場合にはW7に戻る(W11)。CPU21は、上記W6またはW11でレリーズボタン63が押された場合、すなわち、所望のマスクパターン(図16(C)または(C'))を得た場合には、表示されているパターン画像をマスクパターンとしてマスクパターンメモリー14Bに登録する(W12)。
本実施例によれば、上記W10で得た輝度成分加工パターン画像は図16(C')に示すようにパターンの境界周辺がぼやけた感じのパターンとなり、図14に示したようなぼかした感じの切り抜き画像(切抜き画像)を得ることができる。また、本実施例によれば、記録画像を再生してマスクパターンとして抽出/登録できるので、撮影し、記録保存した画像を所望の時期に取り出して簡単な操作でマスクパターンを作成することができる。
また、本実施例ではステップW1で図16(A)に示したような枠型カーソル171を表示し、W2で、再生画像のうちカーソル171で囲まれた部分を抽出したが、これに限られない。このような代替実施例として、
(1)ステップW1で点カーソルを表示し、W2で、使用者が移動キー62を操作して画面上でカーソルを移動させて再生画像の所望部分の輪郭をなぞり、なぞられた閉鎖領域をパターン抽出した例、
(2)画面上に透明な位置検出センサーを配設しておき、タッチペン等のポインテングデバイス等で再生画像の所望部分の輪郭をなぞり、なぞられた閉鎖領域をパターン抽出した例(実施例8)。
(3)画像に含まれている複数の被写体の距離データを画像データと共に記録しておき、その画像を再生して距離を指定することにより再生画像中のある部分を特定し、それを抽出した例(実施例9)、
(4)使用者が移動キーを用いて画面上でカーソルを移動させて被写体像の輪郭をなぞって輪郭抽出処理を行ない、パターンを抽出した例、が挙げられる。
[実施例5]:記録画像合成処理(記録画像と切抜き画像の合成)
本実施例は記録画像合成モード下で、フラッシュメモリー14に記録されている記録画像と予め切抜き画像メモリー14Aに登録されたフレームの付いた切抜き画像を合成する記録画像合成手段124による記録画像合成の一実施例である。
図17は本発明の記録画像合成処理動作の一実施例を示すフローチャートであり、図18は図17のフローチャートに基づく合成画像生成過程の説明図である。図17で、使用者は合成する記録画像をフラッシュメモリー14から読み出し、液晶ディスプレイ20に表示させる。この操作は再生ボタン64を操作して再生モードに設定し、最初の記録画像を再生して表示させ、アップダウンキー67を操作することにより、所望の画像を再生/表示させて行なわれる(再生/表示モード)。これにより、例えば、図18(A)に示すような再生画像が液晶ディスプレイ20に表示される(S1)。
次に、使用者がフレームボタン61を操作すると(S2)、CPU21は切抜き画像メモリー14Aに記録されている切抜き画像の中から所定の切抜き画像を読み出し、シグナルジェネレータ16に供給し、VRAM17に描画させる。VRAM17には既に上記S1で再生した記録画像が描画されているので、その結果、VRAM17には再生画像と再生した切抜き画像を合成した画像が描画されることになる。この合成画像がシグナルジェネレータ16により読み出され、D/A変換回路18でD/A変換された後、アンプ19を介して液晶ディスプレイ20に出力され、表示される。これにより、例えば、図18(B)に示すような合成画像が得られる(S3)。
使用者は液晶ディスプレイ20に表示された合成画像を見て、表示された画像が所望の切抜き画像であるか否かを選択する。いま、表示されている画像が所望の切抜き画像でない場合には上記S2に戻り、再びフレームボタン61を操作する。これにより、CPU21は切抜き画像メモリー14Aに記録されている次の切抜き画像を読み出して上述した場合と同様にして上記S3で液晶ディスプレイ20に合成画像を表示する。使用者は所望の切抜き画像との合成画像が表示されるまでフレームボタン61を押し続け、所望の切抜き画像との合成画像が表示された場合にはS5に移行する(S4)。
使用者は合成画像を見て、フレーム(枠)内の画像の位置を修正する必要があるか否かを選択する。選択の結果、フレーム内の画像を修正する必要がある場合にはS6に移行し、そうでない場合にはS8に移行する(S5)。上記S5でフレーム内の画像の位置を修正する必要がある場合には、使用者が移動キー62のうち所定の方向に対応する移動キーを操作すると(S6)、CPU21はその操作された移動キー62に対応する方向に再生画像を移動/表示させS5に戻る(S7)。例えば、図18(B)の合成画像が表示されている状態で、移動キー62を操作して左方向と下方向への移動を指示すると、図18(C)に示すように切抜き画像に重畳して表示されている画像が左下方向に移動する。このように、使用者が移動キー62を操作することで、背景画像(再生された記録画像)をフレーム内で移動させて所望の位置に位置付けることができる。なお、背景画像ではなく、切抜き画像の方を移動させるようにしてもよい。
上記S5での選択の結果、フレーム内の画像を修正する必要がないとした場合(位置修正(S6,S7)の結果、OKとなった場合も含む)には、使用者は、いま液晶ディスプレイ20に表示されている合成画像をフラッシュメモリー14に記録するか否かを選択する(S8)。選択の結果、合成画像をフラッシュメモリー14に記録する場合にはS9に移行し、そうでない場合には処理を終了させる。この場合は単に合成画像が液晶ディスプレイ20に表示されるだけとなる。
上記S8での選択の結果、合成画像をフラッシュメモリー14に記録するとした場合には、使用者がさらにレリーズボタン63を操作すると(S9)、CPU21はVRAM17に現在描画されている合成画像データを読み出してフラッシュメモリー14に記録画像の一つとして記録させる(S10)。
なお、本実施例では上記S10で述べたように合成画像データを記録画像の一つとして記録するよう構成したが、これに限られず、前述したリンクテーブル50(図5)をフラッシュメモリー14に設け、合成画像を記録する際に、記録画像とは別の画像と意味付けてリンクテーブル50にそれら情報を登録するように構成してもよく、また、合成画像を記録する代りにリンクテーブル50にそれら情報のみを登録し、合成画像の表示或いは外部装置への出力する際にリンクテーブル50に登録した情報を基に合成画像を再生するように構成してもよい。
[実施例6]:切抜き画像生成/登録処理(記録画像とマスクパターンからの切抜き画像の生成/登録)
上記合成処理においては、切抜き画像メモリー14Aに予め記録されているフレーム付切抜き画像を適宜読み出し、複数の切抜き画像の中から所望の画像を選択するように構成したが、フラッシュメモリー14に既に記憶されている記録画像を用いて切抜き画像を生成することもできる。本実施例は記録画像合成モード下で、記録画像と予め登録されたマスクパターンを適宜合成して画像を切り抜いて切抜き画像を登録する切抜き画像の生成/登録手段123による切抜き画像の生成/登録処理の一実施例である。
図19は切抜き画像生成/登録処理動作の一実施例を示すフローチャートであり、図20は図19のフローチャートに基づく切抜き画像生成/登録過程の説明図である。図19で、使用者が再生ボタン64を操作して再生モードに設定し、最初の記録画像を再生して表示させ、アップダウンキー67を操作することにより、切抜き画像としたい画像を再生し液晶ディスプレイ20に表示させる。これにより、例えば、図20(A)に示すような記録画像が液晶ディスプレイ20に表示される(S21)。
次に、使用者がマスクボタン66を操作するとCPU21はマスクパターンメモリー14Bに記憶されているマスクパターンを読み出し、シグナルジェネレータ16を介してVRAM17に描画し(S22)、VRAM17に描画されたマスクパターンを読み出してD/A変換回路18およびアンプ19を介して液晶ディスプレイ20に表示する。これにより、例えば、図20(B)に示すようなマスクパターンが液晶ディスプレイ20に表示される。また、このときCPU21はマスクパターンに重畳させてカーソルを表示する(S23)。
ここで、使用者は液晶ディスプレイ20に表示されたマスクパターンから所望のものを選択する。すなわち、図20(B)に示されているようなカーソル(図の例では枠型カーソル)を移動キー62を操作して所望のマスクパターン上に位置付ける。そして、選択確定のために再度マスクボタン66を操作する(S24)。CPU21は上記S24で選択されたマスクパターンだけをVRAM17に送り、前記S21で選択された再生画像に重畳させて描画する。これにより、例えば、図20(C)に示すように図20(A)の再生画像と図20(B)の選択されたマスクパターンとが液晶ディスプレイ20に重畳表示される(S25)。
次に、使用者が上記S25で重畳表示した画像を見てマスクパターンの位置を修正する必要があると判断した場合にはS27に移行し、そうでない場合にはS29に移行する(S26)。上記S26でマスクパターンの位置を修正する必要があると判断した場合には、使用者は移動キー62を操作して(S27)、マスクパターンを移動させる。例えば、図20(C)の状態で移動キー62のうち上方向のキーを操作するとマスクパターンは図20(D)に示すように上方に移動される(S28)。上記S26またはS28で所望のマスクパターンと記録画像を合成した合成画像を得た場合には、この合成画像を切抜き画像としてフラッシュメモリーに登録するために使用者はレリーズボタン63を操作する(S29)。このとき、CPU21は液晶ディスプレイ20に表示されている合成画像(図20(D)の画像)を切り抜いて切抜き画像メモリー14Aに切抜き画像(パターン枠+画像)として記録する(S30)。
以上のようにして切抜き画像メモリー14Aに使用者自身が作成した切抜き画像が登録されると、図17のフローチャートで説明したと同様の動作(実施例5参照)で切抜き画像合成処理を行なうことができる。すなわち、図17のS2で、フレームボタン61を所定回数操作すると図20(D)に示した画像が切抜き画像メモリー14Aから読み出されて再生され、S3で液晶ディスプレイ20上に再生される。したがって、予めS1でこの切抜き画像と合成する記録画像を再生し表示しておけば、図20(E)に示すように自分で作成した切抜き画像を他の記録画像と合成することができる。また、これにより合成された画像もS9で述べたようにレリーズボタン63を操作してフラッシュメモリー14に記録することができる。
以上述べたように、実施例5,6では、フラッシュメモリー14に記録されている画像および予め切抜き画像メモリー14Aに登録されている切抜き画像を合成でき、また、フレーム付切抜き画像は既に記録されている画像とマスクパターンとを適宜合成することにより新たに生成できる。以上により記録した画像を簡単に加工(合成)することができる。
[実施例7]
図21は、図1のデジタルカメラの案内枠表示処理の一実施例としての証明写真枠による証明写真撮影を例としたフローチャートであり、図22は、図21のフローチャートに基づく証明写真撮影過程の説明図である。
図21で、使用者がアップダウンキー67を操作すると、CPU21はマスクパターンメモリー14Bに記憶されているマスクパターンを読み出し、シグナルジェネレータ16を介してVRAM17に描画し、VRAM17に描画された案内枠パターンを読み出してD/A変換回路18およびアンプ19を介して液晶ディスプレイ20に表示する。これにより、例えば、図22(A)に示すような案内枠81(この例では、運転免許写真用案内枠)として液晶ディスプレイ20に表示される。この場合、案内枠81は画面中央に位置付けられる(X1)。
ここで、アップダウンキー67を更に操作すると次の案内枠が読み出され表示されるので、使用者は液晶ディスプレイ20に表示された案内枠が所望のものか否かを判断し、所望の案内枠でない場合には所望の案内枠が現われるまでアップダウンキー67を操作して案内枠を表示させる(X2)。
上記X2で、所望の案内枠が表示された場合には、使用者は被撮影者82(図22(B))のスルー画像82'(図22(C),(D))が画面中央の案内枠内にきちんと入っているかどうかを調べ(X3)、案内枠内にきちんと入っている場合にはレリーズボタン63を押し、そうでない場合にはカメラのアングルを調整して所望のスルー画像が画面中央の案内枠内にきちんと収るようにする(X4)。
CPU21は使用者がレリーズボタン63を押したか否かを調べ(X5)、レリーズボタン63が押された場合には、液晶ディスプレイ20に表示されている被撮影者像83(図22(E))を切り抜いてフラッシュメモリー14に撮影した画像として記録する(X6)。
なお、撮影時には切り抜かないでスルー画像をそのまま記録し、後に再生画像から切り抜くようにしてもよい(すなわち、撮影の目安として用いる)。
また、上記説明では案内枠を写真撮影用のものとしたが、マスクパターンのいずれでもよい。また、マスクパターンおよび切抜き画像はメーカ等によって予めフラッシュメモリー等の記録媒体に登録されたものでもよい。
これにより、撮影時に案内枠を表示できるので画像の大きさをほぼ一定に揃えたり、サイズが定められている証明用の写真等を簡単に撮影できる。
[実施例8] ポインティングデバイスまたはカーソルによる輪郭抽出の例図23は、輪郭抽出によるマスクパターン生成の例を示す説明図である。
図23(A)は再生された記録画像であり、図15のフローチャートのステップW1で使用者が選択した再生画像に相当する。図23(B)は、図15のフローチャートのステップW2に相当し、所望の画像91(この例では熊)が表示されたあと、画像91の顔の輪郭を記号92で示すようにタッチペンでなぞった状態を示している。タッチペンでの抽出範囲の指定が終了し、使用者がレリーズボタン63を操作すると、CPU21はタッチペンの軌跡の座標(xi,yj)から閉鎖空間を得る。そして、ワークエリアに記憶されている画像データについて閉鎖領域93以外の部分をオフセットしたのち(W3)、2値化処理する(W4)。
図23(C)は、図15のフローチャートのステップW5に相当し、液晶ディスプレイ20に表示された2値化パターンに加工した結果が表示される。使用者がレリーズボタン63を操作すると、所望のマスクパターン(図23(D))を得たものとしてパターン画像95をマスクパターンとしてマスクパターンメモリー14Bに登録する(W12)。
本実施例では、再生された記録画像をタッチペンでなぞったが、カーソル移動キー62を操作してカーソルで画像91の顔の輪郭をなぞるようにしても上述の場合とほぼ同様の動作でマスクパターンを得ることができる。また、本実施例では、再生画像の輪郭をなぞって輪郭抽出を行なったが、スルー画像についても図7のフローチャートに基づいて輪郭抽出を行なうことにより、記録画像の場合と同様に所望のマスクパターンを得ることができる。
[実施例9] 距離指定に基づくパターン生成の例
町並みの看板などを眺めていてパターン化してみたいものがある場合がある。視野にある看板は1枚とは限られず、狭い視野に手前から奥に向って看板がながめられることがある。このような場合には、多くの看板が距離をおいてカメラの同一視野に入る。
本実施例は、同一視野内で異なる距離にある被写体をパターン化候補として1枚の記録画像とし、それを再生してそれぞれの被写体についてマスクパターン化操作を可能とする例である。
デジタルカメラがオートフォーカス機構を有している場合には、注目点(多くの場合はファインダの中心)に対してカメラの焦点を合せるようにオートフォーカス機構が動作し、焦点が決定される。ここで、被写体と撮像レンズ1との距離をa、撮像レンズ1とCCD2の表面との距離をb、レンズの焦点距離をfとすると、1/a+1/b=1/fが成立する。
ここで、撮像レンズ1を±Δx(Δx<b<<a)移動させると、
1/(a−Δx)+1/(b+Δx)=1/f または、
1/(a+Δx)+1/(b−Δx)=1/f
となるが、b<<aであるから左辺第1項の1/(A+ΔX)≒1/aとみなし得るので、1/a+1/(b±Δx)=1/f(式1)が成立する。
オートフォーカス制御により合焦状態となった時のレンズの移動距離Δxは既知であるから、上記式1から被写体と撮像レンズ1との距離aを算出できる。そこで、カメラを微動させて、同一視野にあるパターン候補の被写体を順次ファインダの注目点にするようにカメラを微動させて焦点を合せるようにすると、それぞれのパターン候補とレンズとの距離を得ることができる。また、オートフォーカス機構を備えていなくても測距機構を備えた撮像装置であればそれぞれのパターン候補とレンズとの距離を得ることができる。
図24は、距離指定に基づくパターン生成動作の例を示すフローチャートであり、(a)は撮影時の距離データ記憶手段1126の動作、(b)は再生時(パターン化時)の動作である。上述した方法により同一視野内のパターン化候補である被写体と撮像レンズ1との距離aj(j=1〜n)を得てDRAM13の距離データ格納領域に一時記憶させる(Y1)。
使用者がレリーズボタン63を押して撮影を行なった場合にはY3に移行し、そうでない場合はY1に戻る(Y2)。
上記Y2で撮影が行なわれた場合には、画像データの記録と同時にその画像の各距離データをDRAM13の距離データ格納領域から読み出してリンクテーブル50の距離欄にそれぞれ記憶させる(Y3)。
再生時に、所望の再生画像を表示する(Y4)と共に、リンクテーブル50からその画像の距離データを取り出して再生画像と共に表示する(Y5)。
使用者が移動キー62を操作してカーソルで表示された距離のいずれかを指定し(Y6)、レリーズボタン63を押すと(Y7)、その距離にある被写体像が抽出され(Y8)、表示される(Y9)。
使用者がマスクボタン66を押すと(Y10)、表示された被写体像に2値化処理や輪郭抽出処理等のマスクパターン化処理(図7のT3〜T11)が施され(Y11)、マスクパターンとして登録されるが(Y12)、表示された被写体像がパターン候補の他に同距離にある他の像を含んでいるような場合には、移動キー62の操作により(Y13)、前述した輪郭抽出処理(実施例8)を行うことができる(Y14)。
輪郭抽出処理をおこなった場合にはパターン候補以外の像をオフセットしてマスクパターン化処理(Y11)に移行する(Y15)。また、このような動作を繰り返して同一画像から複数のマスクパターンを得ることができる。なお、スルー画像表示時に距離を指定してその距離にある被写体像を抽出し、マスクパターンとして登録するようにしてもよい。
[実施例10] カーソルまたはポインティングデバイスによる描画入力の例スルー画像合成モードまたは記録画像合成モードでダイレクトボタン68を押すとカーソルまたはポインティングデバイスによって画面上に描いた軌跡(或いは、指定点を繋いでなる図形)をパターンとして入力させ、抽出処理の後、マスクパターンとして登録することができる。
図25は、パターン生成手段1125の動作例を示すフローチャートであり、図26は、カーソルによって描画されたパターンのマスクパターン化の説明図である。
スルー画像合成モード下で、ダイレクトボタン68が押された場合には(Z1)、CPU21はタイミングジェネレータ12を制御してシグナルジェネレータ16への画像データの供給を遮断し、液晶ディスプレイ20には図26(A)に示すような描画入力開始指示メッセージおよびカーソル310を表示する(Z2)。
使用者が移動キー62を操作して、カーソルを連続的に移動させるとカーソル移動した軌跡311が表示され(図26(B))(Z3)、軌跡上の座標(xi,yj)が順次DRAM13のワークエリアに取込まれる(Z4)。このとき、ダウンキー67(−)を押してカーソルを移動させるとカーソルの軌跡は表示されず、その間の軌跡座標のワークエリアへの取込みは行なわれない(Z5)。また、この場合、カーソルを表示された軌跡と重ねて移動させるとその線分を消去できる(図26(C))(Z6)。アップキー67(+)を押すとカーソルの軌跡の表示が開始され、軌跡座標のワークエリアへの取込みが再開される(Z7)。
上記Z5,Z6を繰り返して連続線で結ばれた閉鎖領域からなる描画図形300を形成したあと、レリーズボタン63を押すと(Z8)、直線状の連続線を直線的に整形する直線整形用のアイコン301、曲線状の連続線には滑らかさを与える曲線整形用のアイコン302,303および定型的な図形(例えば、円304、矩形305、楕円306、三角形307、・・等々)用のアイコンが描画された図形と共に示される(図26(E))(Z9)。
使用者は、移動キー62を操作して、描画図形300上の区間PQ{(xa,yb)、(xc,yd)}をカーソルで指定してから(図26(E))、所望のアイコンを指定するとその区間が指定されたアイコンの形で整形される(図26(F))。なお、定型的な図形にしたい場合には描画図形300の内部領域(閉鎖両域内の一点)をポイントしてから、所望のアイコンをポイントすると定型図形となる(Z10)。
整形終了後、アップダウンキー67を操作すると図形の拡大/縮小が行なわれる。図26(G)には縮小されたパターン300'が示されている(Z11,Z12)。使用者がレリーズボタン63を押すと画面上の図形がパターンとして抽出される(Z13,Z14)。パターンが抽出されるとマスクパターン化処理(図7のステップT3〜T11参照)が施され(Z15)、マスクパターン化処理終了後はマスクパターンメモリー14Bに登録される(Z16)。
[実施例11] プレビュー画像表示の例(マスクパターンの境界がぼやけている例)
本実施例は、登録されたマスクパターンの表示(図9のU3,図21のX1)、切抜き用画像の移動表示(図12のステップV3,図17のステップS3、図19のステップS21)、および背景画像表示(図7のT1,図9のU1,図12のステップV1,図15のステップW1、図17のステップS1)等、合成処理前に行なうプレビュー表示を高速化した例である。
画像合成ではDRAM13に1画面(1フレーム)分の記憶領域(ワークエリア)が設けられる。画面表示の際には、そのとき表示される1画像分の画像データが記憶されているメモリー(マスクパターンならマスクパターンメモリー14B、切抜き画像なら切抜き画像メモリー14A、記録画像ならフラッシュメモリー14)から読み出されて、ワークエリアに記憶される。
ここで、液晶ディスプレイ20の画面の左上の位置の座標を(0,0)とすると、先ず、画面座標(0,0)に対応するデータがワークエリアの位置(0,0)に書込まれ、順次、画面座標(xi,yj:i=0〜n−1、j=0〜m−1)に対応するデータがワークエリアの位置(xi,yj)に書込まれ、やがて1画像分のデータが書込まれる。
ここで、ワークエリアに書込まれる各データの座標を、説明上、次のように定義する。
マスクパターンデータの座標:M(xi,yj)
切抜き画像データの座標:C(xi,yj)
背景画像データの座標:B(xi,yj)
表示座標(合成処理後のワークエリアでのデータの座標):W(xi,yj)
とし、データが8ビットで表現されるとする。
この場合、例えば、マスクパターンを選択するために切抜き元画像(背景画像)上にマスクパターンを表示する場合には、選択候補のマスクパターンと切抜き元画像との背景画像の合成処理が行なわれる。この時のマスクパターンの表示位置座標は、画像合成処理の座表計算では、
W(xi,yj)=M(xi,yj)×B(xi,yj)
+(255−M(xi,yj)×C(xi,yj))/255
として、決定される。ここで、数値255は輝度である。
なお、マスクパターンで切抜き元画像としての背景画像を切抜いて切抜き画像像を生成する場合には、背景画像を移動させながらマスクパターンと背景画像を合成て切抜き候補画像を生成/表示し、使用者が切抜き候補画像の中から所望のものを選択した場合に切抜き画像として切抜く(抽出する)ことができるが、この場合の切抜き候補画像の表示座標は、画像合成処理の座標計算では、移動量を横pビット,縦qビットとするとき、
W(xi,yj)={M(xi−p,yj−q)×B(xi,yj)
+(255−M(xi−p,yj−q))
×C(xi−p,yj−q)}/255
として、決定できる。
本実施例では表示座標を算出するためにパターン生成手段1125(または1225)や切抜き画像生成登録手段113(123)に表示座標決定用モジュールを組込んでいるが、プレビュー表示時の座標演算を高速化して画像を高速表示するために、表示座標決定用モジュールを各画像毎に次に述べるように場合分けして座標演算を行なうように構成した。
(1) マスクパターン選択時にはマスクパターンの表示座標を、
M(xi,yj)の輝度がある閾値より小さい時は、
W(xi,yj)=C(xi,yj)
M(xi,yj)の輝度がある閾値より大きい時は、
W(xi,yj)=B(xi,yj)
として算出し、この処理を一画面分のワークエリアの領域全部(i=0〜n−1,j=1〜m−1)に行なう。この結果に基づいて、パターン生成登録手段112(122)や切抜き画像生成/登録手段113(123)でマスクパターンを液晶ディスプレイ20に表示する。なお、本実施例では閾値を128とした。上記座標計算によれば、通常の画像合成処理時の合成速度(座表計算速度)に比べ数倍の早さでマスクパターンを表示できる。なお、この場合、マスクパターンと背景との境界が明瞭になるが、実際の合成ではなくプレビュー表示のため境界がはっきりしていても問題は生じない。
(2) 切抜き画像の選択時には切抜き画像の表示座標を、
M(xi,yj)の輝度がある閾値より小さい時は、
W(xi,yj)=C(xi+p,yj+q)
M(xi,yj)の輝度がある閾値より大きい時は、
W(xi,yj)=B(xi,yj)
として算出し、この処理を一画面分のワークエリアの領域全部(i=0〜n−1,j=1〜m−1)に行なう。この結果に基づいて、パターン生成登録手段112(122)で切抜き画像を液晶ディスプレイ20に表示する。なお、p,qは縦,横の移動量(ドット数)である。また、本実施例では閾値を128とした。上記座標計算によれば、通常の画像合成処理時の合成速度(座表計算速度)に比べ数倍の早さで切抜き画像を表示できる。
(3) 背景画像の表示時には背景画像(スルー画像または再生された記録画像)の表示座標は、
生のデータのまま、すなわち、スルー画像或いは再生した記録画像の座標をそのままワークエリアに書込む。すなわち、
W(xi,yj)=B(xi,yj)
とし、この処理を一画面分のワークエリアの領域全部(i=0〜n−1,j=1〜m−1)に行なう。この結果に基づいて、パターン生成/登録手段112(122)、切抜き画像生成/登録手段113(123)、スルー画像合成手段114、或いは記録画像合成手段124で背景画像を液晶ディスプレイ20に表示する。
(4) 貼込み位置選択時(画像移動時)には切抜き画像の表示座標を、
移動量を縦pドット,横qドットとし、貼り付け位置の中央からの移動量をr,sとすると、
M(xi−r,yj−p)の輝度がある閾値より小さい時は、
W(xi,yj)=C(xi+p−r,yj−q+s)
M(xi−r,yj=p)の輝度がある閾値より大きい時は、
W(xi,yj)=B(xi+p−r,yj−q+s)
として算出し、この処理を一画面分のワークエリアの領域全部(i=0〜n−1,j=1〜m−1)に行なう。この結果に基づいて切抜き画像生成/登録手段113(123)で切抜き画像を貼込み位置に位置付けて液晶ディスプレイ20に表示する。なお、本実施例では閾値を128とした。上記座標計算によれば、通常の画像合成処理時の合成速度(座表計算速度)に比べ数倍の早さで切抜き画像を表示できる。
[実施例12] 合成画像の解像度の自動決定の例
画像のデータ容量は大きく、メモリーの容量は限られているため画像をメモリーに記録する場合には画像(データ)にJPEG圧縮処理を施して記録し、再生時に記録画像(データ)に伸張処理を施して再生している。
画像の圧縮処理では、解像度を高くすると圧縮率が高まるが処理時間が長くなるので記録速度が遅くなり、解像度を低くすると圧縮率が低下するが処理時間が短くなるので記録速度が早くなる。
デジタルカメラでは、通常、使用者が解像度を選ぶことができるように構成されているが、処理対象の画像の切抜き画像や背景画像の解像度はその製品の使用によって異なってくるので、合成画像の解像度の選択肢は多様となる。
本実施例では、合成画像を早く記録するために最も低い解像度に合せるものとし、解像度自動決定手段で切抜き画像メモリー14Aと背景画像バッファ(DRAM13)に記録されている画像の解像度を比較して低い方の解像度を合成画像の解像度として決定し、決定された解像度に基づいて圧縮/伸張回路15で合成画像を圧縮してフラッシュメモリー14に記録する。
また、切抜き画像と背景画像との合成処理時の座標計算はプレビュー表示の場合の表示座標とは異なる。すなわち、合成処理時の座標は、移動量を縦pドット,横qドットとし、貼り付け位置の中央からの移動量をr,sとすると、
W(xi,yj)=M(xi−r,yjーs)×B(xi,yj)
+(255−M(xi−r,yj−s)
×C(xi+p−r,yj+q−s))/255
として算出し、この処理を一画面分のワークエリアの領域全部(i=0〜n−1,j=1〜m−1)に行なうことにより合成を行なう。
以上本発明の各実施例について説明したが、本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
本発明の撮影装置の一実施例としてのデジタルカメラの構成例を示すブロック図である。 図1に示したキー入力部の構成例を示す図である。 図1に示したデジタルカメラの処理モードの説明図である。 画像加工手段の構成例を示すブロック図である。 リンクテーブルの構成例を示す説明図である。 撮影画像と切抜き画像との合成例の説明図である。 パターン生成/登録処理動作の一実施例を示すフローチャートである。 図7のフローチャートに基づくパターン生成/登録過程の説明図である。 切抜き画像生成/登録処理動作の一実施例を示すフローチャートである。 図9に示したフローチャートに基づく切抜き画像生成/登録過程の説明図である。 図9に示したフローチャートに基づく切抜き画像生成/登録過程の説明図である。 図1に示したデジタルカメラの切抜き画像合成処理動作の一実施例を示すフローチャートである。 図12に示したフローチャートに基づく切抜き画像合成過程の説明図である。 図12に示したフローチャートに基づく切抜き画像合成過程の説明図である。 パターン生成/登録処理動作の一実施例を示すフローチャートである。 図15に示したフローチャートに基づくパターン生成/登録過程の説明図である。 図1に示したデジタルカメラの貼り付け合成処理動作の一実施例を示すフローチャートである。 図17に示したフローチャートに基づく合成画像生成過程の説明図である。 切抜き画像生成/登録処理動作例を示すフローチャートである。 図19に示したフローチャートに基づく切抜き画像生成/登録過程の説明図である。 図1に示したデジタルカメラの案内枠表示処理動作の一実施例としての証明写真枠による証明写真撮影を例としたフローチャートである。 図21に示したフローチャートに基づく証明写真撮影過程の説明図である。 輪郭抽出によるマスクパターン生成の例を示す説明図である。 距離指定に基づくパターン生成動作の例を示すフローチャートである。 描画されたパターンによるパターン生成手段の動作例を示すフローチャートである。 図25に示したフローチャートに基づいて描画されたパターンのマスクパターン化の説明図である。
符号の説明
1 撮像レンズ(撮像手段)
2 CCD(撮像手段)
14 フラッシュメモリ(撮像画像記憶手段、撮像静止画像記憶手段)
14A 切抜き画像メモリ(フレーム画像記憶手段、画像切抜きパターン記憶手段)
14B マスクパターンメモリ(マスク画像記憶手段、パターン記憶手段)
16 シグナルジェネレータ(表示制御手段、記憶制御手段)
20 液晶ディスプレイ(表示手段)
21 CPU(表示制御手段、記憶制御手段)
24 キー入力部(キー入力手段)
112,122 パターン生成/登録手段(パターン生成手段)
113,123 切抜き画像生成/登録手段(切抜き画像生成手段)
114 スルー画像合成手段(画像合成手段、表示制御手段)
124 記録画像合成手段(画像合成手段、表示制御手段)

Claims (10)

  1. 被写体を撮像し撮像画像を出力する撮像手段と、
    前記撮像手段から出力される撮像静止画像を記憶する撮像静止画像記憶手段と、
    前記撮像手段から出力される撮像動画像をスルー画像として表示手段に表示させる第1の表示制御手段と、
    画像切抜きパターンを記憶する画像切抜きパターン記憶手段と、
    前記画像切抜きパターン記憶手段に記憶されている画像切抜きパターンを用いて前記撮像静止画像記憶手段に記憶されている撮像静止画像の対応部分を切抜いて切抜き静止画像を生成する切抜き画像生成手段と、
    前記切抜き画像生成手段により生成された切抜き静止画像を前記表示手段に表示されているスルー画像上に合成して表示させる第2の表示制御手段と、
    キー入力手段と、
    前記第1及び第2の表示制御手段により前記表示手段にスルー画像および切抜き静止画像が表示されている間に前記キー入力手段が操作された場合、前記撮像静止画像記憶手段に前記切抜き静止画像と撮像静止画像との合成画像を記憶させる第1の記憶制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記画像切抜きパターン記憶手段に記憶されている画像切抜きパターンを前記表示手段に表示されているスルー画像上に合成して表示させる第3の表示制御手段を更に有し、
    前記切抜き画像生成手段は、前記第1及び第3の表示制御手段により前記表示手段にスルー画像および画像切抜きパターンが表示されている間に前記キー入力手段が操作された場合、前記表示手段に表示された画像切抜きパターンを用いて前記撮像静止画像の対応部分を切抜くことにより前記画像切抜きパターンの形状を有する切抜き静止画像を生成する手段を含むことを特徴とする請求項1記載の撮像装置。
  3. 前記切抜き画像生成手段により生成された切抜き静止画像を前記撮像静止画像記憶手段に記憶させる第2の記憶制御手段を有し、
    前記第2の表示制御手段は、前記撮像静止画像記憶手段に記憶されている切抜き静止画像を前記表示手段に表示されているスルー画像上に合成して表示させる手段を含むことを特徴とする請求項1又は2記載の撮像装置。
  4. 前記第2の記憶制御手段は、前記切抜き静止画像を前記撮像静止画像記憶手段に複数記憶させる手段を含み、
    前記撮像静止画像記憶手段に記憶されている複数の切抜き静止画像の中から所望の切抜き静止画像を選択する切抜き画像選択手段を更に有し、
    前記第2の表示制御手段は、前記切抜き画像選択手段により選択された切抜き静止画像を前記表示手段に表示されているスルー画像上に合成して表示させる手段を含むことを特徴とする請求項3記載の撮像装置。
  5. 前記第3の表示制御手段により前記スルー画像上に合成して表示されている前記画像切抜きパターンを、前記スルー画像上の所望の位置に移動指示する移動指示手段を更に有し、
    前記第3の表示制御手段は、前記移動指示手段により移動指示されたスルー画像上の所望の位置に前記画像切抜きパターンを表示させる手段を含み、
    前記切抜き画像生成手段は、前記第3の表示制御手段によりスルー画像上の所望の位置に表示されている画像切抜きパターンを用いて前記撮像静止画像の対応部分を切抜くことにより前記画像切抜きパターンの形状を有する切抜き静止画像を生成する手段を含むことを特徴とする請求項2記載の撮像装置。
  6. 前記第2の表示制御手段により前記スルー画像上に表示されている前記切抜き静止画像を、表示画面内の所望の位置に移動指示する移動指示手段を更に有し、
    前記第2の表示制御手段は、前記移動指示手段により移動指示されたスルー画像上の所望の位置に前記切抜き静止画像を合成して表示させる手段を含み、
    前記第1の記憶制御手段は、前記撮像静止画像上の所望の位置に前記切抜き静止画像が合成された合成画像を前記撮像静止画像記憶手段に記憶する手段を含むことを特徴とする請求項1乃至4のいずれかに記載の撮像装置。
  7. 前記画像切抜きパターン記憶手段は、前記画像切抜きパターンを複数記憶する手段を含み、
    前記画像切抜きパターン記憶手段に記憶されている複数の画像切抜きパターンの中から所望の形状を有する画像切抜きパターンを選択する画像切り抜きパターン選択手段を更に有し、
    前記切抜き画像生成手段は、前記画像切抜きパターン選択手段により選択された画像切抜きパターンを用いて前記撮像静止画像記憶手段に記憶されている撮像静止画像の対応部分を切抜いて切抜き静止画像を生成する手段を含むことを特徴とする請求項1乃至6のいずれかに記載の撮像装置。
  8. 前記撮像静止画像記憶手段に記憶されている撮像静止画像から前記画像切抜きパターンを生成する画像切抜きパターン生成手段を更に有し、
    前記画像切抜きパターン記憶手段は、前記画像切抜きパターン生成手段により生成された画像切抜きパターンを記憶する手段を含むことを特徴とする請求項1乃至7のいずれかに記載の撮像装置。
  9. 描画データを入力する描画データ入力手段と、
    前記描画データ入力手段により入力された描画データから前記画像切抜きパターンを生成する画像切抜きパターン生成手段とを更に有し、
    前記画像切抜きパターン記憶手段は、前記画像切抜きパターン生成手段により生成された画像切抜きパターンを記憶する手段を含むことを特徴とする請求項1乃至7のいずれかに記載の撮像装置。
  10. 撮像部から出力される撮像静止画像をメモリに記憶させる第1の記憶制御工程と、
    画像切抜きパターン記憶部に記憶されている画像切抜きパターンを用いて前記メモリに記憶されている撮像静止画像の対応部分を切抜いて切抜き静止画像を生成する切抜き画像生成工程と、
    前記撮像部から出力される撮像動画像をスルー画像として表示部に表示させる第1の表示制御工程と、
    前記生成された切抜き静止画像を前記表示部に表示されているスルー画像上に合成して表示させる第2の表示制御工程と、
    前記第1及び第2の表示制御工程により前記表示部にスルー画像および切抜き静止画像が表示されている間にキー入力操作が行なわれた場合、前記メモリに前記切抜き静止画像と撮像静止画像との合成画像を記憶させる第2の記憶制御工程と、
    を有することを特徴とする撮像画像加工方法。
JP2004000862A 1997-01-10 2004-01-06 撮像装置および撮像画像加工方法 Expired - Fee Related JP4368203B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004000862A JP4368203B2 (ja) 1997-01-10 2004-01-06 撮像装置および撮像画像加工方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP1470997 1997-01-10
JP31590697 1997-10-31
JP2004000862A JP4368203B2 (ja) 1997-01-10 2004-01-06 撮像装置および撮像画像加工方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP10013372A Division JPH11196362A (ja) 1997-01-10 1998-01-07 撮像装置および撮像画像加工方法

Publications (2)

Publication Number Publication Date
JP2004140873A JP2004140873A (ja) 2004-05-13
JP4368203B2 true JP4368203B2 (ja) 2009-11-18

Family

ID=32475050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004000862A Expired - Fee Related JP4368203B2 (ja) 1997-01-10 2004-01-06 撮像装置および撮像画像加工方法

Country Status (1)

Country Link
JP (1) JP4368203B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091571A (ja) * 2009-10-21 2011-05-06 Olympus Imaging Corp 動画像作成装置及び動画像作成方法

Also Published As

Publication number Publication date
JP2004140873A (ja) 2004-05-13

Similar Documents

Publication Publication Date Title
KR100279140B1 (ko) 촬상장치 및 촬상화상 가공장치
JPH11196362A (ja) 撮像装置および撮像画像加工方法
US6188432B1 (en) Information processing method and apparatus for displaying and zooming an object image and a line drawing
JP4397054B2 (ja) 情報入力装置
JPH104531A (ja) 情報処理装置
JP2000078452A (ja) 電子スチルカメラおよび撮影方法
JP4110560B2 (ja) 画像処理方法及びその装置
JP4330049B2 (ja) 電子カメラ装置、情報配置方法及びコンピュータ読み取り可能な記録媒体
JP4408456B2 (ja) 情報処理装置
JPH10224684A (ja) 情報処理装置
JP2004173300A (ja) 撮像装置および撮像画像加工方法
JP4368203B2 (ja) 撮像装置および撮像画像加工方法
JP2007282279A (ja) 情報処理装置および記録媒体
JPH11146311A (ja) 電子カメラ、電子カメラの制御方法、および記録媒体
JP3985102B2 (ja) 情報入力装置
JP3918228B2 (ja) 情報処理装置および記録媒体
JP4525230B2 (ja) 画像表示装置、及び、プログラム
JPH11284884A (ja) デジタルカメラ
JP3817893B2 (ja) 画像処理装置
JP4038842B2 (ja) 情報処理装置
JP2007082252A (ja) 情報処理装置
JP2005027335A (ja) 情報入力装置
JP4571111B2 (ja) 情報処理装置および記録媒体
JP4536746B2 (ja) 電子カメラ
JP4210962B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060808

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090825

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees