JP4268612B2 - 画像再生装置 - Google Patents
画像再生装置 Download PDFInfo
- Publication number
- JP4268612B2 JP4268612B2 JP2005374940A JP2005374940A JP4268612B2 JP 4268612 B2 JP4268612 B2 JP 4268612B2 JP 2005374940 A JP2005374940 A JP 2005374940A JP 2005374940 A JP2005374940 A JP 2005374940A JP 4268612 B2 JP4268612 B2 JP 4268612B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- additional information
- shooting
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Light Sources And Details Of Projection-Printing Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Projection-Type Copiers In General (AREA)
Description
本発明は、画像再生方法および装置に関し、詳しくは、従来型カメラによって写真フィルムに被写体が撮影された画像を光電的に読み取りデジタル画像データを得、あるいはデジタルカメラによって被写体が撮影された画像のデジタル画像データを得て、所定の画像処理を施した後、可視画像として再生して写真プリントや表示手段に出力する際の画像処理に関する技術分野に属する。
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行われている。
これに対して、近年では、デジタル露光を利用する焼付装置、すなわち従来型カメラによって撮影され、写真フィルムに記録された撮影コマの画像を光電的に読み取り、読み取った画像をデジタル画像データとして得た後、あるいはデジタルカメラによって撮影された撮影コマの画像のデジタル画像データを得た後、種々の画像処理を施して記録用画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）写真プリントとするデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、画像をデジタル画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位な写真プリントを得ることができる。しかも、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理した写真プリントも出力可能である。
しかも、デジタルフォトプリンタによれば、画像を写真プリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の画像記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
しかも、デジタルフォトプリンタによれば、画像を写真プリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の画像記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的によみとるスキャナ（画像読取装置）、読み取った画像を画像処理して記録画像データ（露光条件）とする画像処理装置、および、この記録（出力）画像データに応じて感光材料を走査露光して現像処理を施して写真プリントとするプリンタ（画像記録装置）より構成される。
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの入力画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られて、または画像記録媒体から読み出されて、画像処理装置に送られてきた入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた出力画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が可視再生画像として再生された写真プリントを出力する。
画像処理装置は、スキャナによって読み取られて、または画像記録媒体から読み出されて、画像処理装置に送られてきた入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた出力画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が可視再生画像として再生された写真プリントを出力する。
また、撮影された画像をスキャナで読み取りデジタル画像データを得る方法以外に、例えばデジタルカメラ等で撮影され、フロッピーディスクやＭＯやＺｉｐ等の画像記録媒体に記録されたデジタル画像の画像データを得、またネットワークを介してデジタル画像データを得て、入力画像データとすることができ、この入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送り可視再生画像としてプリント出力することができる。
このように、デジタルフォトプリンタによれば、従来型のカメラによってフィルムに撮影した画像やデジタルカメラによって撮影されたデジタル画像を単に写真プリントとして出力するだけでなく、撮影時の不適切な撮影条件によって画像の再現性の良くないものについても、デジタル画像処理を施して、逆光シーン、ハイコントラストシーン、アンダー露光ネガ、シャープネス、周辺光量不足等の補正を行うことで、高品位で美しい画像を容易に写真プリントとして出力することができる特徴を有している。
現状のデジタルフォトプリントのデジタル処理による写真プリントサービスにおいて、撮影日時がフィルムに光学的に記録された場合や、撮影日時が磁気記録されている新写真システムＡＰＳの場合に、仕上がりプリント上に撮影された日付や撮影時刻が表示されるサービスを受けることができる。そして、そのサービスは、プリントされた画像と撮影日付や撮影時刻を見て撮影時の状況を振り返る場合に役立つ。しかし、撮影日付や撮影時刻の情報のみからでは、撮影当時の種々の状況を十分に振り返ることが難しい場合もある。すなわちこれらの写真プリントの画像を後日鑑賞する場合、撮影日時を手がかりとしてプリントされた画像を振り返るが、何を目的とし、どうゆう状況下で撮影したのか十分思い出せない場合も多い。また、例えば、人物を撮影した画像の背景に山が撮影されている場合、その背景の山の名前や標高や歴史を知りたい場合もある。
これに対し、撮影日付や撮影時刻だけでなく、これらに関する付帯的情報や撮影場所やその付帯情報があれば撮影当時を容易に振り返ることができる場合が多い。
これに対し、撮影日付や撮影時刻だけでなく、これらに関する付帯的情報や撮影場所やその付帯情報があれば撮影当時を容易に振り返ることができる場合が多い。
一方、近年のパーソナルコンピュータの普及によって、パーソナルコンピュータでデジタル画像処理を行うことが容易となり、スキャナやデジタルカメラで取り込んで画像を合成したり、またフォトレタッチソフトを使って画像を修正することも個人的に可能となり、デジタル処理による写真プリントを含むデジタル画像は、画像合成や、画像修正により、画像を好みによって変化させる娯楽性の強いものとなっている。しかし、現状のデジタル処理による写真プリントサービスでは、写真プリントに提供されるのは、撮影日時や時刻の表示のサービスのみであり、ユーザ（顧客）の嗜好にあわせて画像に撮影日時に関する付加的情報や撮影画像の内容に合わせた付加情報を表示することはできない。
今後、ユーザにとって魅力のある写真プリントサービスを行うにあたって、写真プリントに撮影日時以外の付加情報を提供し、写真プリントの機能を高め、なおかつ娯楽性の強いものにすることが望まれる。
今後、ユーザにとって魅力のある写真プリントサービスを行うにあたって、写真プリントに撮影日時以外の付加情報を提供し、写真プリントの機能を高め、なおかつ娯楽性の強いものにすることが望まれる。
本発明の目的は、上記従来技術の問題点を解消し、フィルムに記録された画像から光電的に読み取られたデジタル画像データやデジタルカメラ等で撮影して得られたデジタル画像データに所定の画像処理を施して出力画像データを得、この出力画像データに応じた可視再生画像を写真プリントとして出力したり、モニタなどの表示装置に表示する際に、ユーザの希望にあわせて、撮影日時や撮影位置等に基づいた撮影画像の撮影状況や撮影画像の被写体に関連する付加情報などの、撮影画像に付随した付加情報を写真プリントや表示画像に付加し、ユーザが可視再生画像をみて容易に撮影当時を振り返ることができるとともに、写真プリントや表示画像の機能を高め、またユーザの好みに応じた娯楽性に富んだ写真プリントや表示画像をユーザに提供できる画像再生方法および装置を提供することにある。
上記目的を達成するために、本発明は、被写体を撮影した画像のデジタル画像データを取得し、取得されたデジタル画像データに所定の画像処理を施して出力画像データを得、この出力画像データに基づいて前記撮影画像を可視画像として再生して出力するに際し、
前記撮影画像の撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれか一つである撮影情報を取得し、
前記撮影情報を用いて予めデータベースに蓄積された付加情報の中から検索し選択し、取得された撮影情報に関連する付加情報を得、
得られた付加情報を前記撮影画像に付加して再生するに際し、
前記付加情報が、予めデータベースに格納された付加情報の中から、前記第１〜第４のデータ構成のいずれか一つである撮影情報および地図情報に基づいて、特定される撮影された被写体、あるいは撮影地点、もしくはその両方に関する情報であり、
前記被写体の特定は、前記撮影画像と、前記第１〜第４のデータ構成のいずれか一つである撮影情報および前記地図情報に基づいて作成される３次元画像とのパターンマッチングによってなされることを特徴とする画像再生方法を提供するものである。
前記撮影画像の撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれか一つである撮影情報を取得し、
前記撮影情報を用いて予めデータベースに蓄積された付加情報の中から検索し選択し、取得された撮影情報に関連する付加情報を得、
得られた付加情報を前記撮影画像に付加して再生するに際し、
前記付加情報が、予めデータベースに格納された付加情報の中から、前記第１〜第４のデータ構成のいずれか一つである撮影情報および地図情報に基づいて、特定される撮影された被写体、あるいは撮影地点、もしくはその両方に関する情報であり、
前記被写体の特定は、前記撮影画像と、前記第１〜第４のデータ構成のいずれか一つである撮影情報および前記地図情報に基づいて作成される３次元画像とのパターンマッチングによってなされることを特徴とする画像再生方法を提供するものである。
ここで、前記撮影情報は、第４のデータ構成であることが好ましい。
また、前記可視画像が、写真プリントに出力される時および表示手段に表示される時の少なくとも一方である時、前記付加情報の前記写真プリントおよび表示手段の表示の少なくとも一方への付加は、前記撮影情報と前記地図情報に基づいて作成し、前記撮影画像の前記被写体とパターンマッチングした３次元コンピュータグラフィック画像、あるいは予め撮影されデータベース化した複数の画像の中から、前記撮影位置および前記撮影方位が最も近いデータベース化した画像を選択し、前記撮影画像の構図および被写体の大きさに合わせて修正した前記データベース化した画像を前記撮影画像に合成して前記写真プリントに出力するまたは前記表示手段に表示するまたは両方を行うことによって行われることが好ましい。
また、前記可視画像が、写真プリントに出力される時および表示手段に表示される時の少なくとも一方である時、前記付加情報の前記写真プリントおよび表示手段の表示の少なくとも一方への付加は、前記撮影情報と前記地図情報に基づいて作成し、前記撮影画像の前記被写体とパターンマッチングした３次元コンピュータグラフィック画像、あるいは予め撮影されデータベース化した複数の画像の中から、前記撮影位置および前記撮影方位が最も近いデータベース化した画像を選択し、前記撮影画像の構図および被写体の大きさに合わせて修正した前記データベース化した画像を前記撮影画像に合成して前記写真プリントに出力するまたは前記表示手段に表示するまたは両方を行うことによって行われることが好ましい。
また、前記第１〜第４のデータ構成のいずれか一つである撮影情報が、人工衛星を用いた位置計測装置に基づいて得られた撮影位置の情報を含むのが好ましい。
また、前記付加情報は、前記特定被写体または前記撮影地点もしくはその両方に関する文字データ、文書データ、音声データ、静止画像データあるいは動画像データであることが好ましい。
また、前記デジタル画像データは、前記被写体を撮影した写真フィルムの前記撮影画像を光電的に読み取ることによって得られたデジタル画像データ、あるいは前記被写体を撮影することによって直接得られた前記撮影画像のデジタル画像データであることが好ましい。
また、前記付加情報は、前記特定被写体または前記撮影地点もしくはその両方に関する文字データ、文書データ、音声データ、静止画像データあるいは動画像データであることが好ましい。
また、前記デジタル画像データは、前記被写体を撮影した写真フィルムの前記撮影画像を光電的に読み取ることによって得られたデジタル画像データ、あるいは前記被写体を撮影することによって直接得られた前記撮影画像のデジタル画像データであることが好ましい。
また、前記可視画像の出力は、写真プリントの出力および表示手段への表示の少なくとも一方であり、この表示手段への表示は、モニタへの表示およびプロジェクタによる投影の少なくとも１つであることが好ましい。
前記可視画像が、写真プリントに出力される時および表示手段に表示される時の少なくとも一方である時、前記付加情報は、前記写真プリントの前記可視画像および前記表示手段の表示画像の少なくとも一方に合成される、前記写真プリントの裏側に出力される、前記写真プリントに裏プリントされる、前記表示手段に表示された前記可視画像にリンクして文字、文書、静止画像および動画像の少なくとも１つとして表示される、もしくは前記表示手段に表示された前記可視画像にリンクして音声として出力されることが好ましい。
前記可視画像が、写真プリントに出力される時および表示手段に表示される時の少なくとも一方である時、前記付加情報は、前記写真プリントの前記可視画像および前記表示手段の表示画像の少なくとも一方に合成される、前記写真プリントの裏側に出力される、前記写真プリントに裏プリントされる、前記表示手段に表示された前記可視画像にリンクして文字、文書、静止画像および動画像の少なくとも１つとして表示される、もしくは前記表示手段に表示された前記可視画像にリンクして音声として出力されることが好ましい。
また、上記のいずれかに記載の画像再生方法であって、
前記撮影情報および前記付加情報の少なくとも一方は、磁気記録層を持つ写真フィルムの前記撮影画像が撮影された撮影コマに対応する前記磁気記録層に記録されるか、写真フィルムの撮影コマに対応して光学的に記録されるか、写真フィルムを収納するＩＣメモリ付きフィルムカートリッジの前記ＩＣメモリに撮影コマに対応して記録されるか、前記撮影画像のデジタル画像データを記録する画像記録媒体に撮影コマに対応して記録されるか、写真フィルムの撮影コマまたはデジタル画像データと対応付けてデータ記録媒体に記録されるか、写真フィルムの撮影コマあるいはデジタル画像データと対応付けてデータベースに記録されるか、写真フィルムの撮影コマまたはデジタル画像データと対応付けてネットワーク経由で指定された記録先に記録されるかの少なくとも１つの方法によって記録され、
当該撮影コマの撮影画像を前記可視画像として再生するに際し、当該撮影コマの前記撮影情報または前記付加情報を、前記磁気記録層、前記光学的記録、前記ＩＣメモリ、前記画像記録媒体、前記データ記録媒体、前記データベースおよび前記記録先から読み出し、読み出された前記撮影情報から取得される付加情報または読み出された前記付加情報を当該撮影コマの前記撮影画像に付加して再生することが好ましい。
前記撮影情報および前記付加情報の少なくとも一方は、磁気記録層を持つ写真フィルムの前記撮影画像が撮影された撮影コマに対応する前記磁気記録層に記録されるか、写真フィルムの撮影コマに対応して光学的に記録されるか、写真フィルムを収納するＩＣメモリ付きフィルムカートリッジの前記ＩＣメモリに撮影コマに対応して記録されるか、前記撮影画像のデジタル画像データを記録する画像記録媒体に撮影コマに対応して記録されるか、写真フィルムの撮影コマまたはデジタル画像データと対応付けてデータ記録媒体に記録されるか、写真フィルムの撮影コマあるいはデジタル画像データと対応付けてデータベースに記録されるか、写真フィルムの撮影コマまたはデジタル画像データと対応付けてネットワーク経由で指定された記録先に記録されるかの少なくとも１つの方法によって記録され、
当該撮影コマの撮影画像を前記可視画像として再生するに際し、当該撮影コマの前記撮影情報または前記付加情報を、前記磁気記録層、前記光学的記録、前記ＩＣメモリ、前記画像記録媒体、前記データ記録媒体、前記データベースおよび前記記録先から読み出し、読み出された前記撮影情報から取得される付加情報または読み出された前記付加情報を当該撮影コマの前記撮影画像に付加して再生することが好ましい。
また、本発明は、撮影画像のデジタル画像データを取得する画像入力手段と、
この画像入力手段によって取得されたデジタル画像データに所定の画像処理を施して出力画像データ得る画像処理手段と、
この画像処理手段から出力された前記出力画像データに基づいて前記撮影画像を可視画像として出力する画像出力手段とを有する画像再生装置であって、
前記撮影画像に関連付けて撮影情報を取得する撮影情報取得手段と、
この撮影情報取得手段によって取得された前記撮影情報に関連する付加情報を取得する付加情報取得手段と、
この付加情報取得手段によって取得された付加情報を前記可視画像として再生される前記撮影画像に付加する付加情報出力手段とを有し、
前記撮影情報取得手段は、前記撮影情報として、前記撮影画像に関連づけて、撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれか一つを取得し、
前記付加情報取得手段は、被写体および撮影地点の少なくとも一方に関する前記付加情報を格納するデータベースと、このデータベースの中から前記第１〜第４のデータ構成のいずれか１つの撮影情報および地図情報に基づいて特定される、撮影された被写体および撮影地点の少なくとも一方に関する前記付加情報を選択して取得する付加情報選択手段とを有するものであり、
前記撮影された被写体の特定は、前記撮影画像と前記第１〜第４のデータ構成のいずれか１つである撮影情報および前記地図情報に基づいて作成される３次元画像とのパターンマッチングによって行うことを特徴とする画像再生装置を提供するものである。
この画像入力手段によって取得されたデジタル画像データに所定の画像処理を施して出力画像データ得る画像処理手段と、
この画像処理手段から出力された前記出力画像データに基づいて前記撮影画像を可視画像として出力する画像出力手段とを有する画像再生装置であって、
前記撮影画像に関連付けて撮影情報を取得する撮影情報取得手段と、
この撮影情報取得手段によって取得された前記撮影情報に関連する付加情報を取得する付加情報取得手段と、
この付加情報取得手段によって取得された付加情報を前記可視画像として再生される前記撮影画像に付加する付加情報出力手段とを有し、
前記撮影情報取得手段は、前記撮影情報として、前記撮影画像に関連づけて、撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれか一つを取得し、
前記付加情報取得手段は、被写体および撮影地点の少なくとも一方に関する前記付加情報を格納するデータベースと、このデータベースの中から前記第１〜第４のデータ構成のいずれか１つの撮影情報および地図情報に基づいて特定される、撮影された被写体および撮影地点の少なくとも一方に関する前記付加情報を選択して取得する付加情報選択手段とを有するものであり、
前記撮影された被写体の特定は、前記撮影画像と前記第１〜第４のデータ構成のいずれか１つである撮影情報および前記地図情報に基づいて作成される３次元画像とのパターンマッチングによって行うことを特徴とする画像再生装置を提供するものである。
ここで、前記撮影情報は、第４のデータ構成であることが好ましい。
また、前記撮影情報取得手段は、人工衛星を用いた位置計測装置に基づいて得られた前記撮影位置の情報を含む前記撮影情報を取得することが好ましい。
さらに、前記画像入力手段は、前記被写体が撮影された写真フィルムの前記撮影画像から光電的に前記デジタル画像データを読み取る、あるいは前記被写体を撮影することによって直接前記撮影画像のデジタル画像データを得ることが好ましい。
また、前記画像出力手段は、前記可視画像が再生された写真プリントを出力する画像記録手段および前記可視画像を再生して表示する表示手段の少なくとも一方であり、この表示手段は、前記可視画像を表示するモニタ、および前記可視画像を投影するプロジェクタの少なくとも１つであることが好ましい。
また、前記撮影情報取得手段は、人工衛星を用いた位置計測装置に基づいて得られた前記撮影位置の情報を含む前記撮影情報を取得することが好ましい。
さらに、前記画像入力手段は、前記被写体が撮影された写真フィルムの前記撮影画像から光電的に前記デジタル画像データを読み取る、あるいは前記被写体を撮影することによって直接前記撮影画像のデジタル画像データを得ることが好ましい。
また、前記画像出力手段は、前記可視画像が再生された写真プリントを出力する画像記録手段および前記可視画像を再生して表示する表示手段の少なくとも一方であり、この表示手段は、前記可視画像を表示するモニタ、および前記可視画像を投影するプロジェクタの少なくとも１つであることが好ましい。
さらに、前記画像出力手段は、前記可視画像が再生された写真プリントを出力する画像記録手段および前記可視画像を再生して表示する表示手段の少なくとも一方であり、
前記付加情報出力手段は、前記付加情報をデジタル画像情報に展開し、前記画像処理手段で画像処理されるデジタル画像データと合成する画像合成手段、前記付加情報を前記写真プリントの裏側に出力する出力手段、前記付加情報を前記写真プリントの裏側にプリントする裏プリント手段、または前記表示手段の再生可視画像にリンクして前記付加情報を文字、文書、静止画像および動画像の少なくとも１つとして前記表示手段に表示させるためのリンク手段、または前記表示手段の再生可視画像にリンクして前記付加情報を音声として出力させるための音声出力手段であることが好ましい。
前記付加情報出力手段は、前記付加情報をデジタル画像情報に展開し、前記画像処理手段で画像処理されるデジタル画像データと合成する画像合成手段、前記付加情報を前記写真プリントの裏側に出力する出力手段、前記付加情報を前記写真プリントの裏側にプリントする裏プリント手段、または前記表示手段の再生可視画像にリンクして前記付加情報を文字、文書、静止画像および動画像の少なくとも１つとして前記表示手段に表示させるためのリンク手段、または前記表示手段の再生可視画像にリンクして前記付加情報を音声として出力させるための音声出力手段であることが好ましい。
本発明によれば、写真フィルムに撮影された画像からスキャナ等で読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、所定の画像処理を施した出力画像データに応じた画像を写真プリントや表示画像として出力する際に、撮影画像に付随させて、撮影情報、例えば、第１実施形態では、撮影日時データの少なくとも一部、第２実施形態では、撮影位置を少なくとも含み、必要に応じて撮影方位および撮影倍率等の少なくとも一部を含む撮影情報を取得し、取得された撮影情報から得られ、その少なくとも一部に関連する付加情報を得、得られた付加情報を写真プリントや表示画像に付加することで、ユーザが写真プリントや表示画像を見て、撮影当時を容易にまた直感的に振り返ることができ、メモ的機能を持ち実用性にも優れ、また、ユーザの好みに応じた娯楽性の強い画像を持つ娯楽性の高い写真プリントや表示画像をユーザに提供することができる。
本発明に係る画像再生方法および装置を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
図１に本発明の画像再生方法を実施する本発明の画像再生装置を適用するデジタルフォトプリンタの一実施例のブロック図を示している。
同図に示されるデジタルフォトプリンタ１０は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理や本発明の画像再生方法を実施するための種々のデータ処理やデジタルフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して写真プリントとして出力するプリンタ１６とを有する。
同図に示されるデジタルフォトプリンタ１０は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理や本発明の画像再生方法を実施するための種々のデータ処理やデジタルフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して写真プリントとして出力するプリンタ１６とを有する。
また、画像処理装置１４には、様々な条件の入力や設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示する画像表示装置（モニタ）２０とを含んでいる。
スキャナ１２は、フィルムＦに撮影された画像を光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの撮影画像を読み取るフォトセンサであるＣＣＤセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３７とを有し、さらに、スキャナ１２の本体に装着自在な専用のキャリア３０から構成される。
スキャナ１２は、フィルムＦに撮影された画像を光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの撮影画像を読み取るフォトセンサであるＣＣＤセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３７とを有し、さらに、スキャナ１２の本体に装着自在な専用のキャリア３０から構成される。
キャリア３０は、例えば２４枚取りの１３５サイズのフィルムや新写真システムフィルム（ＡＰＳのカートリッジ）等の、長尺なフィルムに対応する各種専用のキャリアが用意されており、図２（Ａ）に示されるように、所定の読み取り位置にフィルムＦを保持しつつ、ＣＣＤセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致して搬送する、読み取り位置を副走査方向に挟んで配置される搬送ローラ対３０ａおよび３０ｂと、フィルムＦの投影光を所定のスリット状に規制する、読み取り位置に対応して位置する主走査方向に延在するスリット２９ａを有するマスク２９、更に、磁気読取書込装置３１とを有する。
フィルムＦはこのキャリア３０によって保持されて副走査方向に搬送されつつこのフィルムＦには読み取り光が入射される。これにより、フィルムＦが主走査方向に延在するスリット２９ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
フィルムＦはこのキャリア３０によって保持されて副走査方向に搬送されつつこのフィルムＦには読み取り光が入射される。これにより、フィルムＦが主走査方向に延在するスリット２９ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
ＣＣＤセンサ３４は、図２（Ｂ）に示すように、Ｒ画像の読み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み取りを行うラインＣＣＤセンサ３４Ｇ、Ｂ画像の読み取りを行うラインＣＣＤセンサ３４Ｂを有するラインセンサで、ラインセンサは主走査方向に延在している。フィルムＦの投影光は、このＣＣＤセンサによってＲ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
光源２２から射出され、可変絞り２４によって光量調整され拡散ボックス２８を通して均一にされた読み取り光が、キャリア３０によって所定の読み取り位置に保持されつつ搬送されるフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３７でデジタル画像データに変換され、入力画像データとして画像処理装置１４に送られる。
光源２２から射出され、可変絞り２４によって光量調整され拡散ボックス２８を通して均一にされた読み取り光が、キャリア３０によって所定の読み取り位置に保持されつつ搬送されるフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３７でデジタル画像データに変換され、入力画像データとして画像処理装置１４に送られる。
図３に示される新写真システムＡＰＳのフィルムＦの場合においては、周知のように、フィルムＦの裏面（非乳化剤面）側で撮影画像を記録した各コマの画像記録領域Ｇ１、Ｇ２等の上部および下部の領域Ｓ２に磁気記録層が形成され、カートリッジＩＤやフィルム種等や撮影情報、例えば撮影日付や撮影時刻等の撮影日時や、撮影位置や撮影方位や撮影倍率等のデータや、さらにはこれらの撮影情報に基づく付加情報、特に、これらの撮影情報によって特定される撮影画像の被写体自体またはこの撮影画像の撮影状況に関連する付加情報、また、場合によっては以前の写真プリント注文時に付加された付加情報などの撮影情報の少なくとも一部に関連する付加情報が記録されている。
これらの記録された情報は、スキャナ１２でフィルムＦの画像が読み取られる際に、同時に磁気読取書込装置３１にて読み取られる。すなわち、新写真システムＡＰＳのフィルム（カートリッジ）がそれに対応するキャリア３０にセットされ、フィルムＦがキャリア３０によって副走査方向に搬送されてＣＣＤセンサ３４で読み取られる間に、図２（Ａ）に示す磁気読取書込装置３１にて磁気記録された情報が読み取られ、撮影情報を含む各種の情報が画像処理装置１４に送られる。場合によっては、磁気読取書込装置３１によって磁気記録層に撮影情報に基づく付加情報などの必要な情報が記録される。
これらの記録された情報は、スキャナ１２でフィルムＦの画像が読み取られる際に、同時に磁気読取書込装置３１にて読み取られる。すなわち、新写真システムＡＰＳのフィルム（カートリッジ）がそれに対応するキャリア３０にセットされ、フィルムＦがキャリア３０によって副走査方向に搬送されてＣＣＤセンサ３４で読み取られる間に、図２（Ａ）に示す磁気読取書込装置３１にて磁気記録された情報が読み取られ、撮影情報を含む各種の情報が画像処理装置１４に送られる。場合によっては、磁気読取書込装置３１によって磁気記録層に撮影情報に基づく付加情報などの必要な情報が記録される。
また、フィルムカートリッジ３３がＩＣメモリを装着したものである時、装着されたＩＣメモリにカートリッジＩＤやフィルム種、また撮影日時、撮影位置や撮影（カメラ）方位や撮影倍率等の撮影情報のデータが記録されている場合は、その情報を読み取ることができ、また、すでに以前の写真プリント注文時に付加された付加情報が記録されている場合は、その付加情報も読み取る。また、必要な情報が場合に応じてＩＣメモリに記録される。
撮影情報やこれに基づく付加情報の取得方法および記録方法は、ＡＰＳフィルムの磁気記録層やＩＣメモリ付きフィルムカートリッジのＩＣメモリからの読み出しや記録に限定されないのはもちろんである。これら以外の撮影情報や付加情報の取得および記録方法については、それぞれ後述する。
撮影情報やこれに基づく付加情報の取得方法および記録方法は、ＡＰＳフィルムの磁気記録層やＩＣメモリ付きフィルムカートリッジのＩＣメモリからの読み出しや記録に限定されないのはもちろんである。これら以外の撮影情報や付加情報の取得および記録方法については、それぞれ後述する。
なお、デジタルフォトプリンタ１０を構成するスキャナ１２は、上述のスリット走査によるものに限定されず、１コマの画像の全面を一度に読み取る面露光を利用したＣＣＤエリアセンサであってもよい。その場合、図１に示す可変絞り２４と拡散ボックス２８との間にＲ，ＧおよびＢの色フィルタを設け、そこを通過してＲ、ＧおよびＢに色調整された光を、フィルムＦの１コマに入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得てもよい。この場合、色フィルタを順次Ｒ、ＧおよびＢについて３回行う必要がある。
また、スキャナ１２における画像のＣＣＤセンサでの読み取りは、写真プリントを出力するために画像を読み取る本スキャンに先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行ない画像処理条件を決定し、オペレータ（またはユーザ）がモニタ２０で確認し調整した後、高解像度で画像を読み取る本スキャンを行うため、スキャンはプレスキャンと本スキャンの２回行われる。そのため、Ｒ、ＧおよびＢの色フィルタを設け、面露光を利用したＣＣＤエリアセンサを用いた場合、Ｒ、ＧおよびＢの色フィルタを用いて３回スキャンする必要があるため、計６回のスキャンを行うことになる。ラインＣＣＤセンサを用いる場合は、２回で済むことになるので、迅速な処理にとっては有利である。
また、プレスキャンは、フィルムＦのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、本スキャンを行っているが、フィルムＦを一コマごとにプレスキャンと本スキャンを逐次行ってもよい。
また、プレスキャンは、フィルムＦのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、本スキャンを行っているが、フィルムＦを一コマごとにプレスキャンと本スキャンを逐次行ってもよい。
また、本発明では、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、コンピュータ通信等の通信手段（モデムを介するものも含む）、デジタルカメラやデジタルビデオカメラ等の撮像デバイスや内蔵メモリ、ＰＣカードやスマートメディア等のデジタルカメラ用の画像記録媒体、ＦＤ（フロッピーディスク）やＭＯ（光磁気記録媒体）等の汎用の画像記録媒体などの各種の画像データ供給源を利用することができ、これらを直接またはその駆動装置を介して画像処理装置１４に接続することができ、画像処理装置１４は、これらの画像データ供給源からデジタル画像データやその撮影情報や付加情報を受け取ることができる。
特に、図示例のフォトプリンタ１０では、デジタルカメラ等で撮影して得られたデジタル画像データを記録したＰＣＭＣＩＡ（ＰＣカード）、ＡＴＡカード、コンパクトフラッシュカード等のカードメモリやスマートメディア等のデジタルカメラ用画像記録媒体２５や、ＦＤ（フロッピーディスク）、ＣＤ−Ｒ（レコーダブルコンパクトディスク）、ＭＯ（マグネトオプティカルディスク）、ＤＶＤ（ディジタルバーサタイルディスク）やＺｉｐ等の汎用の画像記録媒体２５から画像データやを読み出し取得するためのドライブ装置２６が画像処理装置１４に接続されている。また、（パーソナル）コンピュータやデジタルカメラや他のデジタルフォトプリンタのスキャナや画像処理装置等の種々の画像データ供給源に直接ケーブル（例えば、ＲＳ２３２Ｃ）を介して接続して、あるいは通信ネットワークを介して接続して、デジタル画像データやその撮影情報や付加情報を取得するためのスロット２７等が画像処理装置１４に配置される。
なお、図示例では、入力信号（デジタル画像データ、撮影情報、付加情報）は、スキャナ１２やドライブ装置２６等の種々の画像データ供給源から画像処理装置１４に入力されるが、以下の説明では、主としてスキャナ１２から画像処理装置１４にデジタル画像データが供給される場合を代表例として説明する。
なお、図示例では、入力信号（デジタル画像データ、撮影情報、付加情報）は、スキャナ１２やドライブ装置２６等の種々の画像データ供給源から画像処理装置１４に入力されるが、以下の説明では、主としてスキャナ１２から画像処理装置１４にデジタル画像データが供給される場合を代表例として説明する。
画像処理装置１４は、スキャナ１２で読み取られ、デジタルデータとして、画像処理装置１４に送られてきた画像データに所定の画像処理を施し、プリンタ１６またはモニタ２０に出力するもので、そのブロック図が図４に示される。画像処理装置１４は、データ処理部３８、プレスキャンメモリ４０、本スキャンメモリ４２、プレスキャン画像処理部４４、本スキャン画像処理部４６、条件設定部４８、および付加情報取得部６２から構成される。
データ処理部３８では、スキャナ１２から出力されたＲ，ＧおよびＢのデジタル画像データ（入力画像データ信号）に、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行い、処理済プレスキャン（画像）データはプレスキャンメモリ４０に、処理済本スキャン（画像）データは本スキャンメモリ４２に、それぞれ記憶（格納）される。なお、Ａ／Ｄ変換は、スキャナ１２で行わず、このデータ処理部３８で行うようにしてもよい。
プレスキャンメモリ４０および本スキャンメモリ４２には、データ処理部３８で処理されたデジタル画像データが記憶され、必要に応じて、画像処理を施し出力するために、プレスキャン画像処理部４４、または、本スキャン画像処理部４６に呼び出される。
プレスキャンメモリ４０および本スキャンメモリ４２には、データ処理部３８で処理されたデジタル画像データが記憶され、必要に応じて、画像処理を施し出力するために、プレスキャン画像処理部４４、または、本スキャン画像処理部４６に呼び出される。
プレスキャン画像処理部４４は、画像処理部５０と画像データ変換部５２とからなり、画像処理部５０は、色バランス調整、コントラスト補正、明るさ補正、さらにシャープネス処理や覆い焼処理等の従来技術としての画像処理のほか、撮影レンズの収差特性に基づく歪曲収差や倍率色収差や周辺光量低下や画像ボケなどの収差の補正処理を実施する部分である。
画像データ変換部５２では、画像処理部５０で画像処理の施された画像データを、モニタ２０による表示に対応する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
画像データ変換部５２では、画像処理部５０で画像処理の施された画像データを、モニタ２０による表示に対応する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
本スキャン画像処理部４６は、画像処理部５４および画像データ変換部５８から構成される。
画像処理部５４では、本スキャン画像データについて、プレスキャン画像データにおいて決定された画像処理条件下、色バランス調整、コントラスト補正（階調処理）、明るさ補正が図示しないＬＵＴ（ルックアップテーブル）による処理によって、また、彩度補正が図示しないＭＴＸ演算によって公知の方法で行われ、さらに、オペレータの指示や画像データ等に応じて、シャープネス処理や覆い焼き処理等が行わる他、撮影レンズの特性による歪曲収差や倍率色収差などの補正および写真プリントの出力サイズに応じて画像を拡大縮小する電子変倍処理を行う。
画像データ変換部５８では、画像処理部５４で画像処理の施された画像データを、プリンタ１６にプリント出力する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
画像処理部５４では、本スキャン画像データについて、プレスキャン画像データにおいて決定された画像処理条件下、色バランス調整、コントラスト補正（階調処理）、明るさ補正が図示しないＬＵＴ（ルックアップテーブル）による処理によって、また、彩度補正が図示しないＭＴＸ演算によって公知の方法で行われ、さらに、オペレータの指示や画像データ等に応じて、シャープネス処理や覆い焼き処理等が行わる他、撮影レンズの特性による歪曲収差や倍率色収差などの補正および写真プリントの出力サイズに応じて画像を拡大縮小する電子変倍処理を行う。
画像データ変換部５８では、画像処理部５４で画像処理の施された画像データを、プリンタ１６にプリント出力する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
条件設定部４８は、プレスキャン画像データがプレスキャンメモリ４０から読み出され、画像処理条件を決定するのに用いられる。
具体的には、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、必要に応じて行われるオペレータによる指示に応じて、前述のグレイバランス調整等のテーブル（ＬＵＴ）や彩度補正を行うマトリクス演算の作成等を行い、画像処理条件を決定する。決定された画像処理条件は、さらに、キーボード１８ａおよびマウス１８ｂを有する操作系１８で調整され、画像処理条件が再設定される。
具体的には、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、必要に応じて行われるオペレータによる指示に応じて、前述のグレイバランス調整等のテーブル（ＬＵＴ）や彩度補正を行うマトリクス演算の作成等を行い、画像処理条件を決定する。決定された画像処理条件は、さらに、キーボード１８ａおよびマウス１８ｂを有する操作系１８で調整され、画像処理条件が再設定される。
また、撮影日時データや撮影位置などの撮影情報の少なくとも一部に関連する付加情報を選択する際に、ユーザの希望に応じて項目を指定するために、キーボード１８ａやマウス１８ｂを用いる。
なお、モニタ２０は、プレスキャン画像データの画像処理が適切かどうか、オペレータが確認、検定するものであり、画像データ変換部５２を介して画像処理装置１４と接続される。
なお、モニタ２０は、プレスキャン画像データの画像処理が適切かどうか、オペレータが確認、検定するものであり、画像データ変換部５２を介して画像処理装置１４と接続される。
なお、図４は主に画像処理関連の部位を示すものであり、画像処理装置１４には、これ以外にも、画像処理装置１４を含むデジタルフォトプリンタ１０全体の制御や管理を行うＣＰＵ、デジタルフォトプリンタ１０の作動等に必要な情報を記憶するメモリ、本スキャンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄積時間を決定する手段等が配置される。
付加情報取得部６２は、本発明の特徴とする部分であって、撮影日時や撮影位置や撮影方位や撮影倍率の撮影情報に基づいて付加情報を選択する付加情報選択部６２ａおよび付加情報として引用するデータを蓄えた百科事典等のデータベースや撮影された画像内の被写体の特定のために用いられる地図データベースや著名な山などの撮影画像を蓄えた撮影画像データベースを有するデータベース部６２ｂから構成される。
まず、付加情報取得部６２が、撮影情報として撮影日付や撮影時刻などの撮影日時データを用い、この撮影日時データの少なくとも一部に関連する付加情報を取得する本発明の第１実施形態について説明する。
本実施形態では、付加情報取得部６２の付加情報選択部６２ａは、付加情報として引用されるデータを格納したデータベース部６２ｂの中から撮影日時データの少なくとも一部と関連するデータを引用して付加情報として選択する。
本実施形態では、付加情報取得部６２の付加情報選択部６２ａは、付加情報として引用されるデータを格納したデータベース部６２ｂの中から撮影日時データの少なくとも一部と関連するデータを引用して付加情報として選択する。
図５（Ａ）および図５（Ｂ）は、それぞれ付加情報取得部６２で行う付加情報の取得を中心に、その流れを示している。
新写真システムＡＰＳの場合、図５（Ａ）に示す様に、スキャナ１２のキャリア３０に設けられている磁気読み取り書き込み装置３１でフィルムＦに磁気記録された撮影日時データである撮影日付および撮影時刻の少なくとも一方の情報、またすでに記録されている付加情報が読み込まれ、スキャナ１２から画像データと別の経路で付加情報取得部６２へ送られ、取得される。付加情報取得部６２内の付加情報選択部６２ａで、引用されるデータを格納した百科事典等の大きなデータベース部６２ｂの中から、その撮影日付や撮影時刻の年、月、日および時刻の少なくとも一つを単位としてデータを検索し選択して付加情報を取得する。また、磁気記録されている付加情報を読み取った場合、ユーザの希望に従い、読み取った付加情報をそのまま付加情報として取得し、写真プリントに付加することができる。
新写真システムＡＰＳの場合、図５（Ａ）に示す様に、スキャナ１２のキャリア３０に設けられている磁気読み取り書き込み装置３１でフィルムＦに磁気記録された撮影日時データである撮影日付および撮影時刻の少なくとも一方の情報、またすでに記録されている付加情報が読み込まれ、スキャナ１２から画像データと別の経路で付加情報取得部６２へ送られ、取得される。付加情報取得部６２内の付加情報選択部６２ａで、引用されるデータを格納した百科事典等の大きなデータベース部６２ｂの中から、その撮影日付や撮影時刻の年、月、日および時刻の少なくとも一つを単位としてデータを検索し選択して付加情報を取得する。また、磁気記録されている付加情報を読み取った場合、ユーザの希望に従い、読み取った付加情報をそのまま付加情報として取得し、写真プリントに付加することができる。
また、通常の１３５サイズのフィルムにおいては、図５（Ｂ）に示す様に、現像前に撮影日付や撮影時刻また付加情報をフィルムＦに光学的に焼き付け、フィルム画像にすでに撮影日付や撮影時刻また付加情報を表示している場合がある。その場合、光学的に焼き付けられた文字等は、そのフィルム撮影領域の内、焼き付けられる場所がおよそ決まっており、また、その色濃度も高いため判別が容易にでき、フィルム画像から公知の文字認識技術により文字認識し、撮影日時データである撮影日付や撮影時刻のデータまた光学的に記録されている付加情報を読み出しデータが取得される。さらに、取得した撮影日時データの中の年、月、日および時刻の少なくとも一つを単位としてデータベース部６２ｂからデータを検索し選択して付加情報を取得することができる。また文字認識により付加情報が読み出され取得されている場合は、ユーザの希望に応じて、読み取った付加情報をそのまま、または加工して取得することもできる。
前述したように、デジタル画像データをフロッピーディスク等の画像記録媒体２５からドライブ装置２６を介して、通信ネットワークを介してスロット２７から取得する場合、デジタル画像データのヘッダ部に記録された撮影日時データやすでに記録されている付加情報を読み取り、付加情報部６２へ送る。以下、新写真システムＡＰＳの場合と同様に、データの検索や選択を通じて、付加情報が取得される。
例えば、取得された撮影日付が３月３日の場合は、雛祭に関する文書や画像を、また３月の祭りや花や鳥等を選択する。ユーザが「花」を項目として指定すれば花に関する撮影日付や撮影時刻に関連したデータを、ユーザが「ニュース」を項目として指定すればニュースに関する撮影日付や撮影時刻に関係したデータを、「音楽」や「映画」を項目として指定すれば、撮影日付に流行した音楽の曲名や映画の題名等のデータを付加情報として選択する。
なお、上記「花」、「ニュース」、「音楽」や「映画」等の項目を、ユーザが画像に付随してユーザ指定データとして指定することができるが、その指定は、ネガフィルムの現像と同時にプリント出力をする同時プリントの出力サービス時やプリント出力のみをする再プリントの出力サービス時に、ユーザが注文表で直接指定する方法やプリントの出力サービスを行う者がユーザのデータベースを予め初期登録し、それに基づいて項目を指定する方法で、さらには新写真システムＡＰＳにおいては、新写真システムＡＰＳに対応するカメラ等によって磁気記録層Ｓ２に磁気記録された項目を、キャリア３０に設けられている磁気読み取り書き込み装置３１で読み取り、その項目を指定データとすることでユーザ指定データを取得することができる。
付加情報として取得されるデータは、文章や単語のほか、図形や記号や画像等であってもよい。例えば、数字による撮影時刻のデジタル表示のかわりに、撮影時刻を示す長針や短針を表現したアナログ時計表示の図形であってもよく、また撮影日付の月や日の表示を、一周を一年とした円として、また、一周を一月とした円として、アナログ針の表示をしてもよい。また、撮影日付を、曜日付きのカレンダーで表示し、赤丸等で印をつける表示であってもよい。アナログ表示をすることで、撮影日付や撮影時刻の情報を視覚的に理解でき、撮影時の状況を容易に振り返ることができるからである。
また、付加情報取得部６２において、ユーザ指定データとして指定した項目や付加情報として選択した付加情報は、同一のユーザが行う次回のプリント依頼の出力サービス時に同一の付加情報を選択しないように、付加情報取得部６２のデータベース部６２ｂ内に設けられたユーザ管理データベースに記録しておくことができる。ユーザにとっては、プリントごとに異なる付加情報を得られるので、飽きがなく、出力された仕上がりプリントの娯楽性を維持することができる。
新写真システムＡＰＳにおいては、本スキャン読み取り時にフィルムＦがキャリア３０によって搬送される間に、磁気読み取り書き込み装置３１で、付加情報として選択されたデータを、フィルムＦの磁気記録層Ｓ２へ磁気記録することができ、この記録されたデータを再プリント注文時に読み出し、ユーザの希望に応じて、磁気記録された付加情報と同一の付加情報を提供しないように他のデータを、また、磁気記録された付加情報と同一のデータを、付加情報として選択することができる。
通常の１３５サイズのフィルムにおいては、ネガフィルムを現像する前に、付加情報を光学的に焼き付け、再プリント注文時に同一の付加情報を、もしくはユーザの希望に応じて、そのデータを加工した付加情報を提供でき、付加情報の取得の処理が簡略化できる。
通常の１３５サイズのフィルムにおいては、ネガフィルムを現像する前に、付加情報を光学的に焼き付け、再プリント注文時に同一の付加情報を、もしくはユーザの希望に応じて、そのデータを加工した付加情報を提供でき、付加情報の取得の処理が簡略化できる。
次に、付加情報取得部６２が、撮影情報として撮影位置、撮影方位および撮影倍率などのデータを用い、これらのデータの少なくとも１つに関連する付加情報を取得する本発明の第２実施形態について説明する。
本実施形態でも、付加情報取得部６２の付加情報選択部６２ａは、第１実施形態と同様に、付加情報として引用されるデータを格納したデータベース部６２ｂの中から撮影位置、撮影方位および撮影倍率などの撮影情報の少なくとも一部と関連するデータを引用して付加情報として選択する。
図６は、付加情報取得部６２で行われる付加情報の取得を中心に、撮影位置、撮影方位および撮影倍率のデータなどの撮影情報の取得からプリント出力するまでの流れを示している。
本実施形態でも、付加情報取得部６２の付加情報選択部６２ａは、第１実施形態と同様に、付加情報として引用されるデータを格納したデータベース部６２ｂの中から撮影位置、撮影方位および撮影倍率などの撮影情報の少なくとも一部と関連するデータを引用して付加情報として選択する。
図６は、付加情報取得部６２で行われる付加情報の取得を中心に、撮影位置、撮影方位および撮影倍率のデータなどの撮影情報の取得からプリント出力するまでの流れを示している。
新写真システムＡＰＳの場合、図３に示される新写真システムＡＰＳ対応フィルムＦの領域Ｓ２に磁気記録層が形成されており、撮影情報を記録することができるため、人工衛星を用いたＧＰＳ（Global Positioning System)を利用し、さらに方向探知機用方位指示器を付加した新写真システムＡＰＳ対応カメラで撮影すると、撮影した緯度、経度および高度さらには、水平面および垂直面に関する撮影方位角が記録される他、撮影時の撮影倍率も記録することができる。この記録された情報は、スキャナ１２のキャリア３０に設けられている磁気読取書込装置３１で読み込まれ、スキャナ１２から画像データと別の経路で付加情報取得部６２へ送られ、撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成等のいずれか一つの構成のデータよりなる、撮影画像に関連づけて取得される撮影情報を取得する。
取得した撮影情報である撮影位置、撮影方位、および撮影倍率などからなる第１〜第４のデータ構成のいずれか１つの構成のデータを用いて、データベース部６２ｂ内の地図データベースを参照して、撮影された画像の被写体や撮影地点を特定する。被写体や撮影地点の特定は、以下のように行う。
例えば、撮影された被写体が山である場合、その山が何であるかや、どの地点にあるかを特定するには、得られた撮影位置と方位から地図データベースを用いて特定する。複数の人工衛星からの信号をもとに位置を正確に知ることのできるＧＰＳを利用することで、撮影した位置、すなわち経度、緯度および高度を得ることができる。これらの経度、緯度および高度の位置に関する測位精度は１００ｍ以内であり実用上問題はなく、方位角についても方向探知機用方位指示器を用いることで方位を精度よく測定できるので、撮影倍率データに依存して定まる地図上の所定の画角内に収まる対象物と撮影された被写体を照合することで、撮影被写体や撮影地点を地図データベース上の対象物として特定することができる。なお、撮影地点には、画面内に写っている、撮影画像内の被写体の位置、すなわち撮影された地点（位置）のみならず、撮影者またはカメラの位置などの撮影する位置、すなわち撮影位置を含めてもよい。こうすることにより、撮影画像の内の被写体だけでなく、撮影位置そのものに関する情報も付加情報として撮影画像に付加することができるからである。
例えば、撮影された被写体が山である場合、その山が何であるかや、どの地点にあるかを特定するには、得られた撮影位置と方位から地図データベースを用いて特定する。複数の人工衛星からの信号をもとに位置を正確に知ることのできるＧＰＳを利用することで、撮影した位置、すなわち経度、緯度および高度を得ることができる。これらの経度、緯度および高度の位置に関する測位精度は１００ｍ以内であり実用上問題はなく、方位角についても方向探知機用方位指示器を用いることで方位を精度よく測定できるので、撮影倍率データに依存して定まる地図上の所定の画角内に収まる対象物と撮影された被写体を照合することで、撮影被写体や撮影地点を地図データベース上の対象物として特定することができる。なお、撮影地点には、画面内に写っている、撮影画像内の被写体の位置、すなわち撮影された地点（位置）のみならず、撮影者またはカメラの位置などの撮影する位置、すなわち撮影位置を含めてもよい。こうすることにより、撮影画像の内の被写体だけでなく、撮影位置そのものに関する情報も付加情報として撮影画像に付加することができるからである。
さらに、一層精度が要求される場合や撮影位置や撮影方位さらに撮影倍率の精度がなんらかの理由で不十分な場合においても、地図データベースを利用して、撮影位置や撮影方位や撮影倍率を精度良く知ることができ、被写体や撮影地点を詳細に特定できる。つまり、撮影情報をもとに地図データベースによる３次元コンピュータグラフィック画像を公知のコンピュータグラフィック（以下、ＣＧと称する）作成手法により作成し、この作成されたＣＧ画像と実際の撮影された画像とのパターンマッチング、例えば、得られた撮影位置や撮影方位や撮影倍率データをもとに地図データベースから作成したＣＧ画像の山の稜線と撮影画像上の山の稜線との間で、２次元的にＣＧ画像の画素をずらしながらパターンマッチングを行い、もっともマッチするような位置および方位さらに撮影倍率を算出することで、撮影位置や撮影方位や撮影倍率を高い精度で知ることができ、その結果被写体の山やその山のある地点を特定できるのである。なお、撮影画像上の山の稜線は、画素の色濃度の違いからエッジを抽出して行う。
このようにして撮影位置や撮影方位や撮影倍率を精度良く知ることで、地図データベースから撮影された山の位置（地点）や撮影された山の一つ一つの山名等を詳細に特定できるのである。
被写体および撮影地点の少なくとも一方が特定されるとデータベース部６２ｂ内の百科事典等のデータベースからユーザの注文に応じて、付加情報として引用すべきデータを検索し選択する。例えば、付加情報として、山名のみ、あるいは山名、標高および歴史についての文字データや文書データや音声データなどを付加情報として取得する。また、データベース部６２ｂ内の著名な山などの撮影画像を蓄えた撮影画像データベースから静止画データや動画データを付加情報として取得し、最適な撮影画像（静止画または動画）を選択する。こうして得られた文字データや文書データや静止画データなどの付加情報を、撮影された画像に合成してまたは付加して写真プリントと出力しても良いし、文字データや文書データや音声データや静止画データや動画データなどの付加情報を、表示手段であるモニタ２０の表示された撮影画像に合成して、もしくは付加して出力するようにしても良い。また、撮影地点に関する情報として、各被写体間の距離または撮影位置と各被写体間の距離等を付加してもよい。
被写体および撮影地点の少なくとも一方が特定されるとデータベース部６２ｂ内の百科事典等のデータベースからユーザの注文に応じて、付加情報として引用すべきデータを検索し選択する。例えば、付加情報として、山名のみ、あるいは山名、標高および歴史についての文字データや文書データや音声データなどを付加情報として取得する。また、データベース部６２ｂ内の著名な山などの撮影画像を蓄えた撮影画像データベースから静止画データや動画データを付加情報として取得し、最適な撮影画像（静止画または動画）を選択する。こうして得られた文字データや文書データや静止画データなどの付加情報を、撮影された画像に合成してまたは付加して写真プリントと出力しても良いし、文字データや文書データや音声データや静止画データや動画データなどの付加情報を、表示手段であるモニタ２０の表示された撮影画像に合成して、もしくは付加して出力するようにしても良い。また、撮影地点に関する情報として、各被写体間の距離または撮影位置と各被写体間の距離等を付加してもよい。
プリント出力された写真プリントが、図７（Ａ）および図７（Ｂ）に例示されている。
図７（Ａ）に示す写真プリントは、被写体情報、被写体名である山名および撮影場所に関する情報である撮影位置の名称等を文字データとして撮影画像に合成し、また、該当する山の標高や歴史を百科事典等のデータベースから引用し、文書データを写真プリント裏面に裏印字している。
図７（Ａ）に示す写真プリントは、被写体情報、被写体名である山名および撮影場所に関する情報である撮影位置の名称等を文字データとして撮影画像に合成し、また、該当する山の標高や歴史を百科事典等のデータベースから引用し、文書データを写真プリント裏面に裏印字している。
図７（Ｂ）に示す写真プリントは、背景である山の被写体が雲により見えない場合である。この場合、データベース部６２ｂ内の撮影画像データベースに予め撮影された著名な被写体の画像をデータベース化して蓄えているが、そのデータベース化した複数の画像の中から最も撮影情報が近い被写体が写っているデータベース化した画像を選択し、撮影情報を基にして撮影フィルムの画像の構図および被写体の大きさに合わせて修正し、撮影フィルムの画像に合成する。撮影画像データベース内では、著名な山の画像を撮影位置や撮影方位別に、また季節別にデータベース化しているので、取得した撮影位置、撮影方位や撮影倍率さらには撮影日時等の撮影情報と最も近いデータベース化した画像を選び出すことができるのである。撮影位置、撮影方位や撮影倍率等のデータの精度が低い場合は、上述したように、精度の低い撮影位置や撮影方向や撮影倍率データを基準として地図データベースによる３次元ＣＧ画像を公知のＣＧ作成手法により作成し、作成されたＣＧ画像と実際の撮影された画像とのパターンマッチングを行い撮影位置や撮影方位や撮影倍率を高い精度で知ることができる。
図７（Ｂ）に示される写真プリントは雲に隠れて被写体が見えない画像にデータベース化した画像の被写体を合成する場合であるが、そのほかに、撮影画像の被写体がピンボケで不鮮明な場合においてもデータベース化した画像の被写体を撮影画像に合成する場合においても有効である。
また、撮影画像の被写体に関連する図形や撮影画像とパターンマッチングした３次元ＣＧ画像、たとえば等高線ＣＧ画像を撮影画像に合成してもよく、被写体に応じてスケール表示、例えば被写体が山の場合、写真プリント上１ｃｍ当たり高さ５０ｍを意味するスケールの表示等を撮影画像に合成してもよく、また撮影地点がもっとも近いデータベース化した画像を、また撮影地点とは別の角度から撮影したデータベース化した画像やＣＧ画像、例えば見どころの角度のシーンや、別の季節のシーン、見どころの季節のシーンや裏側からのシーンや鳥瞰的シーン等の画像を付加してもよい。
また、写真プリントに付加する付加情報は、撮影された被写体に関する付加情報の他、撮影地点、場所に関する付加情報であってもよく、撮影地点と各被写体との距離や標高差などの測量的データ、撮影された各被写体間の距離等を付加情報として付加してもよい。
写真プリントへの付加は、撮影画像の写真プリントの裏面にも感光層を設けて付加情報を露光・焼付けして裏プリントしてもよい。さらに、多量な文書データを付加情報として付加する場合であって、同一の被写体が複数のコマに撮影されている場合、撮影コマ順に複数の写真プリントに裏印字してもよい。このように付加することで、写真プリントの娯楽性が一層向上する。
写真プリントへの付加は、撮影画像の写真プリントの裏面にも感光層を設けて付加情報を露光・焼付けして裏プリントしてもよい。さらに、多量な文書データを付加情報として付加する場合であって、同一の被写体が複数のコマに撮影されている場合、撮影コマ順に複数の写真プリントに裏印字してもよい。このように付加することで、写真プリントの娯楽性が一層向上する。
なお、新写真システムＡＰＳの場合、プリント出力するために特定された被写体に関する付加情報等を、図３に示すフィルム上の領域Ｓ２に設けられた磁気記録層にキャリア３０の磁気読み取り記録装置３１を用いて記録し、次回のプリント出力サービスを受ける際、被写体の特定や付加情報とする引用データの検索を簡略化することができる。
なお、撮影位置に関する情報は、ＧＰＳ以外の方法を利用して得られる撮影位置情報であっても良く、例えば、方位は可変で位置のみ固定されている観光地等の展望台に設置されている双眼鏡のようなカメラを利用することで、少なくとも撮影位置は正確に判っているので、被写体を容易に特定することができるのである。
なお、撮影位置に関する情報は、ＧＰＳ以外の方法を利用して得られる撮影位置情報であっても良く、例えば、方位は可変で位置のみ固定されている観光地等の展望台に設置されている双眼鏡のようなカメラを利用することで、少なくとも撮影位置は正確に判っているので、被写体を容易に特定することができるのである。
さらに、本出願人の出願に係る特願平９−２４５７４８号公報において、デジタルデータ記録カメラで記録されたデジタルビットパターンの技術を開示しているが、付加情報取得部６２は、付加情報選択部６２ａで取得された付加情報を、スキャナ１２に逆送して、図８に示す様にフィルムＦの未撮影かつ未現像のコマの部分を光学的に焼き付けることもできる。これによって、デジタルビットパターン化したデジタルデータ記録コマを設けることができ、フィルムの現像サービスと同時プリントのサービスを受けている場合、その部分に撮影日付や撮影時刻に基づくデータを付加情報としてデジタルデータ部Ｄ３に書き込むことが可能となっているし、予め撮影被写体等の情報が判っている時は、そこに撮影位置や方位に基づく付加情報を書き込んでもよい。フィルムへの書き込み時、デジタルデータのコマであることを判定をさせるため、識別データＤ１を設けている。
なお、上述した例では、撮影画像が可視画像として再生された写真プリントにおいて、撮影画像と関連する付加情報を、写真プリントの表側の撮影画像の再生画像に合成し、または写真プリントの裏側に裏印字し、もしくは写真プリントの裏側に裏プリントしているが、本発明は、このように付加情報を写真プリントに付加する場合に限定されず、例えば、撮影画像の再生可視画像を表示する表示手段において、表示再生可視画像（ソフトコピー画像）に付加情報を付加するものであってもよい。
例えば、表示手段としては、モニタ２０のような表示モニタや、プロジェクタや、フォトプレーヤなどを挙げることができ、これらの表示手段に撮影画像およびその付加情報を両方同時にまたは一方づつ切り換えて再生処理を行って表示することができる。
例えば、表示手段としては、モニタ２０のような表示モニタや、プロジェクタや、フォトプレーヤなどを挙げることができ、これらの表示手段に撮影画像およびその付加情報を両方同時にまたは一方づつ切り換えて再生処理を行って表示することができる。
例えば、モニタ２０は、撮影画像を再生した可視画像を表示するとともに、本発明の画像再生方法に従って表示された再生可視画像（表示画像）内に付加情報を合成して表示する、あるいは表示画像にリンクして付加情報を表示する表示手段（ディスプレイ）としても利用できる。表示画像と付加情報のリンクおよび付加情報の表示は、特に制限的ではなく、モニタ２０のスクリーン（画面）の所定部分、例えば、メニューバーや、表示画像上の特定部分、例えば被写体をマウス１８ｂ等によってクリックすることによって、表示画像に付加されるべき付加情報、例えば、表示再生可視画像や撮影画像の撮影状況や撮影画像の被写体自体に関する解説情報などを、モニタ２０のスクリーンの表示画像の一部あるいはスクリーンの一部または全部に表示するものであってもよいし、スピーカ等の音声出力手段２１によって音声で出力するものであってもよい。
もちろん、本発明においては、モニタ２０とは別にディスプレイおよび音声出力手段等を有するパーソナルコンピュータを画像処理装置１４に接続し、本発明の画像再生方法によって付加情報が合成された合成画像や、表示画像とリンクした付加情報を表示または音声出力するようにしてもよい。
もちろん、本発明においては、モニタ２０とは別にディスプレイおよび音声出力手段等を有するパーソナルコンピュータを画像処理装置１４に接続し、本発明の画像再生方法によって付加情報が合成された合成画像や、表示画像とリンクした付加情報を表示または音声出力するようにしてもよい。
画像表示装置（モニタ）に再生することを目的としたフォトプレーヤを用いる場合、コマの種類の判定の結果によって、通常の撮影された画像は、所定の画像処理が施されフォトプレーヤの画像表示装置に出力される一方、デジタルビットパターン（デジタルデータ記録コマ）の場合は、データに応じて、データ（付加情報など）が解読され付加情報として出力される。この場合、付加情報は、文章や単語、図形や記号のほか、動画や音声も付加情報として扱うことができ、動画は画像表示装置に、音声はスピーカ等の音声出力手段から出力される。
また、付加情報が付加されたデジタル画像データは、プリンタ１６において画像再生されて写真プリントとして出力されるのみならず、ドライブ装置２６によってフロッピーディスクやＭＯやＺｉｐ等の画像記録媒体２５にも記録することができる。この場合、デジタル画像の再生の際、フォトプレーヤやパーソナルコンピュータは画像記録媒体から付加情報が付加された画像を呼び出し、その画像再生装置に表示する事ができ、また画像再生装置上で特定される被写体をマウス等で指定することで、撮影状況や被写体に関する解説情報などの付加情報を呼び出し、画像表示装置上に表示することができる。
また、付加情報が付加されたデジタル画像データは、プリンタ１６において画像再生されて写真プリントとして出力されるのみならず、ドライブ装置２６によってフロッピーディスクやＭＯやＺｉｐ等の画像記録媒体２５にも記録することができる。この場合、デジタル画像の再生の際、フォトプレーヤやパーソナルコンピュータは画像記録媒体から付加情報が付加された画像を呼び出し、その画像再生装置に表示する事ができ、また画像再生装置上で特定される被写体をマウス等で指定することで、撮影状況や被写体に関する解説情報などの付加情報を呼び出し、画像表示装置上に表示することができる。
なお、プリンタ１６は、印画紙などの反射型モノクロまたはカラー感光材料に反射ポジ画像（ハードコピー画像）として出力するものであるが、本発明はこれに限定されず、リバーサルフィルムやオーバーヘッドプロジェクタ用フィルムのような透過型モノクロまたはカラー感光材料に透過ポジ画像（ソフトコピー画像）として出力するものであってもよい。このような場合にも、付加情報が合成された透過ポジ画像を出力し、得られた透過ポジ画像をプロジェクタによって投影してスクリーンに再生可視画像を表示するものであってもよい。なお、この時、プロジェクタでの撮影画像の再生処理に合わせて、付加情報を音声出力してもよい。
本発明において用いられるプロジェクタとしては、フィルムを投影する通常のプロジェクタの他、このフィルムを投影するプロジェクタの構造において、フィルムに相当する位置に液晶表示装置を置き、この液晶表示装置に画像を表示させて、その透過光をスクリーンに投影する構成のプロジェクタを含んでいてもよい。
本発明において用いられるプロジェクタとしては、フィルムを投影する通常のプロジェクタの他、このフィルムを投影するプロジェクタの構造において、フィルムに相当する位置に液晶表示装置を置き、この液晶表示装置に画像を表示させて、その透過光をスクリーンに投影する構成のプロジェクタを含んでいてもよい。
上述した例では、撮影情報や付加情報は、ＡＰＳフィルムの撮影コマに対応する磁気記録層への磁気記録、写真フィルムへの撮影コマに対応した光学的記録、ＩＣメモリ付きフィルムカートリッジのＩＣメモリへの撮影コマに対応した記録およびデジタルカメラ用画像記録媒体や汎用画像記録媒体への撮影コマのデジタル画像データに対応した記録（ヘッダ記録）のいずれか少なくとも１つを利用して、取得され、かつ記録されているが、本発明は、このように撮影画像または撮影画像データと、撮影情報または付加情報とが物理的に一体に記録されているものに限定されず、両者が物理的に別々に分離して記録されているものであってもよい。
ここで、撮影画像または撮影画像データが記録される撮影画像データ記録部と撮影情報または付加情報が記録される情報記録部とが物理的に分離されている場合には、撮影コマ識別情報と撮影情報または付加情報とをセットにすることにより、従来公知のデータ記録媒体、例えば、ＦＤ，ＣＤ−Ｒ，ＭＯ，ＤＶＤ等の記録媒体に記録したり、データベースとして、例えば、付加情報取得部６２のデータベース部６２ｂにラボ管理用として記録したり、通信ネットワーク経由で指定された記録先に記録することができる。
このような分離記録の場合に用いられる撮影コマ識別情報としては、例えば、ＡＰＳフィルムや１３５フィルム等の写真フィルムに撮影画像が記録されている場合、フィルムまたはカートリッジＩＤなどの識別情報と撮影コマ番号情報を用いることができ、デジタルカメラのように撮影画像のデジタル画像データが記録されている場合には、画像ファイル名を用いることができる。
このような分離記録の場合に用いられる撮影コマ識別情報としては、例えば、ＡＰＳフィルムや１３５フィルム等の写真フィルムに撮影画像が記録されている場合、フィルムまたはカートリッジＩＤなどの識別情報と撮影コマ番号情報を用いることができ、デジタルカメラのように撮影画像のデジタル画像データが記録されている場合には、画像ファイル名を用いることができる。
本発明の写真プリント装置の一実施例のデジタルフォトプリンタ１０の画像処理装置１４は、基本的に以上のように構成されるが、以下に、その作用および本発明の画像再生方法について説明する。
スキャナ１２でプレスキャンされ読み取られたプレスキャン画像データは、デジタル入力画像データとして処理部３８でＬｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等の各処理が施された後、プレスキャンメモリ４０に記憶される。また、条件設定部４８からプレスキャンメモリ４０に記憶されたプレスキャン画像データは呼び出され、画像特徴量の算出等を行い画像処理条件が自動的に決定され、またオペレータの指示により調整された後、定まった画像処理条件の下、プレスキャン画像処理部４４の画像処理部５０で色バランス調整、色濃度補正や明るさ補正およびコントラスト補正や彩度補正、さらには、撮影レンズに起因する倍率色収差や歪曲収差などの収差の補正が行われ、またオペレータの指定により、シャープネス処理や覆い焼処理（濃度ダイナミックレンジの圧縮／伸長）が行われた後、画像データ変換部５２に送られ、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、モニタ２０の表示に対応する画像データに加工された後、モニタ２０に表示される。
スキャナ１２でプレスキャンされ読み取られたプレスキャン画像データは、デジタル入力画像データとして処理部３８でＬｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等の各処理が施された後、プレスキャンメモリ４０に記憶される。また、条件設定部４８からプレスキャンメモリ４０に記憶されたプレスキャン画像データは呼び出され、画像特徴量の算出等を行い画像処理条件が自動的に決定され、またオペレータの指示により調整された後、定まった画像処理条件の下、プレスキャン画像処理部４４の画像処理部５０で色バランス調整、色濃度補正や明るさ補正およびコントラスト補正や彩度補正、さらには、撮影レンズに起因する倍率色収差や歪曲収差などの収差の補正が行われ、またオペレータの指定により、シャープネス処理や覆い焼処理（濃度ダイナミックレンジの圧縮／伸長）が行われた後、画像データ変換部５２に送られ、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、モニタ２０の表示に対応する画像データに加工された後、モニタ２０に表示される。
なお、デジタルカメラ等で撮影されたデジタル画像の場合、フロッピーディスクやＭＯやＺｉｐ等の画像記録媒体からディスクドライブを介して画像データを得、また通信ネットワークから画像データを得ることができ、その場合、プレスキャンメモリ４０および本スキャンメモリ４２に画像データが記憶され、以降の画像処理はスキャナ１２で読み取られた画像データと同様の処理が行われる。
このように、プレスキャン画像データの補正等の画像処理が行われる一方、付加情報取得部６２では、付加情報の取得が同時に行われる。
新写真システムＡＰＳの場合、スキャナ１２のキャリア３０に設けられている磁気読取書込装置３１で読み込まれたフィルム磁気記録層Ｓ２に記録された情報である撮影日付および撮影時刻の少なくとも一方を含む撮影日時、撮影位置、撮影方位および撮影倍率等の撮影情報は、スキャナ１２から画像データと別の経路で付加情報取得部６２へ送られる。
新写真システムＡＰＳの場合、スキャナ１２のキャリア３０に設けられている磁気読取書込装置３１で読み込まれたフィルム磁気記録層Ｓ２に記録された情報である撮影日付および撮影時刻の少なくとも一方を含む撮影日時、撮影位置、撮影方位および撮影倍率等の撮影情報は、スキャナ１２から画像データと別の経路で付加情報取得部６２へ送られる。
本発明の第１実施形態では、付加情報選択部６２ａでは、その撮影日付および撮影時刻の少なくとも一部の情報と関連するデータを、百科事典等の大きなデータベース部６２ｂの中から付加情報として選択する。
また、新写真システムＡＰＳ以外の通常の１３５サイズのフィルムにおいては、撮影日付や撮影時刻をフィルムＦに光学的に焼き付けている場合、光学的に焼き付けられる文字は、その撮影コマの内、場所がおよそ決まっており、また、その色濃度も高いため、判別が容易にでき、フィルム画像から公知の文字認識技術により年、月、日および時刻について文字認識して読み出し、読み出された年、月、日および時刻の少なくとも一つを単位として、百科事典等の大きなデータベース部６２ｂからデータを検索し選択して付加情報を取得する。
また、新写真システムＡＰＳ以外の通常の１３５サイズのフィルムにおいては、撮影日付や撮影時刻をフィルムＦに光学的に焼き付けている場合、光学的に焼き付けられる文字は、その撮影コマの内、場所がおよそ決まっており、また、その色濃度も高いため、判別が容易にでき、フィルム画像から公知の文字認識技術により年、月、日および時刻について文字認識して読み出し、読み出された年、月、日および時刻の少なくとも一つを単位として、百科事典等の大きなデータベース部６２ｂからデータを検索し選択して付加情報を取得する。
再プリントサービス時に、磁気記録層Ｓ２から以前のサービスで磁気記録した付加情報を取得した場合、ユーザの希望に応じてそのまま付加情報とし、あるいはデータベース部６２ｂから他のデータを検索し、付加情報として選択する。また、光学的に付加情報がフィルムに焼き付けられている場合、ユーザの希望に応じて、読み取った付加情報をそのまま、あるいは、付加情報を加工した付加情報を取得する。
ユーザ指定データの項目の指定は、プリントの出力サービス時にユーザが直接指定した項目をオペレータがキーボード１８ａやマウス１８ｂを用いて指定することで、また、予め初期登録したユーザのデータベースを参照することで、さらには新写真システムＡＰＳにおいては、新写真システムＡＰＳに対応するカメラ等によってフィルムＦ上に形成されている磁気記録層Ｓ２に記録したユーザ指定データを、磁気読み取り書き込み装置３１で読み取ることで行う。
ユーザ指定データの項目の指定は、プリントの出力サービス時にユーザが直接指定した項目をオペレータがキーボード１８ａやマウス１８ｂを用いて指定することで、また、予め初期登録したユーザのデータベースを参照することで、さらには新写真システムＡＰＳにおいては、新写真システムＡＰＳに対応するカメラ等によってフィルムＦ上に形成されている磁気記録層Ｓ２に記録したユーザ指定データを、磁気読み取り書き込み装置３１で読み取ることで行う。
一方、本発明の第２実施形態においては、付加情報選択部６２ａでは、取得した撮影位置、撮影方位および撮影倍率の撮影情報に基づいてデータベース部６２ｂにある地図データベースを参照し、必要に応じて、地図データベースを参照して作られた３次元ＣＧ画像と撮影画像とのパターンマッチングを行ない、撮影画像内の被写体の特定を行う。さらに、特定した被写体に関する文字データや文書データさらには画像データをデータベース部６２ｂから検索、選択する。文字データや文書データは、百科事典等のデータベースから、画像データは予め撮影された著名な山などの撮影画像データベースの中から、検索し選択する。
再プリントサービス時に、磁気記録層から以前のプリントサービスの際に磁気記録した付加情報に関する内容を取得した場合、読み取った付加情報の内容にしたがって付加情報を付加することができ、付加情報の検索や選択の処理が簡略化できる。
選択された付加情報の写真プリントへの付加方法については、キーボード１８ａおよびマウス１８ｂを有する操作系１８を用いて、オペレータが指定する。例えば、撮影被写体が山である場合、特定された山について山名のみを写真プリントに付加するのか、プリント裏面にのみ山名、標高および歴史を裏印字するのか等を指定する。
なお、本発明においては、第１および第２実施形態に分けて説明しているが、本発明は、これらを別々に実施するものに限定されず、両者を一緒に実施してよいことはもちろんである。
選択された付加情報の写真プリントへの付加方法については、キーボード１８ａおよびマウス１８ｂを有する操作系１８を用いて、オペレータが指定する。例えば、撮影被写体が山である場合、特定された山について山名のみを写真プリントに付加するのか、プリント裏面にのみ山名、標高および歴史を裏印字するのか等を指定する。
なお、本発明においては、第１および第２実施形態に分けて説明しているが、本発明は、これらを別々に実施するものに限定されず、両者を一緒に実施してよいことはもちろんである。
プレスキャン画像についてモニタ２０ですべて確認し、検定し、さらに付加する付加情報を取得し、写真プリントへの付加方法について指示した後、設定された画像処理条件の下に、本スキャンされ、画像が読み取られる。データ処理部３８でプレスキャン画像データと同様の処理が施され、本スキャン画像データとして本スキャンメモリ４２に記憶される。
画像処理部５４では、記憶された本スキャン画像データが本スキャンメモリ４２から読み出され、決定された画像処理条件の下で、色バランス調整、明るさ補正およびコントラスト補正や彩度補正、さらには、撮影レンズに起因する倍率色収差や歪曲収差などの収差の補正や写真プリントの出力サイズに応じて画像を電子変倍処理が行われ、またオペレータの指定により、シャープネス処理や覆い焼処理（濃度ダイナミックレンジの圧縮／伸長）が行われる。
画像処理部５４では、記憶された本スキャン画像データが本スキャンメモリ４２から読み出され、決定された画像処理条件の下で、色バランス調整、明るさ補正およびコントラスト補正や彩度補正、さらには、撮影レンズに起因する倍率色収差や歪曲収差などの収差の補正や写真プリントの出力サイズに応じて画像を電子変倍処理が行われ、またオペレータの指定により、シャープネス処理や覆い焼処理（濃度ダイナミックレンジの圧縮／伸長）が行われる。
なお、付加情報取得部６２で取得された付加情報が撮影された画像とともに合成される場合、文字データや文書データや画像データが呼び出され、必要に応じて文字データや文書データは、ビットマップ展開され、本スキャンの画像処理部５４に供給され、所定の方法で画像合成が行われる。
各種の画像処理が画像処理部５４で施された後、画像データ変換部５８に送られ、画像変換された後、プリンタ１６への出力に対応する画像データに加工された後、プリンタ１６へ出力される。また、付加情報取得部６２で文字データや文書データの裏印字（バックプリント）を選択した場合は、付加情報としての文字データや文書データがそのままプリンタ１６へ送られる。
各種の画像処理が画像処理部５４で施された後、画像データ変換部５８に送られ、画像変換された後、プリンタ１６への出力に対応する画像データに加工された後、プリンタ１６へ出力される。また、付加情報取得部６２で文字データや文書データの裏印字（バックプリント）を選択した場合は、付加情報としての文字データや文書データがそのままプリンタ１６へ送られる。
プリンタ１６は、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録する記録装置（焼付装置）と、露光材の感光材料に所定の処理を施して写真プリントとして出力するプロセサ（現像装置）とから構成される。
記録装置では、感光材料を写真プリントに応じた所定長に切断した後に、画像処理装置１４の条件設定部４８から送られてきた、付加情報取得部６２で取得された文字データや文書データ、さらに、特定された被写体に関する文書データや文書データをドットインパクトプリンタやインクリボンプリンタ等のバックプリント手段によって裏印字（バックプリント）する。また、場合によっては裏プリントする。ついで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光、Ｂ露光用の３種のビームを画像処理装置１４から出力された画像データに応じて変調して主走査方向に偏向するとともに、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。付加情報取得部６２で付加情報を画像に合成することを選択した場合、すでに画像処理部５４で合成されているため、付加情報を合成しない画像の場合と同様に潜像を記録する。感光材料を受け取ったプロセサは、発色現象、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥して写真プリントとしてフィルム１本分等の所定単位に仕分けして集積する。
本発明の画像再生方法および装置は、基本的に以上のように構成される。
記録装置では、感光材料を写真プリントに応じた所定長に切断した後に、画像処理装置１４の条件設定部４８から送られてきた、付加情報取得部６２で取得された文字データや文書データ、さらに、特定された被写体に関する文書データや文書データをドットインパクトプリンタやインクリボンプリンタ等のバックプリント手段によって裏印字（バックプリント）する。また、場合によっては裏プリントする。ついで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光、Ｂ露光用の３種のビームを画像処理装置１４から出力された画像データに応じて変調して主走査方向に偏向するとともに、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。付加情報取得部６２で付加情報を画像に合成することを選択した場合、すでに画像処理部５４で合成されているため、付加情報を合成しない画像の場合と同様に潜像を記録する。感光材料を受け取ったプロセサは、発色現象、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥して写真プリントとしてフィルム１本分等の所定単位に仕分けして集積する。
本発明の画像再生方法および装置は、基本的に以上のように構成される。
以上、本発明の画像再生方法および装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４ 画像処理装置
１６ プリンタ
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２１ 音声出力手段
２２ 光源
２４ 可変絞り
２５ 画像記録媒体
２６ ドライブ装置
２７ スロット
２８ 拡散ボックス
２９ マスク
３０ キャリア
３１ 磁気読取書込装置
３２ 結像レンズユニット
３３ フィルムカートリッジ
３４ ＣＣＤセンサ
３６ アンプ
３７ Ａ／Ｄ（アナログ／デジタル）変換器
３８ データ処理部
４０ プレスキャン（フレーム）メモリ
４２ 本スキャン（フレーム）メモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
４８ 条件設定部
５０，５４ （画像）処理部
５２，５８ 画像データ変換部
６２ 付加情報取得部
６２ａ 付加情報選択部
６２ｂ データベース部
１２ スキャナ
１４ 画像処理装置
１６ プリンタ
１８ 操作系
１８ａ キーボード
１８ｂ マウス
２０ モニタ
２１ 音声出力手段
２２ 光源
２４ 可変絞り
２５ 画像記録媒体
２６ ドライブ装置
２７ スロット
２８ 拡散ボックス
２９ マスク
３０ キャリア
３１ 磁気読取書込装置
３２ 結像レンズユニット
３３ フィルムカートリッジ
３４ ＣＣＤセンサ
３６ アンプ
３７ Ａ／Ｄ（アナログ／デジタル）変換器
３８ データ処理部
４０ プレスキャン（フレーム）メモリ
４２ 本スキャン（フレーム）メモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
４８ 条件設定部
５０，５４ （画像）処理部
５２，５８ 画像データ変換部
６２ 付加情報取得部
６２ａ 付加情報選択部
６２ｂ データベース部
Claims (12)
- 撮影画像のデジタル画像データを取得する画像入力手段と、
この画像入力手段によって取得されたデジタル画像データに所定の画像処理を施して出力画像データ得る画像処理手段と、
この画像処理手段から出力された前記出力画像データに基づいて前記撮影画像を可視画像として出力する画像出力手段とを有する画像再生装置であって、
少なくとも前記撮影画像の撮影位置を撮影情報として取得する撮影情報取得手段と、
前記撮影情報および地図情報に基づいて作成される３次元画像と、前記撮影画像とのパターンマッチングによって、前記撮影された被写体を特定する被写体特定手段と、
前記特定された被写体に関連する付加情報を取得する付加情報取得手段と、
この付加情報取得手段によって取得された付加情報を前記可視画像として再生される前記撮影画像に付加する付加情報出力手段とを有することを特徴とする画像再生装置。 - 前記付加情報取得手段は、被写体に関する前記付加情報を格納するデータベースと、このデータベースの中から前記特定された被写体に関する前記付加情報を選択して取得する付加情報選択手段とを有するものである請求項１に記載の画像再生装置。
- 前記付加情報取得手段は、データベースに、さらに、撮影地点に関する前記付加情報も格納し、
付加情報選択手段は、撮影地点に関する前記付加情報も選択して取得する請求項２に記載の画像再生装置。 - 前記撮影情報は、撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれか一つである請求項１〜３のいずれかに記載の画像再生装置。
- 前記撮影情報は、第４のデータ構成である請求項４に記載の画像再生装置。
- 前記被写体特定手段は、２次元的に、前記３次元画像の画素をずらしつつ、前記３次元画像と前記撮影画像とを重ね、最も重なる位置、方位及び撮影倍率を算出し、算出結果に基づいて、被写体を特定する請求項１〜５のいずれかに記載の画像再生装置。
- 前記被写体特定手段は、前記撮影情報を基準として、前記３次元画像の位置、方位及び撮影倍率の少なくとも１つを変化させつつ、前記３次元画像と前記撮影画像とのパターンマッチングを行う請求項１〜６のいずれかに記載の画像再生装置。
- 前記撮影情報取得手段は、人工衛星を用いた位置計測装置に基づいて得られた前記撮影位置の情報を含む前記撮影情報を取得する請求項１〜７のいずれかに記載の画像再生装置。
- 前記画像出力手段は、前記可視画像が再生された写真プリントを出力する画像記録手段および前記可視画像を再生して表示する表示手段の少なくとも一方であり、この表示手段は、前記可視画像を表示するモニタ、および前記可視画像を投影するプロジェクタの少なくとも１つである請求項１〜８のいずれかに記載の画像再生装置。
- 前記画像出力手段は、前記可視画像が再生された写真プリントを出力する画像記録手段および前記可視画像を再生して表示する表示手段の少なくとも一方であり、
前記付加情報出力手段は、前記付加情報をデジタル画像情報に展開し、前記画像処理手段で画像処理されるデジタル画像データと合成する画像合成手段、前記付加情報を前記写真プリントの裏側に出力する出力手段及び前記表示手段の再生可視画像にリンクして前記付加情報を文字、文書、静止画像および動画像の少なくとも１つとして前記表示手段に表示させるためのリンク手段の少なくとも１つを有する請求項１〜９のいずれかに記載の画像再生装置。 - 前記画像出力手段は、特定された被写体の撮影画像内の位置に対応して、付加情報の合成位置を制御する請求項１０に記載の画像再生装置。
- 前記画像出力手段は、前記表示手段の再生可視画像にリンクして前記付加情報を音声として出力させるための音声出力手段を有する請求項１〜１１のいずれかに記載の画像再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005374940A JP4268612B2 (ja) | 1998-05-20 | 2005-12-27 | 画像再生装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13899698 | 1998-05-20 | ||
| JP16213098 | 1998-06-10 | ||
| JP2005374940A JP4268612B2 (ja) | 1998-05-20 | 2005-12-27 | 画像再生装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14032599A Division JP3808662B2 (ja) | 1998-05-20 | 1999-05-20 | 画像再生方法および装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2006197579A JP2006197579A (ja) | 2006-07-27 |
| JP2006197579A5 JP2006197579A5 (ja) | 2008-06-05 |
| JP4268612B2 true JP4268612B2 (ja) | 2009-05-27 |
Family
ID=36803225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005374940A Expired - Fee Related JP4268612B2 (ja) | 1998-05-20 | 2005-12-27 | 画像再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4268612B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101329747B1 (ko) | 2007-01-08 | 2013-11-14 | 삼성전자주식회사 | 동영상 촬영 모드가 수행되는 디지털 영상 처리 장치의제어 방법 |
| JP7006554B2 (ja) | 2018-09-26 | 2022-01-24 | 株式会社島津製作所 | 試料搬送装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5349477B2 (ja) * | 2007-08-16 | 2013-11-20 | イーストマン コダック カンパニー | スキャンされたプリントから得られる補助情報の記憶および呈示 |
| JP4911191B2 (ja) * | 2009-04-08 | 2012-04-04 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
| JP2013152198A (ja) * | 2012-01-26 | 2013-08-08 | Hiroshima Univ | 計測器読み取り装置およびモニタリングシステム |
| JP2015159511A (ja) * | 2014-02-25 | 2015-09-03 | オリンパス株式会社 | 撮影機器及び画像記録方法 |
| US10163008B2 (en) * | 2016-10-04 | 2018-12-25 | Rovi Guides, Inc. | Systems and methods for recreating a reference image from a media asset |
-
2005
- 2005-12-27 JP JP2005374940A patent/JP4268612B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101329747B1 (ko) | 2007-01-08 | 2013-11-14 | 삼성전자주식회사 | 동영상 촬영 모드가 수행되는 디지털 영상 처리 장치의제어 방법 |
| JP7006554B2 (ja) | 2018-09-26 | 2022-01-24 | 株式会社島津製作所 | 試料搬送装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006197579A (ja) | 2006-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7170632B1 (en) | Image reproducing method and apparatus, image processing method and apparatus, and photographing support system | |
| JP4152340B2 (ja) | 画像処理システムおよびその方法 | |
| US7145597B1 (en) | Method and apparatus for image processing | |
| US7518640B2 (en) | Method, apparatus, and recording medium for generating album | |
| US6583811B2 (en) | Photographic system for recording data and reproducing images using correlation data between frames | |
| JP3808662B2 (ja) | 画像再生方法および装置 | |
| US6728428B1 (en) | Image processing method | |
| JP4268612B2 (ja) | 画像再生装置 | |
| JP2001238177A (ja) | 画像処理方法および装置 | |
| US20040070778A1 (en) | Image processing apparatus | |
| US20020030797A1 (en) | Image processing method and apparatus | |
| US7277598B2 (en) | Image processing apparatus, certification photograph taking apparatus, and certification photograph creation system | |
| JP4339730B2 (ja) | 画像処理方法および装置 | |
| JP3549413B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4829269B2 (ja) | 画像処理システムおよびその方法 | |
| JPH11289447A (ja) | 画像処理方法および画像処理装置 | |
| US6769617B2 (en) | Image forming apparatus and image forming method | |
| JP3386373B2 (ja) | 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置 | |
| JP3545616B2 (ja) | プリント方法およびプリントシステムならびにカメラ | |
| JP2004110244A (ja) | プリントシステムおよびプリント | |
| JP4159766B2 (ja) | 画像処理方法 | |
| JP4399495B2 (ja) | 画像撮影システム及び画像撮影方法 | |
| JP2008102961A (ja) | 画像処理システムおよびその方法 | |
| JP2000101833A (ja) | プリントシステム | |
| JP2000134462A (ja) | 画像処理装置および画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060512 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080417 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4268612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |