JP4399495B2 - 画像撮影システム及び画像撮影方法 - Google Patents

画像撮影システム及び画像撮影方法 Download PDF

Info

Publication number
JP4399495B2
JP4399495B2 JP2007331677A JP2007331677A JP4399495B2 JP 4399495 B2 JP4399495 B2 JP 4399495B2 JP 2007331677 A JP2007331677 A JP 2007331677A JP 2007331677 A JP2007331677 A JP 2007331677A JP 4399495 B2 JP4399495 B2 JP 4399495B2
Authority
JP
Japan
Prior art keywords
image
subject
unit
photographing
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007331677A
Other languages
English (en)
Other versions
JP2008172776A (ja
Inventor
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007331677A priority Critical patent/JP4399495B2/ja
Publication of JP2008172776A publication Critical patent/JP2008172776A/ja
Application granted granted Critical
Publication of JP4399495B2 publication Critical patent/JP4399495B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、画像撮影システム及び画像撮影方法に関する。
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光(アナログ露光)によって行われている。
これに対して、近年では、デジタル露光を利用する焼付装置、すなわち従来型カメラによって撮影され、写真フィルムに記録された撮影コマの画像を光電的に読み取り、読み取った画像をデジタル画像データとして得た後、あるいはデジタルカメラによって撮影された撮影コマの画像のデジタル画像データを得た後、種々の画像処理を施して記録用画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像(潜像)を記録し、(仕上がり)写真プリントとするデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、画像をデジタル画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス(鮮鋭化)処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位な写真プリントを得ることができる。
また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集/処理した写真プリントも出力可能である。
さらに、デジタルフォトプリンタによれば、画像を写真プリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピー(登録商標)ディスク等の画像記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)、読み取った画像を画像処理して記録画像データ(露光条件)とする画像処理装置、および、この記録(出力)画像データに応じて感光材料を走査露光して現像処理を施して写真プリントとするプリンタ(画像記録装置)より構成される。
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってCCDセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの入力画像データ(画像データ信号)として画像処理装置に送る。画像処理装置は、スキャナによって読み取られて、または画像記録媒体から読み出されて、画像処理装置に送られてきた入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ(露光条件)としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた出力画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光(焼付け)して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が可視再生画像として再生された写真プリントを出力する。
また、撮影された画像をスキャナで読み取りデジタル画像データを得る方法以外に、例えば、デジタルカメラ等で撮影され、フロッピー(登録商標)ディスクやMOやZip等の画像記録媒体に記録されたデジタル画像の画像データを得、またネットワークを介してデジタル画像データを得て、入力画像データとすることができ、この入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ(露光条件)としてプリンタに送り可視再生画像としてプリント出力することができる。
このようなデジタルカメラではCCD等の撮像素子の解像度に限界があるため、これらカメラで撮影された画像を大伸ばしするには限界があり、また、銀塩写真方式カメラでは撮影用フイルムの粒状性に限界があった。
そこで、カメラを大型化することなく、高精細なプリントが得られるように、高精細撮影モードで撮影された複数枚の画像データを、撮影制御情報に基づき画像合成する技術が提案されている(例えば、特許文献1参照。)。
また、デジタルフォトプリンタによれば、従来型のカメラによってフィルムに撮影した画像やデジタルカメラによって撮影されたデジタル画像を単に写真プリントとして出力するだけでなく、撮影時の不適切な撮影条件によって画像の再現性の良くないものについても、デジタル画像処理を施して、逆光シーン、ハイコントラストシーン、アンダー露光ネガ、シャープネス、周辺光量不足等の補正を行うことで、高品位で美しい画像を容易に写真プリントとして出力することができる特徴を有している。
現状のデジタルフォトプリントのデジタル処理による写真プリントサービスにおいて、撮影日時がフィルムに光学的に記録された場合や、撮影日時が磁気記録されている新写真システムAPSの場合に、仕上がりプリント上に撮影された日付や撮影時刻が表示されるサービスを受けることができる。
そして、そのサービスは、プリントされた画像と撮影日付や撮影時刻を見て撮影時の状況を振り返る場合に役立つ。
しかし、撮影日付や撮影時刻の情報のみからでは、撮影当時の種々の状況を十分に振り返ることが難しい場合もある。すなわち、これらの写真プリントの画像を後日鑑賞する場合、撮影日時を手がかりとしてプリントされた画像を振り返るが、何を目的とし、どうゆう状況下で撮影したのか十分思い出せない場合も多い。
また、例えば、人物を撮影した画像の背景に山が撮影されている場合、その背景の山の名前や標高や歴史を知りたい場合もある。
これに対し、撮影日付や撮影時刻だけでなく、これらに関する付帯的情報や撮影場所やその付帯情報があれば撮影当時を容易に振り返ることができる場合が多い。
一方、近年のパーソナルコンピュータの普及によって、パーソナルコンピュータでデジタル画像処理を行うことが容易となり、スキャナやデジタルカメラで取り込んで画像を合成したり、またフォトレタッチソフトを使って画像を修正することも個人的に可能となり、デジタル処理による写真プリントを含むデジタル画像は、画像合成や、画像修正により、画像を好みによって変化させる娯楽性の強いものとなっている。
そこで、フィルムに記録された画像から光電的によみとられたデジタル画像データやデジタルカメラ等で撮影して取得されたデジタル画像データに所定の画像処理を施して出力画像データを取得し、この出力画像データに応じた可視再生画像を写真プリントとして出力したり、モニタなどの表示装置に表示する際に、ユーザの希望にあわせて、撮影日時や撮影位置等に基づいた撮影画像の撮影状況や撮影画像の被写体に関連する付加情報などの、撮影画像に付随した付加情報を写真プリントや表示画像に付加し、ユーザが可視再生画像をみて容易に撮影当時を振り返ることができるとともに、写真プリントや表示画像の機能を高め、またユーザの好みに応じた娯楽性に富んだ写真プリントや表示画像をユーザに提供する技術が提案されている(例えば、特許文献2参照。)。
特開平10−136298号公報 特開2000−66312号公報
このように、種々の撮影画像に基づいてCG画像(シミュレーション画像)を作成し、合成する画像処理システムが提案されている。
本発明は、撮影部により取得した撮影画像が、画像処理システムでシミュレーション画像を作成できるか否かを適切に判断することができる画像撮影システム及び画像撮影方法を提供することにある。
前記課題を解決するために、本発明は、被写体を撮影する撮影部、前記撮影部により撮影された撮影画像内の被写体情報を取得する被写体情報取得部、前記撮影部が前記被写体を撮影する撮影条件を決定する制御部、および、撮影画像および被写体情報の少なくとも一方をネットワークを介して転送する通信部を備える撮影手段と、前記通信部から転送される撮影画像および被写体情報の少なくとも一方を受信する受信部、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定部、判定部で判定された判定結果を前記撮影手段に送信する送信部を備えるホームサーバとを有し、前記通信部は、前記送信部から送信される判定結果を受信し、前記制御部は、前記送信部から送信された判定結果に基づいて撮影条件を決定することを特徴とする画像撮影システムを提供する。
ここで、前記撮影手段は、さらに表示部を有し、前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記撮影条件を設定されている条件とし、前記被写体のシミュレーション画像の作成できないという判定結果の場合は、撮影条件を多重撮影モードまたはマニュアル撮影モードとするべきであるというメッセージを表示部に表示させることが好ましい。
また、前記撮影手段は、さらに表示部を有し、前記判定部は、さらに前記撮影画像に基づいて、適切な撮影モードを判定し、前記制御部は、前記判定部で判定された適切な撮影モードを前記表示部に表示させることが好ましい。
前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、主要被写体にズームし、または、主要被写体にピントを合せて撮影する撮影条件とすることが好ましい。
また、前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも高い圧縮率で前記撮影画像データを圧縮して記録することが好ましい。
また、前記判定部は、前記撮影画像内の被写体毎に前記被写体のシミュレーション画像を作成できるかを判定し、前記制御部は、前記送信部から送信された判定結果に基づいて前記被写体毎に前記撮影条件を決定することが好ましい。
また、前記被写体情報は、撮影位置からなるデータ、撮影位置と撮影方位とからなるデータ、撮影位置と撮影倍率からなるデータおよび撮影位置と撮影方位と撮影倍率からなるデータのいずれか1つであることが好ましい。
前記撮影手段は、静止画を撮影することが好ましい。
画像撮影手段は、動画を撮影することも好ましい。
前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも単位時間当たりの撮影画像数を少なくして前記撮影画像データを記録することが好ましい。
また、前記課題を解決するために、本発明は、ホームサーバと通信する撮影手段により画像を撮影する画像撮影方法であって、被写体の撮影画像を取得し、かつ撮影された撮影画像内の被写体の被写体情報を取得する撮影ステップと、前記撮影ステップで取得された撮影画像および被写体情報の少なくとも一方を撮影手段がネットワークを介してホームサーバに転送する転送ステップと、転送された撮影画像および被写体情報の少なくとも一方をホームサーバが受信する受信ステップと、前記ホームサーバが、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定ステップと、前記判定ステップで判定して判定結果を撮像手段に送信する送信ステップと、前記送信部から送信される判定結果を撮像手段が受信する受信ステップと、前記送信部から送信された判定結果に基づいて撮影条件を決定する撮影条件決定ステップとを有することを特徴とする画像撮影方法を提供する。
ここで、特許文献1に記載の発明は、画像の作成に複数回の撮影が必要であり、手間がかかり、カメラにも特殊な撮影モード機能が必要であった。
また、特許文献2に記載の発明は、ユーザの好みに応じた娯楽性に富んだ写真プリントや表示画像を提供するに際して、雲に隠れて被写体が見えない画像や、被写体がピンボケで不鮮明な場合に、CG画像を作成し、CG画像と実際に撮影された画像とをパターンマッチングしたり、合成したりしているが、この発明は、撮影画像における欠損部分等について、本来であれば撮影されている画像を参照して合成しており、出力画像を高画質にするものではない。
そこで、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、その撮影画像に対応するシミュレーション画像を合成することで、ユーザの希望に合わせて、様々な撮影画像の加工を行なうことができる画像処理システムを提供することを目的として、下記の画像処理システムを提供する。
前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、同定した前記被写体の3次元構造データまたは前記被写体の2次元データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成手段と、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理手段とを備えることを特徴とする画像処理システムを提供する。
また、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、前記被写体の3次元構造データを記憶しているデータベースと、前記同定手段により同定した被写体の3次元構造データをデータベースから読み出す読出手段と、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応する前記被写体のシミュレーション画像を作成する画像作成手段と、前記被写体のシミュレーション画像に基づいて、前記撮影画像の前記被写体の欠陥部分を補正する、または撮影画像の前記被写体の濃度・色味を修正する処理手段とを備え、前記画像作成手段は、前記被写体の3次元構造データに基づいて、前記被写体及び前記被写体の影エリアのシミュレーション画像を作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加させるように濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成することを特徴とする画像処理システムを提供する。
また、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下させるように濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記読出手段は、前記撮影情報及びユーザにより入力された条件に基づいて撮影条件を読み出し、前記画像作成手段は、読み出された前記撮影条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、前記処理手段は、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成してもよい。
また、画像作成手段は、撮影画像に比して高解像度である所定の解像度でシミュレーション画像を作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記画像作成手段は、前記撮影画像の解像度よりも高い解像度で前記シミュレーション画像を作成し、前記処理手段は、前記撮影画像を拡大して拡大画像を作成し、前記撮影画像の拡大比率が大きくなるにつれて前記シミュレーション画像の比率が大きくなるように設定されている比率から前記拡大比率に基づいて比率を決定し、決定した比率に基づいて、前記拡大画像の画素値と前記シミュレーション画像の画素値とを加重平均して、前記拡大画像と前記シミュレーション画像とを合成してもよい。
また、前記画像作成手段は、前記撮影画像における背景部と主要被写体とで、サイズ、鮮鋭度及びコントラストの少なくとも1つを別々に設定し、個別に前記背景部のシミュレーション画像と前記主要被写体のシミュレーション画像とを作成してもよい。
また、前記画像作成手段は、撮影画像の主要被写体を中心に視野を拡大した、前記撮影画像には撮影されていない領域も含むシミュレーション画像を作成してもよい。
また、前記画像作成手段は撮影画像の背景のみをシミュレーション画像で作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成してもよい。
また、前記画像作成手段は、撮影画像の背景のシミュレーション画像を作成し、前記処理手段は、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成してもよい。
また、本発明は、複数の撮影画像のコマからなる動画における画像処理システムであって、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、前記被写体の3次元構造データを記憶しているデータベースと、前記同定手段により同定した被写体の3次元構造データを前記データベースから読み出す読み出し手段と、読み出した前記被写体の3次元構造データに基づいて、同定した前記被写体のシミュレーション画像を生成する画像作成手段と、前記シミュレーション画像と前記撮影画像を用いて動画を編集する編集手段とを備えることを特徴とする画像処理システムを提供する。
前記画像作成手段は、それぞれの撮影画像のコマとコマの間の撮影画像に対応する前記被写体のシミュレーション画像を作成し、前記編集手段は、前記シミュレーション画像をコマとコマの間に前記撮影画像として挿入してもよい。
前記画像作成手段は、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、前記編集手段は、前記シミュレーション画像を動画の前後に挿入してもよい。
また、前記編集手段は、前記シミュレーション画像内の特定の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集してもよい。
また、前記編集手段は、前記シミュレーション画像内の前記特定の被写体付近の背景を補正してもよい。
また、前記データベースは、通信手段を有し、通信手段を介して外部から提供された情報に基づいて、記憶されている被写体の3次元構造データを更新してもよい。
また、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、前記被写体の3次元構造データに基づいて前記被写体の影エリアのシミュレーション画像も作成し、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成することを特徴とする画像処理方法を提供する。
前記画像作成ステップは、前記被写体の3次元構造データに基づいて前記被写体の影エリアのシミュレーション画像も作成し、
ここで、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記読出ステップは、前記撮影情報及びユーザにより入力された条件に基づいて撮影条件を読み出し、前記画像作成ステップは、前記撮影条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、前記処理ステップは、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成してもよい。
また、前記画像作成ステップは、撮影画像に比して高解像度である所定の解像度で被写体のシミュレーション画像を作成し、前記処理ステップは、前記撮影画像と前記被写体のシミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記画像作成ステップは、前記撮影画像の解像度よりも高い解像度で前記シミュレーション画像を作成し、前記処理ステップは、前記撮影画像を拡大して拡大画像を作成し、前記撮影画像の拡大比率が大きくなるにつれて前記シミュレーション画像の比率が大きくなるように設定されている比率から前記拡大比率に基づいて比率を決定し、決定した比率に基づいて、前記拡大画像の画素値と前記シミュレーション画像の画素値とを加重平均して、前記拡大画像と前記シミュレーション画像とを合成してもよい。
また、前記画像作成ステップは、前記撮影画像における背景部と主要被写体とで、サイズ、鮮鋭度及びコントラストの少なくとも1つを別々に設定し、個別に前記背景部のシミュレーション画像と前記主要被写体のシミュレーション画像とを作成してもよい。
また、前記画像作成ステップは、撮影画像の主要被写体を中心に、視野を拡大した、前記撮影画像には撮影されていない領域も含むシミュレーション画像を作成してもよい。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、前記撮影画像の解像度よりも高い解像度で前記シミュレーション画像を作成し、前記処理ステップは、前記撮影画像を拡大して拡大画像を作成し、前記撮影画像の拡大比率が大きくなるにつれて前記シミュレーション画像の比率が大きくなるように設定されている比率から前記拡大比率に基づいて比率を決定し、決定した比率に基づいて、前記拡大画像の画素値と前記シミュレーション画像の画素値とを加重平均して、前記拡大画像と前記シミュレーション画像とを合成することを特徴とする画像処理方法を提供する。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、前記撮影画像における背景部と主要被写体とで、サイズ、鮮鋭度及びコントラストの少なくとも1つを別々に設定し、個別に前記背景部のシミュレーション画像と前記主要被写体のシミュレーション画像とを作成することを特徴とする画像処理方法を提供する。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、撮影画像の主要被写体を中心に、視野を拡大した、前記撮影画像には撮影されていない領域も含むシミュレーション画像を作成することを特徴とする画像処理方法を提供する。
また、前記画像作成ステップは撮影画像の背景のみをシミュレーション画像で作成し、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成してもよい。
また、前記画像作成ステップは、撮影画像の背景のシミュレーション画像を作成し、前記処理ステップは、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成してもよい。
また、本発明は、複数の撮影画像のコマからなる動画における画像処理方法であって、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、シミュレーション画像を生成する画像作成ステップと、前記シミュレーション画像と前記撮影画像を用いて動画を編集する編集ステップとを有することを特徴とする画像処理方法を提供する。
ここで、前記画像作成ステップは、それぞれの撮影画像のコマとコマの間の撮影画像に対応する前記被写体のシミュレーション画像を作成し、前記編集ステップは、前記シミュレーション画像をコマとコマの間に前記撮影画像として挿入してもよい。
また、前記画像作成ステップは、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、前記編集ステップは、前記シミュレーション画像を動画の前後に挿入してもよい。
また、前記編集ステップは、前記シミュレーション画像内の特定の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集してもよい。
また、前記編集ステップは、前記シミュレーション画像内の前記特定の被写体付近の背景を補正してもよい。
本発明によれば、撮影部により取得した撮影画像が、これらの画像処理システムでシミュレーション画像を作成できるか否かを適切に判断することができる画像撮影システムを提供することができる。
本発明によれば、ユーザの希望に合わせて、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、様々な撮影画像の加工を行なうことができる画像処理システムを提供することができる。
本発明に係る画像処理システム及び画像撮影システムを、添付の図面に示す好適実施形態に基づいて、以下に詳細に説明する。まず、図1〜図8を参照して、本発明に係る画像処理システムについて説明する。
図1は、本発明に係る画像処理システムを構成するデジタルフォトプリンタの概略を示すブロック図である。
図1に示されるデジタルフォトプリンタ10は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像入力手段)12と、読み取られた画像データを処理して出力用の画像データとし、また、デジタルフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上がり)プリントとして出力するプリンタ16等(画像出力手段)とを有する。
画像処理装置14は、様々な条件の入力や設定、処理の選択や指示、色/濃度補正などの指示等を入力するためのキーボード18aおよびマウス18bを有する操作系18と、スキャナ12で読み取られた画像、各種の操作指示、様々な条件の設定/登録画面等を表示するディスプレイ(画像表示装置)20と接続されている。
スキャナ12は、フィルムFに撮影された画像を光電的に読み取る装置で、光源22と、可変絞り24と、フィルムFに入射する読取光をフィルムFの面方向で均一にする拡散ボックス28と、結像レンズユニット32と、フィルムの撮影画像を読み取るフォトセンサであるCCDセンサ34と、アンプ(増幅器)36と、A/D(アナログ/デジタル)変換器38とを有し、さらに、スキャナ12の本体に装着自在な専用のキャリア30から構成される。
キャリア30は、例えば24枚取りの135サイズのフィルムや新写真システムフィルム(APSのカートリッジ)等の、長尺なフィルムに対応する各種専用のキャリアが用意されており、所定の読み取り位置にフィルムFを保持しつつ、CCDセンサ34のラインCCDセンサの延在方向(主走査方向)と直行する副走査方向に、フィルムFの長手方向を一致して搬送する、読み取り位置を副走査方向に挟んで配置される搬送ローラ対30aおよび30bと、フィルムFの投影光を所定のスリット状に規制する、読み取り位置に対応して位置する主走査方向に延在するスリット29aを有するマスク29、更に、磁気読取書込装置31とを有する。
フィルムFはこのキャリア30によって保持されて副走査方向に搬送されつつこのフィルムFには読み取り光が入射される。これにより、フィルムFが主走査方向に延在するスリット29aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
CCDセンサ34は、R画像の読み取りを行うラインCCDセンサ34R、G画像の読み取りを行うラインCCDセンサ34G、B画像の読み取りを行うラインCCDセンサ34Bを有するラインセンサで、ラインセンサは主走査方向に延在している。
フィルムFの投影光は、このCCDセンサによってR、GおよびBの3原色に分解されて光電的に読み取られる。光源22から射出され、可変絞り24によって光量調整され拡散ボックス28を通して均一にされた読み取り光が、キャリア30によって所定の読み取り位置に保持されつつ搬送されるフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
フィルムFの投影光は、結像レンズユニット32によってCCDセンサ34の受光面に結像され、CCDセンサ34によって光電的に読み取られ、その出力信号は、アンプ36で増幅されて、A/D変換器38でデジタル画像データに変換され、入力画像データとして画像処理装置14に送られる。
なお、デジタルフォトプリンタ10を構成するスキャナ12は、上述のスリット走査によるものに限定されず、1コマの画像の全面を一度に読み取る面露光を利用したCCDエリアセンサであってもよい。
その場合、図1に示す可変絞り24と拡散ボックス28との間にR、GおよびBの色フィルタを設け、そこを通過してR、GおよびBに色調整された光を、フィルムFの1コマに入射して、透過することにより、フィルムFに撮影されたこのコマの画像を担持する投影光を得てもよい。この場合、色フィルタを順次R、GおよびBについて3回行う必要がある。
また、スキャナ12における画像のCCDセンサでの読み取りは、写真プリントを出力するために画像を読み取る本スキャンに先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行ない画像処理条件を決定し、オペレータ(またはユーザ)がディスプレイ20で確認し調整した後、高解像度で画像を読み取る本スキャンを行うため、スキャンはプレスキャンと本スキャンの2回行われる。
そのため、R、GおよびBの色フィルタを設け、面露光を利用したCCDエリアセンサを用いた場合、R、GおよびBの色フィルタを用いて3回スキャンする必要があるため、計6回のスキャンを行うことになる。
ラインCCDセンサを用いる場合は、2回で済むことになるので、迅速な処理にとっては有利である。また、プレスキャンは、フィルムFのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、本スキャンを行っているが、フィルムFを一コマごとにプレスキャンと本スキャンを逐次行ってもよい。
なお、本発明において、スキャナ12は、このようなスリット走査によるものに限定はされず、1コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
この場合には、例えばエリアCCDセンサを用い、光源とフィルムFとの間に、R、GおよびBの各色フィルタを順次挿入してエリアCCDセンサで画像を読み取ることにより、フィルムに撮影された画像を3原色に分解して順次読み取ればよい。
前述のように、スキャナ12からの出力信号(画像データ)は、画像処理装置14に出力される。
また、画像処理装置14には、デジタルカメラ等で撮影して得られたデジタル画像データを記録するスマートメディア等の画像データの記録媒体から、画像データや被写体情報等を読み出し、あるいはFD、CD−R、MO、DVDやZip等の汎用の画像データの記録媒体に処理後の画像データを出力するためのドライブ装置42が接続されている。
さらに、本実施形態の画像処理装置14には、パソコンやデジタルカメラ等の種々の画像データ供給源や、各被写体人物の付属情報を一括して管理する機器等と、直接ケーブルを介して接続し、あるいは、通信ネットワークを介して接続して、デジタル画像データやその撮影情報、被写体の付属情報等を取得するためのスロット44等も接続されている。
したがって、本発明では、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ12以外にも、反射原稿の画像を読み取る画像読取装置、コンピュータ通信等の通信手段(モデムを介するものも含む)、デジタルカメラやデジタルビデオカメラ等の撮像デバイスや内蔵メモリ、PCカードやスマートメディア等のデジタルカメラ用の画像記録媒体、FD(フロッピー(登録商標)ディスク)やMO(光磁気記録媒体)等の汎用の画像記録媒体などの各種の画像データ供給源を利用することができる。
さらに、これらを直接またはその駆動装置を介して画像処理装置14に接続することができ、画像処理装置14は、これらの画像データ供給源からデジタル画像データやその撮影情報や被写体情報を受け取ることができる。
なお、図示例では、入力信号(デジタル画像データ、撮影情報、付加情報)は、スキャナ12やドライブ装置42等の種々の画像データ供給源から画像処理装置14に入力されるが、以下の説明では、主としてスキャナ12から画像処理装置14にデジタル画像データなどが供給される場合を代表例として説明する。
図2は、本発明に係る画像処理装置14の概略構成を示すブロック図である。
画像処理装置14は、スキャナ12で読み取られ、デジタルデータとして画像処理装置14に送られてきた画像データ(入力画像)に所定の画像処理を施し、プリンタ16やディスプレイ20等に出力するものであり、主にデータ処理部38、プレスキャンメモリ40、本スキャンメモリ42、プレスキャン画像処理部44、本スキャン画像処理部46、条件設定部48、および被写体情報取得手段62から構成される。
また、本実施形態においては、画像処理装置14は、この他に入力画像から被写体人物に関する情報を取得する被写体情報取得手段62、撮影時にカメラによって取得され、または情報を一括管理する機器から取得された、人物や風景などの被写体情報と前記被写体情報との整合性に基づいて被写体を同定する被写体同定手段48a、CG画像作成手段48b、および画像処理部54の中に配置され、前記付属情報を、対応する撮影画像中の被写体人物に関連付けて画像合成する画像合成手段48cとを有している。
データ処理部38では、スキャナ12から出力されたR、G、Bのデジタル画像データ(入力画像データ信号)に、Log変換、DCオフセット補正、暗時補正、シェーディング補正等を行い、処理済のプレスキャン(画像)データはプレスキャンメモリ40に、同じく本スキャン(画像)データは本スキャンメモリ42に、それぞれ記憶(格納)される。
プレスキャンメモリ40および本スキャンメモリ42に格納された各画像データは、必要に応じて、画像処理を施し出力するために、それぞれプレスキャン画像処理部44および本スキャン画像処理部46に呼び出される。
プレスキャン画像処理部44は、プレスキャン画像処理部50とデータ変換部52とからなり、プレスキャン画像処理部50は、色バランス調整、コントラスト調整、コントラスト補正、明るさ補正、さらにシャープネス処理や覆い焼き処理等その他の画像処理を実施する。
また、データ変換部52は、プレスキャン画像処理部50で画像処理の施された画像データを、3DLUT等を用いて、ディスプレイ20による表示に対応する画像データに変換する。
本スキャン画像処理部46は、画像処理部54とデータ変換部66とから構成される。本スキャン画像処理部62では、本スキャンデータに対して、以下述べるように条件設定部56で設定された画像処理条件に従って各種の画像処理、例えば、色バランス調整、コントラスト補正(階調処理)、明るさ補正、彩度補正、シャープネス処理や覆い焼き処理等の処理が行われる。
データ変換部58は、画像処理後の画像データを、それぞれプリンタ16、ドライブ装置42、スロット44という各画像出力手段に応じた形式に変換するものである。
被写体情報取得手段62は、被写体情報選択手段62a、データベース62bとから構成され、スキャナ12から得られる被写体情報と、データベース62b内の地図情報とを利用して撮影された画像の被写体を特定し、特定した被写体に関するデータを条件設定部48内の被写体同定手段48aに送る。
被写体を特定する方法としては、新写真システムAPSの場合、新写真システムAPS対応フィルムFに磁気記録層が形成されており、撮影情報を記録することができるため、人工衛星を用いたGPS(Global Positioning System)を利用し、さらに方向探知機用方位指示器を付加した新写真システムAPS対応カメラで撮影すると、撮影した緯度、経度および高度さらには、水平面および垂直面に関する撮影方位角が記録される他、撮影時の撮影倍率も記録することができる。
この記録された情報は、スキャナ12のキャリア30に設けられている磁気読取書込装置31で読み込まれ、スキャナ12から画像データと別の経路で、被写体情報として被写体情報選択手段62aへ送られる。この被写体情報は、撮影位置からなる第1のデータ構成、撮影位置と撮影方位からなる第2のデータ構成、撮影位置と撮影倍率からなる第3のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第4のデータ構成等のいずれか一つの構成のデータよりなり、被写体情報選択手段62aは撮影画像に関連づけられる被写体情報を取得する。
被写体情報選択手段62aは、取得した被写体情報である撮影位置、撮影方位、および撮影倍率などからなる第1〜第4のデータ構成のいずれか1つの構成のデータを用いて、データベース62b内の地図情報を参照して、撮影された画像の被写体や撮影地点を特定する。
GPSを利用して得られる、経度、緯度および高度の位置に関する測位精度は100m以内であり実用上問題はなく、方位角についても方向探知機用方位指示器を用いることで方位を精度よく測定できる。
このようにして、被写体情報選択手段62aは、撮影被写体や撮影地点を地図情報上の対象物として特定することができる。
なお、撮影地点としては、撮影画像内の被写体の位置、すなわち撮影された地点(位置)のみならず、撮影者またはカメラの位置などの撮影する位置、すなわち撮影位置を含めてもよい。撮影位置に関する情報は、動画撮影において、撮影された動画のコマに基づいて、被写体の中間位置にあたる移動状態を推定して、CG画像を作成しようとしたとき等に利用できる。
また、被写体情報選択手段62aが、撮影された画像の被写体を特定する方法はこれに限定されず、ICタグなどの無線通信(例えば、特開2002−305714号公報参照)を利用することにより、スロット44を介して被写体情報を取得し、画像被写体を特定してもよい。
条件設定部48は、被写体同定手段48a、CG画像作成手段48b、および画像合成手段48cから構成され、被写体同定手段48aにおいて撮影被写体を同定し、CG画像作成手段48bによりCG画像を作成し、撮影画像に補正を行なったCG画像を合成する。合成画像はプリンタ16やディスプレイ20などの出力装置に送られ、プリンタ16で印刷されたり、ディスプレイ20に表示されたりする。
なお、合成前のCG画像についてはユーザの要求に応じた様々な補正を施すことができる。そのような補正としては、撮影画像の欠陥部分の補正や撮影画像の濃度・色味の修正や撮影エリアに応じた輝度の調整、撮影画像に比して擬似的に高解像としたり、視野を拡大したりする補正、または撮影画像内の特定被写体を強調する補正がある。
被写体同定手段48aは、プレスキャン画像処理部44で処理された撮影画像と、被写体情報選択手段62aで特定される撮影被写体とを取得し照合することで、撮影された画像内の被写体を同定する。
被写体同定手段48aは、プレスキャン画像処理部44内のプレスキャン画像処理部50からプレスキャンデータを受け取り、被写体情報選択手段62aから被写体同定に用いるための情報および被写体の位置情報などの被写体情報を取得する。例えば、人物である被写体の同定に用いられる情報として、被写体人物の顔画像が好適に例示され、この場合被写体同定手段48aはプレスキャンデータから画像中の被写体人物の顔画像を抽出する。
このとき被写体人物の被写体情報は顔画像データを含んでおり、被写体同定手段48aは、この抽出された顔画像と被写体情報中の顔画像とをパターンマッチングして人物同定を行う。
CG画像作成手段48bにおいて、被写体同定手段48aを介して得られる被写体情報や特定被写体の3次元構造データに基づいて、シミュレーション画像としてCG画像が作成され、ユーザの指示に従って、このCG画像に所定の補正が施される。
建物などの構造物に関する3次元構造データは、例えばヘリコプターからのレーザ計測と、HD(High Definition)カメラ及び高精細カメラによる空中撮影により獲得される。3次元構造データとしては、レーザ計測によって獲得される、ある一定の領域の高さ情報を示すDEM(Digital Elevation Map)や、高精細カメラによる空中撮影において獲得される、建物の航空写真などがある。
このような3次元構造物データはデータベース62bに記憶され、CG画像作成手段48bは、被写体情報選択手段62aを介してデータベース62bから特定被写体の3次元構造物データを取得し、3次元構造物データに基づいて、公知のCG画像作成技術により特定被写体のCG画像を作成する。このようなCG画像として作成されるものとしては、自然の構造物、人工的構造物、人体などがある。
また、物品に関する3次元構造データについては、物品に付属するICタグなどの記憶媒体に3次元構造データを記憶し、そこから3次元構造データを取得することができる。
また、CG画像を作成するために利用されるデータは、3次元構造データに限定されず、2次元画像データであってもよい。このようなデータから得られるCG画像としては雲や水面、樹木などが挙げられる。
図3は画像合成手段の概略構成を示すブロック図であり、撮影画像データにCG画像データを合成して、合成画像を生成する処理を示す。
画像合成手段48cは、平滑化フィルタと、高周波成分処理手段と、低周波成分処理手段とから構成され、被写体同定手段48aから得られる撮影画像データと、CG画像作成手段48bから得られるCG画像データとを加算し、合成画像を出力装置16,20に送る。
画像合成手段48cでは、被写体同定手段48aから得られる撮影画像は分岐し、一方の撮影画像を平滑化フィルタ49aに通すことで撮影画像の低周波成分が得られ、他方の撮影画像から低周波成分を除去することで高周波成分が得られる。
このように撮影画像は画像低周波成分と画像高周波成分に分離されて、画像低周波処理手段51bと画像高周波処理手段51aに送られ、以下に説明する補正処理が行なわれる。
一方、CG画像作成手段48bから得られるCG画像も同様に分岐し、一方のCG画像を平滑化フィルタ49bに通すことで低周波成分が得られ、他方のCG画像から低周波成分を除去することで高周波成分が得られ、CG画像は画像低周波成分と画像高周波成分に分離されて、画像低周波処理手段51bと画像高周波処理手段51aに送られ、以下に説明する補正処理が行なわれる。
また、CG画像作成手段48bから得られる情報として、CG画像以外にエリア情報があり、エリア情報は補正処理を行なうエリア(影エリアや高輝度エリア)を特定するための情報であり、高周波成分処理手段51a、および低周波処理手段51bに送られる。
低周波成分処理手段は51b、撮影画像の低周波成分と、影エリアまたは高輝度エリアなどのエリア情報とを取得し、所定の画像エリアの低周波成分に対して所定の補正を行なう一方で、画像高周波成分処理手段51aは、撮影画像の高周波成分に関する情報を取得し、所定の画像エリアの高周波成分に対して所定の補正を行ない、両画像成分を合成することで、撮影画像に対してユーザが所望する補正を施した合成画像を生成する。合成画像はプリンタ16やディスプレイ20などの画像出力手段により出力画像として出力される。
図4(a)に示すように撮影画像の影エリア41の濃度が濃く、図4(b)に示すようなCG画像のような階調濃度の影エリア41の合成画像が所望される場合を例に挙げると、低周波成分処理手段51bで、画像エリア情報から補正すべきエリア(影エリア)を判定し、そのエリアに対して撮影画像の低周波成分の濃度階調をCG画像の低周波成分に合わせる補正を行い、高周波成分処理手段では高周波成分に補正を行なわずに、両画像成分を加算することにより、ユーザが所望する合成画像を生成することができる。
また、高周波成分処理部で、画像エリア情報から補正すべきエリア(例えば、撮影画像とCG画像との高周波成分の比率に所定値以上の差があるエリア)を判定し、撮影画像の高周波成分の振幅をCG画像の高周波成分に合わせる補正を行ない、低周波成分処理手段では低周波成分に対して補正を行わずに、画像成分を加算すると、階調濃度以外にも鮮鋭度を補正することもできる。
なお、合成画像は、撮影画像の影エリアまたは高輝度エリアだけの補正に限られず、両エリアを同時に補正することもでき、撮影画像にさまざまな補正を施した合成画像を生成することができる。
上記実施形態では画像エリア情報を抽出し、画像エリアに応じてCG画像を作成したが、平均的な光線状況を考慮してCG画像を作成してもよい。平均的な光線状況とは、季節、時間帯、または天候などの撮影条件によって異なる光の具合をいい、撮影情報を参照して、データベースから撮影条件に関する情報を取得し、その撮影条件に関する情報に基づいてCG画像を作成する。
このようにして生成されたCG画像の色味に合うように、撮影画像を補正して合成画像を生成することにより、撮影画像にユーザが所望する補正を施した合成画像を生成することができる。
例えば、撮影した画像が旅先で撮影したものであり、そのときの天候が雨であった場合には、その撮影場所における晴れの背景をCG画像で作成し、そのCG画像の背景に合わせて撮影画像を補正することができる。このようなCG画像は、データベース62bやスロット44を介して取得される2次元データに基づいて、CG画像作成手段48bが生成する。
また、撮影画像より高解像度な所定の解像度でCG画像を作成し、さらにCG画像の濃度や色味を撮影画像に合うように補正してもよい。こうすることにより、より高解像度で、濃度や色味の調和のとれるように撮影画像を補正することができる。
また、撮影画像を公知の手法により任意の比率で拡大し、同様な比率のCG画像を参照して補正を施した合成画像を生成してもよい。
さらに、撮影画像とCG画像を合成する際に、下記式(1)に示すように撮影画像の画素値AとCG画像の画素値Bとを用いて、合成画像の画素値Cを合成してもよい。また、重み付け係数Kは、拡大率が大きい程、大きくなるように制御することが好ましい。
(数1)
C = A×(1−K) + B×K・・・(1)
K:重み付け係数
K=0.0〜1.0
一般に撮影画像を拡大すると画像がぼやけてしまうが、上述のような構成をとることにより、撮影画像の拡大比率が大きくなるに連れて、合成画像に占めるCGの比率が徐々に大きくなり、従来に比して鮮明かつ細密な拡大画像を作成することができる。
また、撮影画像の背景部と主要被写体のCG画像を個別に作成してもよい。すなわち、複数の主要被写体が撮影画像内に存在し、特定の被写体を強調したい場合には、その特定の被写体だけを近距離で撮影したCG画像を作成する。
例えば、サムネール画像のように撮影画像を縮小した場合、主要被写体も縮小されるが、主要被写体の縮小率を抑え、サイズ強調を行なうことで、従来に比して画像の内容が把握し易くなる。また、撮影画像において背景の山が印象よりも小さく感じる場合には、背景の山を拡大することができる。
このように撮影画像の背景部と主要被写体のCG画像を個別に作成することにより、サイズに限らず鮮鋭度やコントラストを個別に強調することができる。
また、撮影画像の主要被写体を中心に、視野を拡大したCG画像を作成してもよい。撮影画像には撮影されていない周囲の背景をCG画像で作成し、撮影画像の濃度や色味に合うように補正し、撮影画像と合成することで主要被写体を中心として背景全体を把握することができる。
さらに、撮影画像中に他人や不要物が撮影されていた場合には、撮影画像の背景部分をCG画像で作成してもよい。CG画像と撮影画像の共通部分での違いに基づいて、撮影画像と比較したCG画像のカメラの露出、ぼけ具合、階調濃度、または色味などの差分を検出し、その差分に応じてCG画像を補正することができる。
他人や不要物など障害を除去したCG画像を用いて撮影画像に合成することにより、撮影画像との差分に応じた補正がCG画像に対して行なわれるため、CG画像と撮影画像とのつながりをよくすることができる。
図5は動画撮影における画像処理を説明するための図であり、移動する被写体をユーザが撮影した様子を示す。
実線はユーザが撮影した撮影画像のコマ(フレーム)に対応する位置での被写体を表し、点線は撮影画像のコマとコマの間であって、挿入するコマに対応する位置での被写体を表す。また、一点鎖線は被写体の移動経路を表す。
被写体の移動経路、速度、向きは、被写体付属のナビゲータ装置やセンサ類を用いた公知の技術により推定することができる。
なお、被写体の移動経路などを推定するには、ユーザのカメラ位置を認識することが必要であるが、ユーザのカメラ位置は、被写体情報に含まれるGPSやその他の情報から取得することができる。
本実施形態では、動画における撮影画像のコマ間の中間タイミングの画像をCG画像で作成するため、中間タイミングの被写体の状態を公知の技術を用いて推定し、CG画像を作成し、中間タイミングの画像としてコマ間に挿入する。
例えば、ユーザが1秒間に30コマの画像で構成される動画を撮影した場合には、コマとコマの間に1画像ずつCG画像で作成した画像を挿入して動画を生成することで、1秒間に60コマの画像を含む動画に編集することができる。
また、動画撮影において被写体の動作が所定の速度を超えると、流れた映像が映し出される。このような流れた映像に対応する部分の被写体をCG画像で作成し、そのCG画像を流れた映像に対応する部分の画像に合成することにより、流れのないスムーズな映像が映し出される。
このように流れた映像に対応する部分に、CG画像で作成した被写体の画像を合成することは、静止画において適用すれば、手ぶれ補正として機能する。
また、逆にCG画像で流れた画像を作成して、撮影画像に合成することで、映像にスピード感を与えてもよい。
他の実施例
図6において、ネットワーク96を通じて、サーバ(ホームサーバ)92と接続されている。また、ホームサーバ92はデータベース94を有する。本実施形態では、データベース94はホームサーバ92と別体として示すが、ホームサーバと92一体であってもよい。
ユーザの所有するカメラ90にネットワーク96を介して接続されるDB管理業者が、ユーザに対して撮影依頼情報として様々なデータを提供する。DB管理業者が提供する撮影依頼情報としては、特定被写体の位置、方向、倍率や撮影画像の予測見本などがある。
例えば、図7に示す地図データ中のXから撮影した山の画像を、ユーザに撮影依頼する場合には、DB管理業者はユーザに図8に示すような撮影画像の予測見本となるサンプル画像を送信する。
DB管理業者のデータベース94には、複数の特定被写体データが登録されている。例えば、特定被写体が山である場合には、特定被写体データは、複数の方向から撮影された山のデータである。また、登録されているデータは、方向別の特定被写体データに限らず、季節、時間帯、撮影距離、解像度、または天候などの条件別の特定被写体データであってもよい。
このような特定被写体データを取得する方法は特に限定されないが、例えば、登録制の一定の会員ユーザを募り、その会員ユーザにデータ取得の依頼を行い、特定被写体データを業者に対して送信してもらい、業者は特定被写体データを登録することができる。なお、このような場合には、特定被写体データとして登録されるデータを送信した会員にはプリント料や会費割引など何らかの利益を提供してもよい。
また、特定被写体データのアクセスが高い特定被写体データを人気の撮影スポットとみなして、画像マップに表示したり、会員ユーザなどに公開したりすることができる。
また、特定被写体データを取得する際に、特定被写体データがデータベース94上に登録されていない場合には、会員ユーザに依頼して特定被写体データを送信させることもできる。
データベース管理業者は、画像データベース94の内容を充実することができ、CG画像を作成する際に最新の特定被写体データに基づいてCG画像を作成することができる。
また、会員ユーザには撮影に関して娯楽性がアップするとともに、利益も還元することができる。
ネットワーク96を利用した他の実施形態を説明する。このような実施形態では、カメラ90はホームサーバ92と常時接続されており、リアルタイムで通信することができる。
カメラ90は、ネットワーク96を介して、認識した画像データと被写体情報(位置、方位、倍率データなど)をホームサーバ92に送信する。なお、カメラ90は、低解像度化した画像データや、画像特徴量(濃度ヒストグラウムなど)を送信してもよい。
送信された画像データと被写体情報を受信したホームサーバ92は、カメラ90で認識された被写体のCG画像が作成できるか否かを判定し、判定結果をカメラ90に対して送信する。
判定結果を受信したカメラ90は、ホームサーバ92がCG画像を作成することができると判定した場合には、そのままオートで撮影を実行する。
一方、ホームサーバがCG画像を作成することができないと判定した場合には、カメラ90は、多重撮影モード、またはマニュアル撮影モードに設定するようにメッセージをカメラ90の表示画面に表示し、ユーザに促す。
さらに、画像データに応じて、お勧めモードを判定し、カメラ90の表示画面に表示してもよい。このような例としては、ヒストグラムの分布が低輝度側、または高輝度側に偏っていることや、濃度域が広いことを挙げることができ、オートでは白飛びや低輝度エリアにおいて黒つぶれの虞がある場合に、また多重露出撮影を薦めることや、マニュアルにおいて露出をアップまたはダウンさせることを挙げることもできる。
また、ホームサーバ92から判定結果を受信したカメラ90は、ホームサーバ92がCG画像を作成することができると判定した場合には、目的シーンを通常撮影、主要被写体にズーム、主要被写体にピントで撮影し、ホームサーバ92に撮影データを送信してもよい。
撮影データを受信したホームサーバ92は、所定の設定にしたがってCG画像を作成し、高解像度化、広角画像化、被写体別にピントを調節するなどの処理を撮影データに施す。
一方、ホームサーバ92がCG画像を作成することができないと判定した場合には、カメラ90は、分割撮影、多重ズーム撮影、多重フォーカスなどの特殊撮影モードに設定するようにメッセージをカメラ90の表示画面に表示し、ユーザに促してもよい。
また、ホームサーバ92から判定結果を受信したカメラ90は、ホームサーバ92がCG画像を作成することができると判定した場合には、上述のように撮影を行なうとともに撮影時の圧縮率を高めに制御して撮影データを記録してもよい。
圧縮率が高いと通常では画質が劣化するが、上述した画像処理によって高解像度画像を作成することができる。
また、上述の実施形態では、ホームサーバ92によるCG画像の作成の可否は、カメラ90で認識された被写体に対して判定されたが、必ずしもこれに限定されず、被写体別に判定してもよい。
そうすることにより、ホームサーバ92がCG画像を作成することができると判定した場合における記録する撮影データを、エリア別に圧縮率を制御して記録することができる。したがって、エリア別に圧縮率を制御しないで撮影データを記憶する場合に比べて記憶するデータ量を低減することができる。
また、動画撮影において、カメラ90は映像データをホームサーバ92に送信し、ホームサーバ92は映像データから動画のコマ(フレーム)をCG画像で再現することができるか否かを判定し、判定結果をカメラ90に送信する。
ホームサーバ92が動画のコマをCG画像で再現することができると判定した場合には、カメラ90は通常撮影時に比して単位時間当たりのフレーム数を削減してフレームを記録する。なお、削除されたフレームはホームサーバ92によってCG画像として再現できるため、動画のコマ落ちするおそれはない。
そうすることにより、カメラ90に記録されるデータ量を通常時と比べて減少させることができる。
以上、本発明に係る画像処理システムについて詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
デジタルフォトプリントの概略を示すブロック図である。 画像処理装置の概略構成を示すブロック図である。 画像合成手段の概略構成を示すブロック図である。 撮影画像データにCG画像データを合成して、合成画像を生成する処理を説明するための図である。 動画撮影における画像処理を説明するための図である。 ネットワークを利用した一実施形態の概略構成を示す図である。 地図データの一例を示す図である。 サンプル画像の一例を示す図である。
符号の説明
10 デジタルフォトプリンタ
12 スキャナ
14 画像処理装置
16 プリンタ
18a キーボード
18b マウス
20 ディスプレイ
22 光源
28 拡散ボックス
29a スリット
30 キャリア
31 磁気読取書込装置
32 結像レンズユニット
38 データ処理部
40 プレスキャンメモリ
42 本スキャンメモリ
44 プレスキャン画像処理部
46 本スキャン画像処理部
56 条件設定部
62 被写体情報取得手段

Claims (11)

  1. 被写体を撮影する撮影部、前記撮影部により撮影された撮影画像内の被写体情報を取得する被写体情報取得部、前記撮影部が前記被写体を撮影する撮影条件を決定する制御部、および、撮影画像および被写体情報の少なくとも一方をネットワークを介して転送する通信部を備える撮影手段と、
    前記通信部から転送される撮影画像および被写体情報の少なくとも一方を受信する受信部、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定部、判定部で判定された判定結果を前記撮影手段に送信する送信部を備えるホームサーバとを有し、
    前記通信部は、前記送信部から送信される判定結果を受信し、
    前記制御部は、前記送信部から送信された判定結果に基づいて撮影条件を決定することを特徴とする画像撮影システム。
  2. 前記撮影手段は、さらに表示部を有し、
    前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記撮影条件を設定されている条件とし、
    前記被写体のシミュレーション画像の作成できないという判定結果の場合は、撮影条件を多重撮影モードまたはマニュアル撮影モードとするべきであるというメッセージを表示部に表示させる請求項1に記載の画像撮影システム。
  3. 前記撮影手段は、さらに表示部を有し、
    前記判定部は、さらに前記撮影画像に基づいて、適切な撮影モードを判定し、
    前記制御部は、前記判定部で判定された適切な撮影モードを前記表示部に表示させる請求項1または2に記載の画像撮影システム。
  4. 前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、主要被写体にズームし、または、主要被写体にピントを合せて撮影する撮影条件とする請求項1〜3のいずれかに記載の画像撮影システム。
  5. 前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも高い圧縮率で前記撮影画像データを圧縮して記録する請求項1〜4のいずれかに記載の画像撮影システム。
  6. 前記判定部は、前記撮影画像内の被写体毎に前記被写体のシミュレーション画像を作成できるかを判定し、
    前記制御部は、前記送信部から送信された判定結果に基づいて前記被写体毎に前記撮影条件を決定する請求項1〜5のいずれかに記載の撮影システム。
  7. 前記被写体情報は、撮影位置からなるデータ、撮影位置と撮影方位とからなるデータ、撮影位置と撮影倍率からなるデータおよび撮影位置と撮影方位と撮影倍率からなるデータのいずれか1つである請求項1〜6のいずれかに記載の画像撮影システム。
  8. 前記撮影手段は、静止画を撮影する請求項1〜7のいずれかに記載の画像撮影システム。
  9. 画像撮影手段は、動画を撮影する請求項1〜7のいずれかに記載の画像撮影システム。
  10. 前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも単位時間当たりの撮影画像数を少なくして前記撮影画像データを記録する請求項9に記載の画像撮影システム。
  11. ホームサーバと通信する撮影手段により画像を撮影する画像撮影方法であって、
    被写体の撮影画像を取得し、かつ撮影された撮影画像内の被写体の被写体情報を取得する撮影ステップと
    前記撮影ステップで取得された撮影画像および被写体情報の少なくとも一方を撮影手段がネットワークを介してホームサーバに転送する転送ステップと、
    転送された撮影画像および被写体情報の少なくとも一方をホームサーバが受信する受信ステップと、
    前記ホームサーバが、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定ステップと、
    前記判定ステップで判定して判定結果を撮像手段に送信する送信ステップと、
    前記送信部から送信される判定結果を撮像手段が受信する受信ステップと、
    前記送信部から送信された判定結果に基づいて撮影条件を決定する撮影条件決定ステップとを有することを特徴とする画像撮影方法。
JP2007331677A 2007-12-25 2007-12-25 画像撮影システム及び画像撮影方法 Expired - Fee Related JP4399495B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007331677A JP4399495B2 (ja) 2007-12-25 2007-12-25 画像撮影システム及び画像撮影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007331677A JP4399495B2 (ja) 2007-12-25 2007-12-25 画像撮影システム及び画像撮影方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004093223A Division JP4152340B2 (ja) 2004-03-26 2004-03-26 画像処理システムおよびその方法

Publications (2)

Publication Number Publication Date
JP2008172776A JP2008172776A (ja) 2008-07-24
JP4399495B2 true JP4399495B2 (ja) 2010-01-13

Family

ID=39700385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007331677A Expired - Fee Related JP4399495B2 (ja) 2007-12-25 2007-12-25 画像撮影システム及び画像撮影方法

Country Status (1)

Country Link
JP (1) JP4399495B2 (ja)

Also Published As

Publication number Publication date
JP2008172776A (ja) 2008-07-24

Similar Documents

Publication Publication Date Title
JP4152340B2 (ja) 画像処理システムおよびその方法
US7221395B2 (en) Digital camera and method for compositing images
JP3786242B2 (ja) 画像処理方法および装置、画像再生方法および装置並びにその方法に使用する画像確認装置
US7170632B1 (en) Image reproducing method and apparatus, image processing method and apparatus, and photographing support system
JPH09181913A (ja) カメラシステム
US20040070778A1 (en) Image processing apparatus
JP2001238177A (ja) 画像処理方法および装置
JP3907816B2 (ja) 画像処理方法
JP2002207242A (ja) カメラおよび画像形成システム
JP3808662B2 (ja) 画像再生方法および装置
JP4268612B2 (ja) 画像再生装置
US7277598B2 (en) Image processing apparatus, certification photograph taking apparatus, and certification photograph creation system
JP4829269B2 (ja) 画像処理システムおよびその方法
JP3549413B2 (ja) 画像処理方法および画像処理装置
JP4339730B2 (ja) 画像処理方法および装置
JP4399495B2 (ja) 画像撮影システム及び画像撮影方法
JP3386373B2 (ja) 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置
JP2008102961A (ja) 画像処理システムおよびその方法
JP4159766B2 (ja) 画像処理方法
JPH10136298A (ja) カメラ及びプリンタ
JP2008141771A (ja) 画像確認装置
JP4067555B2 (ja) 画像確認装置
JP2003264711A (ja) 画像処理方法、画像処理装置、及び画像記録装置
JP2005304023A (ja) 画像処理装置
JP2000092309A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees