JP4399495B2 - 画像撮影システム及び画像撮影方法 - Google Patents
画像撮影システム及び画像撮影方法 Download PDFInfo
- Publication number
- JP4399495B2 JP4399495B2 JP2007331677A JP2007331677A JP4399495B2 JP 4399495 B2 JP4399495 B2 JP 4399495B2 JP 2007331677 A JP2007331677 A JP 2007331677A JP 2007331677 A JP2007331677 A JP 2007331677A JP 4399495 B2 JP4399495 B2 JP 4399495B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- photographing
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集/処理した写真プリントも出力可能である。
さらに、デジタルフォトプリンタによれば、画像を写真プリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピー(登録商標)ディスク等の画像記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた出力画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光(焼付け)して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が可視再生画像として再生された写真プリントを出力する。
そこで、カメラを大型化することなく、高精細なプリントが得られるように、高精細撮影モードで撮影された複数枚の画像データを、撮影制御情報に基づき画像合成する技術が提案されている(例えば、特許文献1参照。)。
そして、そのサービスは、プリントされた画像と撮影日付や撮影時刻を見て撮影時の状況を振り返る場合に役立つ。
しかし、撮影日付や撮影時刻の情報のみからでは、撮影当時の種々の状況を十分に振り返ることが難しい場合もある。すなわち、これらの写真プリントの画像を後日鑑賞する場合、撮影日時を手がかりとしてプリントされた画像を振り返るが、何を目的とし、どうゆう状況下で撮影したのか十分思い出せない場合も多い。
また、例えば、人物を撮影した画像の背景に山が撮影されている場合、その背景の山の名前や標高や歴史を知りたい場合もある。
これに対し、撮影日付や撮影時刻だけでなく、これらに関する付帯的情報や撮影場所やその付帯情報があれば撮影当時を容易に振り返ることができる場合が多い。
本発明は、撮影部により取得した撮影画像が、画像処理システムでシミュレーション画像を作成できるか否かを適切に判断することができる画像撮影システム及び画像撮影方法を提供することにある。
ここで、前記撮影手段は、さらに表示部を有し、前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記撮影条件を設定されている条件とし、前記被写体のシミュレーション画像の作成できないという判定結果の場合は、撮影条件を多重撮影モードまたはマニュアル撮影モードとするべきであるというメッセージを表示部に表示させることが好ましい。
また、前記撮影手段は、さらに表示部を有し、前記判定部は、さらに前記撮影画像に基づいて、適切な撮影モードを判定し、前記制御部は、前記判定部で判定された適切な撮影モードを前記表示部に表示させることが好ましい。
前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、主要被写体にズームし、または、主要被写体にピントを合せて撮影する撮影条件とすることが好ましい。
また、前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも高い圧縮率で前記撮影画像データを圧縮して記録することが好ましい。
また、前記判定部は、前記撮影画像内の被写体毎に前記被写体のシミュレーション画像を作成できるかを判定し、前記制御部は、前記送信部から送信された判定結果に基づいて前記被写体毎に前記撮影条件を決定することが好ましい。
また、前記被写体情報は、撮影位置からなるデータ、撮影位置と撮影方位とからなるデータ、撮影位置と撮影倍率からなるデータおよび撮影位置と撮影方位と撮影倍率からなるデータのいずれか1つであることが好ましい。
前記撮影手段は、静止画を撮影することが好ましい。
画像撮影手段は、動画を撮影することも好ましい。
前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも単位時間当たりの撮影画像数を少なくして前記撮影画像データを記録することが好ましい。
また、前記課題を解決するために、本発明は、ホームサーバと通信する撮影手段により画像を撮影する画像撮影方法であって、被写体の撮影画像を取得し、かつ撮影された撮影画像内の被写体の被写体情報を取得する撮影ステップと、前記撮影ステップで取得された撮影画像および被写体情報の少なくとも一方を撮影手段がネットワークを介してホームサーバに転送する転送ステップと、転送された撮影画像および被写体情報の少なくとも一方をホームサーバが受信する受信ステップと、前記ホームサーバが、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定ステップと、前記判定ステップで判定して判定結果を撮像手段に送信する送信ステップと、前記送信部から送信される判定結果を撮像手段が受信する受信ステップと、前記送信部から送信された判定結果に基づいて撮影条件を決定する撮影条件決定ステップとを有することを特徴とする画像撮影方法を提供する。
ここで、特許文献1に記載の発明は、画像の作成に複数回の撮影が必要であり、手間がかかり、カメラにも特殊な撮影モード機能が必要であった。
また、特許文献2に記載の発明は、ユーザの好みに応じた娯楽性に富んだ写真プリントや表示画像を提供するに際して、雲に隠れて被写体が見えない画像や、被写体がピンボケで不鮮明な場合に、CG画像を作成し、CG画像と実際に撮影された画像とをパターンマッチングしたり、合成したりしているが、この発明は、撮影画像における欠損部分等について、本来であれば撮影されている画像を参照して合成しており、出力画像を高画質にするものではない。
そこで、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、その撮影画像に対応するシミュレーション画像を合成することで、ユーザの希望に合わせて、様々な撮影画像の加工を行なうことができる画像処理システムを提供することを目的として、下記の画像処理システムを提供する。
前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、同定した前記被写体の3次元構造データまたは前記被写体の2次元データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成手段と、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理手段とを備えることを特徴とする画像処理システムを提供する。
また、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、前記被写体の3次元構造データを記憶しているデータベースと、前記同定手段により同定した被写体の3次元構造データをデータベースから読み出す読出手段と、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応する前記被写体のシミュレーション画像を作成する画像作成手段と、前記被写体のシミュレーション画像に基づいて、前記撮影画像の前記被写体の欠陥部分を補正する、または撮影画像の前記被写体の濃度・色味を修正する処理手段とを備え、前記画像作成手段は、前記被写体の3次元構造データに基づいて、前記被写体及び前記被写体の影エリアのシミュレーション画像を作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加させるように濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成することを特徴とする画像処理システムを提供する。
また、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下させるように濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記読出手段は、前記撮影情報及びユーザにより入力された条件に基づいて撮影条件を読み出し、前記画像作成手段は、読み出された前記撮影条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、前記処理手段は、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成してもよい。
また、画像作成手段は、撮影画像に比して高解像度である所定の解像度でシミュレーション画像を作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記画像作成手段は、前記撮影画像の解像度よりも高い解像度で前記シミュレーション画像を作成し、前記処理手段は、前記撮影画像を拡大して拡大画像を作成し、前記撮影画像の拡大比率が大きくなるにつれて前記シミュレーション画像の比率が大きくなるように設定されている比率から前記拡大比率に基づいて比率を決定し、決定した比率に基づいて、前記拡大画像の画素値と前記シミュレーション画像の画素値とを加重平均して、前記拡大画像と前記シミュレーション画像とを合成してもよい。
また、前記画像作成手段は、前記撮影画像における背景部と主要被写体とで、サイズ、鮮鋭度及びコントラストの少なくとも1つを別々に設定し、個別に前記背景部のシミュレーション画像と前記主要被写体のシミュレーション画像とを作成してもよい。
また、前記画像作成手段は、撮影画像の主要被写体を中心に視野を拡大した、前記撮影画像には撮影されていない領域も含むシミュレーション画像を作成してもよい。
また、前記画像作成手段は撮影画像の背景のみをシミュレーション画像で作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成してもよい。
また、前記画像作成手段は、撮影画像の背景のシミュレーション画像を作成し、前記処理手段は、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成してもよい。
前記画像作成手段は、それぞれの撮影画像のコマとコマの間の撮影画像に対応する前記被写体のシミュレーション画像を作成し、前記編集手段は、前記シミュレーション画像をコマとコマの間に前記撮影画像として挿入してもよい。
前記画像作成手段は、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、前記編集手段は、前記シミュレーション画像を動画の前後に挿入してもよい。
また、前記編集手段は、前記シミュレーション画像内の特定の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集してもよい。
また、前記編集手段は、前記シミュレーション画像内の前記特定の被写体付近の背景を補正してもよい。
また、前記データベースは、通信手段を有し、通信手段を介して外部から提供された情報に基づいて、記憶されている被写体の3次元構造データを更新してもよい。
また、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、前記被写体の3次元構造データに基づいて前記被写体の影エリアのシミュレーション画像も作成し、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成することを特徴とする画像処理方法を提供する。
前記画像作成ステップは、前記被写体の3次元構造データに基づいて前記被写体の影エリアのシミュレーション画像も作成し、
ここで、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記読出ステップは、前記撮影情報及びユーザにより入力された条件に基づいて撮影条件を読み出し、前記画像作成ステップは、前記撮影条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、前記処理ステップは、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成してもよい。
また、前記画像作成ステップは、撮影画像に比して高解像度である所定の解像度で被写体のシミュレーション画像を作成し、前記処理ステップは、前記撮影画像と前記被写体のシミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記画像作成ステップは、前記撮影画像の解像度よりも高い解像度で前記シミュレーション画像を作成し、前記処理ステップは、前記撮影画像を拡大して拡大画像を作成し、前記撮影画像の拡大比率が大きくなるにつれて前記シミュレーション画像の比率が大きくなるように設定されている比率から前記拡大比率に基づいて比率を決定し、決定した比率に基づいて、前記拡大画像の画素値と前記シミュレーション画像の画素値とを加重平均して、前記拡大画像と前記シミュレーション画像とを合成してもよい。
また、前記画像作成ステップは、前記撮影画像における背景部と主要被写体とで、サイズ、鮮鋭度及びコントラストの少なくとも1つを別々に設定し、個別に前記背景部のシミュレーション画像と前記主要被写体のシミュレーション画像とを作成してもよい。
また、前記画像作成ステップは、撮影画像の主要被写体を中心に、視野を拡大した、前記撮影画像には撮影されていない領域も含むシミュレーション画像を作成してもよい。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、前記撮影画像の解像度よりも高い解像度で前記シミュレーション画像を作成し、前記処理ステップは、前記撮影画像を拡大して拡大画像を作成し、前記撮影画像の拡大比率が大きくなるにつれて前記シミュレーション画像の比率が大きくなるように設定されている比率から前記拡大比率に基づいて比率を決定し、決定した比率に基づいて、前記拡大画像の画素値と前記シミュレーション画像の画素値とを加重平均して、前記拡大画像と前記シミュレーション画像とを合成することを特徴とする画像処理方法を提供する。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、前記撮影画像における背景部と主要被写体とで、サイズ、鮮鋭度及びコントラストの少なくとも1つを別々に設定し、個別に前記背景部のシミュレーション画像と前記主要被写体のシミュレーション画像とを作成することを特徴とする画像処理方法を提供する。
また、前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備え、前記画像作成ステップは、撮影画像の主要被写体を中心に、視野を拡大した、前記撮影画像には撮影されていない領域も含むシミュレーション画像を作成することを特徴とする画像処理方法を提供する。
また、前記画像作成ステップは撮影画像の背景のみをシミュレーション画像で作成し、前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成してもよい。
また、前記画像作成ステップは、撮影画像の背景のシミュレーション画像を作成し、前記処理ステップは、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成してもよい。
また、本発明は、複数の撮影画像のコマからなる動画における画像処理方法であって、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得ステップと、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定ステップと、同定した被写体の3次元構造データをデータベースから読み出す読出ステップと、読み出した前記被写体の3次元構造データに基づいて、シミュレーション画像を生成する画像作成ステップと、前記シミュレーション画像と前記撮影画像を用いて動画を編集する編集ステップとを有することを特徴とする画像処理方法を提供する。
ここで、前記画像作成ステップは、それぞれの撮影画像のコマとコマの間の撮影画像に対応する前記被写体のシミュレーション画像を作成し、前記編集ステップは、前記シミュレーション画像をコマとコマの間に前記撮影画像として挿入してもよい。
また、前記画像作成ステップは、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、前記編集ステップは、前記シミュレーション画像を動画の前後に挿入してもよい。
また、前記編集ステップは、前記シミュレーション画像内の特定の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集してもよい。
また、前記編集ステップは、前記シミュレーション画像内の前記特定の被写体付近の背景を補正してもよい。
本発明によれば、ユーザの希望に合わせて、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、様々な撮影画像の加工を行なうことができる画像処理システムを提供することができる。
図1に示されるデジタルフォトプリンタ10は、基本的に、フィルムFに撮影された画像を光電的に読み取るスキャナ(画像入力手段)12と、読み取られた画像データを処理して出力用の画像データとし、また、デジタルフォトプリンタ10全体の操作および制御等を行う画像処理装置14と、画像処理装置14から出力された画像データに応じて変調した光ビームで感光材料(印画紙)を画像露光し、現像処理して(仕上がり)プリントとして出力するプリンタ16等(画像出力手段)とを有する。
フィルムFはこのキャリア30によって保持されて副走査方向に搬送されつつこのフィルムFには読み取り光が入射される。これにより、フィルムFが主走査方向に延在するスリット29aによって2次元的にスリット走査され、フィルムFに撮影された各コマの画像が読み取られる。
フィルムFの投影光は、このCCDセンサによってR、GおよびBの3原色に分解されて光電的に読み取られる。光源22から射出され、可変絞り24によって光量調整され拡散ボックス28を通して均一にされた読み取り光が、キャリア30によって所定の読み取り位置に保持されつつ搬送されるフィルムFに入射して、透過することにより、フィルムFに撮影された画像を担持する投影光を得る。
フィルムFの投影光は、結像レンズユニット32によってCCDセンサ34の受光面に結像され、CCDセンサ34によって光電的に読み取られ、その出力信号は、アンプ36で増幅されて、A/D変換器38でデジタル画像データに変換され、入力画像データとして画像処理装置14に送られる。
その場合、図1に示す可変絞り24と拡散ボックス28との間にR、GおよびBの色フィルタを設け、そこを通過してR、GおよびBに色調整された光を、フィルムFの1コマに入射して、透過することにより、フィルムFに撮影されたこのコマの画像を担持する投影光を得てもよい。この場合、色フィルタを順次R、GおよびBについて3回行う必要がある。
そのため、R、GおよびBの色フィルタを設け、面露光を利用したCCDエリアセンサを用いた場合、R、GおよびBの色フィルタを用いて3回スキャンする必要があるため、計6回のスキャンを行うことになる。
ラインCCDセンサを用いる場合は、2回で済むことになるので、迅速な処理にとっては有利である。また、プレスキャンは、フィルムFのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、本スキャンを行っているが、フィルムFを一コマごとにプレスキャンと本スキャンを逐次行ってもよい。
この場合には、例えばエリアCCDセンサを用い、光源とフィルムFとの間に、R、GおよびBの各色フィルタを順次挿入してエリアCCDセンサで画像を読み取ることにより、フィルムに撮影された画像を3原色に分解して順次読み取ればよい。
また、画像処理装置14には、デジタルカメラ等で撮影して得られたデジタル画像データを記録するスマートメディア等の画像データの記録媒体から、画像データや被写体情報等を読み出し、あるいはFD、CD−R、MO、DVDやZip等の汎用の画像データの記録媒体に処理後の画像データを出力するためのドライブ装置42が接続されている。
さらに、これらを直接またはその駆動装置を介して画像処理装置14に接続することができ、画像処理装置14は、これらの画像データ供給源からデジタル画像データやその撮影情報や被写体情報を受け取ることができる。
画像処理装置14は、スキャナ12で読み取られ、デジタルデータとして画像処理装置14に送られてきた画像データ(入力画像)に所定の画像処理を施し、プリンタ16やディスプレイ20等に出力するものであり、主にデータ処理部38、プレスキャンメモリ40、本スキャンメモリ42、プレスキャン画像処理部44、本スキャン画像処理部46、条件設定部48、および被写体情報取得手段62から構成される。
また、本実施形態においては、画像処理装置14は、この他に入力画像から被写体人物に関する情報を取得する被写体情報取得手段62、撮影時にカメラによって取得され、または情報を一括管理する機器から取得された、人物や風景などの被写体情報と前記被写体情報との整合性に基づいて被写体を同定する被写体同定手段48a、CG画像作成手段48b、および画像処理部54の中に配置され、前記付属情報を、対応する撮影画像中の被写体人物に関連付けて画像合成する画像合成手段48cとを有している。
プレスキャンメモリ40および本スキャンメモリ42に格納された各画像データは、必要に応じて、画像処理を施し出力するために、それぞれプレスキャン画像処理部44および本スキャン画像処理部46に呼び出される。
また、データ変換部52は、プレスキャン画像処理部50で画像処理の施された画像データを、3DLUT等を用いて、ディスプレイ20による表示に対応する画像データに変換する。
データ変換部58は、画像処理後の画像データを、それぞれプリンタ16、ドライブ装置42、スロット44という各画像出力手段に応じた形式に変換するものである。
この記録された情報は、スキャナ12のキャリア30に設けられている磁気読取書込装置31で読み込まれ、スキャナ12から画像データと別の経路で、被写体情報として被写体情報選択手段62aへ送られる。この被写体情報は、撮影位置からなる第1のデータ構成、撮影位置と撮影方位からなる第2のデータ構成、撮影位置と撮影倍率からなる第3のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第4のデータ構成等のいずれか一つの構成のデータよりなり、被写体情報選択手段62aは撮影画像に関連づけられる被写体情報を取得する。
なお、撮影地点としては、撮影画像内の被写体の位置、すなわち撮影された地点(位置)のみならず、撮影者またはカメラの位置などの撮影する位置、すなわち撮影位置を含めてもよい。撮影位置に関する情報は、動画撮影において、撮影された動画のコマに基づいて、被写体の中間位置にあたる移動状態を推定して、CG画像を作成しようとしたとき等に利用できる。
なお、合成前のCG画像についてはユーザの要求に応じた様々な補正を施すことができる。そのような補正としては、撮影画像の欠陥部分の補正や撮影画像の濃度・色味の修正や撮影エリアに応じた輝度の調整、撮影画像に比して擬似的に高解像としたり、視野を拡大したりする補正、または撮影画像内の特定被写体を強調する補正がある。
被写体同定手段48aは、プレスキャン画像処理部44内のプレスキャン画像処理部50からプレスキャンデータを受け取り、被写体情報選択手段62aから被写体同定に用いるための情報および被写体の位置情報などの被写体情報を取得する。例えば、人物である被写体の同定に用いられる情報として、被写体人物の顔画像が好適に例示され、この場合被写体同定手段48aはプレスキャンデータから画像中の被写体人物の顔画像を抽出する。
このとき被写体人物の被写体情報は顔画像データを含んでおり、被写体同定手段48aは、この抽出された顔画像と被写体情報中の顔画像とをパターンマッチングして人物同定を行う。
建物などの構造物に関する3次元構造データは、例えばヘリコプターからのレーザ計測と、HD(High Definition)カメラ及び高精細カメラによる空中撮影により獲得される。3次元構造データとしては、レーザ計測によって獲得される、ある一定の領域の高さ情報を示すDEM(Digital Elevation Map)や、高精細カメラによる空中撮影において獲得される、建物の航空写真などがある。
このような3次元構造物データはデータベース62bに記憶され、CG画像作成手段48bは、被写体情報選択手段62aを介してデータベース62bから特定被写体の3次元構造物データを取得し、3次元構造物データに基づいて、公知のCG画像作成技術により特定被写体のCG画像を作成する。このようなCG画像として作成されるものとしては、自然の構造物、人工的構造物、人体などがある。
また、CG画像を作成するために利用されるデータは、3次元構造データに限定されず、2次元画像データであってもよい。このようなデータから得られるCG画像としては雲や水面、樹木などが挙げられる。
画像合成手段48cは、平滑化フィルタと、高周波成分処理手段と、低周波成分処理手段とから構成され、被写体同定手段48aから得られる撮影画像データと、CG画像作成手段48bから得られるCG画像データとを加算し、合成画像を出力装置16,20に送る。
このように撮影画像は画像低周波成分と画像高周波成分に分離されて、画像低周波処理手段51bと画像高周波処理手段51aに送られ、以下に説明する補正処理が行なわれる。
一方、CG画像作成手段48bから得られるCG画像も同様に分岐し、一方のCG画像を平滑化フィルタ49bに通すことで低周波成分が得られ、他方のCG画像から低周波成分を除去することで高周波成分が得られ、CG画像は画像低周波成分と画像高周波成分に分離されて、画像低周波処理手段51bと画像高周波処理手段51aに送られ、以下に説明する補正処理が行なわれる。
また、CG画像作成手段48bから得られる情報として、CG画像以外にエリア情報があり、エリア情報は補正処理を行なうエリア(影エリアや高輝度エリア)を特定するための情報であり、高周波成分処理手段51a、および低周波処理手段51bに送られる。
また、高周波成分処理部で、画像エリア情報から補正すべきエリア(例えば、撮影画像とCG画像との高周波成分の比率に所定値以上の差があるエリア)を判定し、撮影画像の高周波成分の振幅をCG画像の高周波成分に合わせる補正を行ない、低周波成分処理手段では低周波成分に対して補正を行わずに、画像成分を加算すると、階調濃度以外にも鮮鋭度を補正することもできる。
なお、合成画像は、撮影画像の影エリアまたは高輝度エリアだけの補正に限られず、両エリアを同時に補正することもでき、撮影画像にさまざまな補正を施した合成画像を生成することができる。
このようにして生成されたCG画像の色味に合うように、撮影画像を補正して合成画像を生成することにより、撮影画像にユーザが所望する補正を施した合成画像を生成することができる。
例えば、撮影した画像が旅先で撮影したものであり、そのときの天候が雨であった場合には、その撮影場所における晴れの背景をCG画像で作成し、そのCG画像の背景に合わせて撮影画像を補正することができる。このようなCG画像は、データベース62bやスロット44を介して取得される2次元データに基づいて、CG画像作成手段48bが生成する。
また、撮影画像を公知の手法により任意の比率で拡大し、同様な比率のCG画像を参照して補正を施した合成画像を生成してもよい。
さらに、撮影画像とCG画像を合成する際に、下記式(1)に示すように撮影画像の画素値AとCG画像の画素値Bとを用いて、合成画像の画素値Cを合成してもよい。また、重み付け係数Kは、拡大率が大きい程、大きくなるように制御することが好ましい。
C = A×(1−K) + B×K・・・(1)
K:重み付け係数
K=0.0〜1.0
例えば、サムネール画像のように撮影画像を縮小した場合、主要被写体も縮小されるが、主要被写体の縮小率を抑え、サイズ強調を行なうことで、従来に比して画像の内容が把握し易くなる。また、撮影画像において背景の山が印象よりも小さく感じる場合には、背景の山を拡大することができる。
このように撮影画像の背景部と主要被写体のCG画像を個別に作成することにより、サイズに限らず鮮鋭度やコントラストを個別に強調することができる。
他人や不要物など障害を除去したCG画像を用いて撮影画像に合成することにより、撮影画像との差分に応じた補正がCG画像に対して行なわれるため、CG画像と撮影画像とのつながりをよくすることができる。
実線はユーザが撮影した撮影画像のコマ(フレーム)に対応する位置での被写体を表し、点線は撮影画像のコマとコマの間であって、挿入するコマに対応する位置での被写体を表す。また、一点鎖線は被写体の移動経路を表す。
被写体の移動経路、速度、向きは、被写体付属のナビゲータ装置やセンサ類を用いた公知の技術により推定することができる。
なお、被写体の移動経路などを推定するには、ユーザのカメラ位置を認識することが必要であるが、ユーザのカメラ位置は、被写体情報に含まれるGPSやその他の情報から取得することができる。
例えば、ユーザが1秒間に30コマの画像で構成される動画を撮影した場合には、コマとコマの間に1画像ずつCG画像で作成した画像を挿入して動画を生成することで、1秒間に60コマの画像を含む動画に編集することができる。
このように流れた映像に対応する部分に、CG画像で作成した被写体の画像を合成することは、静止画において適用すれば、手ぶれ補正として機能する。
また、逆にCG画像で流れた画像を作成して、撮影画像に合成することで、映像にスピード感を与えてもよい。
図6において、ネットワーク96を通じて、サーバ(ホームサーバ)92と接続されている。また、ホームサーバ92はデータベース94を有する。本実施形態では、データベース94はホームサーバ92と別体として示すが、ホームサーバと92一体であってもよい。
ユーザの所有するカメラ90にネットワーク96を介して接続されるDB管理業者が、ユーザに対して撮影依頼情報として様々なデータを提供する。DB管理業者が提供する撮影依頼情報としては、特定被写体の位置、方向、倍率や撮影画像の予測見本などがある。
例えば、図7に示す地図データ中のXから撮影した山の画像を、ユーザに撮影依頼する場合には、DB管理業者はユーザに図8に示すような撮影画像の予測見本となるサンプル画像を送信する。
DB管理業者のデータベース94には、複数の特定被写体データが登録されている。例えば、特定被写体が山である場合には、特定被写体データは、複数の方向から撮影された山のデータである。また、登録されているデータは、方向別の特定被写体データに限らず、季節、時間帯、撮影距離、解像度、または天候などの条件別の特定被写体データであってもよい。
また、特定被写体データのアクセスが高い特定被写体データを人気の撮影スポットとみなして、画像マップに表示したり、会員ユーザなどに公開したりすることができる。
データベース管理業者は、画像データベース94の内容を充実することができ、CG画像を作成する際に最新の特定被写体データに基づいてCG画像を作成することができる。
また、会員ユーザには撮影に関して娯楽性がアップするとともに、利益も還元することができる。
カメラ90は、ネットワーク96を介して、認識した画像データと被写体情報(位置、方位、倍率データなど)をホームサーバ92に送信する。なお、カメラ90は、低解像度化した画像データや、画像特徴量(濃度ヒストグラウムなど)を送信してもよい。
送信された画像データと被写体情報を受信したホームサーバ92は、カメラ90で認識された被写体のCG画像が作成できるか否かを判定し、判定結果をカメラ90に対して送信する。
一方、ホームサーバがCG画像を作成することができないと判定した場合には、カメラ90は、多重撮影モード、またはマニュアル撮影モードに設定するようにメッセージをカメラ90の表示画面に表示し、ユーザに促す。
撮影データを受信したホームサーバ92は、所定の設定にしたがってCG画像を作成し、高解像度化、広角画像化、被写体別にピントを調節するなどの処理を撮影データに施す。
一方、ホームサーバ92がCG画像を作成することができないと判定した場合には、カメラ90は、分割撮影、多重ズーム撮影、多重フォーカスなどの特殊撮影モードに設定するようにメッセージをカメラ90の表示画面に表示し、ユーザに促してもよい。
圧縮率が高いと通常では画質が劣化するが、上述した画像処理によって高解像度画像を作成することができる。
そうすることにより、ホームサーバ92がCG画像を作成することができると判定した場合における記録する撮影データを、エリア別に圧縮率を制御して記録することができる。したがって、エリア別に圧縮率を制御しないで撮影データを記憶する場合に比べて記憶するデータ量を低減することができる。
ホームサーバ92が動画のコマをCG画像で再現することができると判定した場合には、カメラ90は通常撮影時に比して単位時間当たりのフレーム数を削減してフレームを記録する。なお、削除されたフレームはホームサーバ92によってCG画像として再現できるため、動画のコマ落ちするおそれはない。
そうすることにより、カメラ90に記録されるデータ量を通常時と比べて減少させることができる。
12 スキャナ
14 画像処理装置
16 プリンタ
18a キーボード
18b マウス
20 ディスプレイ
22 光源
28 拡散ボックス
29a スリット
30 キャリア
31 磁気読取書込装置
32 結像レンズユニット
38 データ処理部
40 プレスキャンメモリ
42 本スキャンメモリ
44 プレスキャン画像処理部
46 本スキャン画像処理部
56 条件設定部
62 被写体情報取得手段
Claims (11)
- 被写体を撮影する撮影部、前記撮影部により撮影された撮影画像内の被写体情報を取得する被写体情報取得部、前記撮影部が前記被写体を撮影する撮影条件を決定する制御部、および、撮影画像および被写体情報の少なくとも一方をネットワークを介して転送する通信部を備える撮影手段と、
前記通信部から転送される撮影画像および被写体情報の少なくとも一方を受信する受信部、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定部、判定部で判定された判定結果を前記撮影手段に送信する送信部を備えるホームサーバとを有し、
前記通信部は、前記送信部から送信される判定結果を受信し、
前記制御部は、前記送信部から送信された判定結果に基づいて撮影条件を決定することを特徴とする画像撮影システム。 - 前記撮影手段は、さらに表示部を有し、
前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記撮影条件を設定されている条件とし、
前記被写体のシミュレーション画像の作成できないという判定結果の場合は、撮影条件を多重撮影モードまたはマニュアル撮影モードとするべきであるというメッセージを表示部に表示させる請求項1に記載の画像撮影システム。 - 前記撮影手段は、さらに表示部を有し、
前記判定部は、さらに前記撮影画像に基づいて、適切な撮影モードを判定し、
前記制御部は、前記判定部で判定された適切な撮影モードを前記表示部に表示させる請求項1または2に記載の画像撮影システム。 - 前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、主要被写体にズームし、または、主要被写体にピントを合せて撮影する撮影条件とする請求項1〜3のいずれかに記載の画像撮影システム。
- 前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも高い圧縮率で前記撮影画像データを圧縮して記録する請求項1〜4のいずれかに記載の画像撮影システム。
- 前記判定部は、前記撮影画像内の被写体毎に前記被写体のシミュレーション画像を作成できるかを判定し、
前記制御部は、前記送信部から送信された判定結果に基づいて前記被写体毎に前記撮影条件を決定する請求項1〜5のいずれかに記載の撮影システム。 - 前記被写体情報は、撮影位置からなるデータ、撮影位置と撮影方位とからなるデータ、撮影位置と撮影倍率からなるデータおよび撮影位置と撮影方位と撮影倍率からなるデータのいずれか1つである請求項1〜6のいずれかに記載の画像撮影システム。
- 前記撮影手段は、静止画を撮影する請求項1〜7のいずれかに記載の画像撮影システム。
- 画像撮影手段は、動画を撮影する請求項1〜7のいずれかに記載の画像撮影システム。
- 前記制御部は、前記被写体のシミュレーション画像の作成できるという判定結果の場合は、前記被写体のシミュレーション画像の作成できない場合よりも単位時間当たりの撮影画像数を少なくして前記撮影画像データを記録する請求項9に記載の画像撮影システム。
- ホームサーバと通信する撮影手段により画像を撮影する画像撮影方法であって、
被写体の撮影画像を取得し、かつ撮影された撮影画像内の被写体の被写体情報を取得する撮影ステップと
前記撮影ステップで取得された撮影画像および被写体情報の少なくとも一方を撮影手段がネットワークを介してホームサーバに転送する転送ステップと、
転送された撮影画像および被写体情報の少なくとも一方をホームサーバが受信する受信ステップと、
前記ホームサーバが、前記撮影画像及び被写体情報の少なくとも一方から前記被写体のシミュレーション画像を作成できるかを判定する判定ステップと、
前記判定ステップで判定して判定結果を撮像手段に送信する送信ステップと、
前記送信部から送信される判定結果を撮像手段が受信する受信ステップと、
前記送信部から送信された判定結果に基づいて撮影条件を決定する撮影条件決定ステップとを有することを特徴とする画像撮影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007331677A JP4399495B2 (ja) | 2007-12-25 | 2007-12-25 | 画像撮影システム及び画像撮影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007331677A JP4399495B2 (ja) | 2007-12-25 | 2007-12-25 | 画像撮影システム及び画像撮影方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004093223A Division JP4152340B2 (ja) | 2004-03-26 | 2004-03-26 | 画像処理システムおよびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008172776A JP2008172776A (ja) | 2008-07-24 |
JP4399495B2 true JP4399495B2 (ja) | 2010-01-13 |
Family
ID=39700385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007331677A Expired - Fee Related JP4399495B2 (ja) | 2007-12-25 | 2007-12-25 | 画像撮影システム及び画像撮影方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4399495B2 (ja) |
-
2007
- 2007-12-25 JP JP2007331677A patent/JP4399495B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008172776A (ja) | 2008-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4152340B2 (ja) | 画像処理システムおよびその方法 | |
US7221395B2 (en) | Digital camera and method for compositing images | |
JP3786242B2 (ja) | 画像処理方法および装置、画像再生方法および装置並びにその方法に使用する画像確認装置 | |
US7170632B1 (en) | Image reproducing method and apparatus, image processing method and apparatus, and photographing support system | |
JPH09181913A (ja) | カメラシステム | |
US20040070778A1 (en) | Image processing apparatus | |
JP2001238177A (ja) | 画像処理方法および装置 | |
JP3907816B2 (ja) | 画像処理方法 | |
JP2002207242A (ja) | カメラおよび画像形成システム | |
JP3808662B2 (ja) | 画像再生方法および装置 | |
JP4268612B2 (ja) | 画像再生装置 | |
US7277598B2 (en) | Image processing apparatus, certification photograph taking apparatus, and certification photograph creation system | |
JP4829269B2 (ja) | 画像処理システムおよびその方法 | |
JP3549413B2 (ja) | 画像処理方法および画像処理装置 | |
JP4339730B2 (ja) | 画像処理方法および装置 | |
JP4399495B2 (ja) | 画像撮影システム及び画像撮影方法 | |
JP3386373B2 (ja) | 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置 | |
JP2008102961A (ja) | 画像処理システムおよびその方法 | |
JP4159766B2 (ja) | 画像処理方法 | |
JPH10136298A (ja) | カメラ及びプリンタ | |
JP2008141771A (ja) | 画像確認装置 | |
JP4067555B2 (ja) | 画像確認装置 | |
JP2003264711A (ja) | 画像処理方法、画像処理装置、及び画像記録装置 | |
JP2005304023A (ja) | 画像処理装置 | |
JP2000092309A (ja) | 画像処理方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |