JP4379918B2 - 撮影装置及び撮影方法 - Google Patents

撮影装置及び撮影方法 Download PDF

Info

Publication number
JP4379918B2
JP4379918B2 JP2004344553A JP2004344553A JP4379918B2 JP 4379918 B2 JP4379918 B2 JP 4379918B2 JP 2004344553 A JP2004344553 A JP 2004344553A JP 2004344553 A JP2004344553 A JP 2004344553A JP 4379918 B2 JP4379918 B2 JP 4379918B2
Authority
JP
Japan
Prior art keywords
shooting
image
subject
photographing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004344553A
Other languages
English (en)
Other versions
JP2006157428A (ja
Inventor
文雄 中丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004344553A priority Critical patent/JP4379918B2/ja
Priority to US11/285,047 priority patent/US7995852B2/en
Publication of JP2006157428A publication Critical patent/JP2006157428A/ja
Application granted granted Critical
Publication of JP4379918B2 publication Critical patent/JP4379918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Description

本発明は撮影装置及び撮影方法に係り、特に被写体の動きや撮影装置の動きに起因する本番撮影の静止画像の画質の劣化を未然に防止し得る撮影装置及び撮影方法に関する。
一般に、被写体が動いている状態やカメラが動いている状態で被写体を撮影すると、いわゆる被写体ぶれやカメラぶれ(手ぶれともいう)が画像内に発生してしまい、画像が劣化することになる。
そこで、従来、画像内に発生するぶれに対して各種の対策を施した撮影装置が提案されている。
特許文献1には、本番撮像前と本番撮像時とで、焦点合わせ距離特性、露出特性、色特性等の撮影環境特性を比較することにより、不測の光源変化、手ぶれ、被写体ぶれ等の何らかの理由に因る画像品質の劣化を判別して警告を発するようにしたものが記載されている。
特許文献2には、カメラの光軸方向に対してヨー方向とピッチ方向の角加速度を検出するメカニカルセンサと、被写体像を受光する第1のエリアセンサと、ファインダを観察する撮影者の眼を撮像する第2のエリアセンサとを有し、各センサの出力に応じてカメラの状態を判別し、この判別結果に応じてぶれ補正を行うようにしたものが記載されている。
特許文献3には、露光量の異なる2枚の画像を合成してダイナミックレンジの広い画像を得る際に、露光量の異なる2枚の撮影済み画像の間に発生した差異が、被写体ぶれ及び手ぶれのいずれに因るかを判定し、画像合成を行うようにしたものが記載されている。
特許文献4には、画面周辺部と画面中央部からそれぞれ動きベクトルを検出し、被写体の動きを除いた画面全体の動き(すなわち手ぶれ)を検出するようにしたものが記載されている。
特許文献5には、原画像の中から主要被写体の特徴部分を抽出し、動きベクトルを検出するようにしたものが記載されている。
特許文献6には、CCD(Charge Coupled Devices)上とメモリ上の2箇所で、ぶれ補正を行うようにしたものが記載されている。
特許文献7には、手ぶれを検出する手ぶれ検出センサ(手ぶれ検出部)を有し、画像が有する手ぶれを補正するようにしたものが記載されている。
特開平11−356022号公報 特開2001−7101号公報 特開2001−324972号公報 特開平3−176719号公報 特開平9−5595号公報 特開平11−167901号公報 特開2001−37355号公報
しかしながら、従来のものは、被写体の静止画像の本番撮影前の画像に基づいて被写体の動き及び撮影装置の動きの両方を推測するようになっていなかった。
特許文献1に記載されたものは、何らかの理由に因り画像の品質が実際に劣化したことは検出が可能だが、本番撮影後でないと検出できず、また、画像品質の劣化が手ぶれに因るのか被写体ぶれに因るのかを判断することができない。
また、特許文献2に記載されたものは、カメラぶれ検出手段としてのメカニカルセンサ(例えばジャイロ)と、撮影者の視線位置検出手段としてのエリアセンサ(いわゆる視線位置検出センサ)とを搭載した撮影装置でないと効果を発揮することができない。すなわち、ぶれには、手ぶれと被写体ぶれが存在し、また、パンニングのように撮影者が意図したぶれも存在するが、撮影装置でどのようなぶれが生じているかを判断するためには、ジャイロや視線位置検出センサなどが必要になってくる。
また、特許文献3に記載されたものは、本番撮影時に露光量の異なる2枚の画像を撮影後に、これらの画像間の差異に基づいて適正な画像合成を行うようになっている一方で、被写体の静止画像の本番撮影前に被写体及び撮影装置の動きを推測するようにはなっていない。
また、特許文献4に記載されたものは、手ぶれを検出することを可能としているが、被写体ぶれを回避することができない。
また、特許文献4には、被写体の静止画像の本番撮影前に被写体及び撮影装置の動きを推測することについて示唆する記載もない。
また、特許文献5に記載されたものは、画像パターンとの比較によって動きベクトルを検出しているが、メインとなる被写体の特徴を抽出するパターンが必要となってしまう。
また、特許文献6、7に記載されたものは、全体の動きベクトルしか予測しないので、画像全体で1つの補正処理しかできない。また、メイン被写体単独の動きベクトルを検出することができない。
これらの従来のものは、ジャイロなどの特別なハードウエアを用いることなく被写体の動き及び撮影装置の動きを予測して、被写体の動きや撮影装置の動きに起因する本番撮影の静止画像の画質の劣化を未然に防止するには不向きである。
本発明はこのような事情に鑑みてなされたもので、ジャイロなどの特別なハードウエアを用いることなく被写体の動き及び撮影装置の動きを予測して、被写体の動きや撮影装置の動きに起因する本番撮影の静止画像の画質の劣化を未然に防止し得る撮影装置及び撮影方法を提供することを目的とする。
前記目的を達成するために、本発明は、被写体を撮影する撮影手段と、前記撮影手段による前記被写体の静止画像の本番撮影前に前記撮影手段により前記被写体を含んで撮影される画像に基づいて、実際の前記被写体の動き及び本撮影装置の動きを推測する動き推測手段を備えたことを特徴とする撮影装置を提供する。
本発明の一態様では、前記動き推測手段は、本番撮影前の前記画像中の被写体領域と背景領域とを判断し、前記被写体領域における動きを示す第1の動きベクトルと前記背景領域における動きを示す第2の動きベクトルとを求め、前記第1の動きベクトルと前記第2の動きベクトルとの差分ベクトルを前記実際の被写体の動きとみなして前記第2の動きベクトルを前記本撮影装置の動きとみなす。
本発明の一態様では、前記動き推測手段は、前記被写体と本撮影装置とが共に静止している第1の撮影状況、前記被写体が静止しており本撮影装置が動いている第2の撮影状況、前記被写体が動いており本撮影装置が静止している第3の撮影状況、及び、前記被写体と本撮影装置とが共に動いている第4の撮影状況のうちいずれの撮影状況であるかを判断する
この構成によって、ジャイロなどの特別なハードウエアを用いることなく、静止画像の本番撮影前に、被写体を含んで撮影される動画像または複数の静止画像に基づいて被写体の動き及び撮影装置の動きが予測されるので、被写体の動きや撮影装置の動きに起因する本番撮影の静止画像の画質の劣化を未然に防止し得ることになる。
本発明の一態様では、前記撮影手段は、前記被写体の静止画像の本番撮影前にスルー画像の撮影を行い、前記動き推測手段は、前記スルー画像から所定の時間間隔で抽出した複数の静止画像に基づいて前記被写体の動き及び本撮影装置の動きを推測する。
本発明の一態様では、前記撮影手段は、前記被写体の静止画像の本番撮影前に所定の時間間隔で複数回のプレ撮影を行い、前記動き推測手段は、前記プレ撮影によって得られる複数の静止画像に基づいて前記被写体の動き及び本撮影装置の動きを推測する。
本発明の一態様では、前記撮影手段は、前記被写体の静止画像を所定の時間間隔で連続して撮影する連写を行い、前記動き推測手段は、連写撮影中に、撮影済みの複数の静止画像に基づいて次の静止画像を撮影するときの前記被写体の動き及び本撮影装置の動きを推測する。
本発明の一態様では、前記動き推測手段によって推測された前記被写体の動き及び本撮影装置の動きに基づいて、シャッタスピード、絞り、感度、発光条件、その他の撮影条件を設定する撮影条件設定手段を備える
この構成によって、撮影条件の設定が容易になるとともに、予測された本番撮影時の被写体の動き及びカメラの動きに応じて未然に被写体ぶれ及びカメラぶれが防止されることになる。
本発明の一態様では、前記動き推測手段により判断された前記撮影状況と、連写撮影であるか否かとに基づいて、シャッタスピード、絞り、感度、発光条件、その他の撮影条件を設定する撮影条件設定手段を備える。
本発明の一態様では、前記撮影条件設定手段は、前記被写体の動きベクトル及び本撮影装置の動きベクトルのそれぞれに対して重み付けを行って前記撮影条件を設定する。
本発明の一態様では、前記動き推測手段によって推測された前記被写体の動き及び本撮影装置の動きに基づいて、前記本番撮影の静止画像内に発生するぶれを防止するように前記撮影手段に対して物理的な動きを与えるぶれ防止制御手段を備える
この構成によって、予測された本番撮影時の被写体の動き及びカメラの動きに応じて未然に被写体ぶれ及びカメラぶれが防止されることになる。
本発明の一態様では、前記動き推測手段により判断された前記撮影状況と、連写撮影であるか否かとに基づいて、前記本番撮影の静止画像内に発生するぶれを防止するように前記撮影手段に対して物理的な動きを与えるか否かを切り替えるぶれ防止制御手段を備える。
本発明の一態様では、前記ぶれ防止制御手段は、前記被写体の動きベクトル及び本撮影装置の動きベクトルのそれぞれに対して重み付けを行って前記撮影手段に対して物理的な動きを与える。
本発明の一態様では、前記被写体の動き及び本撮影装置の動きに基づいて、前記撮影手段によって撮影された本番撮影の静止画像を補正する画像補正手段を備える
この構成によって、画像内にぶれが発生してしまった場合にもぶれが補正された画像を出力することができる。
本発明の一態様では、前記動き推測手段により判断された前記撮影状況と、連写撮影であるか否かとに基づいて、前記撮影手段によって撮影された本番撮影の静止画像を補正するか否かを切り替える画像補正手段を備える。
本発明の一態様では、前記画像補正手段は、前記被写体の動きベクトル及び本撮影装置の動きベクトルのそれぞれに対して重み付けを行って前記本番撮影の静止画像を補正する。
本発明の一態様では、前記画像補正手段によって補正された1または複数の静止画像を表示するとともに、前記画像補正手段によって補正される前の静止画像を表示可能である表示手段を備える
この構成によって、補正効果をユーザに容易に通知することができ、また、ユーザは好みの画像を選択することができる。
本発明の一態様では、前記補正後の静止画像と前記補正前の静止画像とのサイズの比、または、前記補正後の静止画像同士のサイズの比が可変である。
本発明の一態様では、前記表示手段は、前記補正後の静止画像及び前記補正前の静止画像の両方を同時に表示するか否かによって、または、同時に複数表示される前記補正後の静止画像の数によって、画面のサイズが可変である。
本発明の一態様では、前記補正後の静止画像及び前記補正前の静止画像のうちで所定の記録媒体に記録する静止画像を示す選択指示、または、複数の前記補正後の静止画像のうちで前記記録媒体に記録する静止画像を示す選択指示が入力される指示入力手段と、前記選択指示に従って選択された静止画像の記録を行う画像記録制御手段を備える
この構成によって、不必要な画像が記録されることなく排除されることになる。
本発明の一態様では、前記画像記録制御手段は、前記指示入力手段によって複数の静止画像が選択されたとき、選択された静止画像同士の関連付けを行って記録を行う。
この構成によって、選択された複数の静止画像同士が関連付けられて記録されるので、結果的に撮影の失敗が軽減される。
本発明の一態様では、前記画像記録制御手段は、連写撮影の場合には、前記選択指示の入力を待たずに前記補正前の静止画像及び前記補正後の静止画像の両方の記録を行う一方で、単写撮影の場合には、前記選択指示の入力を待って記録を行う。
この構成によって、連写撮影の場合には選択指示の入力を待たずに補正前の静止画像及び補正後の静止画像の両方が記録される一方で、単写撮影の場合には選択指示の入力を待って記録が行われるので、画像の選択指示の入力を待たない連写撮影と画像の選択指示の入力を待つ単写撮影とを任意に行うことができ、操作性が向上する。
また、本発明は、被写体を撮影する撮影装置を用いた撮影方法において、前記被写体を含んで撮影される画像に基づいて、実際の前記被写体の動き及び前記撮影装置の動きを推測し、その後、前記被写体の静止画像の本番撮影を行うことを特徴とする撮影方法を提供する。
本発明によれば、ジャイロなどの特別なハードウエアを用いることなく被写体の動き及び撮影装置の動きを予測して、被写体の動きや撮影装置の動きに起因する本番撮影の静止画像の画質の劣化を未然に防止し得ることになる。
以下、添付図面に従って、本発明を実施するための最良の形態について詳細に説明する。
図1は、本発明に係る撮影装置の一実施形態としてのカメラ10の具体的な全体構成を示すブロック図である。
カメラ10は中央処理装置(CPU)12によって統括制御される。具体的には、CPU12は、メイン被写体及びカメラ10の動きを推測する動き推測処理、カメラ10に撮影条件を設定する撮影条件設定処理、撮影された画像を補正する画像補正処理、撮影された画像の表示を制御する画像表示制御処理、撮影された画像の記録を制御する画記録制御処理、その他の制御処理を行う。これらの制御処理の詳細については、後に説明する。
CPU12とバス14を介して接続されたROM16は、CPU12によって実行されるプログラムやプログラムの動作に必要な各種の固定データなどを記憶するメモリである。バックアップメモリ(SRAM)17は、バックアップ電源11により記憶を保持する不揮発性のメモリである。メインメモリ(SDRAM)18は、CPU12が行う各種制御処理用の領域として利用されるとともに、撮影して得られた画像データを一時記憶する領域としても利用されるメモリである。VRAM20は、画像表示用の画像データを一時記憶するメモリである。
カメラ10には、モード選択キー、スルー画表示キー、レリーズキー、メニューキー、OKキー、十字キー、キャンセルキー、などの各種の指示入力キー24が設けられている。これら各種のキー24からの信号はCPU12に入力され、CPU12は、入力された信号に基づいてカメラ10の各部を制御するようになっている。モード選択キーは、被写体を撮影して画像データを所定の記録メディア32に記録するための撮影モードと、記録メディア32に記録された画像データを再生するための再生モードとを切り替えるためのキーである。また、モード選択キーは、被写体の静止画像を所定の時間間隔で連続して撮影する連写撮影を行うか否かを切り替えるためのキーでもある。スルー画表示キーは、静止画像の本番撮影前に被写体を連続して撮影してなるスルー画の表示を指示するためのキーである。レリーズキーは、撮影準備指示及び撮影開始指示を入力するためのキーであって、半押し時にオンするS1スイッチと、全押し時にオンするS2スイッチとを有する二段ストローク式のキーである。メニューキーは、メニュー画面を表示するためのキーである。十字キー、OKキー、及びキャンセルキーは、メニュー画面内の項目の選択や、画像の選択に用いられる。
表示パネル28は、画像を表示可能な液晶ディスプレイ(LCD)で構成されている。また、表示パネル28は、スルー画を表示することにより画角確認用の電子ファインダとして用いられるとともに、記録済みの静止画像を再生表示する手段としても用いられる。
次にカメラ10の撮影に関する構成要素について、説明する。
モード選択キーによって撮影モードが選択されると、CCD38を含む撮影に関する部分(撮影部)に電源が供給される。
撮影レンズ40は、ズームレンズと、フォーカスレンズと、絞り兼用のメカシャッタであるアイリスとを含む光学ユニットである。ズームレンズ、フォーカスレンズ及びアイリスは、撮影レンズ40駆動用のモータドライバ41によって電動駆動されることにより、ズーム制御、フォーカス制御、及び、アイリス制御(絞り制御、メカシャッタ制御)が行われる。
撮影レンズ40を通過した光は、CCD38の結像面に結像される。CCD38の結像面には多数のフォトダイオード(受光素子)が二次元的に配列されており、各フォトダイオードに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。また、CCD38は、電荷蓄積時間(シャッタスピード)を制御する、いわゆる電子シャッタ機能を有している。CPU12は、タイミングジェネレータ50を介してCCD38での電荷蓄積時間を制御する。CCD38の結像面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU12の指示に従いタイミングジェネレータ50から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(R,G,B各色別の画像信号)として順次読み出される。
CCD38から取り出されたR,G,B各色別の画像信号は、アナログ処理部(CDS/AMP回路)52に送られ、ここで画素ごとにサンプリングホールド(相関二重サンプリング処理)され、増幅された後、A/D変換器54に与えられ、アナログからデジタルに変換される。A/D変換器54から出力された画像信号は、画像入力コントローラ56を介してメインメモリ18に一時記憶される。画像信号処理回路58は、メインメモリ18に記憶されたR,G,B各色別の画像信号をCPU12の指示に従って処理する。具体的には、画像信号処理回路58は、同時化回路(CCD38のカラーフィルタ配列などに伴なうR,G,B信号の空間的なズレを補正して画像信号を同時式に変換する回路)、ホワイトバランス補正回路、ガンマ補正回路、YC信号生成回路などを含む画像信号処理手段として機能し、画像信号処理回路58によって画像処理が施された画像データはVRAM20に格納される。
ここで、VRAM20に格納された画像データを記録メディア32に記録することなく表示パネル28にスルーで表示するスルー画について説明する。スルー画表示キーによってスルー画表示が選択されているときには、VRAM20から画像データが読み出され、バス14を介してビデオエンコーダ60に送られる。ビデオエンコーダ60は、入力された画像データを表示パネル28用の所定の方式(例えばNTSC方式)の信号に変換して表示パネル28に出力する。具体的には、VRAM20はA領域及びB領域を有し、CCD38から出力された画像信号は、1コマごとの画像データとしてVRAM20のA領域とB領域とに交互に書き換えられる。これらのA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、画像データが読み出される。そして、VRAM20内の画像データが定期的に書き換えられることにより、表示パネル28に動画像としてスルー画が表示される。このスルー画によって撮影者は撮影画角を確認できる。
撮影画角を確認した撮影者によりレリーズキーが半押しされ、S1がオンすると、CPU12は、撮影準備処理として、AE(自動露出)及びAF(自動焦点合わせ)処理を開始する。CCD38から出力されたR,G,B各色別の画像信号は、CDS/AMP回路52、A/D変換器54及び画像入力コントローラ56を介して、メインメモリ18に一時記憶されるとともに、AF検出回路62及びAE・AWB検出回路64に入力される。
AE・AWB検出回路64は、画面を複数のエリア(例えば、16×16、8×8など)に分割してなる分割エリアごとに、R,G,B各色別の画像信号を積算する回路を含み、その積算値をCPU12に提供する。CPU12は、AE・AWB検出回路64から取得した積算値に基づいて被写体輝度に対応するEV値を算出する。このEV値は、画面全体のEV値、及び、画面上の分割エリアごとのEV値などに整理されて、メインメモリ18に記憶される。CPU12は、所定のプログラム線図に従い、絞り値とシャッタスピードを決定し、これらに従いCCD38の電子シャッタ及び撮影レンズ40のアイリスを制御して適正な露光量を得る。
本カメラ10におけるAF制御は、例えば映像信号のG信号の高周波成分が極大になるようにフォーカスレンズ(撮影レンズ40を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズである)を移動させるコントラストAFが適用される。即ち、AF検出回路62は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内(例えば画面中央部)に予め設定されているフォーカス対像エリア内の信号を切り出すAFエリア抽出部、及びAFエリア内の絶対値データを積算する積算部から構成される。AF検出回路62で求めた積算値のデータはCPU12に通知される。CPU12は、撮影レンズ40の駆動用のモータドライバ41を制御してフォーカスレンズを移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにモータドライバ41を制御する。尚、AF評価値の演算はG信号を利用する態様に限らず、輝度信号(Y信号)を利用してもよい。
また、CPU12は、通常の撮影(単写撮影)において、レリーズキーが半押し(S1オン)されたとき、あるいはレリーズキーが半押し(S1オン)される前に、被写体を含んで撮影されるスルー画(又はプレ撮影して得た画像)に基づいて、本番撮影時のメイン被写体の動き及びカメラ10の動きを予測する動き予測処理を行う。
また、CPU12は、通常の撮影(単写撮影)において、レリーズキーが半押し(S1オン)されたとき、あるいはレリーズキーが半押し(S1オン)される前に、予測したメイン被写体の動き及びカメラ10の動きに応じて、シャッタスピード、絞り、感度、ストロボ70の発光条件、その他の撮影条件を設定する撮影条件設定処理を行う。
レリーズキーが半押し(S1オン)されて撮影準備処理が行われた後、レリーズキーが全押し(S2オン)されると、被写体の静止画像を撮影して記録するための本番撮影が開始される。
この本番撮影において、CPU12は、メイン被写体の動きやカメラ10の動きに起因して画像内に発生しようとするぶれ(画像ぶれ)を防止するためのぶれ防止制御を行うと同時に、撮影レンズ40及びCCD38によって被写体の静止画像の撮影を行う。具体的には、撮影レンズ40の駆動用のモータドライバ41(又はCCD38駆動用のモータドライバ39)を駆動して、撮影レンズ40(又はCCD38)に対して物理的に動きを与えることにより、画像ぶれを防止する。
このようなぶれ防止制御を行う代わりに(あるいはぶれ防止制御と共に)、CPU12は、本番撮影においてメイン被写体の動き及びカメラ10の動きに起因して発生した画像ぶれを補正するための画像補正を行うようにしてもよい。
また、CPU12は、画像補正前の静止画像及び画像補正後の静止画像を表示パネル28に表示させる画像表示制御を行う。なお、画像補正前の静止画像は表示させない場合もある。
また、CPU12は、画像補正前の静止画像及び画像補正後の静止画像を記録メディア32に記録させる画像記録制御を行う。なお、画像補正前の静止画像は記録メディア32に記録しない場合もある。
なお、モード切替キーによって連写撮影が選択されている場合、CPU12は、連写撮影中に、メイン被写体の動き及びカメラ10の動きの予測を行うようになっている。また、CPU12は、連写撮影中に、予測したメイン被写体の動き及びカメラ10の動きに応じて、シャッタスピード、絞り、感度、ストロボ70の発光条件、その他の撮影条件を設定する撮影条件設定処理を行うようになっている。
また、CPU12は、AE・AWB検出回路64から分割エリアごとのR,G,B信号別の積算値を取得してホワイトバランス補正値を算出し、画像信号処理回路58によってR,G,B信号にホワイトバランス処理を施す。画像信号処理回路58によってホワイトバランス補正が施されたR,G,B信号は、YC信号(輝度信号Y及び色差信号C)に変換された後、圧縮処理回路66によって所定のフォーマットで圧縮されて、メディアコントローラ34を介して記録メディア32に画像データとして記録される。
モード選択キーにより再生モードが選択されると、記録メディア32に圧縮されて記録されている画像データがメディアコントローラ34を介して読み出される。読み出された画像データは、圧縮処理回路66によって伸長され、VRAM20及びビデオエンコーダ60を介して表示パネル28に表示される。
図2は、カメラ10の要部の機能的な構成を示すブロック図である。
図2において、カメラ10は、主として、表示部10a、指示入力部10b、撮影部10c、動き推測部10d、撮影条件設定部10e、ぶれ防止制御部10f、画像補正部10g、画像表示制御部10h、画像記録制御部10i、及び、主制御部10j、を含んで構成される。
表示部10aは、画像やメニュー画面などの表示を行うものである。表示部10aに表示される画像には、スルー画、及び、本番撮影画像である静止画像が含まれる。
指示入力部10bは、ユーザが各種の指示入力を行うものである。指示入力部10bによって入力される指示には、連写撮影及び単写撮影の切替指示、スルー画の表示及び非表示の切替指示、撮影準備指示、撮影開始指示、及び、画像選択指示が含まれる。
撮影部10cは、被写体を撮影するものである。撮影部10cによって撮影される画像には、スルー画、プレ撮影の静止画像、及び、本番撮影の静止画像が含まれる。
動き推測部10dは、単写撮影(通常撮影ともいう)の場合には、被写体の静止画像の本番撮影前に、撮影部10cによって被写体を撮影して得られるスルー画又は複数のプレ撮影の画像に基づいて、被写体の動きベクトル及びカメラの動きベクトルを検出して、被写体の動き及びカメラ10の動きを推測する。なお、スルー画撮影の場合には、動き推測部10dは、スルー画から所定の時間間隔で瞬時の静止画像(1コマ画像)を抽出し、抽出した複数の静止画像に基づいて被写体の動きベクトル及びカメラの動きベクトルを検出して、被写体の動き及びカメラ10の動きを推測する。
また、動き推測部10dは、連写撮影の場合には、連写撮影中に、撮影済みの複数の静止画像に基づいて、被写体の動きベクトル及びカメラの動きベクトルを検出して、次の静止画像を撮影するときの被写体の動き及びカメラ10の動きを推測する。
撮影条件設定部10eは、本番撮影前に、動き推測部10dによって推測された被写体の動き及びカメラの動きに基づいて、シャッタスピード、絞り、感度、ストロボ70の発光条件、その他の撮影条件をカメラ10に設定するものである。なお、撮影条件設定部10eは、連写撮影であるか、それとも、単写撮影(通常撮影)であるかを加味して、撮影条件を設定する。また、撮影条件設定部10eは、被写体の動きベクトル及びカメラの動きベクトルのそれぞれに対して重み付けを行って、撮影条件を設定する。
ぶれ防止制御部10fは、動き推測部10dによって推測された被写体の動き及びカメラの動きに基づいて、本番撮影の静止画像内に発生するぶれを防止するように、撮影部10cに対して物理的な動きを与える制御を行うものである。なお、ぶれ防止制御部10fは、連写撮影であるか、それとも、単写撮影(通常撮影)であるかを加味して、撮影部10cに物理的な動きを与える。また、ぶれ防止制御部10fは、被写体の動きベクトル及びカメラ10の動きベクトルのそれぞれに対して重み付けを行って、撮影部10cに物理的な動きを与える。
画像補正部10gは、動き推測部10dによって推測された被写体の動き及びカメラの動きに基づいて、撮影部10cによって撮影された本番撮影の静止画像を補正するものである。なお、画像補正部10gは、連写撮影であるか、それとも、単写撮影(通常撮影)であるかを加味して、本番撮影の静止画像を補正する。また、画像補正部10gは、被写体の動きベクトル及びカメラの動きベクトルに基づいて、本番撮影の静止画像を補正する。
画像表示制御部10hは、画像補正部10gによって補正された1又は複数の静止画像を表示部10aに表示させる制御を行う。また、画像表示制御部10hは、補正後の静止画像とともに補正前の静止画像を表示部10aに表示させる制御も行う。
また、画像表示制御部10hは、表示部10aに同時に表示される、補正後の静止画像と補正前の静止画像とのサイズの比を切り替える制御を行う。また、画像表示制御部10hは、表示部10aに同時に表示される、補正後の静止画像同士のサイズの比を切り替える制御も行う。
また、画像表示制御部10hは、補正後の静止画像及び補正前の静止画像の両方を同時に表示するか否かによって、表示部10aの画面のサイズを切り替える制御を行う。また、画像表示制御部10hは、同時に複数表示される補正後の静止画像の数によって、表示部10aの画面のサイズを切り替える制御も行う。
画像記録制御部10iは、本番撮影の静止画像を記録メディアに記録する制御を行う。
なお、画像記録制御部10iは、指示入力部10bによって複数の画像が選択されたとき、選択された静止画像同士の関連付けを行って記録を行う。
また、画像記録制御部10iは、連写撮影の場合には、指示入力部10bによる選択指示の入力を待たずに補正前の静止画像及び補正後の静止画像の両方の記録を行う一方で、単写撮影の場合には、選択指示の入力を待って記録を行うように制御する。
図2に示した機能的な構成のカメラ10の構成要素と、図1に示した具体的な構成のカメラ10の構成要素との対応関係を簡単に説明すると、図2の表示部10aは主として図1の表示パネル28によって構成され、図2の指示入力部10bは主として図1のキー24及び表示パネル28によって構成され、図2の撮影部10cは主として図1の撮影レンズ40、CCD38、モータドライバ41、39、タイミングジェネレータ50及びストロボ70によって構成され、図2の動き推測部10d、撮影条件設定部10e、ぶれ防止制御部10f、画像補正部10g、画像表示制御部10h、画像記録制御部10i、主制御部10jは主として図1のCPU12によって構成されている。
ところで、静止画像を撮影する際、メイン被写体が動いているか否か、及び、カメラが動いているか否かによって、各種の撮影状況が考えられる。代表的な4つの撮影状況を以下に示す。
第1に、図3に示されるように、メイン被写体及びカメラが共に静止している撮影状況がある。例えば、記念撮影においてメイン被写体及びカメラが共に静止しているような状況である。また、メイン被写体とカメラとが共に全く同じ動きをしている撮影状況は、相対的には両者が静止している状態なので、メイン被写体及びカメラが共に静止している撮影状況と同等に扱うことにする。
第2に、図4に示されるように、メイン被写体は実際には静止しているが、カメラが動いている撮影状況がある。例えば、静止している被写体に対してカメラを左又は右に振るように動かしながら撮影しているような状況である。
第3に、図5に示されるように、メイン被写体が動いているが、カメラは静止している撮影状況がある。
第4に、図6に示されるように、メイン被写体が動いており、カメラも異なる動きを同時にしている撮影状況がある。例えば、運動会で走っているメイン被写体の動きを追ってカメラを左又は右に振るように動かしながら撮影している状況である。
また、静止画像を撮影する際の撮影方法として、第1に、静止画像を1枚ごとに撮影する単写撮影(通常撮影ともいう)があり、第2に、複数枚の静止画像を所定の時間間隔で連続して撮影する連写撮影がある。ここで、単写撮影のときには、メイン被写体の動きを追ってカメラを動かしたとしても各静止画像の撮影の瞬間にはカメラが静止していることが多いのに対して、メイン被写体の動きを追ってカメラを動かしながら連写撮影をしているときには、各静止画像の撮影の瞬間にもカメラが静止しないで動いていることが多い。
前述の4つの撮影状況(メイン被写体及びカメラの移動中、静止中を示す)と2つの撮影方法(連写撮影か否かを示す)との組み合わせを考えると、合計8通りの組み合わせが存在し、各組み合わせごとに、撮影条件の設定、ぶれ防止制御、画像補正、画像表示制御、及び、画像記録制御が最適に行われることが望まれる。
そこで、まず、CPU12の制御により、撮影状況を認識するため、静止画像の本番撮影前に複数枚の静止画像を取得してメイン被写体の動きベクトル及びカメラの動きベクトルを検出する。
ここで、撮影時刻の異なる時系列の複数枚の静止画像から動きベクトルを検出する方法の原理について、図7乃至図11を用いて説明しておく。
まず、ある時刻t0に撮影された静止画像について、微分法によってエッジを検出する。図7では、時刻t0の静止画像のエッジを実線で示している。同様に、時刻t0からt秒後の時刻t1に撮影された静止画像について、微分法によってエッジを検出する。図8は、先に検出した時刻t0の静止画像のエッジを点線で示し、新たに検出した時刻t1の静止画像のエッジを実線で示している。次に、図9に示すように、時刻t0の画像のエッジにおいて、所定の閾値以上であって、フォーカスの合った位置から最も近い位置を、メイン被写体の初期位置m0とする。そして、時刻t0の画像のエッジ及び時刻t1の画像のエッジを、周知のブロックマッチング法により比較することにより、動きベクトルを検出する。図10において、時刻t0におけるメイン被写体の初期位置m0から時刻t1におけるメイン被写体の位置m1に至るベクトルA(メイン被写体領域における動きベクトル)が検出される。
ここで、ブロックマッチング法は、静止画像上の時刻t0の点(x,y)及び時刻t1の点(x+i,y+j)について、差分絶対和を求め、下記の数式1を満たす時刻t1の点(x+i,y+j)を時刻t0の点(x,y)の対応点とするものである。ここで、動きベクトル(i,j)で表される。
Figure 0004379918
背景領域における動きベクトルについては、背景における複数の動きベクトルを検出し、検出された複数の動きから代表となる動きベクトルを求める。例えば、メイン被写体領域の周囲においてn個の動きベクトルを検出し、検出されたn個の動きベクトルについて互いの差分を算出し、その差分が所定の許容範囲内にある動きベクトルの平均の動きベクトルを、代表の動きベクトルとする。例えば、図11に示すように、メイン被写体の周辺の領域のうちでエッジが存在する3つの領域のそれぞれについて動きベクトルB1、B2、B3を検出し、検出された3つの動きベクトルB1、B2、B3の互いの差異が所定の許容範囲内であるとき、その許容範囲内にある動きベクトル(例えば3つの動きベクトルB1、B2、B3の全て)の平均のベクトルを代表の動きベクトル(背景領域の動きベクトル)とする。
なお、ブロックマッチング法を用いて時系列の2枚の静止画像から動きベクトルを検出する方法について説明したが、本発明において、動きベクトルの検出はブロックマッチング法を用いる場合に特に限定されるものではない。例えば、ウェーブレット変換を用いて動きベクトルを検出する方法もある。
ところで、本番撮影済みの複数の静止画像を用いて動きベクトルを検出するのでは、その本番撮影の際には最適な撮影条件の設定やぶれの防止を行うことができないことになる。
そこで、本実施形態では、静止画像の本番撮影時に最適な撮影条件の設定やぶれの防止を行い得るようにして動きベクトルの検出を行う。このような動きベクトル検出の態様には各種ある。
第1に、静止画像の本番撮影前にスルー画から動きベクトルを検出する態様がある。
第2に、静止画像の本番撮影前にプレ撮影を行って動きベクトルを検出する態様がある。
第3に、連写中に得られる撮影済みの静止画像から動きベクトルを検出する態様がある。
図12は、静止画像の本番撮影前にスルー画から動きベクトルを検出する態様における撮影処理の一例の流れを示すフローチャートである。
なお、表示パネル28へのスルー画の表示の開始タイミングとしては、例えば、モード切替キーによって撮影モードが選択されたときにスルー画の表示を開始する態様や、撮影モード下でスルー画表示を指示するキー(スルー画表示キー)が操作されたときに開始する態様などがある。
図12において、表示パネル28にスルー画が表示されている状態でレリーズキーが半押しされたか否か(すなわちS1スイッチがオンか否か)を判定する(S101)。レリーズキーが半押しされたときには、スルー画からある撮影時刻の瞬時の静止画像(1コマ画像)を抽出してメインメモリ18に一時的に保持する(S102)。以降、所定の時間間隔で、スルー画から瞬時の静止画像を抽出してメインメモリ18に一時的に保持する(S103)。そして、抽出した静止画像同士を比較することにより動きベクトルを検出し(S104)、検出した動きベクトルに基づいて撮影条件を求めてカメラ10に設定する(S105)。そして、レリーズキーが全押しされたか否か(すなわちS2スイッチがオンか否か)を判定して(S106)、レリーズキーが全押しされたときには、静止画像の本番撮影を行う(S107)。
このようにレリーズキーが半押しされたときに動きベクトルの検出を開始する場合に本発明は特に限定されるものではなく、図13に示すように、レリーズキーが半押しされる前に動きベクトルを検出するようにしてもよい。
図13において、表示パネル28にスルー画が表示されている状態で、スルー画からの瞬時の静止画像(1コマ画像)の抽出を開始してメインメモリ18に一時的に保持する(S201)。以降、所定の時間間隔で、スルー画から瞬時の静止画像を抽出してメインメモリ18に一時的に保持する(S202)。そして、抽出した静止画像同士を比較することにより動きベクトルを検出し(S203)、レリーズキーが半押しされたか否か(すなわちS1スイッチがオンか否か)を判定する(S204)。レリーズキーが半押しされたときには、検出した動きベクトルに基づいて撮影条件を求めてカメラ10に設定する(S205)。そして、レリーズキーが全押しされたか否か(すなわちS2スイッチがオンか否か)を判定して(S206)、レリーズキーが全押しされたときには、静止画像の本番撮影を行う(S207)。
また、図14に示すように、レリーズキーが半押しされる前に動きベクトルの検出を開始して、レリーズキーが全押しされるまで動きベクトルの検出を継続するようにしてもよい。
図14において、表示パネル28にスルー画が表示されている状態で、スルー画からの瞬時の静止画像(1コマ画像)の抽出を開始してメインメモリ18に一時的に保持する(S301)。以降、所定の時間間隔で、スルー画から瞬時の静止画像を抽出してメインメモリ18に一時的に保持する(S302)。そして、抽出した静止画像同士を比較することにより動きベクトルを検出し(S303)、レリーズキーが半押しされたか否か(すなわちS1スイッチがオンか否か)を判定する(S304)。レリーズキーが半押しされた後も、さらにスルー画からの瞬時の静止画像の抽出を継続してメインメモリ18に一時的に保持し(S305)、抽出した静止画像同士を比較することにより動きベクトルを検出し(S306)、検出した動きベクトルに基づいて撮影条件を求めてカメラ10に設定する(S307)。レリーズキーが全押しされたか否か(すなわちS2スイッチがオンか否か)を判定して(S308)、レリーズキーが全押しされたときには、静止画像の本番撮影を行う(S309)。
図15は、静止画像の本番撮影前にプレ撮影を行って動きベクトルを検出する態様における撮影処理の一例の流れを示すフローチャートである。
図15において、まず、レリーズキーが半押しされたか否か(すなわちS1スイッチがオンか否か)を判定する(S401)。ここで、レリーズキーが半押しされたときには、プレ撮影を行って瞬時の静止画像をメインメモリ18に一時的に保持する(S402)。以降、所定の時間間隔でプレ撮影を行って瞬時の静止画像をメインメモリ18に一時的に保持する(S403)。そして、プレ撮影して得た静止画像同士を比較することにより動きベクトルを検出し(S404)、検出した動きベクトルに基づいて撮影条件を求めてカメラ10にセットする(S405)。そして、レリーズキーが全押しされたか否か(すなわちS2スイッチがオンか否か)を判定して(S406)、レリーズキーが全押しされたときには、静止画像の本番撮影を行う(S407)。
図16は、連写中に得られる画像から動きベクトルを検出する態様における撮影処理の一例の流れを示すフローチャートである。
図16において、まず、レリーズキーが半押しされたか否か(すなわちS1スイッチがオンか否か)を判定する(S501)。レリーズキーが半押しされたときには、自動焦点合わせなどの所定の撮影準備処理を行って、さらにレリーズキーが全押しされたか否か(すなわちS2スイッチがオンか否か)を判定する(S502)。レリーズキーが全押しされたときには、連写撮影を開始して静止画像をメインメモリ18に一時的に保持する(S503)。以降、所定の時間間隔で、静止画像の撮影を行って静止画像をメインメモリ18に一時的に保持する(S504)。そして、静止画像同士を比較することにより動きベクトルを検出し(S505)、検出した動きベクトルに基づいて撮影条件を求めてカメラ10に設定する(S506)。レリーズキーが再び全押しされたか否か(すなわちS2スイッチがオンか否か)を判定して(S507)、S2がオフである間、所定の時間間隔で静止画像の撮影を行って静止画像をメインメモリ18に一時的に保持し(S504)、静止画像同士を比較することにより動きベクトルを検出し(S505)、検出した動きベクトルに基づいて撮影条件を求めてカメラ10に設定する(S506)。レリーズキーが再び全押しされたとき、連写を終了する。
撮影状況の判断については、まず、メイン被写体領域と背景領域を判断し、メイン被写体領域における動きベクトル及び背景領域における動きベクトルを求め、次に、これらのメイン被写体領域における動きベクトル及び背景領域における動きベクトルに基づいて、実際のメイン被写体の動きベクトル及びカメラの動きベクトルを求めることにより撮影状況を判断する。
メイン被写体領域及び背景領域の判断は、例えばオートフォーカス機能を用いて判断する。この場合、フォーカスが合っている位置の近傍をメイン被写体領域と判断し、このメイン被写体領域における動きベクトルを求める。
一方で、メイン被写体が人である場合には、顔抽出法を用いてメイン被写体領域を判断するようにしてもよい。例えば、モード切替キーによって人物撮影モード(ポートレートモード)が選択されているときには、周知の顔検出方法によって、画像中の人物の顔を特定し、この顔を含む部分を被写体領域としてもよい。
なお、画像上のメイン被写体領域における動きベクトル(以下「ベクトルA」と称する)は、実際には、カメラの動きベクトルに被写体の動きベクトルが加わったものである。また、背景領域における動きベクトル(以下「ベクトルB」と称する)は、カメラの動きベクトルとみなすことができる。そこで、ベクトルA及びベクトルBの差分(ベクトルA−ベクトルB)を求め、これを実際の被写体の動きベクトル(以下「ベクトルC」と称する)とみなす。
これらの動きベクトルに基づいて、撮影状況を以下のようにして判断する。
ベクトルB(カメラの動きベクトル)及びベクトルC(メイン被写体の動きベクトル)が共に0ベクトルであるときには、図3に示すような被写体及びカメラが共に静止している撮影状況(以下「撮影状況A」と称する)であると判断する。ベクトルA(=ベクトルB+ベクトルC)が0ベクトルである、という基準で判断してもよい。
ベクトルB(カメラの動きベクトル)が0ベクトルでなく、かつ、ベクトルC(メイン被写体の動きベクトル)が0ベクトルであるときには、図4に示すような被写体が静止している一方でカメラが動いている撮影状況(以下「撮影状況B」と称する)であると判断する。ベクトルA=ベクトルBである、という基準で判断してもよい。
ベクトルB(カメラの動きベクトル)が0ベクトルであり、かつ、ベクトルC(メイン被写体の動きベクトル)が0ベクトルでないときには、図5に示すような被写体が動いている一方でカメラが静止している撮影状況(以下「撮影状況C」と称する)であると判断する。ベクトルBが0ベクトルであり、かつ、ベクトルA(=ベクトルB+ベクトルC)が0でない、という基準で判断してもよい。
ベクトルB(カメラの動きベクトル)及びベクトルC(メイン被写体の動きベクトル)が共に0ベクトルでないときには、図6に示すような被写体及びカメラが共に動いている撮影状況(以下「撮影状況D」と称する)であると判断する。ベクトルB及びベクトルA(=ベクトルB+ベクトルC)が共に0でない、という基準で判断してもよい。
本実施形態のカメラ10は、本番撮影の静止画像を撮影するとき、その静止画像の撮影の直前に、CPU12の制御により、主として被写体の動き及びカメラの動きに基づいて、撮影条件を設定する。
詳細には、動きベクトルに基づいて判断した撮影状況(メイン被写体及びカメラの移動中、静止中を示す)、及び、カメラ10に設定されている撮影方法(連写撮影か否か)に基づいて、シャッタスピード、感度、ストロボ70の発光条件等の撮影条件を設定する。その例を以下に説明する。
図4に示すような撮影状況B(カメラが移動中、メイン被写体が静止中)で単写撮影のときには、本番撮影の露光中にメイン被写体が動かない可能性が極めて高いので、シャッタスピードを遅くしたり、感度を下げたりすることが可能となる。
図5に示すような撮影状況C(カメラが静止中、メイン被写体が移動中)で単写撮影のときには、本番撮影の露光中にメイン被写体が動く可能性が極めて高いので、ベクトルC(メイン被写体の動きベクトル)の大きさに応じて、撮影状況Aや撮影状況Bのときと比較して、シャッタスピードを速くして、感度を上げる。
図6に示すような撮影状況D(カメラ、メイン被写体が共に移動中)で連写撮影のときにも、本番撮影の露光中にメイン被写体が動く可能性が極めて高いので、ベクトルA(又はベクトルC)の大きさに応じて、撮影状況Aや撮影状況Bのときと比較して、シャッタスピードを速くして、感度を上げる。
なお、シャッタスピード等の撮影条件の設定を行う際、どの動きベクトルを基準とするかは、撮影者がメイン被写体及び背景のどちらを優先するかによる。
また、各動きベクトルに重み付けをして撮影条件を決めることもできる。重み付けの具体例としては、設定量の基準とする基準ベクトルをベクトルXとしたとき、ベクトルX=0.5×ベクトルA+0.5×ベクトルC、ベクトルX=0.2×ベクトルA+0.8×ベクトルC、等がある。
なお、図1に示すカメラ10において、シャッタスピードの設定は、CPU12がタイミングジェネレータ50を介してCCD38に設定する。絞りの設定は、CPU12が撮影レンズ用のモータドライバ41を介して撮影レンズ40に設定する。感度は、CPU12がCCD38に設定する。ストロボ70の発光条件は、CPU12がストロボ70に設定する。
また、本実施形態のカメラ10は、本番撮影の静止画像を撮影するとき、その静止画像の露光中に、CPU12の制御により、主として被写体の動き及びカメラの動きに基づいて、本番撮影の静止画像内に発生するぶれを補正するように撮影レンズ40(又はCCD38)に対して物理的な動きを与えることが可能になっている。
詳細には、動きベクトルに基づいて判断した撮影状況(メイン被写体及びカメラの移動中、静止中を示す)、カメラ10に設定されている撮影方法(連写撮影か否か)、及び、メイン被写体及びカメラの動きベクトルに基づいて、本番撮影の露光中に撮影レンズ40(又はCCD38)を動かしてぶれを防ぐ。その例を以下に説明する。
図4に示すような撮影状況B(カメラが移動中、メイン被写体が静止中)で単写撮影のときには、本番撮影の露光中にメイン被写体が動かない可能性が極めて高いので、撮影レンズ40(又はCCD38)を物理的に動かさない。
図5に示すような撮影状況C(カメラが静止中、メイン被写体が移動中)で単写撮影のときには、本番撮影の露光中にメイン被写体が動く可能性が極めて高いので、ベクトルC(メイン被写体の動きベクトル)に基づいて、撮影レンズ40(又はCCD38)を物理的に動かすことにより、光学的にぶれを防止する。
図6に示すような撮影状況D(カメラ、メイン被写体が共に移動中)で連写撮影のときにも、本番撮影の露光中にメイン被写体が動く可能性が極めて高いので、ベクトルA(又はベクトルC)に基づいて、撮影レンズ40(又はCCD38)を物理的に動かすことにより、光学的にぶれを防止する。
なお、ぶれ防止制御を行う際、どの動きベクトルを基準とするかは、撮影者がメイン被写体及び背景のどちらを優先するかによる。一般に、背景のぶれを防止した場合には、メイン被写体にはぶれが残るのに対して、メイン被写体のぶれを防止した場合には、背景にぶれが残る。
また、各動きベクトルに重み付けをしてぶれ防止のための移動量を決めることもできる。重み付けの具体例としては、移動量の基準とする基準ベクトルをベクトルXとしたとき、ベクトルX=0.5×ベクトルA+0.5×ベクトルC、ベクトルX=0.2×ベクトルA+0.8×ベクトルC、等がある。
なお、図1に示すカメラ10において、撮影レンズ40への動きの付与は、CPU12が撮影レンズ40用のモータドライバ41を介して撮影レンズ40に物理的であって左右方向及び上下方向に互いに独立な動きを与えることにより行う。CCD38への動きの付与は、CPU12がCCD38用のモータドライバ39を介してCCD38に物理的であって左右方向及び上下方向に互いに独立な動きを与えることにより行う。
また、本実施形態のカメラ10は、本番撮影の静止画像を撮影した後、CPU12の制御により、主として被写体の動き及びカメラの動きに基づいて、本番撮影の静止画像を補正することが可能になっている。
詳細には、動きベクトルに基づいて判断した撮影状況(メイン被写体及びカメラの移動中、静止中を示す)、カメラ10に設定されている撮影方法(連写撮影か否かを示す)、及び、メイン被写体及びカメラの動きベクトルに基づいて、撮影後の静止画像に対してぶれ補正を行う。その例を以下に示す。
図4に示すような撮影状況B(カメラが移動中、メイン被写体が静止中)で単写撮影のときには、本番撮影の露光中にメイン被写体が動かない可能性が極めて高いので、撮影画像に対する補正を行わない。
図5に示すような撮影状況C(カメラが静止中、メイン被写体が移動中)で単写撮影のときには、本番撮影の露光中にメイン被写体が動く可能性が極めて高いので、ベクトルC(メイン被写体の動きベクトル)に基づいて、撮影画像に対して補正を行う。
図6に示すような撮影状況D(カメラ、メイン被写体が共に移動中)で連写撮影のときにも、本番撮影の露光中にメイン被写体が動く可能性が高いので、ベクトルA(又はベクトルC)に基づいて撮影画像に対して補正を行う。
なお、撮影画像に対して補正を行う際、どの動きベクトルを基準とするかは、撮影者がメイン被写体及び背景のどちらを優先するかによる。一般に、背景のぶれを補正した場合には、メイン被写体にはぶれが残るのに対して、メイン被写体のぶれを補正した場合には、背景にぶれが残る。
また、各動きベクトルに重み付けをして補正量を決めることもできる。重み付けの具体例としては、補正の基準とする基準ベクトルをベクトルXとしたとき、ベクトルX=0.5×ベクトルA+0.5×ベクトルC、ベクトルX=0.2×ベクトルA+0.8×ベクトルC、等がある。
本番撮影の静止画像を前述のように主としてカメラの動きベクトル被写体の動きベクトルに基づいて補正した後、CPU12の制御により表示パネル28に複数の補正画像を同時に表示可能になっている。
ここで、複数の静止画像を同時に表示とは、補正前の静止画像と補正後の静止画像とを表示する場合、複数の補正後の静止画像を表示する場合、及び、補正前の静止画像と複数の補正後の静止画像を表示する場合がある。
補正後の複数の静止画像としては、例えば、ベクトルAのみを基準にして補正した静止画像、ベクトルCのみを基準にして補正した静止画像、ベクトルA及びベクトルCに対してそれぞれ重み付けをして補正した静止画像、さらに撮影後の静止画像を加味して補正した静止画像等がある。動きベクトルに重み付けをして補正した静止画像については、重み付けの係数を変化させて補正し、表示させることもできる。
図17乃至図24は、複数の画像を同時に表示した各種の例を示す。
図17及び図18において、補正前の静止画像281は、補正後の静止画像282よりも大きなサイズで表示されている。逆に、補正後の静止画像282が補正前の静止画像281よりも大きなサイズで表示されるようにしてもよい。
図19乃至図24では、複数の静止画像281、282同士が互いに重ならないように表示されている。
図19、図20、図21、図22では、全ての静止画像同士のサイズの比(すなわち、補正前の静止画像281と補正後の静止画像282とのサイズの比、及び、補正後の静止画像282同士のサイズの比)が1:1である。図23及び図24では、補正前の静止画像281と補正後の静止画像282とのサイズの比が9:1である。
また、表示パネル28は、画面のサイズが可変になっている。例えば、補正後の静止画像及び補正前の静止画像の両方を同時に表示するか否か、または、同時に複数表示される補正後の静止画像の数によって、表示パネル28の画面のサイズが切り替わる。例えば、補正後の静止画像のみ表示する場合の表示パネル28のサイズと、補正後の静止画像及び補正前の静止画像とを共に表示するときの表示パネル28のサイズの比を、3:4とする。
このような、静止画像のサイズや、表示パネル28のサイズは、CPU12の制御により切り替えが行われる。
また、表示パネル28に表示された複数の静止画像のうち、必要とする静止画像を撮影者がキー24を操作して選択したとき、その選択された静止画像がCPU12の制御によりメディアコントローラ34を介して記録メディア32に記録される。
ここで、図17、図18、図19、図21、図23、図24に示されるように補正後の静止画像及び補正前の静止画像が共に表示パネル28に表示されていたとき、これらの静止画像のうちでキー24により選択指示された静止画像が記録メディア32に記録される。
また、図18、図20、図21、図22、図24に示されるように複数の補正後の静止画像が表示パネル28に表示されていたとき、これらの静止画像のうちでキー24により選択指示された静止画像が記録メディア32に記録される。
なお、キー24によって複数の静止画像が選択されたときには、選択された静止画像同士が互いに関連付けられて記録メディア32に記録される。例えば、ファイル名の一部が共通するファイルとして複数の静止画像が記録される。
また、連写撮影の場合には、キー24の操作による選択指示を待たずに静止画像を記録メディア32に記録するようになっている。具体的には、単写撮影の場合には、前述のようにキー24の操作による静止画像の選択指示を待って選択された静止画像を記録メディア32に記録する一方で、連写撮影の場合には、キー24の操作による静止画像の選択指示を待たずに補正前の静止画像及び補正の静止画像の両方を記録メディア32に記録する。すなわち、単写撮影の場合には撮影者によってどの静止画像を保存するか(あるいはどの静止画像を保存しないか)を決定させて、連射撮影の場合には補正前の静止画像及び補正後の静止画像を両方とも保存するという切り替えを、CPU12の制御により自動で行う。ここで、補正前の静止画像は記録しないようにしてもよい。
以上説明したカメラ10を用いた撮影方法の一実施形態の全体の処理の流れについて、図25のフローチャートを用いて説明する。この処理は、所定のプログラムに従ってCPU12により実行される。
図25において、まず、連写撮影か否かを判定し(S1)、連写撮影でない場合(すなわち単写撮影の場合)には、スルー画の撮影中であるか否かを判定する(S2)。
単写撮影であってスルー画の撮影を行っている場合には、スルー画から所定の時間間隔で静止画像を抽出し(S11、S12)、抽出済みの2枚の静止画像からメイン被写体の動きベクトル及びカメラの動きベクトルを検出してメイン被写体の動き及びカメラ10の動きを推測し(S13)、検出済みのメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて、シャッタスピード、絞り、感度、ストロボ70の発光条件、その他の撮影条件を設定し(S14)、撮影開始指示が入力されたか否かを判定する(S15)。
撮影開始指示が未入力であれば、所定の時間経過後に再びスルー画から静止画像を抽出し(S12)、抽出済みのn枚(例えば今回抽出した静止画像及び前回抽出した静止画像の2枚)の静止画像からメイン被写体の動きベクトル及びカメラの動きベクトルを検出してメイン被写体の動き及びカメラ10の動きを推測し(S13)、検出済みのメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて撮影条件を設定し(S14)、撮影開始指示が入力されたか否かを判定する(S15)。
撮影開始指示が入力されると、検出済のメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて撮影レンズ40(又はCCD38)に対して物理的な動きを与えるぶれ防止制御を行いながら静止画像の本番撮影を行う(S31)。
一方で、単写撮影であってスルー画撮影を行っていない場合(すなわちプレ撮影を行う場合)には、所定の時間間隔でプレ撮影を2回行って(S21、S22)、プレ撮影によって得られた2枚の静止画像からメイン被写体の動きベクトル及びカメラの動きベクトルを検出してメイン被写体の動き及びカメラ10の動きを推測し(S23)、検出済みのメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて、シャッタスピード、絞り、感度、ストロボ70の発光条件、その他の撮影条件を設定し(S24)、撮影開始指示が入力されたか否かを判定する(S25)。
撮影開始指示が未入力であれば、所定の時間経過後に再びプレ撮影を行い(S22)、プレ撮影済みのn枚(例えば今回プレ撮影して得られた静止画像及び前回プレ撮影して得られた静止画像の2枚)の静止画像からメイン被写体の動きベクトル及びカメラの動きベクトルを検出しメイン被写体の動き及びカメラ10の動きを推測し(S23)、検出済みのメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて撮影条件を設定し(S24)、撮影開始指示が入力されたか否か判定する(S25)。
撮影開始指示が入力されると、検出済のメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて撮影レンズ40(又はCCD38)に対して物理的な動きを与えるぶれ防止制御を行いながら静止画像の本番撮影を行う(S31)。
以上のようにしてスルー画撮影又はプレ撮影を伴う単写撮影(本番撮影である)を行うと、検出済のメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて本番撮影の静止画像を補正し(S32)、補正後の静止画像及び補正前の静止画像(なお、補正前の静止画像は表示しない場合もある)を表示パネル28に表示し(S33)、ユーザの選択指示がキー24の操作による入力されるのを待って(S34)、ユーザの選択指示に従って本番撮影の静止画像を記録メディア32に記録する(S35)。
連写撮影の場合には、連写撮影の開始指示が入力されたか否かを判定し(S40)、連写撮影の開始指示が入力されると、被写体の静止画像を所定の時間間隔で撮影する(S41、S42)。被写体の静止画像を2枚撮影したとき、撮影済みの2枚の静止画像からメイン被写体の動きベクトルとカメラの動きベクトルとを検出してメイン被写体の動き及びカメラ10の動きを推測し(S43)、検出済みのメイン被写体の動きベクトル及びカメラの動きベクトルと連写撮影であることとに基づいて、シャッタスピード、絞り、感度、ストロボ70の発光条件、その他の撮影条件を設定し(S44)、連写撮影の終了指示が入力されたか否かを判定する(S45)。
3枚目以降の被写体の静止画像の撮影では、検出済のメイン被写体の動きベクトル及びカメラの動きベクトルに基づいて撮影レンズ40(又はCCD38)に対して物理的な動きを与えるぶれ防止制御を行いながら静止画像の撮影を行い(S42)、撮影済みのn枚の静止画像(たとえば1回前の静止画像及び2回前の静止画像)からメイン被写体の動きベクトルとカメラの動きベクトルとを検出してメイン被写体の動き及びカメラ10の動きを推測し(S43)、検出済みのメイン被写体の動きベクトル及びカメラの動きベクトルと連写撮影であることとに基づいて撮影条件を設定し直し(S44)、連写撮影の終了指示が入力されたか否かを判定する(S45)。このようにして、連写撮影の終了指示が入力されるまで、所定の時間間隔で静止画像の撮影(S42)、メイン被写体及びカメラ10の動きの予測(S43)、撮影条件の設定(S44)を繰り返す。
なお、連写撮影によって得られた複数の静止画像はメインメモリ18に一時的に保持されるようになっており、検出済のメイン被写体の動きベクトル及びカメラの動きベクトルと連写撮影であることとに基づいて静止画像を補正し(S46)、ユーザによる静止画像の選択指示の入力を待たずに、補正前の静止画像及び補正後の静止画像の両方を記録メディア32に記録する(S47)。未記録の残りの静止画像があるか否かを判定し(S48)、連写撮影した複数の静止画像のそれぞれについて、補正(S46)及び記録(S47)を行って、補正後の静止画像及び補正前の静止画像(補正前の静止画像は表示しなくてもよい)、あるいは、代表の静止画像を表示パネル28に表示する(S49)。
なお、前述の連写撮影において、動きベクトルの検出による動きの推測(S43)を第2枚目の静止画像を撮影した後に行うので、動きベクトルに基づいた撮影条件の設定(S44)、ぶれ防止制御を伴う撮影(S42)、及び、画像補正(S46)は、第3枚目から有効となる場合を説明したが、本発明はこのような場合に特に限定されるものではない。
具体的には、連写撮影の撮影開始指示が入力される前にスルー画の表示が行われている場合には、そのスルー画から所定の時間間隔で静止画像を抽出しておき、連写撮影の撮影開始前からメイン被写体の動きベクトル及びカメラの動きベクトルの検出を行うようにしてもよい。この場合には、静止画像の第1枚目及び第2枚目の撮影に対しても動きベクトルに基づく撮影条件の設定及びぶれ防止制御を行い得る。また、静止画像の第1枚目及び第2枚目に対しても動きベクトルに基づく画像補正を行う。
また、連写撮影の撮影開始指示が入力される前にスルー画の表示が行われていない場合には、所定の時間間隔でプレ撮影を行って、プレ撮影によって得られる複数の静止画像からメイン被写体の動きベクトル及びカメラの動きベクトルの検出を行うようにしてもよい。ただし、プレ撮影によってシャッタチャンスを逃すことがないように、撮影開始指示が入力されたときにはプレ撮影を行っていなくても連写を開始するようにしておくことが、好ましい。
なお、図25において、連写撮影か否か及びスルー画の撮影中か否かを判定して(S1,S2)、状況に応じて、スルーから抽出した静止画像、プレ撮影の静止画像、及び、連写撮影中の静止画像のいずれかに基づいて動きベクトルを検出して動きを推測する撮影方法について説明したが、カメラによっては、いずれかひとつの態様のみを実装する場合もある。例えば、必ずスルー画を撮影して被写体およびカメラの動きを推測するようにしたカメラとしてもよく、必ずプレ撮影を行って被写体およびカメラの動き推測するようにしたカメラとしてもよく、また、移動中の被写体を撮影する機会が多い連写撮影時のみ被写体およびカメラの動き推測するようにしたカメラとしてもよい。
その他、本発明は、実施形態において説明した例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってもよいのはもちろんである。
本発明に係る撮影装置の一実施形態としてのカメラの例を示すブロック図 カメラの要部について機能的な構成を示すブロック図 被写体及びカメラが共に静止している撮影状況の説明に用いる説明図 被写体が静止しておりカメラが移動している撮影状況の説明に用いる説明図 被写体が移動しておりカメラが静止している撮影状況の説明に用いる説明図 被写体及びカメラが共に移動している撮影状況の説明に用いる説明図 動きベクトルを検出するための第1のエッジ検出の説明に用いる説明図 動きベクトルを検出するための第2のエッジ検出の説明に用いる説明図 動きベクトルを検出するためのメイン被写体の初期位置の検出の説明に用いる説明図 カメラの動きベクトルに被写体の動きベクトルが加わったAベクトルの検出の説明に用いる説明図 カメラの動きベクトルからなるBベクトルの検出の説明に用いる説明図 スルー画からの動きベクトルの検出を撮影準備指示後に行う撮影処理の一例の流れを示すフローチャート スルー画からの動きベクトルの検出を撮影準備指示前に行う撮影処理の一例の流れを示すフローチャート スルー画からの動きベクトルの検出を撮影準備指示前に開始して撮影開始指示まで継続する撮影処理の一例の流れを示すフローチャート プレ撮影を行って動きベクトルを検出する撮影処理の一例の流れを示すフローチャート 連写撮影処理の一例の流れを示すフローチャート 補正前の静止画像1枚と補正後の静止画像1枚を異なるサイズで表示した例を示す説明図 補正前の静止画像1枚と補正後の静止画像2枚を異なるサイズで表示した例を示す説明図 補正前の静止画像1枚と補正後の静止画像1枚を同じサイズで表示した例を示す説明図 補正後の静止画像2枚を同じサイズで表示した例を示す説明図 補正前の静止画像1枚と補正後の静止画像3枚を同じサイズで表示した例を示す説明図 補正後の静止画像4枚を同じサイズで表示した例を示す説明図 表示パネルのサイズを拡大して補正前の静止画像1枚と補正後の静止画像1枚を表示した例を示す説明図 表示パネルのサイズを拡大して補正前の静止画像1枚と補正後の静止画像3枚を表示した例を示す説明図 本発明に係る撮影方法の一実施形態の全体の流れを示すフローチャート
符号の説明
10…撮影装置、10a…表示部、10b…指示入力部、10c…撮影部、10d…動き推測部、10e…撮影条件設定部、10f…ぶれ防止制御部、10g…画像補正部、10h…画像表示制御部、10i…画像記録制御部、10j…主制御部、12…CPU、18…メインメモリ、24…キー、28…表示パネル、32…記録メディア、38…CCD(固体撮像素子)、39…CCD用のモータドライバ、40…撮影レンズ、41…撮影レンズ用のモータドライバ、50…タイミングジェネレータ、70…ストロボ

Claims (22)

  1. 被写体を撮影する撮影手段と、
    前記撮影手段による前記被写体の静止画像の本番撮影前に前記撮影手段により前記被写体を含んで撮影される画像に基づいて、実際の前記被写体の動き及び本撮影装置の動きを推測する動き推測手段と、
    を備えたことを特徴とする撮影装置。
  2. 前記動き推測手段は、本番撮影前の前記画像中の被写体領域と背景領域とを判断し、前記被写体領域における動きを示す第1の動きベクトルと前記背景領域における動きを示す第2の動きベクトルとを求め、前記第1の動きベクトルと前記第2の動きベクトルとの差分ベクトルを前記実際の被写体の動きとみなして前記第2の動きベクトルを前記本撮影装置の動きとみなすことを特徴とする請求項1に記載の撮影装置
  3. 前記動き推測手段は、前記被写体と本撮影装置とが共に静止している第1の撮影状況、前記被写体が静止しており本撮影装置が動いている第2の撮影状況、前記被写体が動いており本撮影装置が静止している第3の撮影状況、及び、前記被写体と本撮影装置とが共に動いている第4の撮影状況のうちいずれの撮影状況であるかを判断することを特徴とする請求項1または2に記載の撮影装置
  4. 前記撮影手段は、前記被写体の静止画像の本番撮影前にスルー画像の撮影を行い、
    前記動き推測手段は、前記スルー画像から所定の時間間隔で抽出した複数の静止画像に基づいて前記被写体の動き及び本撮影装置の動きを推測することを特徴とする請求項1乃至3のいずれかに記載の撮影装置。
  5. 前記撮影手段は、前記被写体の静止画像の本番撮影前に所定の時間間隔で複数回のプレ撮影を行い、
    前記動き推測手段は、前記プレ撮影によって得られる複数の静止画像に基づいて前記被写体の動き及び本撮影装置の動きを推測することを特徴とする請求項1乃至3のいずれかに記載の撮影装置。
  6. 前記撮影手段は、前記被写体の静止画像を所定の時間間隔で連続して撮影する連写を行い、
    前記動き推測手段は、連写撮影中に、撮影済みの複数の静止画像に基づいて次の静止画像を撮影するときの前記被写体の動き及び本撮影装置の動きを推測することを特徴とする請求項1乃至3のいずれかに記載の撮影装置。
  7. 前記動き推測手段によって推測された前記被写体の動き及び本撮影装置の動きに基づいて、シャッタスピード、絞り、感度、発光条件、その他の撮影条件を設定する撮影条件設定手段を備えたことを特徴とする請求項1乃至のいずれかに記載の撮影装置。
  8. 前記動き推測手段により判断された前記撮影状況と、連写撮影であるか否かとに基づいて、シャッタスピード、絞り、感度、発光条件、その他の撮影条件を設定する撮影条件設定手段を備えたことを特徴とする請求項に記載の撮影装置。
  9. 前記撮影条件設定手段は、前記被写体の動きベクトル及び本撮影装置の動きベクトルのそれぞれに対して重み付けを行って前記撮影条件を設定することを特徴とする請求項またはに記載の撮影装置。
  10. 前記動き推測手段によって推測された前記被写体の動き及び本撮影装置の動きに基づいて、前記本番撮影の静止画像内に発生するぶれを防止するように前記撮影手段に対して物理的な動きを与えるぶれ防止制御手段を備えたことを特徴とする請求項1乃至のいずれかに記載の撮影装置。
  11. 前記動き推測手段により判断された前記撮影状況と、連写撮影であるか否かとに基づいて、前記本番撮影の静止画像内に発生するぶれを防止するように前記撮影手段に対して物理的な動きを与えるか否かを切り替えるぶれ防止制御手段を備えたことを特徴とする請求項に記載の撮影装置。
  12. 前記ぶれ防止制御手段は、前記被写体の動きベクトル及び本撮影装置の動きベクトルのそれぞれに対して重み付けを行って前記撮影手段に対して物理的な動きを与えることを特徴とする請求項10または11に記載の撮影装置。
  13. 前記被写体の動き及び本撮影装置の動きに基づいて、前記撮影手段によって撮影された本番撮影の静止画像を補正する画像補正手段を備えたことを特徴とする請求項1乃至12のいずれかに記載の撮影装置。
  14. 前記動き推測手段により判断された前記撮影状況と、連写撮影であるか否かとに基づいて、前記撮影手段によって撮影された本番撮影の静止画像を補正するか否かを切り替える画像補正手段を備えたことを特徴とする請求項に記載の撮影装置。
  15. 前記画像補正手段は、前記被写体の動きベクトル及び本撮影装置の動きベクトルのそれぞれに対して重み付けを行って前記本番撮影の静止画像を補正することを特徴とする請求項13または14に記載の撮影装置。
  16. 前記画像補正手段によって補正された1または複数の静止画像を表示するとともに、前記画像補正手段によって補正される前の静止画像を表示可能である表示手段を備えたことを特徴とする請求項13乃至15のいずれかに記載の撮影装置。
  17. 前記補正後の静止画像と前記補正前の静止画像とのサイズの比、または、前記補正後の静止画像同士のサイズの比が可変であることを特徴とする請求項16に記載の撮影装置。
  18. 前記表示手段は、前記補正後の静止画像及び前記補正前の静止画像の両方を同時に表示するか否かによって、または、同時に複数表示される前記補正後の静止画像の数によって、画面のサイズが可変であることを特徴とする請求項16または17に記載の撮影装置。
  19. 前記補正後の静止画像及び前記補正前の静止画像のうちで所定の記録媒体に記録する静止画像を示す選択指示、または、複数の前記補正後の静止画像のうちで前記記録媒体に記録する静止画像を示す選択指示が入力される指示入力手段と、
    前記選択指示に従って選択された静止画像の記録を行う画像記録制御手段と、
    を備えたことを特徴とする請求項16乃至18のいずれかに記載の撮影装置。
  20. 前記画像記録制御手段は、前記指示入力手段によって複数の静止画像が選択されたとき、選択された静止画像同士の関連付けを行って記録を行うことを特徴とする請求項19に記載の撮影装置。
  21. 前記画像記録制御手段は、連写撮影の場合には、前記選択指示の入力を待たずに前記補正前の静止画像及び前記補正後の静止画像の両方の記録を行う一方で、単写撮影の場合には、前記選択指示の入力を待って記録を行うことを特徴とする請求項19または20に記載の撮影装置。
  22. 被写体を撮影する撮影装置を用いた撮影方法において、
    前記被写体を含んで撮影される画像に基づいて、実際の前記被写体の動き及び前記撮影装置の動きを推測し、その後、前記被写体の静止画像の本番撮影を行うことを特徴とする撮影方法。
JP2004344553A 2004-11-29 2004-11-29 撮影装置及び撮影方法 Active JP4379918B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004344553A JP4379918B2 (ja) 2004-11-29 2004-11-29 撮影装置及び撮影方法
US11/285,047 US7995852B2 (en) 2004-11-29 2005-11-23 Imaging device and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004344553A JP4379918B2 (ja) 2004-11-29 2004-11-29 撮影装置及び撮影方法

Publications (2)

Publication Number Publication Date
JP2006157428A JP2006157428A (ja) 2006-06-15
JP4379918B2 true JP4379918B2 (ja) 2009-12-09

Family

ID=36567538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004344553A Active JP4379918B2 (ja) 2004-11-29 2004-11-29 撮影装置及び撮影方法

Country Status (2)

Country Link
US (1) US7995852B2 (ja)
JP (1) JP4379918B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838630B2 (en) 2020-06-04 2023-12-05 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and storage medium

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8736691B2 (en) 2006-02-20 2014-05-27 Panasonic Corporation Image pickup apparatus to control an exposure time based on motion of a detected optical image
JP4172507B2 (ja) 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5168837B2 (ja) * 2006-07-27 2013-03-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8619149B2 (en) * 2006-09-11 2013-12-31 Avago Technologies General Ip (Singapore) Pte. Ltd. Camera with an image sensor that doubles as a motion sensor
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
JP4274233B2 (ja) * 2006-11-30 2009-06-03 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US8020441B2 (en) 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US7796872B2 (en) 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US8141424B2 (en) 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
JP4974704B2 (ja) * 2007-02-22 2012-07-11 パナソニック株式会社 撮像装置
JP4976160B2 (ja) 2007-02-22 2012-07-18 パナソニック株式会社 撮像装置
JP4860568B2 (ja) * 2007-03-30 2012-01-25 富士フイルム株式会社 撮影装置
JP5019939B2 (ja) 2007-04-19 2012-09-05 パナソニック株式会社 撮像装置及び撮像方法
JP5021370B2 (ja) * 2007-06-05 2012-09-05 オリンパスイメージング株式会社 撮影装置、表示方法、及びプログラム
JP5061188B2 (ja) 2007-07-09 2012-10-31 パナソニック株式会社 デジタル一眼レフカメラ
JP4985251B2 (ja) * 2007-09-10 2012-07-25 カシオ計算機株式会社 撮像装置、フォーカス制御方法、フォーカス制御プログラム
JP5179223B2 (ja) 2008-02-26 2013-04-10 オリンパス株式会社 撮像装置及び撮像プログラム
JP5191251B2 (ja) * 2008-03-06 2013-05-08 富士フイルム株式会社 撮像装置
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
TWI413003B (zh) * 2008-07-23 2013-10-21 Altek Corp Face recognition of the automatic camera method
JP2010050842A (ja) * 2008-08-22 2010-03-04 Sony Taiwan Ltd マルチレンズカメラシステムのための高度な動的スティッチング方法
JP5011235B2 (ja) * 2008-08-27 2012-08-29 富士フイルム株式会社 撮影装置及び撮影方法
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
KR101597823B1 (ko) 2009-03-19 2016-02-26 삼성전자주식회사 움직임 보상 장치
JP2010262173A (ja) * 2009-05-08 2010-11-18 Sony Corp 撮像装置および撮影レンズユニット
JP5570769B2 (ja) 2009-07-23 2014-08-13 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
JP5483953B2 (ja) 2009-08-18 2014-05-07 キヤノン株式会社 焦点調節装置、焦点調節方法及びプログラム
JP2011061530A (ja) * 2009-09-10 2011-03-24 Canon Inc 撮像装置及び撮像装置の制御方法
JP5606057B2 (ja) * 2009-12-17 2014-10-15 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法
JP5699432B2 (ja) * 2010-01-27 2015-04-08 株式会社ニコン 画像処理装置
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5536010B2 (ja) * 2011-11-02 2014-07-02 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
JPWO2013099021A1 (ja) * 2011-12-28 2015-04-30 ピタフォー モバイル エルエルシー 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システム
CN103856711A (zh) * 2012-12-05 2014-06-11 联咏科技股份有限公司 滚动快门的校正方法与图像处理装置
JP6024725B2 (ja) * 2014-01-17 2016-11-16 カシオ計算機株式会社 システム
JP6401494B2 (ja) * 2014-04-30 2018-10-10 キヤノン株式会社 ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置
JP6325885B2 (ja) * 2014-05-12 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、及びプログラム
CN104811609A (zh) * 2015-03-03 2015-07-29 小米科技有限责任公司 拍摄参数调整方法和装置
JP2016206656A (ja) * 2015-04-22 2016-12-08 キヤノン株式会社 防振制御装置、光学機器および防振制御プログラム
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP6890944B2 (ja) * 2016-10-07 2021-06-18 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置
JP2018146663A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
JP6410062B2 (ja) * 2017-03-03 2018-10-24 パナソニックIpマネジメント株式会社 撮像装置および撮像画像の表示方法
JP2020136899A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2507138B2 (ja) * 1990-05-21 1996-06-12 松下電器産業株式会社 動きベクトル検出装置及び画像揺れ補正装置
JPH04180370A (ja) 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
JP2595841B2 (ja) 1991-07-17 1997-04-02 松下電器産業株式会社 動き検出回路
JPH05110912A (ja) 1991-12-16 1993-04-30 Minolta Camera Co Ltd カメラ
JPH05164955A (ja) 1991-12-17 1993-06-29 Minolta Camera Co Ltd カメラの制御装置
JPH07333670A (ja) * 1994-06-07 1995-12-22 Nikon Corp ブレ防止装置
US6573930B2 (en) * 1996-11-15 2003-06-03 Canon Kabushiki Kaisha Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
JP2000115631A (ja) 1998-10-08 2000-04-21 Canon Inc 画像再生機能付きカメラ
JP2001045340A (ja) 1998-12-22 2001-02-16 Canon Inc 撮像装置、画像処理装置、画像処理方法、及び媒体
JP4796696B2 (ja) * 1999-05-07 2011-10-19 プレゼント インヴェストメンツ エルエルシー ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体
JP2000358187A (ja) 1999-06-15 2000-12-26 Matsushita Electric Ind Co Ltd 撮像装置
JP3788714B2 (ja) 2000-02-14 2006-06-21 株式会社リコー 撮像装置及びデジタルカメラ
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
JP2002044601A (ja) 2000-07-28 2002-02-08 Olympus Optical Co Ltd 電子カメラ装置および電子カメラ装置の制御方法および画像処理装置および画像処理方法
JP2002214659A (ja) 2001-01-16 2002-07-31 Canon Inc ぶれ補正機能付きカメラ
JP4468598B2 (ja) 2001-02-14 2010-05-26 オリンパス株式会社 画像処理装置及び画像処理プログラムを記録した記録媒体
JP3866957B2 (ja) 2001-10-23 2007-01-10 オリンパス株式会社 画像合成装置
JP3886769B2 (ja) * 2001-10-26 2007-02-28 富士通株式会社 補正画像生成装置および補正画像生成プログラム
JP4234968B2 (ja) 2002-09-27 2009-03-04 富士フイルム株式会社 デジタルカメラ
GB2407226B (en) * 2003-10-18 2008-01-23 Hewlett Packard Development Co Image processing scheme

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838630B2 (en) 2020-06-04 2023-12-05 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and storage medium

Also Published As

Publication number Publication date
US20060115297A1 (en) 2006-06-01
US7995852B2 (en) 2011-08-09
JP2006157428A (ja) 2006-06-15

Similar Documents

Publication Publication Date Title
JP4379918B2 (ja) 撮影装置及び撮影方法
US7877004B2 (en) Imaging apparatus and imaging method
JP4434151B2 (ja) 撮像装置
JP5126261B2 (ja) カメラ
JP5764740B2 (ja) 撮像装置
JP3823921B2 (ja) 撮像装置
JP4441919B2 (ja) 撮像装置及びそのプログラム
JP2007243250A (ja) 撮像装置および撮像方法
JP2005128437A (ja) 撮影装置
JP2008236645A (ja) 撮影装置
JP2006310969A (ja) 撮像装置
TWI492618B (zh) 攝影裝置及電腦可讀取記錄媒體
JP2005215388A (ja) 交換レンズ及びそれを用いたカメラシステム
JP2006067452A (ja) 映像記録装置、および電子カメラ
JP2002027312A (ja) 撮像装置
JP2010239277A (ja) 撮像装置および撮像方法
JP2013110754A (ja) カメラ装置、及びその撮影方法とプログラム
JP4865648B2 (ja) 撮影装置
JP6758950B2 (ja) 撮像装置、その制御方法とプログラム
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP6606838B2 (ja) 撮像装置および撮像方法
JP2004328606A (ja) 撮像装置
JP5105298B2 (ja) 撮像装置及びそのプログラム
JP2008035243A (ja) 撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4379918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250