JP5326799B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来、撮影者が流し撮りする場合に、シャッター速度を自動算出する技術が知られている（特許文献１参照）。

特開平５−２３２５６２号公報

しかしながら従来技術にあっては、撮影者が流し撮りする場合には、流し撮り対象となる被写体（流し撮り対象被写体（移動体））に追従させてパンニングしつつ、流し撮りができる程度に長時間の露光をして撮影する。そのために、流し撮り対象被写体に追従させてパンニングを正常にできている場合には、流し撮りがうまくできるものの、流し撮り対象被写体に追従させてパンニングを正常にできていない場合には、流し撮りがうまくできないばかりでなく、画面全体がぶれた画像しか撮像することができないという問題があった。そのため、初心者にとって、流し撮りは難しいという問題があった。

本発明は、このような事情に鑑みてなされたもので、その目的は、被写体に追従させてパンニングを正常にできている場合であっても、できていない場合であっても、容易に撮像することができる撮像装置を提供することにある。

本発明の第１の態様に従えば、被写体を撮像して画像信号を出力する撮像部と、前記画像信号に基づいて、移動体を検出する第１の検出部と、装置のパンニングを検出するパンニング検出部と、前記第１の検出部が検出した移動体と前記パンニング検出部が検出したパンニングとに基づいて、前記移動体を追従できているか否かを判定する判定部と、前記判定部により判定された判定結果に基づいて、撮像する場合の露光時間を設定する設定部と、を有し、装置がパンニングしている状態で、前記第１の検出部は撮像された画像内で予め定められている移動量よりも小さい移動量の被写体または前記予め定められている移動量以上の移動量の被写体を前記移動体として検出し、前記判定部は、前記第１の検出部が撮像された画像内で前記予め定められている移動量よりも小さい移動量の被写体を移動体として検出した場合は移動体を追従できていると判定し、前記第１の検出部が前記予め定められている移動量以上の移動量の被写体を前記移動体として検出した場合は移動体を追従できていないと判定する、ことを特徴とする撮像装置が提供される。

この発明によれば、移動体を追従できているか否かを判定し、この判定した結果に基づいて、露光時間を設定して撮像することができる。そのために、被写体に追従させてパンニングを正常にできている場合であっても、できていない場合であっても、容易に撮像することができる。

この発明の一実施形態による撮像装置の構成を示すブロック図である。 正常にパンニングできている場合の動作概要を示す説明図である。 正常にパンニングできていない場合の動作概要を示す説明図である。 パンニングしていない場合の動作概要を示す説明図である。 図２の場合における流し撮り対象被写体の検出を説明する説明図である。 図３の場合における流し撮り対象被写体の検出を説明する説明図である。 図４の場合における流し撮り対象被写体の検出を説明する説明図である。 本実施形態による撮像装置の動作を説明する第１のフローチャートである。 本実施形態による撮像装置の動作を説明する第２のフローチャートである。 本実施形態による撮像装置の画像処理を説明する説明図である。 撮像装置の３軸まわりの回転を示す説明図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の第１の実施形態による撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、撮像部１０、不揮発メモリー１１、バッファメモリー１２、操作検出回路１３、モニター制御回路１４、モニター（表示部）１５、メモリー制御回路１６、メモリー１７、および制御部２０を備えている。

撮像部１０は、光学系１、角速度センサー２、光学系制御回路３、撮像素子制御回路７、撮像素子８、および、映像回路９を備え、光学系１による光学像（被写体像）を撮像して画像信号を生成して出力する。光学系１は、例えば、撮像素子８への露光を補正する光学素子、焦点を調整する機能を有するフォーカスレンズ、手ブレによる像揺れを補正する機能を有する手ブレ防止レンズ、絞り羽根、および、シャッター等を備えている。

角速度センサー２は、撮像装置１００の角度変化（移動速度や移動方向を含む）を検出する（図１１参照）。この角速度センサー２は、撮像装置１００の３軸まわりの回転量を検出する。たとえば流し撮りする場合、流し撮り対象被写体に追従して、撮影者により撮像装置１００の向きが変えられる。この場合、この角速度センサー２により、撮像装置１００の角度変化を検出することにより、流し撮りをしているか否かを検出することができる。

光学系制御回路３は、フォーカスレンズを制御して自動的に焦点を調整するオートフォーカス（以下、ＡＦ）制御機能、シャッターの開閉を制御するシャッター制御機能、絞り羽根の絞りを制御して自動的に露出を調整するＡＥ制御機能等を備え、光学系１を駆動させ、撮像素子８への露光を制御する。

撮像素子８は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、光学系１から露光された光学像が結像される受光面を有し、結像された光学像を電気信号に変換してアナログの画像信号を出力する。また、撮像素子８は、撮像素子制御回路７により制御され、シャッターが切られる前においては、入射する光学像に基づきスルー画像信号をフレーム毎に連続して出力し、シャッターが切られたことに応じて、入射する光学像に基づき静止画像用の静止画像信号を出力する。

映像回路９は、撮像素子８から出力される画像信号を増幅し、デジタル信号に変換する。撮像素子制御回路７は、撮像素子８を駆動させ、撮像素子８において結像された光学像の画像信号への変換や、変換された画像信号の出力などの動作を制御する。例えば撮像素子制御回路７は、制御部２０によって制御される露光時間で、撮像素子８に光学像を結像させる露光時間制御や、撮像素子８に一定時間ｔの間隔で複数のスルー画像信号を生成させるスルー画生成制御等を行う。なお一定時間ｔの間隔とは、例えば１／６０秒である。

不揮発メモリー１１は、制御部２０を動作させるプログラムや、ユーザから入力された各種設定や撮影条件などの情報を記憶する。不揮発メモリー１１は、例えば、操作検出回路１３から入力される情報に基づき、自動レリーズ設定の有無や、自動レリーズ設定の設定条件等の情報を記憶する。
バッファメモリー１２は、制御部２０の制御処理に用いられる一時的な情報の記憶領域であって、例えば、撮像素子８から出力されるスルー画像信号や、制御部２０によって画像処理された撮影画像信号などが制御部２０によって一時的に記憶される。

操作検出回路１３は、電源スイッチ１３ａ、レリーズスイッチ１３ｂ、・・・１３ｎ等の入力部を備え、その入力部がユーザによって操作されることに応じて、操作に対応する制御信号を制御部２０に出力する。たとえばレリーズスイッチ１３ｂが全押しされたことに応じて、操作検出回路１３は、レリーズ信号を制御部２０に出力する。

モニター制御回路１４は、例えば、モニター１５の点灯と消灯および明るさ調整などの表示制御や、制御部２０によって画像処理された画像信号をモニター１５に表示させる処理を行う。モニター１５は、画像信号に応じた画像を表示するディスプレイであり、例えば、ＬＣＤ（Liquid Crystal Display）などの液晶ディスプレイである。

メモリー制御回路１６は、制御部２０とメモリー１７との情報の入出力を制御し、例えば制御部２０によって画像処理された画像信号をメモリー１７に記憶させる処理や、メモリー１７に記憶されている画像信号等の情報を読み出して制御部２０に出力する処理などを行う。メモリー１７は、例えば、メモリーカードなど撮像装置１００に対して抜き差し可能な記憶媒体であり、制御部２０によって画像処理された画像信号などが記憶される。

制御部２０は、不揮発メモリー１１に記憶されたプログラムに基づいて撮像装置１００の各部の動作を制御するＣＰＵ（Central Processing Unit）等である。例えば、制御部２０は、ユーザの操作により操作検出回路１３から入力される制御信号に応じて、撮像装置１００への電源の投入、光学系制御回路３を介した光学系１の駆動制御、撮像素子制御回路７を介した撮像素子８の駆動制御、または、モニター制御回路１４を介したモニター１５の表示制御等を行う。

この制御部２０は、画像処理部２１と、表示制御部２２と、第１の検出部２３と、第２の検出部２４と、第１画像処理部２５１および第２画像処理部２５２を有する撮影後画像処理部２５（画像処理部）と、パンニング検出部２６と、撮像条件設定部２７と、撮影制御部２８と、判定部２９と、を備えている。

画像処理部２１は、撮像素子８から映像回路９に出力された画像信号（静止画像信号およびスルー画像信号）に対して画像処理を行う。この画像処理とは、色の調整処理や、ホワイトバランスの調整処理や、ノイズの低減処理などがある。画像処理部２１は、例えば、スルー画像信号に対して、動画的にモニター１５に表示されるように画像処理を行い、バッファメモリー１２に記憶させる。

表示制御部２２は、バッファメモリー１２に記憶されている、画像処理部２１によって画像処理されたスルー画像信号を読み出し、リアルタイムにモニター１５に出力する。
パンニング検出部２６は、角速度センサー２から出力された３軸まわりの回転量に基づいて、撮像装置１００のパンニングを検出する。

第１の検出部２３（主要被写体検出部）は、撮像部１０から出力された画像信号に基づいた画像から動きベクトルを検出し、当該検出した動きベクトルに基づいて流し撮り対象被写体（移動体）を検出する。この撮像部１０から出力された画像信号に基づいた画像とは、たとえば、画像処理部２１により画像処理された画像である。また、この第１の検出部２３は、パンニング検出部２６が検出したパンニングと検出した動きベクトルとに基づいて、撮像部１０から出力された画像信号に基づいた画像の中から流し撮り対象被写体を検出する。

たとえば第１の検出部２３は、パンニング検出部２６によりパンニングが検出されている場合には、パンニング検出部２６に検出されるパンニングと、撮像部１０から出力された画像信号に基づいた画像における被写体の動きベクトルとが対応する被写体を、流し撮り対象被写体として検出する。また第１の検出部２３は、パンニング検出部２６によりパンニングが検出されていない場合には、撮像部１０から出力された画像信号に基づいた画像における被写体の動きベクトルが予め定められている値よりも大きい被写体を、流し撮り対象被写体として検出する。このように、本実施形態でいう流し撮り対象被写体とは、パンニングされている場合には、このパンニングにより流し撮りの対象とされる主要被写体であり、パンニングされていない場合には、撮像部１０の画面内を移動している主要被写体である。すなわち、流し撮り対象被写体は、移動体のことである。

第２の検出部２４は、撮影される場合に、当該撮像される画像内における第１の検出部２３により検出された流し撮り対象被写体を特定する情報を検出する。この流し撮り対象被写体を特定する情報には、たとえば、撮像された画像内における流し撮り対象被写体の移動方向を示す情報、撮像された画像内における流し撮り対象被写体の位置を示す情報、および、撮像された画像内における流し撮り対象被写体の形状を示す情報が含まれている。また、この流し撮り対象被写体を特定する情報に含まれる各情報は、流し撮り対象被写体の撮影時（露光時）に予測される各情報であってもよい。

撮影後画像処理部２５は、判定部２９により流し撮り対象被写体を追従できていないと判定された場合に撮影された後、第２の検出部２４が検出した流し撮り対象被写体を特定する情報に基づいて、撮像された画像のうち流し撮り対象被写体の画像領域以外の画像を画像処理する。

この撮影後画像処理部２５が有する第１画像処理部２５１は、第２の検出部２４が検出した流し撮り対象被写体を特定する情報に基づいて、流し撮り対象被写体以外の画像に対して移動ぼかし処理をする。また、この第１画像処理部２５１は、流し撮り対象被写体を特定する情報に含まれている流し撮り対象被写体の移動方向を示す情報に基づいて、ぼかす方向を定めて移動ぼかし処理をする。

この撮影後画像処理部２５が有する第２画像処理部２５２は、第１画像処理部２５１がぼかし処理した画像と、流し撮り対象被写体の画像とを合成する。また、この第２画像処理部２５２は、合成する場合に、流し撮り対象被写体の画像がぼかし処理した画像の上になるようにして合成する。

判定部２９は、第１の検出部２３が検出した流し撮り対象被写体とパンニング検出部２６が検出したパンニングとに基づいて、流し撮り対象被写体を追従できているか否かを判定する
撮像条件設定部２７（設定部）は、判定部２９により判定された判定結果に基づいて、撮像する場合の露光時間を設定する。この設定部２７は、判定部２９により流し撮り対象被写体を追従できていないと判定された場合には、予め定められている第１の露光時間を設定し、判定部２９により流し撮り対象被写体を追従できていると判定された場合には、第１の露光時間よりも長い第２の露光時間を設定する。この第１の露光時間とは、たとえば後述する高速シャッターであり、第２の露光時間とは、たとえば後述する流し撮りに適したシャッター時間である。

また撮像条件設定部２７は、設定される撮影モードなどの条件に基づいて、撮影条件を設定する。この撮影条件には、高速シャッターが含まれている。ここで高速シャッターとは、流し撮りする場合よりも早いシャッター速度であり、たとえば流し撮り対象被写体が撮影される画面内で静止して撮像されるようなシャッター速度である。

撮影制御部２８は、レリーズ信号が入力されたことに応じて、設定部２７により設定された露光時間などの撮影条件に基づいて、撮像素子８を制御して画像を撮像させ、この撮像された画像に対して画像処理部２１を制御して上述した画像処理を実行させる。また撮影制御部２８は、このようにして撮像された画像に対して、撮影後画像処理部２５を制御して、第２の検出部２４が検出した流し撮り対象被写体を特定する情報に基づいて、撮像された画像のうち流し撮り対象被写体の画像領域以外の画像を画像処理させる。なお、画像処理部２１と撮影後画像処理部２５とは、画像処理する場合に、バッファメモリー１２を作業領域として用いてもよい。

また撮影制御部２８は、撮影後画像処理部２５により画像処理された画像を、メモリー制御回路１６を介してメモリー１７に記憶させる。なお撮影制御部２８は、撮影後画像処理部２５により画像処理された画像とともに、画像処理部２１により画像処理された画像を関連付けて、メモリー制御回路１６を介してメモリー１７に記憶させてもよい。

次に図２から図５を用いて、上述した撮像装置１００の一例としての動作概要について説明する。図２は、撮影者が、走行している車（図２の符号Ａ参照）に追従させて撮像装置１００をパンニングし、正常にパンニングできて流し撮りした場合である。図３は、撮影者が、走行している車（図３の符号Ａ参照）に追従させて撮像装置１００をパンニングし、正常にパンニングできずに流し撮りした場合である。図４は、撮影者が、撮像装置１００を固定しておいて、走行している車（図４の符号Ａ参照）を撮影した場合である。いずれの場合にも、背景に家（図２から図４との符号Ｂ参照）がある場合について説明する。この図２から図５の各図は、撮像装置１００が撮像する画面内の画像に対応している。

まず図２の場合について説明する。この図２では、撮影者が、左から右へ走行している車に追従させて撮像装置１００を正常にパンニングさせて、撮影している。この場合、パンニング検出部２６は、このパンニングを検出している。また第１の検出部２３は、フレーム間（図２（ａ）と（ｂ）とを参照）における、各被写体の移動および動きベクトルを検出している（図２（ｄ）参照）。

この図２の場合には、撮像装置１００がパンニングされているので、背景である家は、画面内で右から左へ移動している（図２（ｄ）の符号Ｂ１とＢ２を参照）。これに対して、車に追従させて撮像装置１００はパンニングされているために、車は、画面内で移動していない（図２（ｄ）の符号Ａを参照）。よってこの場合、第１の検出部２３は、画面内で移動していない被写体である車を、流し撮り対象被写体として検出する。

その後、撮影者によるレリーズスイッチ１３ｂの押下に応じて、撮像装置１００は、パンニング速度に応じて、流し撮りに適した長時間シャッターで撮像する（図２（ｃ）参照）。すなわち、流し撮り対象被写体に正常に追従できているために、撮像装置１００は、通常の流し撮りにより撮像する。このようにして、流し撮り被写体に追従して正常にパンニングされている場合には、撮像装置１００は、パンニング速度に応じて、流し撮りに適した長時間シャッターで撮像する。

次に図３の場合について説明する。この図３では、撮影者が、左から右へ移動している車に追従させてはいるものの、撮像装置１００を正常にパンニングさせることができないで撮影している。この場合、パンニング検出部２６は、このパンニングを検出している。また第１の検出部２３は、フレーム間（図３（ａ）と（ｂ）とを参照）における、各被写体の移動および動きベクトルを検出している（図３（ｄ）参照）。

この図３の場合には、撮像装置１００がパンニングされているので、背景である家は、画面内で右から左へ移動している（図２（ｄ）の符号Ｂ１とＢ２とを参照）。また、車を追従しているものの、正常（完全）には追従できていないために、車も、画面内で移動している（図２（ｄ）の符号Ａ１とＡ２とを参照）。いずれの被写体も画面内で移動しているが、この場合第１の検出部２３は、パンニングの方向と被写体の移動方向とが同じである車を、流し撮り対象被写体として検出する。

その後、撮影者によるレリーズスイッチ１３ｂの押下に応じて、撮像装置１００は、高速シャッターでブレの無い静止画を撮像する（図２（ｃ）参照）。撮像後、撮影後画像処理部２５の第１画像処理部２５１が、流し撮り対象被写体以外の背景などの画像（ここでは、家のみを例示）を、パンニングの方向に画像処理してぶらす（図２（ｅ）の符号Ｂ３参照）。その後、撮影後画像処理部２５の第２画像処理部２５２が、ぶらした背景と、ぶらしていない流し撮り対象被写体とを、合成する（図２（ｆ）参照）。

このようにして、撮像装置１００がパンニングされており、流し撮り対象被写体に正常に追従できていない場合であっても、高速シャッターで流し撮り対象被写体および背景にはブレの無い静止画を撮像することができるとともに、撮像後に画像処理で背景をぶらすことにより、流し撮り対象被写体に正常に追従して流し撮りしたように撮像することができる。

次に図４の場合について説明する。この図４では、撮影者が、撮像装置１００を固定しておき、左から右へ走行している車を撮影する。パンニング検出部２６は、この撮像装置１００が固定されていること、すなわち、パンニングされていないことを検出している。また第１の検出部２３は、フレーム間（図４（ａ）と（ｂ）とを参照）における、各被写体の移動および動きベクトルを検出している（図４（ｄ）参照）。

この図３の場合には、撮像装置１００が固定されているので、背景である家は、画面内で移動していない（図４（ｄ）の符号Ｂを参照）。これに対して、車は走行しているために、車は、画面内で移動している（図４（ｄ）の符号Ａ１とＡ２を参照）。よってこの場合は、第１の検出部２３は、画面内で移動している被写体である車を、流し撮り対象被写体として検出する。

その後、撮影者によるレリーズスイッチ１３ｂの押下に応じて、撮像装置１００は、高速シャッターでブレの無い静止画を撮像する（図４（ｃ）参照）。以降、図３（ｅ）と（ｆ）とで説明したのと同様の画像処理が行われる（図４（ｅ）と（ｆ）とを参照）。

このようにして、移動している被写体を撮像装置１００が固定されている状態で撮影する場合でも、高速シャッターでブレの無い静止画を撮像することができるとともに、撮像後に画像処理で背景をぶらすことにより、被写体を正常に追従して流し撮りしたように撮像することができる。

次に図５から図７を用いて、第１の検出部２３が、流し撮り対象被写体を検出する方法について説明する。この図５から図７は、図２から図４における車を被写体２とし、家などの背景を被写体１として説明する。

図５は、図２の場合におけるパンニング検出部２６が検出したパンニング（カメラパン速度）と、第１の検出部２３が検出した被写体毎の移動ベクトルとを、フレーム毎に示してある図である。この場合、カメラパン速度の値が０でないことから、流し撮り対象被写体を追従していると判定することがきる。また、流し撮り対象被写体である被写体２は画面内で移動しておらず、流し撮り対象被写体でない被写体１はカメラパン速度に合わせて画面内で移動していることがわかる。従って、第１の検出部２３は、流し撮り対象被写体を正常に追従している場合、すなわち、パンニング検出部２６によりパンニングが検出されている場合には、画面内で移動していない被写体である被写体２（車）を、流し撮り対象被写体として検出する。また判定部２９は、流し撮り対象被写体を追従できていると判定する。

図６は図３の場合におけるパンニング検出部２６が検出したパンニング（カメラパン速度）と、第１の検出部２３が検出した被写体毎の移動ベクトルとを、フレーム毎に示してある図である。この場合、カメラパン速度の値が０でないことから、流し撮り対象被写体を追従していると判定することがきる。しかしながら、流し撮り対象被写体を正常には追従できていないために、流し撮り対象被写体である被写体２は画面内でわずかに移動しており、流し撮り対象被写体でない被写体１はカメラパン速度に合わせて画面内で移動していることがわかる。この流し撮り対象被写体である被写体２の移動とは、たとえば、画面のある程度の範囲内での変動である。この場合、第１の検出部２３は、予め定められている移動量よりも移動していない被写体である被写体２（車）を、流し撮り対象被写体として検出する。また、判定部２９は、流し撮り対象被写体を追従できていないと判定する。

図７は図４の場合におけるパンニング検出部２６が検出したパンニング（カメラパン速度）と、第１の検出部２３が検出した被写体毎の移動ベクトルとを、フレーム毎に示してある図である。この場合、カメラパン速度の値がほぼ０であることから、対象を追従していないことがわかる。そして、対象を追従していないために、流し撮り対象被写体である被写体２は画面内で移動しており、流し撮り対象被写体でない被写体１は画面内で移動していないことがわかる。この場合、第１の検出部２３は、画面内で移動している被写体である被写体２（車）を、流し撮り対象被写体として検出する。また、判定部２９は、流し撮り対象被写体を追従できていない（または、流し撮り対象被写体を追従していない）と判定する。

なお図６においては、フレームｎ＋６とｎ＋７との間で、レリーズ動作が開始されて、フレームｎ＋７とｎ＋８との間で露光されて、撮像されている。また図７においては、フレームｎ＋３とｎ＋４との間で、レリーズ動作が開始されて、フレームｎ＋４とｎ＋５との間で露光されて、撮像されている。一般に、レリーズ動作が開始されてから露光されるまでの間には、所定の時間間隔が生じる。そのため、図６または図７に示すように、上述したレリーズ動作が開始から露光までの間に生じる所定の時間間隔で、流し撮り対象被写体の画面内における位置が変化してしまう。よって、レリーズ動作が開始される直前のフレーム（図６の場合はフレームｎ＋６、図７の場合はフレームｎ＋３）における流し撮り対象被写体の画面内における位置に基づいて、撮影後画像処理部２５は画像処理を実行することができない。

そこで第２の検出部２４は、撮影時（露光時）に予測される流し撮り対象被写体の画面内における位置を推測する（図６と図７の被写体２予測位置参照）。そして、撮影後画像処理部２５は、第２の検出部２４により予測された流し撮り対象被写体の画面内における位置に基づいて、撮影後画像処理部２５は画像処理を実行する。これにより、レリーズ動作が開始から露光までの間に生じる所定の時間間隔で、流し撮り対象被写体の画面内における位置が変化する場合であっても、撮影後画像処理部２５は画像処理を実行することができる。なお、流し撮り対象被写体の画面内における位置のみではなく、流し撮り対象被写体の画面内における方向および形状を、第２の検出部２４は予測してもよい。

次に図８と図９とを用いて、撮像装置１００の一例としての動作について説明する。ここでは、ユーザによって電源スイッチ１３ａが押下され、電源が投入されてからの撮像装置１００の動作について説明する。

まず撮像装置１００の電源がオンされたことに応じて、ステップＳ００１で、回路システムをリセットしてシステムを初期化する。次のステップＳ００３で、撮像素子８を起動し、スルー画像を連続して撮影可能な状態にする。次のステップＳ００４で、モニター１５を点灯させ、撮像素子８からのスルー画像をモニター１５に表示させる。

次のステップＳ０２１、Ｓ０２２およびＳ０２３で、撮像条件設定部２７は、ＡＥ制御、ＡＷＢ制御およびＡＦ制御を行い、撮影条件を設定する。この場合は、モニター１５に表示する画像の露出、色およびピントが最適となるように制御される。

このＡＥ制御とは、被写体の輝度を測定し、適正露出となるように撮像素子８による撮像速度および光学系１の絞りを調整することである。またＡＷＢ制御とは、被写体色を測定して最適な色になるように色毎の増幅率を調整する処理である。またＡＦ制御とは、被写体に焦点を合わせる制御である。

次のステップＳ０２４で、制御部２０が、レリーズスイッチ１３ｂが半押しされているか否かを判定する。このステップＳ０２４でレリーズスイッチ１３ｂが半押しされていない場合には、制御部２０は、ステップＳ０２１からの処理を繰り返す。一方、このステップＳ０２４でレリーズスイッチ１３ｂが半押しされている場合には、制御部２０は、ステップＳ０４１へ処理を進める。

次にステップＳ０４１、Ｓ０４２およびＳ０４３で、撮像条件設定部２７は、再度、ＡＥ制御、ＡＷＢ制御およびＡＦ制御を行い、撮影条件を設定する。この場合は、撮像される画像の露出、色およびピントが最適となるように制御される。

次にステップＳ０４４で、図９を用いて後述するように、流し撮り対象被写体（主要被写体）が検出されるとともに、流し撮りであるか否かが判定され、この判定した結果が値としてフラグに設定される。また、被写体位置、被写体形状、および、被写体移動方向が記憶部に記憶される。この記憶部とは、たとえば、不揮発メモリー１１またはバッファメモリー１２である。

次にステップＳ０４８で、半押しされている状態のレリーズスイッチ１３ｂがさらに押下され、レリーズスイッチ１３ｂからのレリーズ信号が入力されたか否かを、制御部２０は判定する。このステップＳ０４８でレリーズ信号が入力されていない場合には、ステップＳ０４９に進む。

次にステップＳ０４９で、レリーズスイッチ１３ｂが半押しされているか否かを判定する。このステップＳ０４９でレリーズスイッチ１３ｂが半押しされている場合（レリーズ待機中の場合）には、処理をステップＳ０５０に進め、半押しされていない場合にはステップＳ０２１からの処理を繰り返す。

次にステップＳ０５０で、設定されている撮影モードが、流し撮りモードであるか否かを判定する。流し撮りモードでない場合には、ステップＳ０４４からの処理を繰り返し、流し撮りモードである場合には、ステップＳ０４１からの処理を繰り返す。すなわち、流し撮りモードでない場合には、ＡＥ、ＡＥおよびＡＷＢがロックされ、流し撮りモードである場合には、再度ＡＥ、ＡＥおよびＡＷＢの制御がされる。

一方、上述したステップＳ０４８でレリーズ信号が入力されている場合には、上述したステップＳ０４１からＳ０４３で設定した撮影条件で、１コマの撮影処理を実行する。次にステップＳ０５２で、上述したステップＳ０４４における判定結果が、流し撮りである場合（後述するようにフラグの値が１である場合）には、処理をステップＳ０５３に進め、流し撮りでない場合（後述するようにフラグの値が０である場合）には処理をステップＳ０５４に進める。

次にステップＳ０５３で、上述したステップＳ０４４で記憶された被写体位置、被写体形状、および、被写体移動方向を記憶部から読み出し、当該読み出した情報に基づいて、流し撮り対象被写体以外の画像領域に対して画像処理を行い、撮像装置１００のパンニングの方向または対象被写体の移動方向に対してブレを生成して、その後流し撮り対象被写体と合成する。このブレは、たとえば、移動平均により生成される。このようなブレを生成する画像処理は、たとえば、画像処理ソフトにおいて、ぼかし（移動）フィルター処理として知れられている。

次にステップＳ０５４で、上述したステップＳ０４２で設定されたＡＷＢに基づいて撮像された画像のホワイトバランスを調整し、メモリー１７に記録した後、ステップＳ０２１からの処理を繰り返す。

次に図９を用いて、上述した図８のステップＳ０４４における処理について詳細に説明する。まずステップＳ２０１で、流し撮りモードであるか否かを判定する。このステップＳ２０１での流し撮りモードであるか否かを判定は、パンニング検出部２６からの出力に基づいて、撮像装置１００のパンニングが検出されている場合に、画面内を移動しない被写体がある場合には、流し撮りモードであると判定する。また、パンニング検出部２６からの出力に基づいて撮像装置１００のパンニングが検出されていない場合に、画面内を移動する被写体がある場合には、流し撮りモードとして判定する。それ以外の場合には、流し撮りモードでないと判定する。

ステップＳ２０１で流し撮りモードでないと判定された場合には、処理をステップＳ２０２へ進めて通常撮影を行い、流し撮りモードであると判定された場合には、処理をステップＳ２１１へ進める。

ステップＳ２１１で、パンニング検出部２６からの出力に基づいて、撮像装置１００がパンニングされているか否かを判定する。このステップＳ２１１の判定結果が、パンニングされていない場合には、図３の場合の撮像処理に対応するステップＳ２１３に処理を進め、パンニングされている場合にはステップＳ２１２に処理を進める。

ステップＳ２１２では、撮像装置１００が被写体の動きに追従しているか否かを判定する。このステップＳ２１２では、パンニングされている画面内に、移動していない被写体がいるか否かを判定することにより、被写体の動きに追従しているか否かを判定する。この移動していない被写体の判定は、たとえば、被写体の移動量が予め定められている移動量よりも小さい場合に、この被写体は移動していないと判定し、被写体の移動量が予め定められている移動量以上の場合に、この被写体は移動している（または、追従しているが十分に追従できていない）と判定する（上述した図５と図６とを参照）。

このステップＳ２１２の判定結果が、被写体の動きに追従している場合には、図２の場合の撮像処理に対応するステップＳ２２１に処理を進め、被写体の動きに追従していない場合には、図４の場合の撮像処理に対応するステップＳ２１３に処理を進める。

ステップＳ２０２では、通常撮影を行う。たとえば、プログラムＡＥによる撮影を行い、流し撮りを行わない。次にステップＳ２０３で、撮影後に流し撮り画像処理を行わないようにフラグの値を０に設定する。その後、処理を図８のステップＳ０４８に進める。

ステップＳ２１３では、撮像条件設定部２７は、高速シャッターに撮影条件を設定する。次にステップＳ２１４で、撮影後に流し撮り画像処理を行なうようにフラグの値を１に設定する。次にステップＳ２１５とＳ２１６とで、第２の検出部２４は、流し撮り対象被写体の画面内位置（被写体位置）、流し撮り対象被写体の形状（被写体形状）、および、流し撮り対象被写体の移動方向または撮像装置１００のパンニングの方向を示す情報（被写体移動方向）を、記憶部に記憶させる。

上述したステップＳ２１５とＳ２１６において、第２の検出部２４は、レリーズ信号が入力されて撮像する場合における流し撮り対象被写体の画面内における予測位置（被写体予測位置）を記憶部に記憶させる。この予測位置は、たとえば第２の検出部２４が、過去の流し撮り対象被写体の画面内移動速度から算出する。被写体形状、被写体移動方向も、同様に予測される。その後、処理を図８のステップＳ０４８に進める。

ステップＳ２２１では、パンニング検出部２６からの出力されるパンニングの速度に基づいて、流し撮りに最適なシャッター速度を選択して設定する。次にステップＳ２０３で、撮影後に流し撮り画像処理を行わないようにフラグの値を０に設定する。その後、処理を図８のステップＳ０４８に進める。

上述した本実施形態による撮像装置１００によれば、流し撮り対象被写体を追従できているか否かを判定し、この判定した結果に基づいて、露光時間を設定して撮像することができる。これにより、流し撮り対象被写体に追従させてパンニングを正常にできている場合には、流し撮りに適したシャッター速度で流し撮りできる。また、流し撮り対象被写体に追従させてパンニングを正常にできていない場合には、高速シャッターで撮像することにより、追従できていない流し撮り対象を静止画で撮像することができる。更に撮像した後、画像処理することにより、流し撮り対象被写体に追従させてパンニングを正常にできている場合と同様に、流し撮りすることができる。このように、本実施形態による撮像装置は、被写体に追従させてパンニングを正常にできている場合であっても、できていない場合であっても、被写体をぶらさずに容易に撮像することができるとともに、容易に流し撮りすることができる。

なお図１０に示すように、撮影後画像処理部２５は、パンニングの方向または対象被写体の移動方向に対して、同じ方向と逆の方向との両方の方向にブレを生成するようにしてもよいし（図７（ａ）参照）、パンニングの方向または対象被写体の移動方向の逆方向のみにブレを生成するようにしてもよい（図７（ｂ）参照）。また、この移動方向へのブレの大きさは、パンニングの移動量または対象被写体の移動量に基づいて、定められるようにしてもよい。

なお、上述した角速度センサー２およびパンニング検出部２６は、手振れ防止機構に用いられていることを用いることが可能である。よって、手振れ防止機構を有している撮像装置を本実施形態による撮像装置のようにする場合には、制御部２０の内部構成は変更されるものの、新たな構成の追加がないために、追加される構成のコストの増加を抑えることができる。また、新たに追加される構成が不要であるため、撮像装置全体のサイズを大きくすることがない。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…撮像部、２７…撮像条件設定部、２８…撮影制御部、２９…判定部、２３…第１の検出部、２４…第２の検出部、２５…撮影後画像処理部、２６…パンニング検出部

Claims (3)

1. 被写体を撮像して画像信号を出力する撮像部と、
   前記画像信号に基づいて、移動体を検出する第１の検出部と、
   装置のパンニングを検出するパンニング検出部と、
   前記第１の検出部が検出した移動体と前記パンニング検出部が検出したパンニングとに基づいて、前記移動体を追従できているか否かを判定する判定部と、
   前記判定部により判定された判定結果に基づいて、撮像する場合の露光時間を設定する設定部と、
   を有し、
   装置がパンニングしている状態で、前記第１の検出部は撮像された画像内で予め定められている移動量よりも小さい移動量の被写体または前記予め定められている移動量以上の移動量の被写体を前記移動体として検出し、
   前記判定部は、前記第１の検出部が撮像された画像内で前記予め定められている移動量よりも小さい移動量の被写体を移動体として検出した場合は移動体を追従できていると判定し、前記第１の検出部が前記予め定められている移動量以上の移動量の被写体を前記移動体として検出した場合は移動体を追従できていないと判定する、
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記設定部は、
   前記判定部により前記移動体を追従できていないと判定された場合には、第１の露光時間を設定し、
   前記判定部により前記移動体を追従できていると判定された場合には、前記第１の露光時間よりも長い第２の露光時間を設定する、
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   撮影される場合に、当該撮像される画像内における前記第１の検出部により検出された移動体を特定する情報を検出する第２の検出部と、
   前記判定部により前記移動体を追従できていないと判定され、前記第１の露光時間により撮影された後に、前記第２の検出部が検出した移動体を特定する情報に基づいて、前記撮像された画像のうち前記移動体の画像領域以外の画像を画像処理する画像処理部と、
   を備えることを特徴とする撮像装置。

Images