JP4823179B2 - 撮像装置及び撮影制御方法 - Google Patents

撮像装置及び撮影制御方法 Download PDF

Info

Publication number
JP4823179B2
JP4823179B2 JP2007236432A JP2007236432A JP4823179B2 JP 4823179 B2 JP4823179 B2 JP 4823179B2 JP 2007236432 A JP2007236432 A JP 2007236432A JP 2007236432 A JP2007236432 A JP 2007236432A JP 4823179 B2 JP4823179 B2 JP 4823179B2
Authority
JP
Japan
Prior art keywords
image
moving object
movement
moving
exposure period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007236432A
Other languages
English (en)
Other versions
JP2008136174A (ja
Inventor
幸夫 森
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006288538 priority Critical
Priority to JP2006288538 priority
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to JP2007236432A priority patent/JP4823179B2/ja
Publication of JP2008136174A publication Critical patent/JP2008136174A/ja
Application granted granted Critical
Publication of JP4823179B2 publication Critical patent/JP4823179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02Lateral adjustment of lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00High-speed photography
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2251Constructional details
    • H04N5/2254Mounting of optical parts, e.g. lenses, shutters, filters or optical parts peculiar to the presence or use of an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23212Focusing based on image signals provided by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter

Description

本発明は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に関し、また、該撮像装置に用いられる撮影制御方法に関する。

カーレースなどにおいて走行する車両などを撮影するとき、そのスピード感を強調する特殊撮影手法として、所謂「流し撮り」という撮影手法がある。従来は、車両などの動体の動きの速さに合わせて、背景に必要なボケが得られる露光時間を設定しておき、動体を追尾するように撮像装置を横に振って撮影を行うことで流し撮りを実現していた。動体を追尾するように撮像装置を横に振るという操作は、撮影経験とプロカメラマン並みの技量を必要とする。

このような操作を行うことなく流し撮りの効果に簡易に得るために、様々な手法が提案されている。例えば、下記特許文献1の手法では、動体の動きを検出し、その検出結果に応じて動体を追尾するように光軸を変化させることにより、流し撮り撮影効果を得ようとしている。

特開平7−98471号公報 特開平8−87055号公報 特開2006−50149号公報 特開2003−60972号公報

ところで、流し撮り撮影において重要なのは、背景部分に生じるボケの程度である(このボケの程度に対する明確な定義はないが、撮影画像上における背景部分の画像のボケ幅を流れボケ幅と呼ぶことにする)。動体の動きの大きさに対して、流れボケ幅が小さすぎると画像にスピード感があまり表れず、流れボケ幅が大きすぎると不自然な画像になってしまう。

上記特許文献1のように動体を追尾するように光軸を変化させれば、一応、流し撮り撮影効果は得られるが、優れた流し撮り撮影効果を得るためには(例えば、スピード感のある自然な画像を得るためには)、この流れボケ幅に対する考慮が必要である。

そこで本発明は、優れた流し撮り撮影効果を得ることができる撮像装置及び撮影制御方法を提供することを特徴とする。

上記目的を達成するために本発明に係る第1の撮像装置は、光学系を介して投影される光学像から撮影画像を得る撮像素子と、前記光学像を前記撮像素子上で移動させるための像移動手段と、前記光学像に現れる動体の、前記撮影画像上の動きを検出する動き検出手段と、所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動に由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、前記制御手段は、前記事前に検出された前記動体の動きに基づいて、前記露光期間の長さを設定することを特徴とする。

像移動手段に対する制御手段の制御により、上記露光期間の露光による撮影画像の一部(動体以外の背景部分)には、画像のボケが生じる。この画像のボケ幅は、露光期間の長さに依存することになるが、動体の動きに応じて露光期間の長さを設定するようにすることで、適切なボケ幅を得ることができる。つまり、優れた流し撮り撮影効果を得ることが可能となる。

具体的には例えば、所望の流れボケ幅が得られるように、動体の動きに基づいて露光期間の長さを設定すればよい。

つまり例えば、前記制御手段は、所定の流れボケ幅設定値と前記事前に検出された前記動体の動きとに基づいて、前記露光期間の長さを設定するとよい。

そして例えば、第1の撮像装置に、前記流れボケ幅設定値を設定する設定手段を更に設けるとよい。

また例えば、前記制御手段は、前記所定操作後、前記撮影画像上における前記動体の位置に基づいて、自動的に前記露光期間の開始タイミングを決定する。

これにより、簡単に、動体を画像上の所望位置に収めることが可能となる。

上記目的を達成するために本発明に係る第2の撮像装置は、光学系を介して投影される光学像から撮影画像を得る撮像素子と、前記光学像を前記撮像素子上で移動させるための像移動手段と、前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定することを特徴とする。

これによっても、優れた流し撮り撮影効果を得ることが可能となる。

そして例えば、前記制御手段は、所定の流れボケ幅設定値と、前記事前に検出された前記動体及び前記背景の動きから求まる、前記背景に対する前記動体の動きの大きさと、に基づいて、前記露光期間の長さを設定する。

また例えば、第2の撮像装置に、前記流れボケ幅設定値を設定する設定手段を更に設けるとよい。

また例えば、前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像に基づいて判断する像移動制御可否判断手段を、第2の撮像装置に更に設けるとよい。

より具体的には例えば、前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像中の動体の位置及び大きさに基づいて判断する像移動制御可否判断手段を、第2の撮像装置に更に設けるとよい。

また例えば、第2の撮像装置における前記動き検出手段は、前記撮影画像内に複数の分割領域を設けて前記分割領域ごとに画像の動きを検出し、検出した複数の動きを2つに分類することにより各分割領域を前記動体を形成する領域又は前記背景を形成する領域に分類し、これによって、前記光学像に現れる前記被写体を前記動体と前記背景に分類する。

本発明によれば、優れた流し撮り撮影効果を得ることができる

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

<<第1実施形態>>
まず、本発明の第1実施形態について説明する。図1は、本発明の第1実施形態に係る撮像装置1の全体ブロック図である。撮像装置1は、例えば、デジタルビデオカメラである。撮像装置1は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置1は、撮像部11と、AFE(Analog Front End)12と、映像信号処理部13と、マイク14と、音声信号処理部15と、圧縮処理部16と、内部メモリの一例としてのSDRAM(Synchronous Dynamic Random Access Memory)17と、メモリカード(記憶手段)18と、伸張処理部19と、映像出力回路20と、音声出力回路21と、TG(タイミングジェネレータ)22と、CPU(Central Processing Unit)23と、バス24と、バス25と、操作部26と、表示部27と、スピーカ28と、を備えている。操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。

まず、撮像装置1及び撮像装置1を構成する各部位の、基本的な機能について説明する。

TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。具体的には、タイミング制御信号は、撮像部11、映像信号処理部13、音声信号処理部15、圧縮処理部16、伸張処理部19及びCPU23に与えられる。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。

CPU23は、撮像装置1内の各部の動作を統括的に制御する。操作部26は、ユーザによる操作を受け付ける。操作部26に与えられた操作内容は、CPU23に伝達される。SDRAM17は、フレームメモリとして機能する。撮像装置1内の各部は、必要に応じ、信号処理時に一時的に各種のデータ(デジタル信号)をSDRAM17に記録する。

メモリカード18は、外部記録媒体であり、例えば、SD(Secure Digital)メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード18を例示しているが、外部記録媒体を、1または複数のランダムアクセス可能な記録媒体(半導体メモリ、メモリカード、光ディスク、磁気ディスク等)で構成することができる。

図2は、図1の撮像部11の内部構成図である。撮像部11にカラーフィルタなどを用いることにより、撮像装置1は、撮影によってカラー画像を生成可能なように構成されている。

撮像部11は、光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。光学系35は、ズームレンズ30、フォーカスレンズ31及び補正レンズ36を含む複数枚のレンズを備えて構成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能であり、補正レンズ36は光軸に対して傾きを持った方向に移動可能である。具体的には、補正レンズ36は、光軸に直交する2次元平面上を移動可能なように光学系35内に設置される。

ドライバ34は、CPU23からの制御信号に基づいて、ズームレンズ30及びフォーカスレンズ31の移動を制御し、光学系35のズーム倍率や焦点距離を制御する。また、ドライバ34は、CPU23からの制御信号に基づいて絞り32の開口量(開口部の大きさ)を制御する。光学系35に入射する光学像が同じである場合、絞り32の開口量が大きくなるに従って、撮像素子33への単位時間当たりの入射光量は増大する。補正レンズ36の機能及びそれを利用した動作の説明については後述する。

被写体からの入射光は、光学系35を構成する各レンズ及び絞り32を介して、撮像素子33に入射する。光学系35を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。

撮像素子33は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。撮像素子33は、光学系35及び絞り32を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。光学系35に入射する光学像が同じであり且つ絞り32の開口量が同じである場合、撮像素子33(各画素)からの電気信号の大きさ(強度)は上記露光時間に比例して増大する。

AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、映像信号処理部13に出力する。

映像信号処理部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(以下、「撮影画像」ともいう)を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Yと、撮影画像の色を表す色差信号U及びVと、から構成される。映像信号処理部13にて生成された映像信号は、圧縮処理部16と映像出力回路20に送られる。

図3に映像信号処理部13の内部ブロック図を示す。映像信号処理部13は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたAF評価値を検出するAF評価値検出部41、撮影画像の明るさに応じたAE評価値を検出するAE評価値検出部42、及び、撮影画像中の画像の動きを検出する動き検出部43などを含む。

AF評価値等を含む、映像信号処理部13にて生成された各種の信号は、必要に応じてCPU23に伝達される。CPU23は、AF評価値に応じて図2のドライバ34を介してフォーカスレンズ31の位置を調節することにより、被写体の光学像を撮像素子33上に結像させる。また、CPU23は、AE評価値に応じて図2のドライバ34を介して絞り32の開口量(及び必要に応じてAFE12における信号増幅の増幅度)を調節することにより、受光量(画像の明るさ)を制御する。

図1において、マイク14は、外部から与えられた音声(音)を、アナログの電気信号に変換して出力する。音声信号処理部15は、マイク14から出力される電気信号(音声アナログ信号)をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク14に対して入力された音声を表す音声信号として圧縮処理部16に送られる。

圧縮処理部16は、映像信号処理部13からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード18に送られる。また、圧縮処理部16は、音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード18に送られる。

録画ボタン26aは、ユーザが動画(動画像)の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン26bは、ユーザが静止画(静止画像)の撮影を指示するための押しボタンスイッチである。録画ボタン26aに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン26bに対する操作に従って静止画撮影が実施される。1つのフレームにて1つの撮影画像(フレーム画像)が得られる。各フレームの長さは、例えば1/60秒である。この場合、1/60秒のフレーム周期にて順次取得されるフレーム画像の集まり(ストリーム画像)が、動画を構成する。

撮像装置1の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード18に格納された動画または静止画を表示部27に再生表示する再生モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介してメモリカード18に記録される。つまり、音声信号と共に、各フレームの撮影画像が順次メモリカード18に格納される。動画撮影の開始後、再度ユーザが録画ボタン26aを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード18への記録は終了し、1つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画の撮影が行われる。具体的には、CPU23の制御の下、その押下直後の1つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部16を介してメモリカード18に記録される。

再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、メモリカード18に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部19に送られる。伸張処理部19は、受け取った映像信号を伸張して映像出力回路20に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理13による映像信号の生成が逐次行われており、その映像信号は映像出力回路20に送られる。

映像出力回路20は、与えられたデジタルの映像信号を表示部27で表示可能な形式の映像信号(例えば、アナログの映像信号)に変換して出力する。表示部27は、液晶ディスプレイなどの表示装置であり、映像出力回路20から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画を再生する際、メモリカード18に記録された動画に対応する圧縮された音声信号も、伸張処理部19に送られる。伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。

撮像装置1の特徴的な機能として、流し撮り撮影機能がある。撮影モードには、通常撮影モードと、流し撮り撮影機能を実現するための流し撮り撮影モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。以下、主として、流し撮り撮影モードにおける動作について説明する。

まず、流し撮り撮影機能を実現するために利用される、図3の動き検出部43の機能について説明する。各撮影画像は、垂直方向にM分割且つ水平方向にN分割して捉えられる。このため、各撮影画像は、(M×N)個の分割領域に分割して考えられる。M及びNは、それぞれ2以上の整数である。MとNは、一致していても一致していなくてもよい。

図4に、各撮影画像の分割の様子を示す。(M×N)個の分割領域をM行N列の行列として捉え、撮影画像の原点Xを基準として、各分割領域をAR[i,j]にて表す。ここで、i及びjは、1≦i≦M且つ1≦j≦N、を満たす各整数をとる。iが同じ分割領域AR[i,j]は、同一の水平ライン上の画素から構成され、jが同じ分割領域AR[i,j]は、同一の垂直ライン上の画素から構成される。

動き検出部43は、例えば、隣接するフレームの撮影画像を対比することにより、公知又は周知の画像マッチング法(例えば、代表点マッチング法)を用いて、各撮影画像の動きベクトルを分割領域AR[i,j]ごとに検出する。分割領域AR[i,j]ごとに検出された動きベクトルを、特に、領域動きベクトルという。分割領域AR[i,j]についての領域動きベクトルは、隣接するフレームの撮影画像間における、当該分割領域AR[i,j]内の画像の動きの大きさ及び向きを特定する。

[流し撮り撮影の原理]
次に、流し撮り撮影機能による流し撮り撮影の原理について説明する。

ガソリンスタンドの前を走行して横切る自動二輪車を撮影する場合を想定する。また、撮像装置1は固定されているとする。この場合における自動二輪車は、撮像装置1に対して相対的に移動する動体(移動する被写体)と呼べる。これに対し、撮像装置1に対して相対的に移動していない被写体は、静止体と呼べる。今の場合、固定された建造物であるガソリンスタンドなどは、静止体に含まれる。また、説明の簡略化上、撮影領域内の、自動二輪車以外の被写体は全て撮像装置1に対して静止しているものとし、それを総称して背景と呼ぶことにする。

通常撮影モードでは、図2の補正レンズ36は基本的に固定されている(但し、所謂手振れ補正のための移動は実施されうる)。このため、通常撮影モードにおいて該自動二輪車を撮影した場合は、図5に示す如く、撮影画像中の背景部分が鮮明に捉えられる一方、露光期間中に自動二輪車が移動することに由来して自動二輪車の画像部分に所謂被写体ぶれ(動体ぶれ)が生じる。

一方、流し撮り撮影モードでは、動体を追尾するように補正レンズ36を移動させる。具体的には、流し撮り撮影用の露光期間(後述する流し撮り露光期間)中、その露光期間前に検出した動きベクトルに基づいて、実空間上の動体(今の場合、自動二輪車)の移動に由来する撮像素子33上の動体の動きが打ち消されるように補正レンズ36を光学系35内で移動させる。つまり、図6に示す如く、流し撮り撮影用の露光期間中、動体を表す光学像が補正レンズ36の屈折によって常に撮像素子33の同じ位置に結像するよう、実空間における動体の動きに伴って補正レンズ36を徐々に移動させる。露光期間(後述する流し撮り露光期間)中に補正レンズ36を上述の如く移動させる制御を、以下、「流し撮り光軸制御」と呼ぶ。尚、当然のごとく、補正レンズ36の移動によって光学系35の光軸が変化する。

この流し撮り光軸制御により、流し撮り撮影モードにおいて上記自動二輪車を撮影した場合は、図7に示す如く、自動二輪車が鮮明に捉えられる一方、背景部分に被写体ぶれ(動体ぶれ)が生じる。つまり、流し撮り撮影効果が得られる。流し撮り光軸制御によって得られる図7に示すような画像を、特に、流し撮り画像とよぶ。

上述したように、補正レンズ36は、光軸に直交する2次元平面上を移動可能なように光学系35内に設置されている。このため、補正レンズ36の移動によって、撮像素子33に投影される光学像は、撮像素子33上で、撮像素子33の撮像面(各画素が配置され、光学像が投影される面)に平行な2次元方向に移動する。補正レンズ36の移動は、CPU23の制御の下、ドライバ34(図2)によって実現される。

図8及び図9を参照し、流し撮り画像を得るための処理の流れを説明する。図8は、流し撮り撮影モードにおいて、図7に示すような流し撮り画像を得るまでの各タイミングを表した図である。タイミングT1、T2、T3、T4、T5の順番で時間が経過するものとする。流し撮り撮影モードを含む撮影モードにおいては、シャッタボタン26bが押下されているか否かに関わらず、所定のフレーム周期(例えば、1/60秒周期)で、撮像素子33の出力信号が読み出されて、順次、撮影画像の取得が行われている。

図9の左側に示された撮影画像I1、I2、I3及びI4は、夫々、タイミングT1、T2、T3及びT4の時点で得られた撮影画像を表す。各撮影画像(I1、I2、I3及びI4)は、表示部27に順次更新表示される。また、図9の右側に示された動きベクトル状態図101、102、103及び104は、夫々、撮影画像I1、I2、I3及びI4についての領域動きベクトルの状態を表している。尚、説明の具体化のため、以下、M及びNが8である場合を考えるものとする。

固定された撮像装置1は、常に着目したガソリンスタンドを撮影領域内に収めており、タイミングT1では、撮影領域の左側から右側に向かって自動二輪車が進入してきている。このため、撮影画像I1内で、自動二輪車が位置する領域に対応する領域動きベクトルは右向きとなる。

動きベクトル状態図101において、符号111が付された黒丸は、撮影画像I1についての各領域動きベクトルから算出される、撮影画像I1内の動体(今の場合、自動二輪車)の重心を表している。同様に、動きベクトル状態図102、103及び104においても、夫々、重心112、113及び114が示されている。重心112、113及び114は、夫々、撮影画像I2、I3及びI4についての各領域動きベクトルから算出される、撮影画像I2、I3及びI4内の動体の重心を表す。動体が存在する領域の特定手法及び重心の算出手法については後述する。

着目した自動二輪車が撮影領域に入ってきたため、図7に示すような流し撮り画像を得るべく、撮影者は、タイミングT2においてシャッタボタン26bを押下する。この押下は、所謂半押し又は全押しである。この押下によって、流し撮り画像を撮影するための露光は直ぐには開始されず、「スタンバイ状態」に移行する。タイミングT2からT4に至るまでの間、スタンバイ状態は維持され、スタンバイ状態が維持される期間を「スタンバイ期間」とよぶ。

タイミングT2からT3、T4へと時間が経過するに伴って、実空間における自動二輪車の移動により、撮影領域内において自動二輪車が右方向に移動する。タイミングT4にて、動体の重心が撮影画像の左右方向の中央付近を達すると、流し撮り画像を撮影するための露光が開始され、その露光期間中、動体を追尾するように補正レンズ36が移動させられる(即ち、上記の流し撮り光軸制御が実行される)。タイミングT5は、この露光の終了タイミングを表す。タイミングT4とT5の間の期間は、流し撮り画像を撮影するための露光期間に相当し、これを「流し撮り露光期間」とよぶ。

[動体領域特定手法および重心算出手法]
次に、各撮影画像内において動体が存在する領域を特定する手法、及び、上記の重心の算出手法について説明する。

CPU23は、領域動きベクトルを参照して、各撮影画像内において動体が存在している領域(動体が描写されている領域)を特定する。特定された領域を、「動体領域」とよぶ。

まず、CPU23(又は動き検出部43)は、撮像画像の夫々について、全ての領域動きベクトルを平均化することにより平均動きベクトルを算出する(言うまでも無く、1枚の撮影画像に対して1つの平均動きベクトルが算出される)。そして、CPU23(又は動き検出部43)は、撮像画像の夫々について、平均動きベクトルと各領域動きベクトルを対比する。この対比により、領域動きベクトルの夫々について、下記の第1動体領域判定条件及び第2動体領域判定条件が満たされるかを判断し、第1及び第2動体領域判定条件の少なくとも一方を満たす領域動きベクトルを特定する。ここで特定された領域動きベクトルに対応する分割領域(AR[i,j])によって動体領域が構成されると判断する。

第1動体領域判定条件は、「領域動きベクトルと平均動きベクトルとの差分ベクトルの大きさが、平均動きベクトルの大きさの50%以上であること」という条件である。
第2動体領域判定条件は、「領域動きベクトルと平均動きベクトルとの差分ベクトルの大きさが、所定値以上であること」という条件である。

図10を参照して、第1動体領域判定条件の成立/不成立の具体例を説明する。図10の平均動きベクトル120と領域動きベクトル121とを対比した場合、両者の差分ベクトル123の大きさは、平均動きベクトル120の大きさの50%未満である。このため、領域動きベクトル121は、第1動体領域判定条件を満たさない。図10の平均動きベクトル120と領域動きベクトル122とを対比した場合、両者の差分ベクトル124の大きさは、平均動きベクトル120の大きさの50%以上である。このため、領域動きベクトル122は、第1動体領域判定条件を満たす。第2動体領域判定条件についても同様に考えることができる。

今、図11に示す如く、或る撮像画像に関し、(i,j)=(4,4)、(5,3)、(5,4)、(5,5)、(6,3)、(6,4)、(6,5)、(6,6)、(7,3)、(7,4)、(7,5)及び(7,6)の、合計12個の分割領域AR[i,j]についての領域動きベクトルが第1及び/又は第2動体領域判定条件を満たし、それ以外の分割領域についての領域動きベクトルが第1及び第2動体領域判定条件の双方を満たさなかったとする(尚、上述の如く、M=N=8である)。この場合、上記の合計12個の分割領域AR[i,j](AR[4,4]等)にて形成される領域全体が動体領域として特定される。

動体領域の重心は、動体領域を形成する分割領域の、画像上の水平位置及び垂直位置に基づいて算出される。動体領域の重心の水平位置は、動体領域を形成する分割領域の水平位置の平均位置とされ、動体領域の重心の垂直位置は、動体領域を形成する分割領域の垂直位置の平均位置とされる。分割領域AR[i,j]の水平位置及び垂直位置は、夫々、(i−0.5)及び(j−0.5)と定義される。

従って例えば、図11に示す例の場合、動体の重心の水平位置は、
「3.8≒(2.5×3+3.5×4+4.5×3+5.5×2)/12」より、約3.8となり、
動体の重心の垂直位置は、
「5.4≒(3.5×1+4.5×3+5.5×4+6.5×4)/12」より、約5.4となる。

[流し撮り撮影の露光条件]
次に、流し撮り画像を得るための露光条件等の設定手法について説明する。図12は、この設定手法の手順を表すフローチャートである。

まず、ステップS1において、流し撮り撮影に先立ち、流れボケ幅Wを予め設定しておく。設定された流れボケ幅Wは、流れボケ幅設定値と呼ぶこともできる。流れボケ幅Wとは、図13に示す如く、流し撮り画像内の背景部分の画像が上記流し撮り光軸制御によってボケる幅を表し、流し撮り露光期間中に同一の背景部分が画像上において移動する距離に相当する。

流れボケ幅Wは、操作キー26cに対する所定の操作によって任意に設定することが可能である。この場合、操作キー26cは、流れボケ幅W(流れボケ幅設定値)を設定する設定手段として機能する。

そして、ステップS2では、図8のタイミングT2−T4間に対応するスタンバイ期間に得られる各撮影画像について、動体の動きベクトルMVを算出する。各撮影画像に関し、動きベクトルMVは、動体領域を形成する分割領域についての領域動きベクトルの平均ベクトルとされる。例えば、或る1枚の撮影画像について、動体領域が分割領域[4,2]、[4,3]、[5,2]及び[5,3]から形成される場合、その撮影画像についての動きベクトルMVは、その撮影画像の分割領域[4,2]、[4,3]、[5,2]及び[5,3]についての合計4つの領域動きベクトルを平均化したベクトルとされる。

続くステップS3において、単位時間当たりの(即ち、1秒あたりの)、画像上における動体の動き量MVsを算出する。動き量MVsは、下記式(1)に従って算出される。ここで、|MV|は、スタンバイ期間に得られる撮影画像についての動きベクトルMVの大きさを表し、Pはスタンバイ期間におけるフレーム周期を表す。尚、W及び|MV|は、例えば画素を単位として定義される。
MVs=|MV|/P ・・・(1)

動き量MVsの基になる動きベクトルMVは、例えば、流し撮り露光期間の直前のフレームの撮影画像についての動きベクトルMVである。但し、スタンバイ期間における、それ以外のフレームの撮影画像についての動きベクトルMVに基づいて、動き量MVsを算出しても構わない。例えば、流し撮り露光期間の2(又は3又は4、・・・)フレーム前の撮影画像についての動きベクトルMVの大きさをフレーム周期Pで割った値を、動き量MVsとしても構わない。また更に、スタンバイ期間における複数の撮影画像についての複数の動きベクトルMVに着目し、その複数の動きベクトルMVの平均ベクトルの大きさをフレーム期間Pで割った値を、動き量MVsとしても構わない。

動き量MVsの算出の後、ステップS4において、流し撮り露光期間の長さ(即ち、流し撮り撮影用の露光時間)Tsを、下記式(2)に従って算出する。
Ts=W/MVs ・・・(2)

そしてステップS5において、流し撮り画像が適正露光にて撮影されるように、長さTsに応じ、CPU23はドライバ34を介して絞り32の開口量を調節する。該開口量を最大にしても適正露光に達しない場合は、AFE12における信号増幅の増幅度を調節することにより、流し撮り画像の明るさを所望の明るさにまで引き上げる。また、絞り32の開口量を最小にし且つAFE12における信号増幅の増幅度を最小にしたとしても、流し撮り画像の明るさが大きくなりすぎると判断される場合は、図示されないND(Neutral Density)フィルタを挿入することにより、撮像素子33への入射光量を減衰させる。尚、上述のステップS2〜S4の各演算処理は、例えばCPU23によって実行される。

[流し撮り撮影の全体動作フロー]
次に、流し撮り撮影に特に着目した、撮影モードにおける撮像装置1の動作手順について説明する。図14は、この動作手順を表すフローチャートである。上述の内容は、適宜、図14の各ステップの処理に適用される。

まず、撮像装置1に電源を投入することにより、或いは、他の動作モードから撮影モードに移行することにより、所謂プレビューが実行されるプレビュー期間に遷移すると共にステップS10に移行する。プレビュー期間とは、撮像素子33によって撮影された画像を表示部27に表示しつつ、シャッタボタン26b又は録画ボタン26cに対する操作に基づく撮影指示を待機している期間に相当し、この期間ではメモリカード18に対する撮影画像の記録は実施されない。

撮影モードにおいて、流し撮り画像を含む静止画又は動画の撮影期間以外は、基本的に、プレビュー期間に属し、図8のタイミングT2―T4間に対応するスタンバイ期間もプレビュー期間に属する。図14のステップS11〜S17から成るループ処理が実行される期間は、図8のタイミングT2以前の期間に相当し、ステップS19〜S21が実行されつつもステップS22に至らない期間は、図8のタイミングT2−T4間のスタンバイ期間に相当する。

ステップS10にて、スタンバイ状態であるか否かを表すフラグflgにゼロが代入された後、ステップS11に移行する。

TG22は、所定のフレーム周期で垂直同期信号を逐次生成及び出力する。ステップS11では、TG22から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点で生成及び出力される。垂直同期信号に同期して、撮像素子33の出力信号が読み出されて撮影画像が順次取得される。TG22から垂直同期信号が出力された場合はステップS12に移行し、出力されていない場合はステップS11の処理が繰り返される。

ステップS12では、最新の撮影画像について、AE評価値が算出される共に各領域動きベクトルが算出される。ステップS12に続くステップS13では、AE評価値に基づいて、絞り32の開口量、露光時間(露光期間の長さ)及びAFE12における信号増幅の増幅度(ゲイン)を設定する。そして、ステップS14に移行し、現時点の撮影モードが流し撮り撮影モードであるか否かが判断される。流し撮り撮影モードでない場合は、通常撮影モードにおける処理を行ってステップS11に戻る。

流し撮り撮影モードである場合は、ステップS15に移行して、撮像装置1がパン又はチルトしているかが判断され、撮像装置1がパン又はチルトしていると判断された場合はステップS11に戻り、そうでないと判断された場合はステップS16に移行する。

ステップS15の判断手法の具体例を説明する。まず、CPU23(又は動き検出部43)は、最新の撮像画像に関し、全ての領域動きベクトルを平均化することにより平均動きベクトルを算出する。そして、CPU23(又は動き検出部43)は、その撮像画像に関し、平均動きベクトルと各領域動きベクトルを対比する。この対比により、領域動きベクトルの夫々について、下記の第1パン・チルト条件及び第2パン・チルト条件が満たされるかを判断し、第1及び第2パン・チルト条件の少なくとも一方を満たす領域動きベクトルの個数を計数する。そして、その個数が、所定個数(例えば、56個)以上ある場合に、撮像装置1はパン又はチルトしていると判断し、所定個数未満である場合には、撮像装置1はパン又はチルトしていないと判断する。或いは、その個数の分割領域の全数(今の場合、8×8=64)に対する比が所定比率(例えば、7/8)以上である場合に、撮像装置1はパン又はチルトしていると判断し、該比が所定比率未満である場合には、撮像装置1はパン又はチルトしていないと判断する。

第1パン・チルト条件は、「領域動きベクトルと平均動きベクトルとの差分ベクトルの大きさが、平均動きベクトルの大きさの50%以下であること」という条件である。
第2パン・チルト条件は、「領域動きベクトルと平均動きベクトルとの差分ベクトルの大きさが、所定値以下であること」という条件である。

例えば、撮像装置1を横に振っているとき(パン操作を行っているとき)、図15に示す如く、各領域動きベクトルは同一方向に同程度の大きさを持つため、殆どの領域動きベクトルが第1及び/又は第2パン・チルト条件を満たす。

また、撮像装置1が静止し(固定され)且つ撮影領域内に動体が存在していない場合、各領域動きベクトルの大きさは略ゼロとなり、これに起因して各領域動きベクトルの平均動きベクトルの大きさも略ゼロとなる。従って、撮像装置1が静止し且つ撮影領域内に動体が存在していない場合、殆どの領域動きベクトルが第2パン・チルト条件(及び第1パン・チルト条件)を満たす(そうなるように上記所定値が定められている)。このため、この場合もステップS15からステップS16への移行は禁止され、ステップS11に戻される。

ステップS16では、現在の状態がスタンバイ状態であるかが判断され、スタンバイ状態である場合(即ち、flgが1である場合)はステップS19に移行するが、そうでない場合はステップS17に移行する。ステップS17において、CPU23は、シャッタボタン26bが押下されているかを確認する。この押下は、所謂半押し又は全押しである。押下されている場合はステップS18に移行し、フラグflgに1を代入してスタンバイ状態とされてからステップS19に移行する。ステップS18の処理を実行するタイミングは、図8のタイミングT2に対応する。

ステップS19では、CPU23が、最新の撮影画像の領域動きベクトルを参照し、上述の動体領域特定手法に従って、その撮影画像における動体領域を特定する。続くステップS20では、ステップS19にて特定された動体領域に対応する動体の動きベクトルMVを算出すると共に、該動体の重心位置(即ち、重心の水平位置及び垂直位置)を算出する。

そして、ステップS21において、CPU23は、ステップS20にて算出された動体の重心位置が画像の中央(或いは中央付近)を横切ったか否かを判断する。動体の重心位置が画像の中央(或いは中央付近)を横切ったと判断した場合はステップS22に移行し、そうでない場合はステップS11に戻る。

例えば図9に示す例のように、スタンバイ期間において動体が撮影画像の左側から右側に移動していく場合を考える。この場合、現フレームの撮影画像と前フレームの撮影画像との間で、動体の重心の水平位置が撮影画像の水平方向の中央位置(又は中央位置の近傍の位置)を左から右へ横切っていたならば、動体の重心位置が画像の中央(或いは中央付近)を横切ったと判断する。尚、撮影画像の水平方向の中央位置は、本実施形態においては、「4」で表される(図11参照)。

尚、水平方向の移動に着目してステップS21の処理を説明したが、動体が垂直方向に移動する場合も同様である。

ステップS22では、図12のステップS3、S4及びS5の処理を実行する。即ち、動体の動き量MVsを算出して、流し撮り露光期間の長さ(即ち、流し撮り撮影用の露光時間)Tsを設定すると共に、Tsに応じて絞り32の開口量を調節する。この際、必要に応じてAFE12における信号増幅の増幅度をも調節する。尚、動体の動き量MVsの算出は、ステップS20において実行しておいてもよい。

絞り32の開口量の調節を終えると、ステップS23において、露光時間Tsにて静止画の撮影を行い、流し撮り画像を得る。即ち、流し撮り露光期間中、スタンバイ期間における動きベクトルMVに基づいて、上述の流し撮り光軸制御を実行する。ここにおける「スタンバイ期間における動きベクトルMV」は、動き量MVs及び露光時間Tsの算出の基になる動きベクトルMVと同じである(上記式(1)及び(2)等を参照)。ステップS23の撮影によって得られた流し撮り画像は、圧縮処理部16を介してメモリカード18に記録される。

ステップS23を終えるとステップS24にてスタンバイ状態が解除され(即ち、フラグflgにゼロが代入され)、ステップS11に戻る。

上述の如く処理して得られる流し撮り画像の背景部分には、図13に示す如く、所望の流れボケ幅Wが生じる。この流れボケ幅が小さすぎると画像にスピード感があまり表れず、大きすぎると不自然な画像になってしまうのであるが、本実施形態では、動きベクトルを参照して、所望の流れボケ幅Wが得られるように露光時間(流し撮り露光期間の長さ)が設定されるため、特に撮影技量を持たない撮影者でも簡単にプロカメラマン並みの流し撮り撮影効果を得ることが可能となる。

また、事前にシャッタ操作を行っておくだけで、動体が画像中央付近に来た時に自動的に露光が開始される。このため、着目した動体を容易に画像中央付近に収めること可能となる。

上述の第1実施形態の変形例または注釈事項として、以下に、注釈1〜注釈5を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

[注釈1]
補正レンズ36は、所謂手振れ補正用の光学部材として流用される。即ち、例えば、通常撮影モードにおいては、撮像装置1に設けられた角速度センサ(不図示)の出力に応じて補正レンズ36を移動させることにより、手振れ等に由来する撮影画像上のボケを軽減する。また、流し撮り撮影モードにおいても撮影中の手振れは発生しうるため、流し撮り画像に手振れの影響が出ないように、上記角速度センサの出力に応じて補正レンズ36の移動を制御すればよい。

[注釈2]
また、上述の補正レンズ36を、図16に示す如く、バリアングルプリズム36aに置換しても良い。バリアングルプリズム36aは、2枚の板ガラスの間に高い屈折率を持つ液体を封入した構造を有し、一方または双方の板ガラスを傾けることで自身に入射する光の屈折方向を変えることができる。被写体からの光は、バリアングルプリズム36aを含む光学系を介して撮像素子33に入射する。バリアングルプリズム36aを用いる場合、流し撮り露光期間中、スタンバイ期間における動きベクトルMVに基づいて、実空間上の動体の移動に由来する撮像素子33上の動体の動きが打ち消されるようにバリアングルプリズム36aの屈折方向を制御すればよい。バリアングルプリズム36aも、手振れ補正用の光学部材として一般的に使用されており、バリアングルプリズム36aを用いて手振れ補正を実施することも可能である。

[注釈3]
また、「流し撮り露光期間中、実空間上の動体の移動に由来する撮像素子33上の動体の動きを打ち消す」という機能を、撮像素子33の二次元方向(光軸に直交する二次元方向)の移動によって実現しても良い。この場合、手振れ補正を無視すれば、流し撮り露光期間中、補正レンズ36の移動(又はバリアングルプリズム36aの屈折方向の変化)は行われない。撮像素子33の二次元方向の移動は、例えば図示されないアクチュエータによって実現され、CPU23が、スタンバイ期間における動きベクトルMVに基づいて、上記アクチュエータを制御する。手振れ補正を実施するために撮像素子33を移動させるという手法自体は、一般的に知られており、撮像素子33の移動によって手振れ補正を実施することも可能である。

[注釈4]
また、ステップS21において、動体の重心位置ではなく、動体の先頭位置が画像の中央(或いは中央付近)を横切ったか否かを判断し、先頭位置が画像の中央(或いは中央付近)を横切った場合はステップS22に、そうでない場合はステップS11に移行するようにしてもよい。

動体が水平方向に移動する場合、動体の先頭位置は水平方向において定義され、この場合、動体の先頭位置は、動体領域を形成する分割領域の内、動体の最も進み方向に位置する分割領域の水平位置とされる。図11に示す例の場合、動体の最も進み方向に位置する分割領域は、分割領域AR[6,6]及び[7,6]であるため、動体の先頭位置は、5.5(=6−0.5)となる。この場合、ステップS21では、現フレームの撮影画像と前フレームの撮影画像との間で、動体の先頭位置が撮影画像の水平方向の中央位置(又は中央位置の近傍の位置)を左から右へ横切っていたならば、動体の先頭位置が画像の中央(或いは中央付近)を横切ったと判断する。

[注釈5]
また、ステップS21において着目される画像上の位置は画像の中央付近に限られない。つまり例えば、ステップS21において、動体の重心位置又は先頭位置が画像上の所定位置を横切ったか否かを判断するようにしてもよい。この場合、動体の重心位置又は先頭位置が画像上の所定位置を横切ったと判断された場合はステップS22に、そうでない場合はステップS11に移行するようにする。そして、上記の所定位置を、操作キー26cに対する操作によって任意に変更可能にしておくとよい。

<<第2実施形態>>
次に、本発明の第2実施形態について説明する。第2実施形態に係る撮像装置の全体ブロック図は、図1のそれと同じである。従って、第2実施形態に係る撮像装置も、符号1によって参照することとする。第2実施形態に係る撮像装置1内の各部の構成及び動作は、基本的に第1実施形態におけるそれらと同様であるため、同様の部分の重複する説明を省略する。第1実施形態に記載した事項は、矛盾なき限り、第2実施形態にも適用される。

第1実施形態の流し撮り撮影機能は、撮像装置1が固定されていることを前提にしているが、第2実施形態では、流し撮りを行う際、撮影者が動体に追尾するようにパン又はチルト操作を撮像装置1に対して行うことを想定する。このパン又はチルト操作が適切になされれば、着目した動体の被写体ぶれのない優れた静止画を得ることができるが、動体の動きに完全に追従することは難しい。第2実施形態に係る流し撮り撮影機能では、この追従しきれない部分を、流し撮り光軸制御によって補完する。この流し撮り光軸制御を用いて得られる撮影画像を、第1実施形態と同様、「流し撮り画像」と呼ぶ。

流し撮り画像を得るための処理の流れについて説明する。ガソリンスタンドの前を走行して横切る自動二輪車を撮影する場合を想定する。自動二輪車は、実空間において移動する動体であり、固定された建造物であるガソリンスタンドなどは、実空間において静止している静止体である。今、説明の簡略化上、撮影領域内の、自動二輪車以外の被写体は全て実空間において静止しているものとし、静止している被写体を総称して背景と呼ぶことにする。

図17に、流し撮り撮影時における各タイミング間の関係を時系列で表す。タイミングT11、T12、T13、T14の順番で時間が経過するものとする。撮影モードにおいては、シャッタボタン26bが押下されているか否かに関わらず、所定のフレーム周期(例えば、1/60秒周期)で、撮像素子33の出力信号が読み出されて、順次、撮影画像の取得が行われている。

タイミングT11〜T14の間において、自動二輪車は、ガソリンスタンドの前を撮影装置1の左側から右側に向かって移動している。そして、タイミングT11〜T14の間において、撮影者は自動二輪車が常に撮影領域の中央付近に収まるように、撮像装置1の筐体を概ね等速度で右方向に振っているものとする。

第1実施形態と同様、撮影モードにおいて、図3の動き検出部43は各撮影画像を(M×N)個の分割領域に分割し(図4参照)、各分割領域AR[i,j]に対して領域動きベクトルを算出する。以下、説明の具体化のため、M=N=8であるとする。図4に示す如く、分割領域AR[1,1]は撮影画像の左上端に位置し、分割領域AR[8,8]は撮影画像の右下端に位置する。原点Xは、分割領域AR[1,1]に属する。

図18において、撮影画像I1及びI2は、夫々、タイミングT11及びT12の時点で得られた撮影画像を表す。図18において、符号201が付された枠内のベクトル群は、撮影画像I11の露光期間中における画像の動きの様子を示し、符号202が付された枠内のベクトル群は、撮影画像I12の露光期間中における画像の動きの様子を示す。

タイミングT11において、撮影者がシャッタボタン26bを押下することにより、シャッタボタン26bは半押しの状態となる。シャッタボタン26bは、2段階の押下操作が可能となっており、撮影者がシャッタボタン26bを軽く押し込むと、シャッタボタン26bは半押しの状態となり、その状態から更にシャッタボタン26bを押し込むとシャッタボタン26bは全押しの状態となる(これは、第1実施形態についても当てはまる)。シャッタボタン26bが半押しの状態になることによって、撮像装置1は「スタンバイ状態」に移行する。タイミングT11からT13に至るまでの間、スタンバイ状態は維持され、スタンバイ状態が維持される期間を「スタンバイ期間」とよぶ。また、タイミングT11から、シャッタボタン26bが全押しされるまでの間の期間を、スタンバイ期間と捉えても良い。

タイミングT11では、撮影領域の中央左よりに自動二輪車が捉えられている。図18に示されるベクトル群からも分かるように、撮像装置1の筐体を右方向に振っていることに起因して背景部分の画像の動きの向きが左向きとなっていると共にそれらの動きの大きさが比較的大きくなっている。図18は、自動二輪車の動きの速度に対して撮像装置1を振る速度が遅すぎる場合を例示している。この速度の不適合に起因して、タイミングT11〜T13間において撮影画像上の自動二輪車の位置が徐々に右方向に移動していくと共に、大きさは比較的小さいものの動体部分の画像の動きの大きさがゼロとなっていない。仮に、何ら補正を行うことなく、このまま静止画撮影を行えば、着目した自動二輪車がぼけた画像が得られてしまう。

タイミングT12以降、タイミングT13の直前において、撮影者がシャッタボタン26bを更に押し込むことにより、シャッタボタン26bは全押しの状態となる。そうすると、タイミングT13において、流し撮り画像を撮影するための露光が開始される。タイミングT14は、この露光の終了タイミングを表す。タイミングT13とT14の間の期間は、流し撮り画像を撮影するための露光期間に相当し、これを「流し撮り露光期間」とよぶ。

流し撮り露光期間内においては、実空間上の動体(今の場合、自動二輪車)の移動と撮像装置1の筐体の動きとに由来する撮像素子33上の動体の動きが打ち消されるように補正レンズ36を光学系35内で移動させる(図2及び図6参照)。つまり、流し撮り露光期間中、動体を表す光学像が補正レンズ36の屈折によって常に撮像素子33の同じ位置に結像するよう、補正レンズ36を徐々に移動させる。この移動は、例えば、タイミングT13の直前又はシャッタボタン26bが全押しの状態になる直前の撮影画像から得られた動きベクトルに基づいて、実行される。補正レンズ36に対する、このような移動制御が、第2実施形態に係る流し撮り光軸制御である。

図18において、符号I13は、タイミングT13−T14間を露光期間として得られた撮影画像(即ち、流し撮り画像)を表す。流し撮り露光期間中、撮像素子33上で動体が静止し且つ背景が移動するため、撮影画像I13において、背景部分にのみ被写体ぶれが生じている。図18において、符号203が付された枠内のベクトル群は、流し撮り露光期間中における画像の動きの様子を示している。

[動体/背景分類手法]
流し撮り光軸制御を行うためには、撮影画像内において動体が存在している領域の位置を認識する必要がある。図1のCPU23は、領域動きベクトルを参照して以下のような処理を行うことにより、各撮影画像内において動体が存在している領域(動体が描写されている領域)と背景が存在している領域(背景が描写されている領域)を特定する。特定された前者の領域を「動体領域」とよび、特定された後者の領域を「背景領域」と呼ぶ。撮影画像の全体領域を動体領域と背景領域に分類する手法について説明する。

スタンバイ期間の撮影によって得られた或る1枚の撮影画像に着目する。図19は、着目した撮影画像210を示している。図20は、撮影画像210についての各領域動きベクトルを模式的に表した領域動きベクトル状態図である。着目した撮影画像についての各領域動きベクトルは、着目した撮影画像と着目した撮影画像の直前に得られた撮影画像とを対比することによって得られる(これは、第1実施形態に対しても当てはまる)。

撮影画像210の露光期間中及びその周辺期間において、動体としての自動二輪車はガソリンスタンドの前を撮影装置1の左側から右側に向かって移動し、且つ、撮像装置1の筐体は右方向に振られているものとする。また、撮影画像210の露光期間中において、自動二輪車は撮影領域の中央やや左よりに位置している。

撮影画像210に関し、(i,j)=(4,4)、(5,3)、(5,4)、(5,5)、(6,2)、(6,3)、(6,4)、(6,5)、(6,6)、(7,2)、(7,3)、(7,4)、(7,5)及び(7,6)の、合計14個の分割領域AR[i,j]についての領域動きベクトルの向きが右向きであって、且つ、残りの34個の分割領域AR[i,j]についての領域動きベクトルの向きが左向きであったとする(図4参照)。

動きベクトルは二次元量であるが、今、左右方向にのみ着目して、領域動きベクトルをベクトル値という一次元量として捉える。右向きの領域動きベクトルのベクトル値を正とし、左向きの領域動きベクトルのベクトル値を負とする。着目した領域動きベクトルのベクトル値の絶対値は、着目した領域動きベクトルの大きさを示すものとする。図21は、撮影画像210についての領域動きベクトルのヒストグラムを表している。このヒストグラムにおいて、横軸及び縦軸はそれぞれベクトル値及び度数を表しており、横軸の右方向はベクトル値の正の方向に対応している。

図21のヒストグラムは、正のベクトル値についての分布221と負のベクトル値についての分布222に分離している。分布221は、上記の14個の分割領域AR[i,j]についての領域動きベクトルに対応し、分布222は、上記の34個の分割領域AR[i,j]についての領域動きベクトルに対応している。

撮影画像210についての全ての領域動きベクトルを平均化したベクトルのベクトル値をVAVE0とする。また、その全ての領域動きベクトルの内、VAVE0以上のベクトル値を有する領域動きベクトルを第1ベクトルに分類し、VAVE0未満のベクトル値を有する領域動きベクトルを第2ベクトルに分類する。今の例の場合、上記の14個の分割領域AR[i,j]についての領域動きベクトルが第1ベクトルに分類され、上記の34個の分割領域AR[i,j]についての領域動きベクトルが第2ベクトルに分類される。

その後、全ての第1ベクトルを平均化したベクトルを、第1被写体ベクトルとして算出し、全ての第2ベクトルを平均化したベクトルを、第2被写体ベクトルとして算出する。第1被写体ベクトルのベクトル値をVAVE1とし、第2被写体ベクトルのベクトル値をVAVE2とする。勿論、VAVE2<VAVE0<VAVE1、となる。

更に、第1ベクトルに対応する上記の14個の分割領域AR[i,j]の合成領域を第1被写体領域とし、第2ベクトルに対応する上記の34個の分割領域AR[i,j]の合成領域を第2被写体領域とする。図20において、符号215が付された太線枠内の領域が第1被写体領域に対応し、太線枠外の領域が第2被写体領域に対応する。

そして、CPU23は、第1及び第2被写体領域の内、撮影画像210の周辺部領域により多く存在している方の領域を背景領域として特定すると共に、他方の領域を動体領域として特定する。周辺部領域とは、例えば図22の斜線領域である。具体的には例えば、i=1且つ1≦j≦8、又は、i=8且つ1≦j≦8、又は、1≦i≦8且つj=1、又は、1≦i≦8且つj=8、又は、i=2且つj=2、又は、i=2且つj=7、又は、i=7且つj=2、又は、i=7且つj=7を満たす分割領域AR[i,j]の合成領域を周辺部領域とする。何れの分割領域の合成領域を周辺部領域として取り扱うかは、予め定めておけばよい。

今の例の場合、周辺部領域を形成する合計32個の分割領域AR[i,j]の内、31個の分割領域AR[i,j]は第2被写体領域に属し、残りの1個の分割領域AR[i,j](=AR[7,2])は第1被写体領域に属している。この場合、“31>1”であるため、CPU23は、第2被写体領域を背景領域とし、第1被写体領域を動体領域として特定する。そして、動体領域として特定された第1被写体領域に対応する第1被写体ベクトルを「動体の動きベクトル」として特定する一方で、背景領域として特定された第2被写体領域に対応する第2被写体ベクトルを「背景の動きベクトル」として特定する。

また、第1及び第2被写体領域の内、どちらを動体領域に割り当てるか否かの判断を、第1及び第2被写体ベクトルの大きさに基づいて行うようにしても良い。第1被写体ベクトルの大きさは、第1被写体ベクトルのベクトル値の絶対値|VAVE1|にて表され、第2被写体ベクトルの大きさは、第2被写体ベクトルのベクトル値の絶対値|VAVE2|にて表される。従って、絶対値|VAVE1|と|VAVE2|を比較し、小さい方を動体領域に対応させる。

例えば、今の例の場合、撮影者は自動二輪車を追尾するように撮像装置1の筐体を振っているため、自動二輪車についての動きベクトルの大きさは、背景のそれに対して小さくなるはずであり、|VAVE1|<|VAVE2|が成立する。従って、この場合、CPU23は、絶対値|VAVE1|に対応する第1被写体領域を動体領域として特定し、絶対値|VAVE2|に対応する第2被写体領域を背景領域として特定する。そして、動体領域として特定された第1被写体領域に対応する第1被写体ベクトルを「動体の動きベクトル」として特定する一方で、背景領域として特定された第2被写体領域に対応する第2被写体ベクトルを「背景の動きベクトル」として特定する。

また、撮像装置1の筐体の動きを検出するための手ぶれ検出センサが撮像装置1に備えられている場合は、第1及び第2被写体領域の内、どちらを動体領域に割り当てるか否かの判断を、手ぶれ検出センサの検出結果に基づいて行うようにしても良い。手ぶれ検出センサは、撮像装置1の筐体の角速度を検出する角速度センサや該筐体の加速度を検出する加速度センサなどである。CPU23は、撮像部11の焦点距離を用いてスタンバイ期間における手ぶれ検出センサの検出結果を撮影画像上の動きベクトルに変換する(この変換手法は公知であるため詳細な説明を割愛する)。そして、変換によって得られた動きベクトルと、第1及び第2被写体ベクトルの夫々と、を対比し、第1及び第2被写体ベクトルの内、手ぶれ検出センサの検出結果に基づく動きベクトルに似ている方を、背景の動きベクトルであると推測する。

例えば、手ぶれ検出センサの検出結果に基づく動きベクトルのベクトル値をVSENで表した場合、ベクトル値VSENとVAVE1との差の絶対値と、ベクトル値VSENとVAVE2との差の絶対値を算出する。そして、大きい方の絶対値の対応領域を動体領域に割り当て、小さい方の絶対値の対応領域を背景領域に割り当てる。今の例の場合、ベクトル値VSENとVAVE2は略一致しており、|VSEN−VAVE1|>|VSEN−VAVE2|、が成立するはずである。従って、CPU23は、|VSEN−VAVE1|に対応する第1被写体領域を動体領域として特定し、|VSEN−VAVE2|に対応する第2被写体領域を背景領域として特定する。そして、動体領域として特定された第1被写体領域に対応する第1被写体ベクトルを「動体の動きベクトル」として特定する一方で、背景領域として特定された第2被写体領域に対応する第2被写体ベクトルを「背景の動きベクトル」として特定する。

[流し撮り自動判定]
第1実施形態で述べたように、撮像装置1の撮影モードには、通常撮影モードと流し撮り撮影モードとが含まれる。そして、シャッタボタン26bの押下前に、撮像装置1の撮影モードを流し撮り撮影モードに設定した場合、上記のタイミングT11〜T14間の処理を経て流し撮り撮影が行われる。第2実施形態では、撮像装置1の撮影モードに、更に、自動切換モードが含まれていることを想定する。シャッタボタン26bの押下前に、操作キー26cに対する操作によって撮像装置1の撮影モードを自動切換モードに設定した場合、撮像装置1は、撮影者が流し撮りを行おうとしているのか否かを自動的に判定し、その判定結果に従った制御を行う。この判定を、流し撮り自動判定と呼ぶ。

流し撮り自動判定の手法について説明する。この判定は、スタンバイ期間の撮影によって得られた撮影画像に基づいて行われる。例として、図19の撮影画像210に着目し、撮影画像210に基づいて、この判定を行う場合を説明する。CPU23は、撮影画像210中の動体の位置及び大きさに基づいて撮影画像210に設けられた所定の判定領域内における動体領域の存在状況を確認し、その確認結果に基づいて撮影者が流し撮りを行おうとしているのか否かを判定する。

判定領域は、撮影画像210の中央付近に設けられる。例えば、この判定領域は、図23(a)の斜線領域の如く、(i,j)=(4,4)、(4,5)、(5,4)及び(5,5)の、合計4個の分割領域AR[i,j]の合成領域である。CPU23は、撮影画像210の全体領域を動体領域と背景領域に分類した後、動体領域が判定領域を占める割合を算出する。撮影画像210の場合、その割合は75%となる。

そして、その割合が所定の基準割合(例えば、50%)以上であるならば、撮影者が流し撮りを行おうとしていると判断する。この場合、シャッタボタン26bが全押しされた後、上述のタイミングT13−T14間を流し撮り露光期間と定めて(図17参照)、流し撮り光軸制御を実行する。一方、その割合が基準割合未満であるならば、撮影者が意図している撮影は流し撮り撮影ではないと判断する。この場合において、シャッタボタン26bが全押しされると、流し撮り光軸制御を行うことなく通常の静止画撮影を行う。

流し撮り撮影を行おうとする場合、撮影者は、通常、着目した動体を撮影領域の中央付近に配置させた状態で動体を追尾しようとする。このため、上述の如く、撮影画像の中央付近に動体領域が存在しているか否かを検出することにより、撮影者の意図を推測可能である。

尚、判定領域の定め方は様々に変形可能である。例えば、図23(b)の斜線領域の如く、撮影画像210の中央付近に位置する合計12個の分割領域AR[i,j]の合成領域を判定領域とすることもできる。

[流し撮り撮影の露光条件]
次に、流し撮り画像を得るための露光条件等の設定手法について説明する。図24は、この設定手法の手順を表すフローチャートである。

まず、ステップS51において、流し撮り撮影に先立ち、流れボケ幅Wを予め設定しておく(図13参照)。第1実施形態でも述べたように、流れボケ幅Wは、操作キー26cに対する所定の操作によって任意に設定することが可能である。

続くステップS52では、スタンバイ期間に得られる撮影画像に基づき、上述した手法を用いて、動体の動きベクトル及び背景の動きベクトルを算出する。算出された動体の動きベクトル及び背景の動きベクトルを、夫々、MVM及びMVBにて表す。

例えば、スタンバイ期間における或る1つの撮影画像についての領域動きベクトルから、動きベクトルMVM及びMVBを算出することができる。或る1つの撮影画像とは、露光期間がスタンバイ期間内に属する撮影画像である。その1つの撮影画像が図19の撮影画像210である場合、撮影画像210における動体の動きベクトル及び背景の動きベクトルを、夫々MVM及びMVBとすればよい。

或いは、スタンバイ期間における複数の撮影画像についての領域動きベクトルから、動きベクトルMVM及びMVBを算出するようにしてもよい。この場合、例えば、複数の撮影画像の夫々に対して動体及び背景の動きベクトルを求める。そして、複数の撮影画像についての動体の動きベクトルの平均ベクトルをMVMとし、複数の撮影画像についての背景の動きベクトルの平均ベクトルをMVBとする。

続くステップS53において、単位時間当たりの(即ち、1秒あたりの)、画像上における動体の動き量MVs2を算出する。但し、この動体の動き量MVs2は、背景に対する相対的な動体の動き量である。具体的にはまず、背景に対する動体の相対的な動きベクトルを算出する。この相対的な動きベクトルは、動体の動きベクトルMVMと背景の動きベクトルMVBの差分ベクトル(MVM−MVB)である。図25に、これらのベクトルの関係を示す。例えば、動体の動きベクトルMVMの向きが右向きであって且つ大きさが2であり、且つ、背景の動きベクトルMVBの向きが左向きであって且つ大きさが10である場合、差分ベクトル(MVM−MVB)の向き及び大きさは右向き及び12(=2−(−10))となる。

その後、動き量MVs2を下記式(3)に従って算出する。ここで、|MVM−MVB|は、差分ベクトル(MVM−MVB)の大きさを表し、Pはスタンバイ期間におけるフレーム周期を表す。尚、W及び|MVM−MVB|は、例えば画素を単位として定義される。
MVs2=|MVM−MVB|/P ・・・(3)

動き量MVs2の算出の後、ステップS54において、流し撮り露光期間の長さTs2を、下記式(4)に従って算出する。
Ts2=W/MVs2 ・・・(4)

そしてステップS55において、流し撮り画像が適正露光にて撮影されるように、長さTs2に応じ、CPU23はドライバ34を介して絞り32の開口量を調節する。該開口量を最大にしても適正露光に達しない場合は、AFE12における信号増幅の増幅度を調節することにより、流し撮り画像の明るさを所望の明るさにまで引き上げる。また、絞り32の開口量を最小にし且つAFE12における信号増幅の増幅度を最小にしたとしても、流し撮り画像の明るさが大きくなりすぎると判断される場合は、図示されないND(Neutral Density)フィルタを挿入することにより、撮像素子33への入射光量を減衰させる。尚、上述のステップS52〜S54の各演算処理は、例えばCPU23によって実行される。

[流し撮り撮影の全体動作フロー]
次に、流し撮り撮影に特に着目した、撮影モードにおける撮像装置1の動作手順について説明する。図26は、この動作手順を表すフローチャートである。但し、このフローチャートは、上述の流し撮り自動判定を利用した自動切換モードにおける動作手順を表す。流し撮り自動判定を利用しない場合は(即ち、撮像装置1の動作モードとして流し撮り撮影モードが設定されている場合は)、後述のステップS69及びS72の処理を省略し、ステップS68にてシャッタボタン26bが全押しの状態となったならば、直接ステップS70に移行すればよい。

自動切換モードが設定されると、まず、プレビュー期間に移行し、所謂プレビューが行われる。図26のステップS61〜S64から成るループ処理が繰り返される期間は、図17のタイミングT11以前の期間に対応する。

ステップS61では、図1のTG22から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点で生成及び出力される。垂直同期信号に同期して、撮像素子33の出力信号が読み出されて撮影画像が順次取得される。TG22から垂直同期信号が出力された場合はステップS62に移行し、出力されていない場合はステップS61の処理が繰り返される。

ステップS62では、最新の撮影画像について、AE評価値が算出される共に各領域動きベクトルが算出される。ステップS62に続くステップS63では、AE評価値に基づいて、絞り32の開口量、露光時間(露光期間の長さ)及びAFE12における信号増幅の増幅度(ゲイン)を設定する。そして、ステップS64に移行し、シャッタボタン26bが半押しの状態にあるか否かが判断される。シャッタボタン26bが半押しの状態にある場合は、ステップS64からS65に移行する一方、そうでない場合はステップS61に戻る。ステップS64からS65に移行するタイミングは、図17のタイミングT11に相当し、このタイミング以後、流し撮り露光期間の開始タイミングに至るまでの期間が、スタンバイ期間となる。

ステップS64からS65に移行した後、上述した手法に従い、ステップS65において第1及び第2被写体ベクトルが算出され、ステップS66において動体領域及び背景領域が特定され、ステップS67において動体及び背景の動きベクトルMVM及びMVBが算出される。その後、ステップS68にて、シャッタボタン26bが半押しの状態から全押しの状態に移行したかが判断され、全押しの状態に移行した場合に、ステップS68からS69に移行する。一方、シャッタボタン26bを押し込む操作力がなくなって、シャッタボタン26bの状態が半押しでも全押しでもなくなった場合は、ステップS61に戻る。

ステップS69では、スタンバイ期間の撮影によって得られた撮影画像に基づいて、上述の流し撮り自動判定を行い、撮影者が流し撮りを行おうとしているのか否かを判断する。撮影者が流し撮りを行おうとしていると判断した場合はステップS70に移行する一方、そうでないと判断した場合はステップS72に移行する。

ステップS70では、図24のステップS53、S54及びS55の処理を実行する。即ち、ステップS67にて算出された動体及び背景の動きベクトルMVM及びMVBに基づいて、動体の相対的な動き量MVs2を算出して、流し撮り露光期間の長さTs2を設定すると共に、Ts2に応じて絞り32の開口量を調節する。この際、必要に応じてAFE12における信号増幅の増幅度をも調節する。

絞り32の開口量の調節を終えると、ステップS71において、動体の動きベクトルMVMに基づいて流し撮り光軸制御を実行しながら露光時間Ts2にて静止画の撮影を行い、流し撮り画像を得る。より具体的には、流し撮り光軸制御を行わなかったならば動きベクトルMVMで表される動きを動体が撮影素子33上で継続すると仮定し、その仮定した動きが打ち消されるように実際の流し撮り露光期間中において補正レンズ36を光学系35内で移動させる。動きベクトルMVMで表される撮像素子33上の動体の動きは、空間上の動体の移動と撮像装置1の筐体の動きとに由来して生じる。ステップS71の撮影によって得られた流し撮り画像は、図1の圧縮処理部16を介してメモリカード18に記録される。

他方、ステップS69からS72に至った場合は、流し撮り光軸制御を行うことなく、通常の静止画撮影を行う。ここで得られた画像も、圧縮処理部16を介してメモリカード18に記録される。ステップS71又はS72を終えるとステップS61に戻る。

上述の如く処理して得られる流し撮り画像では、図13に示す如く、動体としての自動二輪車が鮮明に捉えられる一方、背景部分には、所望の流れボケ幅Wが生じる。故に、撮影者による撮像装置1の操作(パン操作又はチルト操作)が不十分であっても、良好な流し撮り撮影効果を得ることが可能となる。

また、撮影モードを自動切換モードに設定しておけば、撮影者が意図的に流し撮りを行おうとしているか否かが自動的に判定され、撮影者の意図に沿った制御が自動的に実行されるため、利便性が高い。

尚、第1実施形態の注釈1において述べたように、補正レンズ36は、所謂手振れ補正用の光学部材として流用される。また、第1実施形態の注釈2において述べたのと同様、補正レンズ36をバリアングルプリズム36a(図16参照)に置換してもよい。この場合、流し撮り露光期間中、スタンバイ期間における動体の動きベクトルMVMに基づいて、空間上の動体の移動と撮像装置1の筐体の動きとに由来する撮像素子33上の動体の動きが打ち消されるようにバリアングルプリズム36aの屈折方向を制御すればよい。また、第1実施形態の注釈3において述べたのと同様、その動きを打ち消す機能を、撮像素子33の二次元方向(光軸に直交する二次元方向)の移動によって実現しても良い。

以下、第1及び/又は第2実施形態の変形例又は注釈事項を列記する。

上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

また、図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、上記流し撮り撮影を行うために必要な演算処理は、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。上記流し撮り撮影を行うために必要な演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

図2又は図16において、補正レンズ36又はバリアングルプリズム36aは、撮像素子33に投影される光学像を撮像素子33上で移動させるための像移動手段として機能する。この像移動手段に、補正レンズ36を駆動するドライバ34又はバリアングルプリズム36aを駆動するドライバ(不図示)が含まれていると考えても構わない。また、上述の如く撮像素子33を移動させることによって流し撮り撮影を行う場合は、撮像素子33を駆動するアクチュエータが像移動手段として機能する。また、上記の流し撮り光軸制御を行う制御手段は、主としてCPU23にて実現され、例えば、該制御手段はCPU23に内在していると考えることができる。また、第2実施形態に係る流し撮り自動判定は、CPU23に内在する像移動制御可否判断手段によって実行される。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図1の撮像部の内部構成図である。 図1の映像信号処理部の内部ブロック図である。 図1の撮像部から得られる各撮影画像の分割の様子を示す図である。 通常撮影モードにおいて、走行中の自動二輪車を撮影した場合に得られる画像を表す図である。 流し撮り撮影用の露光期間中において、図2の補正レンズが移動する様子を示す図である。 流し撮り撮影モードにおいて、走行中の自動二輪車を撮影した場合に得られる画像を表す図である。 本発明の第1実施形態に係り、図7に示すような流し撮り画像を得るための処理の流れを説明するための図である。 本発明の第1実施形態に係り、図7に示すような流し撮り画像を得るための処理の流れを説明するための図である。 本発明の第1実施形態に係り、撮影画像上における動体領域の特定手法を説明するための図である。 本発明の第1実施形態に係り、撮影画像上における動体領域(動体)の重心算出手法を説明するための図である。 本発明の第1実施形態に係り、図7に示すような流し撮り画像を得るための、露光条件等の設定手法の手順を表すフローチャートである。 図12に示す処理にて定義される流れボケ幅の意義を説明するための図である。 本発明の第1実施形態に係り、流し撮り撮影に特に着目した、撮影モードにおける図1の撮像装置の動作手順を表すフローチャートである。 本発明の第1実施形態に係り、撮像装置1を横に振っているときの、各領域動きベクトルの様子を示す図である。 図6の変形例を示す図である。 本発明の第2実施形態に係り、流し撮り画像を得るための処理の流れを説明するための図であって、流し撮り撮影時における各タイミング間の関係を時系列で表した図である。 本発明の第2実施形態に係り、流し撮り画像を得るための処理の流れを説明するための図である。 本発明の第2実施形態に係り、スタンバイ期間の撮影によって得られた1枚の撮影画像を示す図である。 図19の撮影画像についての領域動きベクトルを模式的に表した図である。 図19の撮影画像についての領域動きベクトルのヒストグラムを表す図である。 本発明の第2実施形態に係り、撮影画像の周辺部領域を示す図である。 本発明の第2実施形態に係る流し撮り自動判定を行うための判定領域を示す図である。 本発明の第2実施形態に係り、流し撮り画像を得るための露光条件等の設定手法の手順を表すフローチャートである。 本発明の第2実施形態に係り、動体の動きベクトルと背景の動きベクトルと両者の差分ベクトルとの関係を示す図である。 本発明の第2実施形態に係り、流し撮り撮影に特に着目した、撮影モードにおける図1の撮像装置の動作手順を表すフローチャートである。

符号の説明

1 撮像装置
11 撮像部
12 AFE
13 映像信号処理部
30 ズームレンズ
31 フォーカスレンズ
32 絞り
33 撮像素子
34 ドライバ
35 光学系
36 補正レンズ
36a バリアングルプリズム
43 動き検出部

Claims (7)

  1. 光学系を介して投影される光学像から撮影画像を得る撮像素子と、
    前記光学像を前記撮像素子上で移動させるための像移動手段と、
    前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、
    所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、
    前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定し、
    前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像に基づいて判断する像移動制御可否判断手段を更に備えたことを特徴とする撮像装置。
  2. 光学系を介して投影される光学像から撮影画像を得る撮像素子と、
    前記光学像を前記撮像素子上で移動させるための像移動手段と、
    前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、
    所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、
    前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定し、
    前記制御手段は、
    所定の流れボケ幅設定値と、
    前記事前に検出された前記動体及び前記背景の動きから求まる、前記背景に対する前記動体の動きの大きさと、
    に基づいて、前記露光期間の長さを設定し、
    前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像に基づいて判断する像移動制御可否判断手段を更に備えたことを特徴とする撮像装置。
  3. 光学系を介して投影される光学像から撮影画像を得る撮像素子と、
    前記光学像を前記撮像素子上で移動させるための像移動手段と、
    前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、
    所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、
    前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定し、
    前記制御手段は、
    所定の流れボケ幅設定値と、
    前記事前に検出された前記動体及び前記背景の動きから求まる、前記背景に対する前記動体の動きの大きさと、
    に基づいて、前記露光期間の長さを設定し、
    前記流れボケ幅設定値を設定する設定手段を更に備え、
    前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像に基づいて判断する像移動制御可否判断手段を更に備えたことを特徴とする撮像装置。
  4. 光学系を介して投影される光学像から撮影画像を得る撮像素子と、
    前記光学像を前記撮像素子上で移動させるための像移動手段と、
    前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、
    所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、
    前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定し、
    前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像中の動体の位置及び大きさに基づいて判断する像移動制御可否判断手段を更に備えた
    ことを特徴とする撮像装置。
  5. 光学系を介して投影される光学像から撮影画像を得る撮像素子と、
    前記光学像を前記撮像素子上で移動させるための像移動手段と、
    前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、
    所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、
    前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定し、
    前記制御手段は、
    所定の流れボケ幅設定値と、
    前記事前に検出された前記動体及び前記背景の動きから求まる、前記背景に対する前記動体の動きの大きさと、
    に基づいて、前記露光期間の長さを設定し、
    前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像中の動体の位置及び大きさに基づいて判断する像移動制御可否判断手段を更に備えた
    ことを特徴とする撮像装置。
  6. 光学系を介して投影される光学像から撮影画像を得る撮像素子と、
    前記光学像を前記撮像素子上で移動させるための像移動手段と、
    前記光学像に現れる被写体を動体と背景に分類して、前記動体及び前記背景の、前記撮影画像上の動きを検出する動き検出手段と、
    所定操作後に訪れる露光期間中、事前に検出された前記動体の動きに基づいて、実空間上の前記動体の移動と当該撮像装置の動きとに由来する前記撮像素子上の前記動体の動きを打ち消す方向に前記像移動手段を制御する制御手段と、を備え、
    前記制御手段は、事前に検出された前記動体及び前記背景の動きに基づいて、前記露光期間の長さを設定し、
    前記制御手段は、
    所定の流れボケ幅設定値と、
    前記事前に検出された前記動体及び前記背景の動きから求まる、前記背景に対する前記動体の動きの大きさと、
    に基づいて、前記露光期間の長さを設定し、
    前記流れボケ幅設定値を設定する設定手段を更に備え、
    前記露光期間中に前記制御手段によって前記像移動手段を制御するか否かを、前記露光期間の開始前に得られた撮影画像中の動体の位置及び大きさに基づいて判断する像移動制御可否判断手段を更に備えた
    ことを特徴とする撮像装置。
  7. 前記動き検出手段は、前記撮影画像内に複数の分割領域を設けて前記分割領域ごとに画像の動きを検出し、検出した複数の動きを2つに分類することにより各分割領域を前記動体を形成する領域又は前記背景を形成する領域に分類し、これによって、前記光学像に現れる前記被写体を前記動体と前記背景に分類する
    ことを特徴とする請求項1〜請求項6の何れかに記載の撮像装置。
JP2007236432A 2006-10-24 2007-09-12 撮像装置及び撮影制御方法 Expired - Fee Related JP4823179B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006288538 2006-10-24
JP2006288538 2006-10-24
JP2007236432A JP4823179B2 (ja) 2006-10-24 2007-09-12 撮像装置及び撮影制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007236432A JP4823179B2 (ja) 2006-10-24 2007-09-12 撮像装置及び撮影制御方法
US11/876,882 US8031229B2 (en) 2006-10-24 2007-10-23 Imaging apparatus and imaging control method

Publications (2)

Publication Number Publication Date
JP2008136174A JP2008136174A (ja) 2008-06-12
JP4823179B2 true JP4823179B2 (ja) 2011-11-24

Family

ID=39317517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007236432A Expired - Fee Related JP4823179B2 (ja) 2006-10-24 2007-09-12 撮像装置及び撮影制御方法

Country Status (2)

Country Link
US (1) US8031229B2 (ja)
JP (1) JP4823179B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5065060B2 (ja) * 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
JP2009300614A (ja) * 2008-06-11 2009-12-24 Canon Inc 撮像装置
JP4720859B2 (ja) * 2008-07-09 2011-07-13 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP2010166512A (ja) * 2009-01-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
JP4760928B2 (ja) * 2009-02-13 2011-08-31 カシオ計算機株式会社 撮像装置、連写速度の設定方法及びプログラム
JP2010193324A (ja) * 2009-02-20 2010-09-02 Casio Computer Co Ltd カメラ装置、及びその撮影方法とプログラム
JP5316175B2 (ja) * 2009-04-03 2013-10-16 株式会社ニコン 電子カメラ
JP5439923B2 (ja) * 2009-04-17 2014-03-12 株式会社ニコン 電子カメラ
JP5326801B2 (ja) * 2009-05-19 2013-10-30 株式会社ニコン 電子カメラ
US8345150B2 (en) * 2009-07-27 2013-01-01 Panasonic Corporation Imaging apparatus
JP2011040902A (ja) * 2009-08-07 2011-02-24 Toshiba Corp 撮像装置及び撮像装置用制御装置
JP2011061530A (ja) * 2009-09-10 2011-03-24 Canon Inc 撮像装置及び撮像装置の制御方法
WO2011077659A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
WO2012041390A1 (en) * 2010-10-01 2012-04-05 Contex A/S Signal intensity matching of image sensors
JP5725194B2 (ja) * 2010-11-03 2015-05-27 株式会社ニコン 夜景画像ボケ検出システム
US9083845B2 (en) * 2010-12-23 2015-07-14 Samsung Electronics Co., Ltd. Global arming method for image processing pipeline
US8224176B1 (en) * 2011-01-10 2012-07-17 Eastman Kodak Company Combined ambient and flash exposure for improved image quality
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US8736697B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera having burst image capture mode
US8736716B2 (en) 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode
US8760527B2 (en) 2011-06-24 2014-06-24 Apple Inc. Extending a digital camera focus range
US8754953B2 (en) 2011-06-24 2014-06-17 Apple Inc. Digital camera providing an extended focus range
US20130258167A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Method and apparatus for autofocusing an imaging device
US9031357B2 (en) * 2012-05-04 2015-05-12 Microsoft Technology Licensing, Llc Recovering dis-occluded areas using temporal information integration
JP2014007680A (ja) * 2012-06-27 2014-01-16 Xacti Corp 画像生成装置
JP2013110754A (ja) * 2013-01-17 2013-06-06 Casio Comput Co Ltd カメラ装置、及びその撮影方法とプログラム
JP2015115865A (ja) * 2013-12-13 2015-06-22 株式会社東芝 カメラモジュール
JP6331469B2 (ja) * 2014-02-27 2018-05-30 株式会社ニコン 撮像装置
JP6351335B2 (ja) * 2014-03-31 2018-07-04 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP5597783B1 (ja) * 2014-04-03 2014-10-01 株式会社シーアイエス 撮像装置
JP2017207525A (ja) * 2014-09-29 2017-11-24 富士フイルム株式会社 観察装置及びその制御方法
JP6415279B2 (ja) * 2014-12-03 2018-10-31 キヤノン株式会社 撮像制御装置、撮像装置および撮像制御プログラム
JP6486087B2 (ja) * 2014-12-03 2019-03-20 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
US9900513B2 (en) * 2015-01-16 2018-02-20 Canon Kabushiki Kaisha Control apparatus, optical apparatus, and lens apparatus
JP6529430B2 (ja) * 2015-03-03 2019-06-12 キヤノン株式会社 撮像装置、制御方法、制御プログラム、および記憶媒体
US10091432B2 (en) 2015-03-03 2018-10-02 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof and storage medium storing control program therefor
JP6598537B2 (ja) * 2015-07-01 2019-10-30 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP2018535572A (ja) * 2015-09-21 2018-11-29 クアルコム,インコーポレイテッド カメラプレビュー
JP6600232B2 (ja) * 2015-11-05 2019-10-30 キヤノン株式会社 像ブレ補正装置及び方法
JP6581474B2 (ja) * 2015-11-11 2019-09-25 キヤノン株式会社 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP6674264B2 (ja) * 2016-01-26 2020-04-01 キヤノン株式会社 像振れ検出装置及び方法、及び撮像装置
JP2018037772A (ja) 2016-08-30 2018-03-08 キヤノン株式会社 撮像装置およびその制御方法
JP2018036445A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
JP2018060126A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置
KR20180070264A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 패닝 샷 이미지 획득 방법 및 이를 지원하는 전자 장치
JP2018146663A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
CN106791456A (zh) * 2017-03-31 2017-05-31 联想(北京)有限公司 一种拍照方法及电子设备
CN107613219B (zh) * 2017-09-21 2019-11-26 维沃移动通信有限公司 一种拍摄方法、移动终端和存储介质
CN109961452A (zh) * 2017-12-22 2019-07-02 广东欧珀移动通信有限公司 照片的处理方法、装置、存储介质及电子设备
JP2018148571A (ja) * 2018-05-07 2018-09-20 株式会社ニコン 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2863188B2 (ja) * 1989-03-22 1999-03-03 松下電器産業株式会社 撮像装置
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
JPH0798471A (ja) * 1993-09-28 1995-04-11 Canon Inc カメラ
JPH0887055A (ja) 1994-09-14 1996-04-02 Canon Inc 流し撮り機能付カメラ
US5959666A (en) * 1995-05-30 1999-09-28 Sony Corporation Hand deviation correction apparatus and video camera
JP2003060972A (ja) 2001-08-09 2003-02-28 Olympus Optical Co Ltd カメラ
JP4315341B2 (ja) * 2004-08-03 2009-08-19 富士フイルム株式会社 流し撮り方法および撮影装置
US7463755B2 (en) * 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
JP2006246354A (ja) * 2005-03-07 2006-09-14 Casio Comput Co Ltd 撮影装置及び撮影プログラム
JP4769553B2 (ja) 2005-11-16 2011-09-07 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US8031229B2 (en) 2011-10-04
JP2008136174A (ja) 2008-06-12
US20080094498A1 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
JP4662880B2 (ja) 撮像装置,及び撮像方法
JP5390707B2 (ja) 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
US7706674B2 (en) Device and method for controlling flash
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP4804398B2 (ja) 撮像装置及び撮影方法
US20140119601A1 (en) Composition determination device, composition determination method, and program
JP4626493B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
EP2048878B1 (en) Imaging device, imaging method, and program
US7230648B2 (en) Image sensing apparatus and method of focusing and enlarging/reducing the in-focus image data on a display device
JP5359783B2 (ja) 画像処理装置および方法、並びにプログラム
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
JP5683851B2 (ja) 撮像装置及び画像処理装置
RU2415513C1 (ru) Устройство записи изображения, способ записи изображения, устройство обработки изображения, способ обработки изображения и программа
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP5111088B2 (ja) 撮像装置及び画像再生装置
US20110018970A1 (en) Compound-eye imaging apparatus
JP5235798B2 (ja) 撮影装置及びその制御方法
JP4315971B2 (ja) 撮像装置
JP4999268B2 (ja) 電子カメラ及びプログラム
US20080239107A1 (en) Imaging apparatus
JP5226600B2 (ja) 画像変形装置およびその動作制御方法
JP2008294785A (ja) 画像処理装置、撮像装置、画像ファイル及び画像処理方法
JP2005252657A (ja) 電子スチルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110906

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees