JP6494386B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP6494386B2
JP6494386B2 JP2015080929A JP2015080929A JP6494386B2 JP 6494386 B2 JP6494386 B2 JP 6494386B2 JP 2015080929 A JP2015080929 A JP 2015080929A JP 2015080929 A JP2015080929 A JP 2015080929A JP 6494386 B2 JP6494386 B2 JP 6494386B2
Authority
JP
Japan
Prior art keywords
image
display
image processing
frame
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015080929A
Other languages
English (en)
Other versions
JP2016201689A (ja
JP2016201689A5 (ja
Inventor
隼 亀田
隼 亀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015080929A priority Critical patent/JP6494386B2/ja
Priority to US15/094,540 priority patent/US10194085B2/en
Publication of JP2016201689A publication Critical patent/JP2016201689A/ja
Publication of JP2016201689A5 publication Critical patent/JP2016201689A5/ja
Application granted granted Critical
Publication of JP6494386B2 publication Critical patent/JP6494386B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Description

本発明は、撮像装置およびその制御方法に関する。
流し撮りにおいて、被写体の移動速度とパンニング速度の差を像振れ補正レンズの移動により補正し、その差に起因する主被写体のぶれを防止する流し撮り補助方法は知られている。また、特許文献1は、連続撮影された各画像を注目領域とそれ以外の領域に分割し、注目領域を複数の画像間で位置合わせしながら合成し、それ以外の領域を複数の画像間でぶらし処理を行いながら合成し、それぞれを一枚の画像に合成する方法を提案している。
特開2007−74031号公報
流し撮り補助方法においては、流し撮りでユーザが設定したシャッター速度よりも高速の、主被写体がぶれないシャッター速度で連続撮影された複数の画像を用いて主被写体のベクトル検出を行う。また、移動する主被写体への追従のためにライブビュー表示がなされる。その際、撮影画像をそのままライブビュー表示すると背景が流れない画像が表示され、ユーザはライブビュー画面から流し撮り結果をイメージすることが困難になる。特許文献1の方法は、この問題を解決することができない。
本発明は、主被写体のぶれを防止しつつユーザが主被写体への追従と流し撮り結果の予測を容易にするライブビュー表示を行うことが可能な撮像装置およびその制御方法を提供することを例示的な目的とする。
本発明の撮像装置は、画像を処理する画像処理手段と、該画像処理手段によって処理された前記画像を逐次表示するライブビュー表示を行う表示手段と、制御手段と、を有する撮像装置であって、前記制御手段は、前記撮像装置が回転移動されていると判定すると、前記画像処理手段に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させ、前記表示手段に、前記画像処理手段によって作成された前記合成画像を前記ライブビュー表示のフレーム画像として表示させることを特徴とする。
本発明によれば、主被写体のぶれを防止しつつユーザが主被写体への追従と流し撮り結果の予測を容易にするライブビュー表示を行うことが可能な撮像装置およびその制御方法を提供することができる。
本発明の撮像装置のブロック図である。(実施例1、2、3) 本発明の流し撮り補助のフローチャートである。(実施例1、2、3) 図2に示すS202の一例を示す図である。(実施例1) 図2に示すS204の詳細を示すフローチャートである。(実施例1) 図4に示すS405のライブビュー画面の例を示す図である。(実施例1) 図4に示すS405のライブビュー画面の別の例を示す図である。(実施例1) 図2に示すS204の詳細を示すフローチャートである。(実施例2) 図7に示すS701の非合成範囲の一例を示す図である。(実施例2) 図7に示すS708のライブビュー画面の一例を示す図である。(実施例2) 被写体の速度と撮像装置のパンニングの速度を示す図である。(実施例3) 図2に示すS204の詳細を示すフローチャートである。(実施例3) 図11に示すS1111のライブビュー画面の一例を示す図である。(実施例3)
図1は、本実施形態の撮像装置100の基本構成を示すブロック図である。撮像装置100は、デジタルスチルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話、カメラ付きパーソナルコンピュータ(PC)などである。
撮像装置100は、光学系101、撮像素子102、CPU103、一次記憶部104、角速度センサ105、画像処理部106、記録媒体107、二次記憶部108、表示部109、操作部110、動きベクトル検出部111を有する。
光学系101は、レンズ、シャッター、絞りを含み、被写体像を形成する。レンズは、フォーカスレンズ、ズームレンズ、像振れ補正レンズを含む。フォーカスレンズは光軸方向に移動されて焦点調節を行う。ズームレンズ(変倍レンズ)は、光軸方向に移動されて焦点距離を変更する。像振れ補正レンズは、光軸に直交する方向に移動されて像振れを補正する。なお、「直交する方向」は光軸に直交する成分があれば足り、光軸に斜めに移動されてもよい。絞りは、光学系の射出瞳位置に配置され、光量を調節する。シャッターは、設定されたシャッター速度で開閉し、露光を停止させる。
撮像装置100は、レンズ一体型でもよいし、光学系101を有するレンズ装置(交換レンズ)が撮像装置本体に着脱されるレンズ交換型であってもよい。後者の場合、カメラ本体は、一眼レフカメラやノンフレックス一眼レフカメラ(ミラーレスカメラ)であってもよい。
撮像素子102は、CCDイメージセンサ、CMOSイメージセンサなどから構成され、光学系101が形成した被写体像を光電変換する。
CPU103は、入力された信号や予め記憶されたプログラムに従い、撮像装置100の各部を制御する制御手段であり、マイクロコンピュータから構成される。カメラ本体とレンズ装置からなる撮像システムにおいては、制御手段は、カメラ本体に設けられ、撮像システムを制御するカメラCPUと、カメラCPUの制御に基づいてレンズ装置の各部を制御するレンズCPUから構成される。
一次記憶部104は、例えば、RAMのような揮発性メモリであり、一時的なデータを記憶し、CPU103の作業用に使われる。また、一次記憶部104に記憶されている情報は、画像処理部106で利用されたり、記録媒体107へ記録されたりもする。
角速度センサ(検出手段)105は、ジャイロセンサなどから構成され、撮像装置100の移動量を表す角速度を検出し、電気信号に変換してCPU103へ送信する。レンズ交換型の撮像システムにおいて、角速度センサ105は、カメラ本体側に設けられてもよいし、レンズ装置側に設けられてもよい。
なお、画像処理部(画像処理手段)106は、撮像素子102から得られる画像信号に対して現像、撮影モードに応じた色調の調整等の画像処理を施す。ユーザは、操作部110から、画像処理部106が適用する画像処理パターンを設定可能である。画像処理部106の機能の少なくとも一部を、CPU103がソフトウェア的に実現してもよい。
記録媒体107は、一次記憶部104に記憶されている、撮影により得られた画像データなどを記録する。記録媒体107は、例えば、半導体メモリカードのように撮像装置100から着脱可能であり、記録されたデータはパーソナルコンピュータ(PC)などに装着して読み出すことができる。撮像装置100は、記録媒体107の着脱機構及び読み書き機能を有する。
二次記憶部108は、例えば、EEPROMのような不揮発性メモリであり、撮像装置100を制御するためのプログラム(ファームウェア)や各種の設定情報を記憶し、CPU103によって利用される。
表示部(表示手段)109は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのGUI画像などの表示を行う、液晶ディスプレイなどである。表示部109は、画像処理部106によって処理された画像を逐次表示するライブビュー(LV)表示を行うことができる。これにより、ユーザは、ライブビュー画像を見ながら撮影する、ライブビュー撮影を行うことができる。
操作部110は、ユーザの操作を受け付けてCPU103へ入力情報を伝達する入力デバイス群であり、例えば、ボタン、レバー、ダイヤル、タッチパネル、音声や視線などを含む。
例えば、操作部110は、レリーズボタンを含む。CPU103は、レリーズボタンの半押し(S1)に応じて、不図示の測光センサによる測光結果またはユーザが設定した絞り値に応じた絞りの駆動量を算出し、絞りを駆動させる。また、CPU103は、レリーズボタンの半押しに応じて、手振れ補正レンズのロックを解除して駆動可能な状態にする。その後、CPU103は、角速度センサ105の検出結果に従って像振れ補正レンズを駆動させる。CPU103は、レリーズボタンの全押し(S2)に応じて、シャッターを駆動し、光学系101からの光束を撮像素子102に導き、露光(撮影)を行う。
CPU103は、撮像素子102からの出力に基づいて画像処理部106を制御して画像データ(動画や静止画)を生成させ、記録媒体107に記録する。CPU103は、光学系101から像振れ補正レンズが補正可能な最大角度(最大補正角度)を取得することもできる。上述した撮像システムにおいては、カメラCPUが最大補正角度の情報をレンズCPUから取得することができる。
操作部110は、各種のモードや撮影条件(例えば、静止画撮影のためのシャッター速度、AFにおける焦点検出の対象を定める焦点検出枠)を設定する設定手段として機能する。
各種のモードは、流し撮り補助(アシスト)モード、ライブビュー表示モード、自動焦点調節(AF)モードを含む。
流し撮り補助モードは、流し撮りを補助するためのモードであり、流し撮りの際に、被写体の移動速度とパンニング速度の差を像振れ補正レンズの移動により補正し、その差に起因する主被写体のぶれを防止するモードである。また、これに加えて、CPU103は、シャッター速度を自動で予め記憶された設定したり、主被写体に連続的にAFしたりしてもよい。流し撮り補助モードにおいて、シャッター速度は、ユーザが操作部110によって設定してもよい。また、ライブビュー表示モードは、表示部109に画像を逐次表示するモードであるが、流し撮り補助モードにおいて(一眼レフカメラに備わっている光学ファインダを用いる代わりに)選択されてもよい。これにより、ユーザは、流し撮りにおいて、表示部109を見ながら動体である主被写体の追跡を行うことができる。その際、操作部110を通じて、画像処理部106が撮像素子102からフレーム画像を取得するフレームレート(以下、「取得フレームレート」という)を設定することもできる。フレームレートは、単位時間(例えば、1秒)当たりに処理させるフレーム数(静止画像数、コマ数)であり、fpsという単位で表す。但し、本発明において、流し撮りの際に流し撮り補助モードを設定することは必須ではない。
後述するように、表示部109がライブビュー表示をするときの取得フレームレートは、撮像装置100が回転移動されている場合とされていない場合とで異なってもよい。ユーザは、操作部110を通じて、撮像装置100がパンニングされているときの取得フレームレートを設定してもよい。あるいは、CPU103は、操作部110によって流し撮り補助モードが設定されると、撮像装置100がパンニングされているときの取得フレームレートを予め記憶された値に設定してもよい。
また、表示部109が単位時間当たりに表示するフレーム画像の数(または表示部109の画面の更新回数)を、以下、「表示フレームレート」と呼ぶ。後述するように、表示部109がライブビュー表示をするときの表示フレームレートは、撮像装置100が回転移動されている場合とされていない場合とで異なってもよい。ユーザは、操作部110を通じて、撮像装置100がパンニングされているときの表示フレームレートを設定してもよい。あるいは、CPU103は、操作部110によって流し撮り補助モードが設定されると、撮像装置100がパンニングされているときの表示フレームレートを予め記憶された値に設定してもよい。
動きベクトル検出部111は、少なくとも2枚のフレーム画像を撮像素子102から入力し、入力した2枚のフレーム画像に設定された複数の領域のそれぞれの動きベクトルを検出する。動きベクトルの検出には、テンプレートマッチングなど周知の方法を使用することができる。このときのフレーム画像は、主被写体がぶれないような高速な(電子シャッターによる)シャッター速度で連続して撮影され、ユーザはライブビューとして確認することができる。
しかしながら、このライブビューのシャッター速度と、流し撮りの静止画撮影のシャッター速度が異なる場合、ライブビュー画像と流し撮り結果の間で背景の流れ具合が異なり、流し撮り結果のイメージが困難になる。
図2は、CPU103が実行する撮像装置100の制御方法、具体的には、流し撮り補助方法を説明するフローチャートであり、「S」はステップ(工程)、「Y」はYes(はい)、「N」はNo(いいえ)を表す。図2及び他のフローチャートはコンピュータに各ステップを実行させるためのプログラムとして具現化が可能であり、かかるプログラムは非一時的なコンピュータが可読な記憶媒体に格納されてもよい。
まず、S201において、CPU103は、動きベクトル検出部111にて撮像画像から得られた動きベクトルを用いて主被写体領域を抽出する。動きベクトルから被写体領域を抽出する手法については、ヒストグラムや周知の方法を適用することができる。ヒストグラムを使用する場合、フレーム画像における複数の領域のそれぞれの動きベクトルの情報に基づいて、動きベクトルの大きさと度数との関係を示すヒストグラムを作成する。次に、このヒストグラムにおいて、閾値以上の度数を有する動きベクトルの大きさの情報に基づいて、動体である主被写体の動きベクトルを検出する。主被写体の抽出ができないと主被写体角速度の算出が行えないため、S207において像振れ補正レンズを駆動しない通常の撮影方法に切り替えてもよい。
次に、S202において、CPU103は、角速度センサ105で検出された撮像装置100のパンニングの角速度情報を取得する。なお、ここでは、カメラの回転移動のうちカメラを左右に振るパンニングについて説明するが、本発明はパンニングだけでなく、カメラを上下に振るチルティングにも適用可能である。像振れ補正についても、例えば、横方向と縦方向といった、直交する2軸に関して検出および補正が行われるが、同様の構成により行われるので、以下では1軸分のみ説明する。
図3は、CPU103が主被写体角速度の情報を取得する方法を説明するための図である。具体的には、図3は、主被写体がt秒の間に点Aから点Bへ移動し、それに応じて撮像素子102に結像した主被写体像が点Cから点Dへと移動したことを示す図である。ここで、点Cと点Dとの距離(像面移動量)をν[pixel]、焦点距離をf[mm]、撮像素子102の画素ピッチをp[μm/pixel]とすると、像面上の主被写体の角速度ω[rad/sec]は以下の式で表わされる。
撮像装置100をパンニングすると、像面上の主被写体の角速度ωは、次式で示すように、主被写体自身の角速度である主被写体角速度ωからパンニング角速度ωを減算したものとなる。
数式(2)から、被写体角速度ωは以下のように算出される。
角速度センサ105からはパンニング角速度ωの情報が得られ、像面上の主被写体の角速度ωは、動きベクトル検出部111から得られる。この結果、CPU103は、数式3から主被写体角速度ωを求めることができる。なお、被写体角速度の算出方法は、本実施例のものに限定されず、予め操作部110により指定された値を使用したりする方法を用いてもよい。
次に、S204において、CPU103は、流し撮り時のライブビュー表示の更新を行う。S205において、CPU103は、露光を行うかの判定を行う。ここでは、操作部110に含まれるレリーズボタンの全押し(S2)がなされたかどうかの判定によって行う。S2が行われない場合(S205のY)、フローはS201に戻る。S205でS2が行われた場合、S206へ進む。S206において、CPU103は、光学系101に含まれるシャッターを走行させる。
次に、S207において、CPU103は、光学系101の像振れ補正レンズを駆動させ、被写体の移動速度とパンニング速度に差に起因する被写体のぶれを補正する。なお、S207においては、数式(2)からωを算出するのであるが、このときのパンニング角速度ωは露光中に角速度センサ105によって検出された最新の情報を使用し、主被写体角速度ωにはS203で求めたものを使用する。そして、CPU103は、この差分の角速度を積分して像振れ補正レンズの移動量を算出する。次に、S208において、CPU103は、設定された露光時間が経過するとシャッターを閉じる。
図4は、実施例1によるS204の詳細を示すフローチャートである。図5と図6は、流し撮り時のライブビュー画面の表示例を示す図である。
S401(第1のステップ)において、CPU103は、S202において取得したパンニング角速度の情報に基づいて撮像装置100がパンニング中かどうかの判定を行う。例えば、CPU103は、パンニング角速度を二次記憶部108に記憶された閾値と比較することによって撮像装置100がパンニング中であるかどうかを判定することができる。CPU103は、パンニング中であればS402へ進み、パンニング中でなければS406へ進む。
S402において、CPU103は取得フレームレートを変更する。上述したように、取得フレームレートは、画像処理部106が撮像素子102から単位時間当たりに取得するフレーム画像の数(またはライブビュー表示に使用されるフレーム画像の撮影回数)である。フレーム画像は、不図示のクロックにおいて、CPU103が操作部110による入力あるいは設定値に従って指定するタイミングに同期して画像処理部106が撮像素子102から取得する。例えば、変更前の取得フレームレートが30fpsである場合、CPU103は、より高速な60fpsに増加させることができる。この場合、CPU103は、取得フレームレートを変更する命令を画像処理部106だけでなく撮像素子102の駆動部にも送信してもよい。
この結果、図5に示すように、表示部109に表示される画像の合成枚数を多くすることができる。図5と図6において、取得フレームは、取得フレームレートで、画像処理部106が撮像素子102から取得するフレーム画像である。表示フレームは、画像処理部106によって処理され、表示フレームレートで表示部109に表示されるフレーム画像である。
この時、被写体の輝度に応じて適露出が得られる露出時間が維持できるような取得フレームレートを上限として切り替えてもよいし、図6に示すように、取得フレームレートを変更しなくてもよい。取得フレームレートが高い方が、ユーザは背景の流れ量を視覚的に把握することができる。図5、図6では、取得フレームレートと表示フレームレートは同じであるが、取得フレームレートと表示フレームレートは互いに異なってもよい。
次に、S403において、CPU103は、撮像に設定された静止画撮影用のシャッター速度の情報を取得する。上述したように、静止画撮影用のシャッター速度は、操作部110によって設定されてもよいし、二次記憶部108に規定値として格納されていてもよい。このため、CPU103は、静止画撮影用のシャッター速度の情報を操作部110または二次記憶部108から取得することができる。
次に、S404において、CPU103は、取得フレームレートとシャッター速度から、画像の合成枚数を算出する。合成枚数mは以下の数式(4)で求められる。
例えば、取得フレームレートfpsが60fpsでシャッター速度Tνが1/10secの場合、合成枚数mは6枚となる。画像処理部106はこの合成枚数の範囲内で合成画像を作成する。
次に、S405(第2のステップ)において、CPU103は、画像処理部106に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させる。図5では、時系列的に取得したフレーム画像をS404で求めた合成枚数になるまで順次合成して表示画像を作成する。最後に、S406(第3のステップ)において、CPU103は、画像処理部106に、表示フレームの更新表示を行わせる。画像処理部106は、フレーム画像を一次記憶する内部メモリを備えるか、一次記憶部104を利用する。
例えば、画像処理部106は、取得フレームF501を表示フレームF511としてそのまま表示すると共に取得フレームF501を一次記憶する。次に、画像処理部106は、一次記憶された取得フレームF501に新たな取得フレームF502を合成することによって作成されたフレーム画像を表示フレームF512として表示する。また、画像処理部106は、取得フレームF501に加えて取得フレームF502を更に一次記憶する。以下、同様にして、画像処理部106は、取得フレームF501〜F503の合成画像を表示フレームF513として表示し、取得フレームF501〜F503を一次記憶する。次に、画像処理部106は、取得フレームF501〜F504の合成画像を表示フレームF514として表示し、取得フレームF501〜F504を一次記憶する。次に、画像処理部106は、取得フレームF501〜F505の合成画像を表示フレームF515として表示し、取得フレームF501〜F505を一次記憶する。次に、画像処理部106は、取得フレームF501〜F506の合成画像を表示フレームF516として表示し、取得フレームF502〜F506を一次記憶する。合成枚数が数式(4)のm枚になると、画像処理部106は、取得フレームF502〜F507の合成画像を表示フレームF517として表示し、取得フレームF503〜F507を一次記憶する。以降、順次合成枚数を保ったまま時系列的に並んだ複数の取得フレームを合成することによって表示フレームを更新する。
図5、6に示す表示フレームの背景が流れているため、ユーザは流し撮り前に流し撮り結果を視覚的に把握することができる。
以上、実施例1によれば、S204において、ライブビューの表示フレームに複数の取得フレームを合成した画像を用いているので、ユーザは撮影後の背景の流れ量を視覚的に把握することができる。以上より、撮影結果を予測し易いライブビュー撮影(ここでは、流し撮り)が可能なライブビュー表示を行うことが可能になる。
例えば、ユーザは撮影前に、現在のパンニング角速度に十分な背景の流れ量を得るための静止画撮影のシャッター速度を、ライブビュー画面を見ながら予測し、その予測結果に基づいて本撮影に臨むことが可能になる。例えば、サーキットである周回のレーシングカーのライブビュー表示更新(S204)の結果に基づいて本番の流し撮りを行うことによって所望の流し撮り結果を得ることが容易になる。このように、本発明は、流し撮り前に、主被写体またはそれに類似する被写体が、同様の動作を行う場合に特に効果的である。もちろん主被写体は、オリンピック競技における選手、競馬における馬や騎手などサーキットにおけるレーシングカーに限定されない。
図7は、実施例2によるS204の詳細を示すフローチャートである。実施例2は、パンニング中のライブビューの表示フレームに取得フレームの合成画像を表示させている点で実施例1と同様であるが、表示フレームに非合成領域を設け、非合成領域に最新の取得フレームをそのまま表示している点で実施例1と相違する。画像処理部106は、複数のフレーム画像を合成したものに、複数のフレーム画像のうち最新のフレーム画像の非合成領域(特定領域)を切り出して張り付けることによって合成画像を作成する。
S701において、CPU103は、画像処理部106に非合成領域の情報を取得させる。非合成領域は、図2のS201で抽出された主被写体の周囲の領域、操作部110からユーザによって任意で設定された範囲や焦点検出枠を含む領域などである。
図8は、非合成範囲の一例を示す図である。同図では、表示画像の左上を原点(0,0)として設定し、原点からの非表示領域の左上へのオフセット(x1,y1)と右下へのオフセット(x2,y2)で定義される、点線で囲まれた矩形領域を非表示領域としている。このように、非表示領域の輪郭または枠を合成画像に加えて表示してもよい。
図7において、S702からS706は、実施例1のS401からS405と同様であるため、説明を省略する。S707において、CPU103は、画像処理部106に、時間的に最新のフレームから非合成範囲の切り出すように命令する。S708において、CPU103は、画像処理部106に、非合成領域の貼り付けを行うことによって表示フレームを作成させる。最後に、S709において、CPU103は、画像処理部106に作成した表示フレームの更新を行わせる。
図9は、実施例2の流し撮り時のライブビュー画面の表示例を示す図であり、S706までで作成された合成画像に非合成領域が貼り付けられた例を示している。取得フレームF901〜F908に対して表示フレームF911〜F918が作成されている。
例えば、取得フレームF901を表示フレームF911としてそのまま表示させると共に取得フレームF901を一次記憶する。次に、一次記憶された取得フレームF901に新たな取得フレームF902を合成したものに、取得フレームF902の非合成領域を貼り付けたフレーム画像を表示フレームF912として表示し、取得フレームF901とF902を一次記憶させる。以下、同様にして、取得フレームF901〜F903を合成したものに取得フレームF903の非合成領域を貼り付けたフレーム画像を表示フレームF913として表示し、取得フレームF901〜F903を一次記憶する。合成枚数が数式(4)のm枚になると、画像処理部106は、以降、順次合成枚数を保ったまま時間的に連続した取得フレームを合成することによって表示フレームを更新する。
図9においても、表示フレームの背景が流れているため、ユーザは流し撮り前に流し撮り結果を視覚的に把握することができる。
以上、実施例2によれば、S204において、ライブビューの表示フレームに複数の取得フレームを合成した画像を用いているので、ユーザは撮影後の背景の流れ量を視覚的に把握することができる。また、表示フレームには、非合成画像が貼り付けられているので、流し撮り結果の主被写体の写り方や、ユーザがリアルタイムで追尾したい領域や被写体のピント確認を行うことができる。以上より、撮影結果を予測し易いライブビュー撮影が可能なライブビュー表示を行うことが可能になる。
実施例3は、パンニング中のライブビューの表示フレームに合成画像と非合成画像を表示させている点で実施例2と同様であるが、像振れ補正レンズの補正限界によって非合成領域の表示を切り替え可能にしている点で実施例2と相違する。上述したように、CPU103は、静止画撮影の操作がなされると、非合成領域にある主被写体(動体)が静止した状態で流し撮りがなされるように、像振れ補正レンズを光軸に直交する方向に駆動させる命令を、主被写体の角速度に基づいて生成する。
図10は、主被写体角速度とパンニング角速度を、それぞれ主点を中心として示している。被写体角速度が30deg/sec、パンニング角速度が24deg/secである場合は、その差の6deg/secが、システムが補助すべき(像振れ補正レンズを駆動して補正すべき)角速度である。システムが補助する角速度にシャッター速度(sec)を乗算すると、静止した主被写体を得るためにシステムが補助すべき補正角度が求められる。一例としてシャッター速度が1/10secの場合、必要となる補正角度は0.6度となる。ただし、補正角度が、像振れ補正レンズの最大補正角度を超える場合、静止した主被写体の画像を得ることができない。ここで、システムが補助する角速度をω、シャッター速度をTν、補正角度をθ、最大補正角度θmaxとすると、以下の数式(5)が成立する。
図11は、実施例3によるS204の詳細を示すフローチャートである。S1101からS1106は、図7に示すS701からS706と同様であるため、説明を省略する。
S1107において、CPU103は、数式(5)を用いて補正角度を算出する。次に、S1108において、CPU103は、最大補正角度を光学系101から取得する。次に、S1109において、CPU103は、最大補正角度と数式(5)で算出された補正角度を比較し、補正角度が最大補正角度を超えていればS1112に進み、S1106で作成した合成画像を表示画像に用いるように画像処理部106に命令する。
S1109において補正角度が最大補正角度以下である場合、CPU103は、S1110に進み、時間的に最新のフレームから非合成領域を切り出すように画像処理部106に命令する。また、S1111において、非合成領域を合成画像に貼り付けることによって表示画像を作成するように画像処理部106に命令する。最後に、S1112において、CPU103は、CPU103は、画像処理部106に作成した表示フレームの更新を行わせる。
図12は、実施例3の流し撮り時のライブビュー画面の表示例を示す図であり、パンニング中に被写体の角速度とカメラのパンニング速度の差が補正できなくなった場合を示している。取得フレームF1201からF1208に対して、表示フレーム(表示画像)はF1211からF1218となっている。
ここで、像振れ補正レンズの最大補正角度が0.5度、シャッター速度が1/10秒であるとする。取得フレームF1201〜F1204までの間は、被写体角速度が30deg/sec、パンニング角速度が30deg/secであるものとする。また、取得フレームF1205〜F1208までの間は、被写体角速度30deg/sec、パンニング速度が24deg/secに変動したとする。取得フレームF1201〜F1204までの被写体角速度、パンニング角速度、シャッター速度、補正角度、最大補正角度の関係は、数式(5)によって以下の数式(6)のようになる。
また、取得フレームF1205〜F1208までの被写体角速度、パンニング角速度、シャッター速度、補正角度、最大補正角度の関係は、数式(5)によって以下の数式(7)のようになる。
表示フレームF1211〜F1214には数式(6)が当てはまり、S1109において補正角度が最大補正角度以下なので、非合成領域が表示され、撮影前に被写体がぶれないことが視覚的に把握できる。表示フレームF1215〜F1218には数式(7)が当てはまり、S1109において補正角度が最大補正角度を超えているので、非合成領域は表示されずにぶれた主被写体が表示されるので、撮影前に被写体が正しく補正されないことが視覚的に把握できる。
このように、CPU103は、像振れ補正レンズを駆動することによって主被写体が静止した状態で流し撮りできると判定すると、画像処理部106に非合成領域が貼り付けられた合成画像を作成させる。一方、CPU103は、像振れ補正レンズを駆動しても主被写体が静止した状態で流し撮りできないと判定すると、画像処理部106に、非合成領域が貼り付けられていない合成画像を作成させる。即ち、画像処理部106は、複数のフレーム画像のそれぞれの非合成領域に相当する領域も合成することによって合成画像を作成する。
以上、実施例3によれば、S204において、ライブビューの表示フレームに複数の取得フレームを合成した画像を用いているので、ユーザは撮影後の背景の流れ量を視覚的に把握することができる。また、表示フレームには、非合成画像が貼り付けられているので、流し撮り結果の主被写体の写り方や、ユーザがリアルタイムで追尾したい領域や被写体のピント確認を行うことができる。更に、像振れ補正レンズの補正限界に応じて非合成領域の表示を切り替えることによって、被写体が流し撮り補助システムによって補正可能かどうかを視覚的に確認することが可能となる。以上より、撮影結果を予測し易いライブビュー撮影が可能なライブビュー表示を行うことが可能になる。
以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。
本発明の撮像装置は、デジタルカメラ、デジタルビデオカメラ、カメラ付電子機器等の用途に適用することができる。
103…CPU(制御手段)、105…角速度センサ(検出手段)、108…画像処理部(画像処理手段)、109…表示部(表示手段)、110…操作部(設定手段)

Claims (17)

  1. 画像を処理する画像処理手段と、
    該画像処理手段によって処理された前記画像を逐次表示するライブビュー表示を行う表示手段と、
    制御手段と、
    を有する撮像装置であって、
    前記制御手段は、前記撮像装置が回転移動されていると判定すると、前記画像処理手段に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させ、前記表示手段に、前記画像処理手段によって作成された前記合成画像を前記ライブビュー表示のフレーム画像として表示させることを特徴とする撮像装置。
  2. 前記画像処理手段は、静止画撮影のためのシャッター速度と、前記表示手段の前記ライブビュー表示における取得フレームレートから得られる合成枚数の範囲内で、前記複数のフレーム画像を合成することを特徴とする請求項1に記載の撮像装置。
  3. 前記シャッター速度を設定する第1の設定手段を更に有することを特徴とする請求項2に記載の撮像装置。
  4. 流し撮りをするためのモードを設定するための第2の設定手段を更に有し、
    前記制御手段は、前記第2の設定手段によって前記モードが設定されると、前記シャッター速度を予め記憶された値に設定することを特徴とする請求項2に記載の撮像装置。
  5. 前記画像処理手段は、前記複数のフレーム画像を合成したものに、前記複数のフレーム画像のうち最新のフレーム画像の特定領域を切り出して貼り付けることによって前記合成画像を作成することを特徴とする請求項1乃至4のうちいずれか1項に記載の撮像装置。
  6. 前記画像処理手段は、前記特定領域の輪郭を前記合成画像に加えることを特徴とする請求項5に記載の撮像装置。
  7. 前記フレーム画像における複数の領域のそれぞれの動きベクトルの情報に基づいて、動体の動きベクトルを検出する動きベクトル検出手段を更に有し、
    前記制御手段は、前記動きベクトル検出手段によって検出された前記動体を含むように前記特定領域を設定することを特徴とする請求項5または6に記載の撮像装置。
  8. 焦点検出の対象を定める焦点検出枠を設定する第3の設定手段を更に有し、
    前記制御手段は、前記第3の設定手段によって設定された前記焦点検出枠を含むように前記特定領域を設定することを特徴とする請求項5または6に記載の撮像装置。
  9. 前記制御手段は、静止画撮影の操作がなされると、前記特定領域にある動体が静止した状態で流し撮りがなされるように、補正レンズを光軸に直交する方向に駆動させる命令を、前記特定領域にある動体の角速度に基づいて生成し、
    前記制御手段は、前記補正レンズを駆動することによって前記動体が静止した状態で流し撮りできると判定すると、前記画像処理手段に、前記特定領域が貼り付けられた前記合成画像を作成させ、前記補正レンズを駆動しても前記動体が静止した状態で流し撮りできないと判定すると、前記画像処理手段に、前記特定領域が貼り付けられていない前記合成画像を作成させることを特徴とする請求項5乃至8のうちいずれか1項に記載の撮像装置。
  10. 前記制御手段は、前記撮像装置が回転移動されるときの角速度を検出する検出手段の検出結果に基づいて、前記撮像装置が回転移動されているかどうかを判定することを特徴とする請求項1乃至9のうちいずれか1項に記載の撮像装置。
  11. 前記表示手段が前記ライブビュー表示をするときの、前記画像処理手段が前記フレーム画像を取得する取得フレームレートは、前記撮像装置が回転移動されている場合とされていない場合とで異なることを特徴とする請求項1に記載の撮像装置。
  12. 前記撮像装置が回転移動されているときの前記取得フレームレートを設定するための第4の設定手段を更に有することを特徴とする請求項11に記載の撮像装置。
  13. 流し撮りをするためのモードを設定するための第2の設定手段を更に有し、
    前記制御手段は、前記第2の設定手段によって前記モードが設定されると、前記撮像装置が回転移動されているときの前記取得フレームレートを予め記憶された値に設定することを特徴とする請求項11に記載の撮像装置。
  14. 前記表示手段が前記ライブビュー表示をするときの前記フレーム画像を表示する表示フレームレートは、前記撮像装置が回転移動されている場合と前記撮像装置が回転移動されていない場合とで異なることを特徴とする請求項1に記載の撮像装置。
  15. 前記撮像装置が回転移動されているときの前記表示フレームレートを設定するための第5の設定手段を更に有することを特徴とする請求項14に記載の撮像装置。
  16. 流し撮りをするためのモードを設定するための第2の設定手段を更に有し、
    前記制御手段は、前記第2の設定手段によって前記モードが設定されると、前記撮像装置が回転移動されているときの前記表示フレームレートを予め記憶された値に設定することを特徴とする請求項14に記載の撮像装置。
  17. 画像を処理する画像処理手段と、該画像処理手段によって処理された前記画像を逐次表示するライブビュー表示を行う表示手段と、を有する撮像装置の制御方法であって、
    前記撮像装置が回転移動されているかどうかを判定する第1のステップと、
    前記第1のステップによって前記撮像装置が回転移動されていると判定された場合、前記画像処理手段に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させる第2のステップと、
    前記表示手段に、前記第2のステップで作成された前記合成画像を前記ライブビュー表示のフレーム画像として表示させる第3のステップと、
    を有することを特徴とする撮像装置の制御方法。
JP2015080929A 2015-04-10 2015-04-10 撮像装置およびその制御方法 Expired - Fee Related JP6494386B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015080929A JP6494386B2 (ja) 2015-04-10 2015-04-10 撮像装置およびその制御方法
US15/094,540 US10194085B2 (en) 2015-04-10 2016-04-08 Image pickup apparatus and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015080929A JP6494386B2 (ja) 2015-04-10 2015-04-10 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2016201689A JP2016201689A (ja) 2016-12-01
JP2016201689A5 JP2016201689A5 (ja) 2018-05-10
JP6494386B2 true JP6494386B2 (ja) 2019-04-03

Family

ID=57111444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015080929A Expired - Fee Related JP6494386B2 (ja) 2015-04-10 2015-04-10 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US10194085B2 (ja)
JP (1) JP6494386B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554108B (zh) * 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
JP6564295B2 (ja) * 2015-10-20 2019-08-21 オリンパス株式会社 合成画像作成装置
JP6932531B2 (ja) * 2017-03-28 2021-09-08 キヤノン株式会社 像ブレ補正装置、撮像装置および撮像装置の制御方法
CN115361482A (zh) * 2017-04-28 2022-11-18 索尼公司 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
JP6985898B2 (ja) * 2017-11-14 2021-12-22 Omデジタルソリューションズ株式会社 撮像装置及び表示方法
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
JP7478006B2 (ja) 2020-03-26 2024-05-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121222A (ja) * 1992-10-05 1994-04-28 Canon Inc カメラ
JP2007074031A (ja) 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP5397078B2 (ja) * 2009-08-11 2014-01-22 株式会社ニコン 撮像装置
US9369724B2 (en) * 2014-03-31 2016-06-14 Microsoft Technology Licensing, Llc Decoding and synthesizing frames for incomplete video data

Also Published As

Publication number Publication date
US20160301872A1 (en) 2016-10-13
JP2016201689A (ja) 2016-12-01
US10194085B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
JP6494386B2 (ja) 撮像装置およびその制御方法
JP2010081587A (ja) 撮像装置及びその追尾方法
JP6276644B2 (ja) 像ブレ補正装置および像ブレ補正方法、プログラム、並びに記憶媒体
JP2015198439A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US9692973B2 (en) Image capturing apparatus and control method therefor
JP2016201626A (ja) シフト素子制御装置、シフト素子制御プログラムおよび光学機器
JP2005215388A (ja) 交換レンズ及びそれを用いたカメラシステム
JP6579807B2 (ja) 撮像制御装置、撮像装置および撮像制御プログラム
CN106170061B (zh) 摇摄指标显示设备和处理方法
JP6465705B2 (ja) 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置
JP2013110754A (ja) カメラ装置、及びその撮影方法とプログラム
JP2013131905A (ja) 撮像装置
JP6700874B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP2015207809A (ja) 撮像装置
JP6746473B2 (ja) 撮像装置および制御方法
JP2015233211A (ja) 撮像装置およびその制御方法ならびにプログラム
JP6858065B2 (ja) 撮像装置およびその制御方法
JP6869841B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6759039B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6833381B2 (ja) 撮像装置、制御方法、プログラム、および、記憶媒体
JP6080825B2 (ja) 撮像装置及びその制御方法
JP6584280B2 (ja) 撮像装置及びその制御方法
JP5603671B2 (ja) 電子機器、撮像方法、及び画像変換プログラム
JP7210256B2 (ja) 撮像装置及び表示制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190305

R151 Written notification of patent or utility model registration

Ref document number: 6494386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees