WO2022181087A1

WO2022181087A1 - 画像処理装置および方法、並びにプログラム

Info

Publication number: WO2022181087A1
Application number: PCT/JP2022/000717
Authority: WO
Inventors: 良知山蔦
Original assignee: ソニーグループ株式会社
Priority date: 2021-02-25
Filing date: 2022-01-12
Publication date: 2022-09-01
Also published as: JPWO2022181087A1; US20240121503A1

Abstract

本技術は、適切なライブビュー表示を行うことができるようにする画像処理装置および方法、並びにプログラムに関する。画像処理装置は、記録用の複数のキャプチャ画像を連続して撮像する場合に、キャプチャ画像と、キャプチャ画像が撮像されてから次のキャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、画像が表示されないブラックアウト表示期間と、少なくともコマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるかを選択する制御部を備える。本技術はカメラに適用することができる。

Description

画像処理装置および方法、並びにプログラム

　本技術は、画像処理装置および方法、並びにプログラムに関し、特に、適切なライブビュー表示を行うことができるようにした画像処理装置および方法、並びにプログラムに関する。

　例えばカメラで画像を撮像する場合に、記録用の高解像度の画像の画像処理LSI（Large Scale Integration）への出力に先行して、低解像度の画像を画像処理LSIに出力して画像処理を行うことで、露光完了からプレビュー画像の表示までの時間を短縮する技術が提案されている（例えば、特許文献１参照）。

　このような技術を利用すれば、例えばカメラにより連写を行う場合に、連写中においてもブラックアウトを生じさせることなく、つまり画像が表示されない期間を生じさせることなく継続してライブビュー表示を行うことができる。

　このようなブラックアウトを生じさせないライブビュー表示の手法は、ブラックアウトフリー（BOF（Black Out Free））やブラックアウトレス（BOL（Black Out Less））のライブビュー表示などと呼ばれている。

　BOFのライブビュー表示では、常に被写体が表示されている状態となるので、ユーザは連写中でも被写体を逃すことなく追い続けることができ、より満足度の高い画像を得ることができるようになる。

特許第６５６５９０５号公報

　しかしながら、上述した技術では、例えば長秒露光での連写など、撮影条件（シーン）によってはBOFのライブビュー表示がかえって妨げになってしまい、ユーザが被写体を追いにくくなってしまう場合があった。

　本技術は、このような状況に鑑みてなされたものであり、適切なライブビュー表示を行うことができるようにするものである。

　本技術の一側面の画像処理装置は、記録用の複数のキャプチャ画像を連続して撮像する場合に、前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるかを選択する制御部を備える。

　本技術の一側面の画像処理方法またはプログラムは、記録用の複数のキャプチャ画像を連続して撮像する場合に、前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるかを選択するステップを含む。

　本技術の一側面においては、記録用の複数のキャプチャ画像を連続して撮像する場合に、前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるかが選択される。

BOFのライブビュー表示の例について説明する図である。本技術のブラックアウトライブビュー表示について説明する図である。本技術のBOFライブビュー表示について説明する図である。画像処理装置の構成例を示す図である。撮像処理を説明するフローチャートである。ライブビュー表示の表示方式の選択について説明する図である。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
　本技術は、撮影条件（シーン）等に応じて、BOFのライブビュー表示と、ブラックアウトを生じさせるライブビュー表示とを切り替えることで、撮影条件等に合致した適切なライブビュー表示を行うことができるようにするものである。

　まず、図１を参照して、連写時における一般的なBOFのライブビュー表示（ブラックアウトフリーライブビュー表示）の例について説明する。なお、図１において横方向は時間方向を示しており、特に図中、右方向が未来方向を示している。

　図１では、矢印Q11に示す部分は画像の露光期間を示しており、具体的には矢印Q11に示す部分における図中、横方向に並ぶ複数の各平行四辺形は、１つの画像を撮像するときの露光期間を模式的に表している。

　特に、この例ではイメージセンサにおける上側の画素行から下側の画素行まで画素行単位で順番に露光と信号の読み出しが行われていくため、各画像の露光期間が平行四辺形で表されている。例えば露光期間を表す平行四辺形の図中、上側の辺は最初の画素行での露光を表しており、平行四辺形の図中、下側の辺は最後の画素行での露光を表している。

　また、図１における矢印Q12に示す部分は、ライブビュー表示における各画像の表示期間を示しており、１つの四角形が１つの画像の表示期間を表している。特に、露光期間を表す１つの平行四辺形と矢印により接続されている四角形は、その露光期間での露光（撮像）により得られた画像の表示期間を表している。

　図１に示す例ではライブビュー画像とキャプチャ画像が撮像され、それらのライブビュー画像とキャプチャ画像が時系列（撮像順）に表示されてライブビュー表示が実現される。

　ここで、ライブビュー画像とは、記録用ではなく、ライブビュー表示のためだけに撮像される画像であり、ライブビュー画像はカメラ等に設けられた記録部には記録されない。

　例えば図１では、露光期間D11が１つのライブビュー画像を撮像するための露光期間となっており、露光期間D11での露光により得られたライブビュー画像が表示期間P11の間、継続して表示される。

　また、キャプチャ画像とは、ユーザの指示に応じて撮像（キャプチャ）される記録用の画像であり、撮像されたキャプチャ画像は、カメラ等に設けられた記録部に記録される。

　例えば図１では、露光期間D12が１つのキャプチャ画像を撮像するための露光期間となっており、露光期間D12での露光により得られたキャプチャ画像が表示期間P12の間、継続して表示されるとともに、図示せぬ記録部に記録される。図１では、キャプチャ画像の露光期間を表す平行四辺形内には、文字「Cap」が記されている。

　連続撮影（連写）では、このようなキャプチャ画像が一定の時間間隔で複数枚、連続して撮像され、その結果得られた複数のキャプチャ画像が記録部へと記録される。

　さらに、以下においてはライブビュー画像のうち、キャプチャ画像の連写開始前に撮像されたもの、つまり最初に撮像されるキャプチャ画像よりも時間的に前に撮像されたものを、特に連写前ライブビュー画像とも称することとする。

　例えば図１では、露光期間D11での露光により得られ、表示期間P11の間、継続して表示されるライブビュー画像が連写前ライブビュー画像である。

　また、以下では、ライブビュー画像のうち、キャプチャ画像を撮像してから次のキャプチャ画像を撮像するまでの間に撮像されたものを、特にコマ間ライブビュー画像とも称することとする。

　例えば図１では、露光期間D13での露光により得られ、表示期間P13の間、継続して表示されるライブビュー画像がコマ間ライブビュー画像である。図１では、コマ間ライブビュー画像の露光期間を表す平行四辺形内には、文字「LV」が記されている。

　この例では、カメラ等が起動されるなどするとライブビュー表示が開始される。すなわち、例えば予め定められたシャッタスピードで連写前ライブビュー画像が撮像され、ライブビュー表示の画像（フレーム）として所定のフレームレートで表示画面に表示される。

　ユーザは、このようにして表示される連写前ライブビュー画像、つまりライブビュー表示を見ながら画角等を確認し、任意のタイミングでシャッタボタンを押して連写の開始を指示する。より詳細には、例えばユーザはシャッタボタンを最後まで押し込むことで連写の開始を指示する。以下では、シャッタボタンが最後まで押し込まれた状態とすることを、シャッタボタンを全押しするとも称することとする。

　この例では、矢印A11に示すタイミングで、ユーザにより連写の開始が指示されている。すなわち、連写の開始トリガがオンされている。

　連写の開始が指示されると、カメラ等は、適宜、連写を開始するために必要な処理（準備）を行い、その後、連写、つまりキャプチャ画像の撮像を開始する。

　連写時には、ユーザ等により指定（設定）された連写時のシャッタスピードで、一定の時間間隔で連続して複数のキャプチャ画像が撮像される。

　特に、この例では、キャプチャ画像の撮像時のシャッタスピードは、連写前ライブビュー画像の撮像時のシャッタスピードと比較して大幅に遅くなっている。換言すれば、キャプチャ画像の露光期間は、連写前ライブビュー画像の露光期間よりも大幅に長くなっており、キャプチャ画像は、いわゆる長秒露光での撮像（長秒撮影）となっている。

　なお、矢印A11に示すタイミング後においても、キャプチャ画像の露光が開始される前の所定の長さの期間においては、連写前ライブビュー画像が撮像されて表示される。これは、撮像の準備等により、すぐにはキャプチャ画像の撮像を開始できないからである。

　この例では、最初のキャプチャ画像の直前に撮像された連写前ライブビュー画像が、最初のキャプチャ画像が表示されるまでの間、継続して表示され続けている。

　そして、最初のキャプチャ画像の表示が可能となると、ライブビュー表示は、最後に表示された連写前ライブビュー画像、すなわち連写前ライブビュー画像の最後のフレームから、最初に撮像されたキャプチャ画像へと切り替わる。

　また、連写時には、キャプチャ画像が撮像された後、次のキャプチャ画像が撮像されるまでの間にコマ間ライブビュー画像の撮像（露光）が行われ、得られたコマ間ライブビュー画像が表示される。

　この例では、連写開始後においては、ライブビュー表示の画像としてキャプチャ画像とコマ間ライブビュー画像とが交互に表示されている。

　そのため、この例ではコマ間ライブビュー画像は、キャプチャ画像と同じシャッタスピードで撮像される。すなわち、コマ間ライブビュー画像の露光期間は、キャプチャ画像の露光期間と同じ長さとされる。

　また、キャプチャ画像とコマ間ライブビュー画像とが交互に表示される期間においては、ライブビュー表示のフレームレートは、キャプチャ画像とコマ間ライブビュー画像のシャッタスピードに基づいて定められる。

　したがって、この例ではライブビュー表示のキャプチャ画像とコマ間ライブビュー画像とが交互に表示される期間のフレームレートは、連写前ライブビュー画像が表示される期間のフレームレートよりも低くなる。つまり、ライブビュー表示の更新が遅くなる。

　ユーザは、連写時にはシャッタボタンを押したままの状態で、ライブビュー表示を見ながら、例えば画角内に被写体が含まれるように、被写体の動きに合わせてカメラ等を動かし、連写を終了させるときにシャッタボタンから手を離す。

　以上のようなBOFのライブビュー表示を行えば、ユーザは常に被写体をライブビュー表示で確認することができるため、連写の間、継続して被写体を追い続けることができる。

　しかしながら、例えば図１に示した例のような長秒撮影時など、撮影条件（シーン）によっては、かえってBOFのライブビュー表示が妨げとなり、ユーザが被写体を追いにくくなってしまうことがある。そうすると、手振れが発生しやすくなり、結果としてユーザが満足できるキャプチャ画像を得ることができなくなってしまうおそれがある。

　具体的には、ユーザがシャッタボタンを押して連写の開始を指示した後のタイミングで、ライブビュー表示のフレームレートが急に低くなるため、ユーザが被写体を追いにくくなってしまい、手振れ等が発生しやすくなる。

　例えば図１の例では、ライブビュー表示が開始されてから、シャッタボタンが押された後の所定のタイミングまでの期間T11では、連写前ライブビュー画像のシャッタスピード（露光時間）に合わせた、比較的高いフレームレートでライブビュー表示が行われる。

　ところが、期間T11後の期間T12では、ライブビュー表示のフレームレートが期間T11における場合と比較して大きく低下してしまう。すなわち、ライブビュー表示の更新が急に遅くなってしまう。これは、期間T12ではライブビュー表示のフレームレートは、長秒撮影されるキャプチャ画像のシャッタスピードに応じたフレームレートとなるからである。

　このようにフレームレートが急に変化すると、ユーザはライブビュー表示される画像上で被写体を追うこと、すなわち被写体の動きに合わせて適切にカメラ等を動かすことが難しくなってしまう。

　また、図１の例では連写前ライブビュー画像のシャッタスピード（露光時間）と、キャプチャ画像のシャッタスピードとが大きく異なる。そのため、画像の露光中心から表示開始までの時間（間隔）が変化するので、ユーザはライブビュー表示で被写体を追うことが難しくなってしまい、手振れ等が発生しやすくなる。

　例えば、連写前ライブビュー画像の露光期間D11の中心から、その連写前ライブビュー画像の表示開始、つまり表示期間P11の開始（先頭）までの期間T21は比較的短い。すなわち、連写前ライブビュー画像の露光中心から表示開始までの時間が比較的短い。なお、露光期間D11の中心とは、露光期間D11を表す平行四辺形の中心位置である。

　これに対して、例えばキャプチャ画像の露光期間D12の中心から、そのキャプチャ画像の表示開始、つまり表示期間P12の開始までの期間T22は長くなっている。これは、キャプチャ画像のシャッタスピードが遅く、露光時間が長くなることによって、露光中心から表示開始までの時間が長くなってしまうからである。

　このように、ライブビュー表示される画像の露光中心から表示開始までの間隔が大きく変化する場合にも、ユーザは被写体を追いにくくなってしまう。

　さらに、ユーザがシャッタボタンを押して連写の開始を指示した直後のタイミングで、ライブビュー表示の更新が急に止まってしまうため、ユーザが被写体を追いにくくなってしまい、手振れ等が発生しやすくなる。

　例えば図１の例では、キャプチャ画像の露光期間が長いため、最後に撮像された連写前ライブビュー画像の表示開始から、最初のキャプチャ画像の表示開始までの期間T23が長くなり、その期間T23の間、継続して１つの（１フレーム分の）連写前ライブビュー画像が表示されることになる。

　換言すれば、ユーザがシャッタボタンを押した矢印A11に示すタイミングの直後に、ライブビュー表示の更新が急に止まってしまうことになる。

　これは、キャプチャ画像のシャッタスピードが遅いため、シャッタボタンが押された後の所定のタイミングから、最初のキャプチャ画像の表示開始までの間に表示できる画像が最後に撮像された連写前ライブビュー画像しかなく、ライブビュー表示を更新できないからである。

　以上のように、BOFのライブビュー表示を行う場合、撮影条件等によってはユーザが被写体を追いにくくなり、手振れ等が発生しやすくなってしまうことがあった。

　そこで、本技術では、撮影条件等に応じて、BOFのライブビュー表示と、ブラックアウトを生じさせるライブビュー表示のうちの何れかの表示形式を選択することで、撮影条件等に合致した適切なライブビュー表示を行うことができるようにした。

　以下では、ブラックアウトを生じさせるライブビュー表示を、特にブラックアウトライブビュー表示とも称することとする。

　ここで、図２および図３を参照して、本技術を適用したBOFのライブビュー表示と、ブラックアウトライブビュー表示について説明する。

　なお、図２および図３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。

　また、図２および図３においても図１における場合と同様に、平行四辺形により各画像の露光期間が表されており、四角形によりライブビュー表示における画像の表示期間が表されている。特に、同じ画像の露光期間を表す平行四辺形と、表示期間を表す四角形とは矢印により接続されている。

　各画像の露光期間を表す平行四辺形のうち、キャプチャ画像の露光期間を表す平行四辺形内には文字「Cap」が記されており、コマ間ライブビュー画像の露光期間を表す平行四辺形内には文字「LV」が記されている。

　図２は、本技術を適用したブラックアウトライブビュー表示の例を示している。

　このブラックアウトライブビュー表示では、画像が表示されないブラックアウト表示期間と、少なくともコマ間ライブビュー画像が撮像順に表示される表示期間とが交互に設けられるようにライブビュー表示が行われる。

　図２では、矢印Q21に示す部分は画像の露光期間を示しており、矢印Q22に示す部分は、ライブビュー表示における各画像の表示期間を示している。

　図２の例においてもライブビュー表示が開始されると、予め定められたシャッタスピードで連写前ライブビュー画像が撮像され、得られた連写前ライブビュー画像が、ライブビュー表示の画像として所定のフレームレートで表示される。

　そして、矢印A11に示すタイミングでユーザにより連写の開始が指示されると、適宜、連写を開始するために必要な処理（準備）が行われ、その後、矢印A31に示すタイミングで連写、つまりキャプチャ画像の撮像が開始される。

　この場合、最初のキャプチャ画像の露光期間D12が長いと、最初のキャプチャ画像が表示されるまでに時間がかかる。

　そのため、図１に示した例のように、最後に撮像した連写前ライブビュー画像を継続して表示させ続けると、ライブビュー表示のフレームレートが変化するなどして被写体を追いにくくなってしまう。

　そこで、ブラックアウトライブビュー表示では、最後に撮像した連写前ライブビュー画像を表示させた後、矢印A32に示すタイミングで連写前ライブビュー画像の表示を停止させる。すなわち、実質的にライブビュー表示を停止させ、その後、ブラックアウト表示期間P31とする。

　ここで、ブラックアウト表示期間P31では、カメラ等の表示画面には何も表示されない状態、すなわち表示画面が黒色となるブラックアウト表示の状態とされる。

　矢印A32に示すブラックアウト表示期間P31の開始のタイミングは、最後に撮像した連写前ライブビュー画像が、他の連写前ライブビュー画像の表示期間と同じ期間だけ表示されたタイミングとなる。

　したがって、ブラックアウト表示期間P31の開始前においては、全ての連写前ライブビュー画像が同じ表示期間だけ表示される。すなわち、例えば120fpsや240fpsなどの一定のフレームレートでライブビュー表示が行われることになる。

　なお、ライブビュー表示を行うカメラ等においては、矢印A11に示すユーザにより連写の開始が指示された、つまりシャッタボタンが全押しされた時刻に基づいて、ブラックアウト表示を開始する矢印A32に示すタイミング（時刻）を特定可能である。

　すなわち、カメラ等においては、矢印A11に示す時刻に基づいて、最初のキャプチャ画像の露光が開始される矢印A31に示す時刻が特定可能である。したがって、この矢印A31に示す時刻から、最後に撮像される連写前ライブビュー画像の露光開始時刻や露光終了時刻、その連写前ライブビュー画像の表示開始時刻を特定することができる。

　そして、最後に撮像される連写前ライブビュー画像の表示開始時刻と、それまでの各連写前ライブビュー画像の表示期間の長さ、つまりライブビュー表示のフレームレートとから、ブラックアウト表示期間P31を開始すべき矢印A32に示すタイミングを特定できる。

　カメラ等では、最初のキャプチャ画像の露光期間D12の後、次のキャプチャ画像の露光が開始されるまでの間、キャプチャ画像のシャッタスピードによらず、速いシャッタスピードで１または複数枚のコマ間ライブビュー画像の撮像が行われる。

　ここで、コマ間ライブビュー画像のシャッタスピード（露光時間）は、例えばコマ間ライブビュー画像を60fps以上などの所定フレームレート以上のフレームレートでライブビュー表示させることが可能なシャッタスピードなどとされる。

　特に、ブラックアウトライブビュー表示が行われる場合には、コマ間ライブビュー画像の露光期間は、少なくともキャプチャ画像の露光期間よりも短くなるようにされる。換言すれば、コマ間ライブビュー画像は、キャプチャ画像のシャッタスピードよりも速いシャッタスピードで撮像される。

　図２に示す例では、最初のキャプチャ画像の露光期間D12の後、次のキャプチャ画像の露光が開始されるまでの間に、３つのコマ間ライブビュー画像が撮像されている。ここでは、それらのコマ間ライブビュー画像の露光期間の長さ（シャッタスピード）は、連写前ライブビュー画像の露光期間の長さと同じとされている。

　なお、ここではブラックアウトライブビュー表示が行われる場合には、キャプチャ画像が表示されない例について説明する。

　しかし、これに限らず、ブラックアウトライブビュー表示が行われる場合に、ブラックアウト表示期間の後、キャプチャ画像とコマ間ライブビュー画像が60fpsなどの同じ（一定の）フレームレートで表示されるようにしてもよい。そうすれば、ライブビュー表示のフレームレートを一定に保ちつつ、ブラックアウト表示期間を可能な限り短くすることができる。

　また、最初のキャプチャ画像が撮像（キャプチャ）され、さらに複数のコマ間ライブビュー画像が撮像されると、その後、次のキャプチャ画像が撮像される。

　そして、その後においては、ユーザにより連写の終了が指示されるまで、１つのキャプチャ画像を撮像する処理と、１または複数のコマ間ライブビュー画像を撮像する処理とが交互に繰り返し行われる。換言すれば、キャプチャ画像の露光期間後、次のキャプチャ画像の露光開始までの期間に、１または複数の各コマ間ライブビュー画像の露光（撮像）が行われる。

　このようにしてキャプチャ画像が連写されている間、すなわち矢印A32に示したタイミング以降においては、ライブビュー表示として、ブラックアウト表示とコマ間ライブビュー画像の表示とが交互に行われる。換言すれば、コマ間ライブビュー画像が一定のフレームレートでライブビュー表示される間に、所定の時間間隔でブラックアウト表示状態とされる期間が設けられる。なお、図２においてはブラックアウト表示状態とされる期間、すなわちブラックアウト表示期間を表す四角形内には、文字「Black Out」が記されている。

　図２の例では、上述した矢印A32に示したタイミングでブラックアウト表示期間P31が開始され、矢印A33に示すタイミングとなるとブラックアウト表示期間P31が終了し、その後、３つのコマ間ライブビュー画像が同じ長さの表示期間で順番に表示される。すなわち、コマ間ライブビュー画像が、例えば60fps等の一定のフレームレートで表示される。

　ここではコマ間ライブビュー画像のフレームレートは、連写前ライブビュー画像のフレームレートと同じとなっている。すなわち、この例ではブラックアウトライブビュー表示においては、ブラックアウト表示期間を除いて、一定のフレームレートで画像がライブビュー表示される。

　なお、ブラックアウトライブビュー表示中におけるコマ間ライブビュー画像のフレームレートは、連写前ライブビュー画像のフレームレートと同じであってもよいし、異なっていてもよい。

　また、矢印A33に示すブラックアウト表示期間P31の終了のタイミングは、例えばキャプチャ画像の露光期間D12の終了後、最初に撮像されたコマ間ライブビュー画像の表示を開始することが可能となったタイミングである。

　キャプチャ画像の露光期間D12の終了後、次のキャプチャ画像の露光までの間に撮像された全てのコマ間ライブビュー画像がライブビュー表示されると、その後はブラックアウト表示期間P32となる。このブラックアウト表示期間P32の終了のタイミングは、例えば次のコマ間ライブビュー画像の表示が可能となったタイミングである。

　さらに、ブラックアウト表示期間P32後は、時間的に連続して撮像される２つのキャプチャ画像の間に撮像されたコマ間ライブビュー画像が一定のフレームレートで表示される。そして、キャプチャ画像の連写が終了するまで、ブラックアウト表示と、一定のフレームレートでのコマ間ライブビュー画像のライブビュー表示とが交互に行われる。

　例えばブラックアウト表示期間P32や、それより後の各ブラックアウト表示期間は、キャプチャ画像の露光期間と略同じ期間などとされる。最初のブラックアウト表示期間P31における場合と同様に、各ブラックアウト表示期間の開始と終了のタイミングは、矢印A11に示したキャプチャ画像（連写）の開始が指示されたタイミングや、キャプチャ画像のシャッタスピード、コマ間ライブビュー画像のシャッタスピードなどに基づいて特定（決定）される。

　以上のように、本技術の連写時においてはキャプチャ画像と、キャプチャ画像間における１または複数のコマ間ライブビュー画像とが交互に撮像（露光）される。

　このとき、キャプチャ画像は、ユーザ等により設定されたシャッタスピードで撮像される。これに対して、コマ間ライブビュー画像は、キャプチャ画像のシャッタスピードによらず、高速なフレームレートでのコマ間ライブビュー画像のライブビュー表示が可能なシャッタスピードで撮像される。

　また、ブラックアウトライブビュー表示が行われる場合には、一定のフレームレートで連写前ライブビュー画像が表示された後、ブラックアウト表示と、一定のフレームレートでのコマ間ライブビュー画像の表示とが連写終了まで交互に行われる。

　このようなブラックアウトライブビュー表示は、例えばキャプチャ画像の露光期間が比較的長い長秒露光（長秒撮影）、つまりシャッタスピードが比較的遅い設定で流し撮り等を行う場合に特に有効である。

　具体的には、図２に示したように連写を行った場合に、例えばライブビュー表示をするにあたり、仮に低いフレームレートでのキャプチャ画像の表示と、高いフレームレートでのコマ間ライブビュー画像の表示とを交互に行うとする。

　そのような場合、図１に示した例と同様に、ライブビュー表示される画像のフレームレートが変化するので、ユーザは被写体を追いにくくなり、手振れが発生しやすくなる。

　これに対して、ブラックアウトライブビュー表示では、フレームレートが低くなってしまうキャプチャ画像は表示させずにブラックアウトさせ、高いフレームレートのコマ間ライブビュー画像のみを表示させることで、ユーザが被写体を追いやすくなる。

　すなわち、ブラックアウトライブビュー表示では、一定の間隔でブラックアウトが生じるが、連写開始の指示後、一定のフレームレートでライブビュー表示が行われるので、ユーザが被写体を追いにくくなることはなく、手振れの発生を抑制することができる。

　特にブラックアウト表示期間には、ユーザの頭の中で被写体の動きが補間されるという知見が得られており、低フレームレートでキャプチャ画像を表示させるよりも、むしろブラックアウト表示を行う方が、より被写体を追いやすくなることが本出願人により経験的に確認されている。

　また、ブラックアウトライブビュー表示では、キャプチャ画像は表示されない。そのため、例えば図１を参照して説明したように、連写前ライブビュー画像とキャプチャ画像とで画像の露光中心から表示開始までの間隔が変化することによって、被写体を追いにくくなるようなことは、ブラックアウトライブビュー表示では生じない。

　さらに、ブラックアウトライブビュー表示では、最初のブラックアウト表示前においては、一定のフレームレートで連写前ライブビュー画像が表示される。

　したがって、ブラックアウトライブビュー表示では、図１の例のようにライブビュー表示の更新が急に止まるようなことはないので、被写体を追いにくくなるようなこともなく、手振れの発生を抑制することができる。

　以上のことから、例えばキャプチャ画像のシャッタスピードが比較的遅い設定などといった撮影条件での連写では、ブラックアウトライブビュー表示が適していることが分かる。

　本技術では、以上のようなブラックアウトライブビュー表示と、BOFのライブビュー表示との何れかの表示形式を選択し、選択した表示形式でライブビュー表示を行うことが可能である。すなわち、ブラックアウトライブビュー表示と、BOFのライブビュー表示との切り替えを行うことができる。

　図３は、本技術を適用したBOFのライブビュー表示（ブラックアウトフリーライブビュー表示）の例を示している。

　このBOFのライブビュー表示では、画像の表示が途切れることなく、つまりブラックアウト表示期間が設けられることなく、連写前ライブビュー画像やキャプチャ画像、コマ間ライブビュー画像が撮像順に表示される。特にBOFのライブビュー表示では、キャプチャ画像と、２つの連続するキャプチャ画像間に撮像された１または複数のコマ間ライブビュー画像とが交互に表示される。

　図３では、矢印Q31に示す部分は画像の露光期間を示しており、矢印Q32に示す部分は、ライブビュー表示における各画像の表示期間を示している。

　図３の例においてもライブビュー表示が開始されると、予め定められたシャッタスピードで連写前ライブビュー画像が撮像され、得られた連写前ライブビュー画像が、ライブビュー表示の画像として所定のフレームレートで表示される。

　そして、矢印A11に示すタイミングでユーザにより連写の開始が指示されると、適宜、連写を開始するために必要な処理（準備）が行われ、その後、矢印A41に示すタイミングで連写、つまりキャプチャ画像の撮像が開始される。

　この場合、BOFのライブビュー表示を実現するため、最初のキャプチャ画像の露光期間D31の直前に撮像された連写前ライブビュー画像が表示期間P41の間、継続して表示され続ける。

　具体的には、最後から２番目に撮像された連写前ライブビュー画像の表示期間P11の後、最初のキャプチャ画像の表示が可能となるまでの間、つまりキャプチャ画像の表示期間P42の開始までの間、最後に撮像された連写前ライブビュー画像が継続して表示される。

　したがって、キャプチャ画像のシャッタスピードによっては、表示期間P41が他の連写前ライブビュー画像の表示期間よりも長くなり、ライブビュー表示のフレームレートが一時的に変化してしまうこともある。

　しかし、キャプチャ画像のシャッタスピードと、連写前ライブビュー画像のシャッタスピードとの差が小さければフレームレートの変化も小さいので、ユーザにライブビュー表示の更新が急に止まったと感じさせることはない。すなわち、ユーザが被写体を追いにくくなるようなことはない。

　また、カメラ等では、最初のキャプチャ画像の露光期間D31の後、次のキャプチャ画像の露光が開始されるまでの間、速いシャッタスピードで１または複数枚のコマ間ライブビュー画像の露光が行われる。

　すなわち、BOFのライブビュー表示を行う場合においても、図２における場合と同様に、コマ間ライブビュー画像は、キャプチャ画像のシャッタスピードによらず、比較的速いシャッタスピードで撮像される。

　具体的には、例えば60fps以上などの所定のフレームレートでコマ間ライブビュー画像をライブビュー表示させることが可能なシャッタスピードなどで、各コマ間ライブビュー画像が撮像される。

　図３に示す例では、最初のキャプチャ画像の露光期間D31の後、次のキャプチャ画像の露光が開始されるまでの間に、５つのコマ間ライブビュー画像が撮像されている。

　ここでは、各コマ間ライブビュー画像の露光期間の長さ（シャッタスピード）は、連写前ライブビュー画像の露光期間の長さと同じとされているが、コマ間ライブビュー画像と連写前ライブビュー画像とで露光期間の長さが異なっていてもよい。

　また、最初のキャプチャ画像が撮像され、複数のコマ間ライブビュー画像が撮像されると、その後、次のキャプチャ画像が撮像される。

　そして、その後においては、ユーザにより連写の終了が指示されるまで、１つのキャプチャ画像を撮像する処理と、１または複数のコマ間ライブビュー画像を撮像する処理とが交互に繰り返し行われる。

　このようにしてキャプチャ画像が連写されている間においては、ライブビュー表示として、キャプチャ画像の表示と、キャプチャ画像間で撮像された１または複数のコマ間ライブビュー画像の表示とが交互に行われる。

　このとき、表示されるキャプチャ画像は、撮像された画像を確認するためのプレビュー画像としても機能するが、同時にライブビュー表示の１フレーム分の画像としても機能する。このような表示を行うことで、ブラックアウト表示期間が設けられずに、キャプチャ画像やコマ間ライブビュー画像が途切れることなく連続して表示され、BOFのライブビュー表示が実現される。

　特に、図３では、最後の連写前ライブビュー画像の表示期間P41の後、キャプチャ画像とコマ間ライブビュー画像が一定のフレームレートで表示されている。

　また、ライブビュー表示の期間全体においても、連写前ライブビュー画像、キャプチャ画像、コマ間ライブビュー画像が、例えば60fps以上の略一定のフレームレートで表示されるため、ユーザは容易に被写体を追うことができる。

　なお、BOFのライブビュー表示におけるコマ間ライブビュー画像のフレームレートは、連写前ライブビュー画像のフレームレートと同じであってもよいし、異なっていてもよい。

　以上のように本技術の連写時においては、BOFのライブビュー表示を行う場合であっても、ブラックアウトライブビュー表示を行う場合と同様にしてキャプチャ画像と、１または複数のコマ間ライブビュー画像とが交互に撮像（露光）される。

　このとき、キャプチャ画像は、ユーザ等により設定されたシャッタスピードで撮像され、コマ間ライブビュー画像は、キャプチャ画像のシャッタスピードによらず、高速なフレームレートでのコマ間ライブビュー画像の表示が可能なシャッタスピードで撮像される。

　また、BOFのライブビュー表示が行われる場合には、例えば略一定のフレームレートで連写前ライブビュー画像が表示された後、一定のフレームレートで、キャプチャ画像の表示と、１または複数のコマ間ライブビュー画像の表示とが連写終了まで交互に行われる。

　このようなBOFのライブビュー表示は、キャプチャ画像のシャッタスピードが比較的速い設定とされている場合などに特に有効である。

　具体的には、例えばキャプチャ画像のシャッタスピードが速い場合、キャプチャ画像とコマ間ライブビュー画像を同じフレームレートで表示することができる。

　そのため、特にブラックアウト表示を行わなくても、ユーザは容易に被写体を追うことができるので、ライブビュー表示のフレームレートの変化に起因する手振れ等の発生を抑制することができる。さらに、このような場合、キャプチャ画像をブラックアウトさせない方が、ライブビュー表示が途切れなくなるので、より被写体を追いやすくなる。

　これらのことから、例えばキャプチャ画像のシャッタスピードが比較的速い設定での連写では、本技術を適用したBOFのライブビュー表示が適していることが分かる。

〈画像処理装置の構成例〉
　続いて、以上において説明した本技術を適用した画像処理装置について説明する。

　画像処理装置は、以上において説明した連写を行うことが可能な撮像素子と、本技術を適用したBOFのライブビュー表示およびブラックアウトライブビュー表示を行うことが可能な表示デバイスを有していれば、カメラやスマートホンなど、どのようなものであってもよい。

　本技術を適用した画像処理装置は、例えば図４に示すように構成される。

　図４に示す画像処理装置１１は、レンズ部２１、イメージセンサ２２、画像処理部２３、コーデック処理部２４、表示部２５、記録部２６、動き検出部２７、操作部２８、および制御部２９を有している。

　レンズ部２１は、レンズ等の光学素子や絞りなどからなり、制御部２９の制御に従って焦点調節等を行うとともに、入射した光を集光し、イメージセンサ２２へと導く。

　イメージセンサ２２は、例えばCMOS（Complementary Metal Oxide Semiconductor）などからなり、制御部２９の制御に従って、レンズ部２１から入射した光を光電変換することで画像を撮像し、その結果得られた画像データを画像処理部２３に供給する。すなわち、イメージセンサ２２は、上述した連写前ライブビュー画像やキャプチャ画像、コマ間ライブビュー画像を撮像し、それらの画像の画像データを出力する。

　なお、以下では電子シャッタ方式により画像が撮像される例について説明するが、画像の撮像方式は電子シャッタ方式に限らず、メカシャッタ方式など、どのような方式であってもよい。

　画像処理部２３は、制御部２９の制御に従って、イメージセンサ２２から供給された画像データに対して黒レベル補正や、デモザイク処理、ガンマ補正などの各種の画像処理を施し、適宜、画像処理が施された画像データを表示部２５およびコーデック処理部２４に供給する。また、画像処理部２３は、制御部２９の制御に従って、コーデック処理部２４から供給された画像データを表示部２５に供給する。

　コーデック処理部２４は、制御部２９の制御に従って、画像処理部２３から供給された画像データに対して所定の符号化方式の符号化処理を施し、その結果得られた符号化後の画像データを記録部２６に供給する。

　また、コーデック処理部２４は、制御部２９の制御に従って、記録部２６から符号化された画像データを読み出して復号し、その結果得られた復号後の画像データを画像処理部２３に供給する。

　表示部２５は、例えば液晶パネルや有機EL（Electro Luminescence）パネルなどからなり、制御部２９の制御に従って、画像処理部２３から供給された画像データに基づいて画像を表示させる。例えば表示部２５は、画像処理部２３から供給された画像データに基づいて画像を表示させることで、ライブビュー表示を行う。

　記録部２６は、制御部２９の制御に従って、コーデック処理部２４から供給された画像データを、キャプチャされた記録用の画像であるキャプチャ画像の画像データとして記録したり、記録している画像データをコーデック処理部２４に供給したりする。なお、記録部２６は、画像処理装置１１に対して着脱可能であってもよい。

　動き検出部２７は、例えば加速度センサなどからなり、画像処理装置１１の動きを検出して、その検出結果を制御部２９に供給する。

　操作部２８は、例えばシャッタボタン等の各種のボタンや、スイッチ、ダイヤル、タッチパネルなどからなる。操作部２８は、ユーザにより操作されると、その操作に応じた信号を制御部２９に供給する。

　制御部２９は、動き検出部２７からの動きの検出結果や、操作部２８から供給される信号に応じてレンズ部２１、イメージセンサ２２、画像処理部２３、コーデック処理部２４、表示部２５、および記録部２６を制御する。

　例えば制御部２９は、記録用のキャプチャ画像を複数連続して撮像する場合に、表示部２５にBOFのライブビュー表示を行わせるか、またはブラックアウトライブビュー表示を行わせるかを選択し、その選択結果に応じて表示部２５等を制御する。

〈撮像処理の説明〉
　続いて、画像処理装置１１の動作について説明する。

　例えば、画像処理装置１１が起動されるなどして画像の撮像が可能な状態となると、画像処理装置１１は、ライブビュー表示をしながらユーザの指示に応じてキャプチャ画像を撮像する撮像処理を開始する。

　以下、図５のフローチャートを参照して、画像処理装置１１により行われる撮像処理について説明する。なお、ここでは、画像処理装置１１において画像の撮像方法を示すドライブモードが、連続撮影を行う「連写」とされているものとする。すなわち、画像処理装置１１が連続して複数のキャプチャ画像を撮像することとする。

　ステップＳ１１において制御部２９は、レンズ部２１およびイメージセンサ２２を制御して、ライブビュー表示のための露光動作を開始させる。

　すると、レンズ部２１は制御部２９の制御に従って焦点調節等の処理を開始する。また、イメージセンサ２２は制御部２９の制御に従って、被写体からレンズ部２１を介して入射した光を受光して光電変換することで、複数の連写前ライブビュー画像を順次、撮像し、得られた画像データを画像処理部２３に供給する。

　このとき、制御部２９は、例えば120fpsや240fpsなどの所定フレームレートで連写前ライブビュー画像のライブビュー表示が可能となるように、予め定められたシャッタスピード（露光時間）でイメージセンサ２２に連写前ライブビュー画像を撮像させる。

　ステップＳ１２において制御部２９は、画像処理部２３および表示部２５を制御して、ライブビュー表示を行わせる。

　すなわち、画像処理部２３は、制御部２９の制御に従って、イメージセンサ２２から供給された連写前ライブビュー画像の画像データに対して、必要に応じて各種の画像処理を施すとともに、画像処理が施された画像データを表示部２５に供給する。また、表示部２５は、制御部２９の制御に従って、画像処理部２３から順次、供給される画像データに基づいて、予め定められた所定のフレームレートで連写前ライブビュー画像を表示する。

　ユーザは、表示部２５に連写前ライブビュー画像が表示されると、その連写前ライブビュー画像を見ながら構図や画角などを確認し、任意のタイミングでシャッタボタンを押し込んで連写の開始を指示する。

　ステップＳ１３において制御部２９は、操作部２８としてのシャッタボタンから供給される信号に基づいて、シャッタボタンが押されたか否か、より詳細にはシャッタボタンが全押しされた状態とされたか否かを判定する。

　ステップＳ１３において、まだシャッタが押されていない、つまり連写の開始が指示されていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返し行われる。すなわち、連写前ライブビュー画像を撮像してライブビュー表示する処理が継続して行われる。

　これに対して、ステップＳ１３においてシャッタボタンが押された、つまり連写の開始が指示されたと判定された場合、その後、処理はステップＳ１４へと進む。

　なお、画像処理装置１１では、シャッタボタンが押されてキャプチャ画像の連写の開始が指示された後においても、キャプチャ画像の撮像準備等のタイミングの関係により、何枚かの連写前ライブビュー画像の撮像と表示が行われる。

　ステップＳ１４において制御部２９は、BOFのライブビュー表示を行うか否かを判定する。

　例えばステップＳ１４では、キャプチャ画像のシャッタスピード、キャプチャ画像間におけるコマ間ライブビュー画像のシャッタスピードやコマ数（枚数）、動き検出部２７での動きの検出結果などに基づいてBOFのライブビュー表示を行うか否かが判定される。換言すれば、制御部２９は、BOFのライブビュー表示を行うか、またはブラックアウトライブビュー表示を行うかを選択（決定）する。

　なお、BOFのライブビュー表示を行うか否かの判定、すなわちBOFのライブビュー表示とブラックアウトライブビュー表示の何れの表示方式でライブビュー表示を行うかの選択の詳細については後述する。

　ステップＳ１４においてBOFのライブビュー表示を行うと判定された場合、その後、処理はステップＳ１５へと進み、連写中にBOFのライブビュー表示が行われる。

　すなわち、ステップＳ１５において制御部２９は、イメージセンサ２２を制御して、キャプチャ画像を撮像させる。

　イメージセンサ２２は、制御部２９の制御に従って、被写体からレンズ部２１を介して入射した光を受光して光電変換することでキャプチャ画像を撮像し、得られた画像データを画像処理部２３に供給する。

　このとき、制御部２９は、ユーザにより指定（設定）されたか、または予め定められたキャプチャ画像の連写時のシャッタスピードで、イメージセンサ２２にキャプチャ画像を撮像させる。また、キャプチャ画像を撮像してから、次のキャプチャ画像を撮像するまでの時間間隔も予め定められているか、またはユーザにより指定されており、制御部２９は、そのような時間間隔でキャプチャ画像を撮像させる。

　ステップＳ１６において制御部２９は、画像処理部２３および表示部２５を制御し、ステップＳ１５で撮像されたキャプチャ画像をライブビュー表示の画像として表示させる。

　画像処理部２３は、制御部２９の制御に従って、イメージセンサ２２から供給されたキャプチャ画像の画像データに対して必要な画像処理を施し、画像処理が施された画像データを表示部２５に供給する。また、画像処理部２３は、画像処理が施された画像データをコーデック処理部２４にも供給する。

　表示部２５は、制御部２９の制御に従って、画像処理部２３から供給された画像データに基づいて、キャプチャ画像を表示する。

　なお、例えばライブビュー表示中に最初のキャプチャ画像が表示される場合、制御部２９は、図３を参照して説明したように、最後に撮像された連写前ライブビュー画像については、最初のキャプチャ画像の表示が可能となるまでの間、その連写前ライブビュー画像を継続して表示させ続ける。

　ステップＳ１７において制御部２９は、コーデック処理部２４および記録部２６を制御し、キャプチャ画像の画像データを記録させる。

　すなわち、コーデック処理部２４は、制御部２９の制御に従って、画像処理部２３から供給されたキャプチャ画像の画像データに対して符号化処理を施し、符号化後の画像データを記録部２６に供給する。また、記録部２６は、制御部２９の制御に従って、コーデック処理部２４から供給されたキャプチャ画像の画像データを記録する。

　ステップＳ１８において制御部２９は、イメージセンサ２２を制御して、コマ間ライブビュー画像を撮像させる。

　イメージセンサ２２は、制御部２９の制御に従って、被写体からレンズ部２１を介して入射した光を受光して光電変換することで、１または複数のコマ間ライブビュー画像を順次、撮像し、得られた画像データを画像処理部２３に供給する。

　このとき、制御部２９は、例えば60fps以上などの所定フレームレート以上のフレームレートでのコマ間ライブビュー画像の表示が可能となるように、所定のシャッタスピードでイメージセンサ２２にコマ間ライブビュー画像を撮像させる。

　なお、コマ間ライブビュー画像撮像時のシャッタスピードは、予め定められていてもよいし、制御部２９により定められるようにしてもよい。例えばコマ間ライブビュー画像撮像時のシャッタスピードは、キャプチャ画像撮像時のシャッタスピードや、キャプチャ画像を撮像する時間間隔、コマ間ライブビュー画像の表示のフレームレートなどに基づいて定められてもよい。

　また、キャプチャ画像を撮像してから、次のキャプチャ画像を撮像するまでの間に撮像されるコマ間ライブビュー画像の数（コマ数）も制御部２９により定められるようにすればよい。例えばコマ間ライブビュー画像のコマ数は、キャプチャ画像撮像時のシャッタスピード、キャプチャ画像を撮像する時間間隔、コマ間ライブビュー画像のシャッタスピードや表示のフレームレートなどに基づいて定められるようにすればよい。

　ステップＳ１９において制御部２９は、画像処理部２３および表示部２５を制御して、コマ間ライブビュー画像を表示させる。

　すなわち、画像処理部２３は、制御部２９の制御に従って、イメージセンサ２２から供給されたコマ間ライブビュー画像の画像データに対して、必要に応じて各種の画像処理を施して、画像処理が施された画像データを表示部２５に供給する。また、表示部２５は、制御部２９の制御に従って、画像処理部２３から順次、供給される画像データに基づいて、所定のフレームレートでコマ間ライブビュー画像を表示する。

　これにより、図３を参照して説明したBOFのライブビュー表示が行われるので、ユーザは、連写中においてもキャプチャ画像やコマ間ライブビュー画像を見ながら被写体を追いつつ構図や画角などを確認することができる。

　ステップＳ１９においてコマ間ライブビュー画像が表示されると、その後、処理はステップＳ２５へと進む。

　一方、ステップＳ１４においてBOFのライブビュー表示を行わないと判定された場合、すなわちブラックアウトライブビュー表示を行うと判定された場合、その後、処理はステップＳ２０へと進み、連写中にブラックアウトライブビュー表示が行われる。

　ステップＳ２０において制御部２９はキャプチャ画像を撮像させる。なお、ステップＳ２０の処理はステップＳ１５の処理と同様であるので、その説明は省略する。

　ステップＳ２１において制御部２９は、画像処理部２３および表示部２５を制御し、ライブビュー画像の表示を停止させる。

　例えば図２に示したブラックアウトライブビュー表示を行う場合において、直前のステップＳ２０で最初のキャプチャ画像が撮像されるとする。

　この場合、制御部２９は、ユーザによりシャッタボタンが全押しされて連写の開始が指示されたタイミング（時刻）に基づいて、最後に撮像され、表示されている連写前ライブビュー画像の表示を停止するタイミング（時刻）を特定する。例えば図２に示した例では、矢印A11に示したタイミングに基づいて、矢印A32に示すタイミングが特定される。

　制御部２９は、画像処理部２３および表示部２５を制御し、特定されたタイミングで最後の連写前ライブビュー画像の表示を停止させ、その後、次のコマ間ライブビュー画像の表示が可能となるまでの間、表示部２５にライブビューの画像を表示させないブラックアウト表示期間とさせる。すなわち、制御部２９はブラックアウト表示を行わせる。

　また、例えば直前のステップＳ２０で２枚目以降、つまり最初のものではないキャプチャ画像が撮像された場合においても、最初のキャプチャ画像が撮像された場合と同様の処理が行われる。

　そのような場合、制御部２９は、連写の開始が指示されたタイミングや直前のステップＳ２０で撮像されたキャプチャ画像の露光開始時刻、キャプチャ画像やコマ間ライブビュー画像のシャッタスピード、コマ間ライブビュー画像の表示のフレームレートなどから、最後に撮像され、表示されているコマ間ライブビュー画像の表示を停止するタイミング（時刻）を特定する。

　このような最後のコマ間ライブビュー画像の表示を停止するタイミングは、その最後のコマ間ライブビュー画像が、コマ間ライブビュー画像のフレームレートにより定まる表示期間だけ継続して表示されたタイミングである。

　制御部２９は、画像処理部２３および表示部２５を制御し、特定されたタイミングで最後のコマ間ライブビュー画像の表示を停止させ、その後、次のコマ間ライブビュー画像の表示が可能となるまでの間、ブラックアウト表示を行わせる。

　ステップＳ２２において制御部２９は、コーデック処理部２４および記録部２６を制御し、ステップＳ２０で撮像されたキャプチャ画像の画像データを記録させる。なお、ステップＳ２２の処理はステップＳ１７の処理と同様であるので、その説明は省略する。

　ステップＳ２３において制御部２９は、イメージセンサ２２を制御して、コマ間ライブビュー画像を撮像させ、ステップＳ２４において制御部２９は、画像処理部２３および表示部２５を制御して、コマ間ライブビュー画像を表示させる。

　なお、これらのステップＳ２３およびステップＳ２４の処理は、ステップＳ１８およびステップＳ１９の処理と同様であるので、その説明は省略する。なお、ステップＳ２３では、例えば制御部２９は、キャプチャ画像のシャッタスピードよりも速いシャッタスピードでコマ間ライブビュー画像を撮像させる。

　このようにしてステップＳ２０乃至ステップＳ２４の処理が行われると、例えば図２を参照して説明したブラックアウトライブビュー表示が行われる。したがって、ユーザは連写中においてもコマ間ライブビュー画像を見ながら被写体を追いつつ構図や画角などを確認することができる。

　ステップＳ２４においてコマ間ライブビュー画像が表示されると、その後、処理はステップＳ２５へと進む。

　ステップＳ１９またはステップＳ２４の処理が行われると、ステップＳ２５において制御部２９は、操作部２８としてのシャッタボタンから供給される信号に基づいて、キャプチャ画像の連写を終了するか否かを判定する。

　例えばシャッタボタンが全押しされていない状態となった場合、ユーザにより連写の終了が指示されたとされ、ステップＳ２５において連写を終了すると判定される。

　ステップＳ２５において、まだ連写を終了しないと判定された場合、処理はステップＳ１４に戻り、上述した処理が繰り返し行われる。

　この場合、最初に行われたステップＳ１４でBOFのライブビュー表示を行うと判定された場合には、その後、ステップＳ１４では継続してBOFのライブビュー表示を行うと判定される。すなわち、ライブビュー表示としてBOFのライブビュー表示が選択された場合には、キャプチャ画像の連写が終了するまで、継続してBOFのライブビュー表示が行われる。

　同様に、最初に行われたステップＳ１４でBOFのライブビュー表示を行わないと判定された場合には、その後、ステップＳ１４では継続してBOFのライブビュー表示を行わないと判定され、継続してブラックアウトライブビュー表示が行われる。

　また、ステップＳ２５において連写を終了すると判定された場合、制御部２９は、画像処理装置１１の各部で行われている処理を停止させ、撮像処理は終了する。

　以上のようにして画像処理装置１１は、BOFのライブビュー表示、またはブラックアウトライブビュー表示の何れかを適切に選択し、選択した表示方式でのライブビュー表示を行いながらキャプチャ画像を連写する。

　このようにすることで、撮影条件等に合致した適切なライブビュー表示を行うことができる。すなわち、例えばBOFのライブビュー表示が有効なシーンと有効でないシーンなどに対して、臨機応変に対応することができる。

〈表示方式の選択について〉
　続いて、上述した図５の撮像処理におけるステップＳ１４の処理、すなわちライブビュー表示の表示方式の選択について説明する。

　ライブビュー表示として、BOFのライブビュー表示とブラックアウトライブビュー表示の何れを行うかは、例えばライブビュー表示のフレームレート、キャプチャ画像の露光時間、およびコマ間ライブビュー画像の露光時間に基づいて決定（選択）することができる。

　例えばライブビュー表示、すなわちBOFのライブビュー表示、またはブラックアウトライブビュー表示を行うときの表示のフレームレートが60pfsなどの固定のフレームレートであるとする。

　この場合に、画像の露光時間がライブビュー表示を行うときの何フレーム分の表示時間に相当するか、すなわち露光時間と同じ長さの期間に表示されるライブビュー表示のフレーム数を露光フレーム数と呼ぶこととする。露光フレーム数は、画像の露光時間、すなわちシャッタスピードと、ライブビュー表示のフレームレートとから求めることができる。

　例えば１つのキャプチャ画像の露光時間が、ライブビュー表示の２フレーム分の表示時間と同じである場合には、キャプチャ画像の露光フレーム数は「２」となる。

　制御部２９では、このようなキャプチャ画像の露光フレーム数と、コマ間ライブビュー画像の露光フレーム数とを比較することで、BOFのライブビュー表示とするか、またはブラックアウトライブビュー表示とするかを選択することができる。

　具体的には、例えば制御部２９は、図６の上側に示すようにキャプチャ画像の露光フレーム数がコマ間ライブビュー画像の露光フレーム数以下である場合、BOFのライブビュー表示を選択する。

　逆に制御部２９は、図６の下側に示すようにキャプチャ画像の露光フレーム数がコマ間ライブビュー画像の露光フレーム数よりも多い場合、ブラックアウトライブビュー表示を選択する。

　なお、図６において横方向は時間方向を示しており、図６では、図１における場合と同様に、平行四辺形により各画像の露光期間が表されており、四角形によりライブビュー表示における画像の表示期間が表されている。

　特に、図６では、斜線（ハッチ）が施された平行四辺形および四角形は、キャプチャ画像の露光期間および表示期間を表しており、斜線が施されていない平行四辺形および四角形は、コマ間ライブビュー画像の露光期間および表示期間を表している。さらに、図６では、ライブビュー表示のフレームレートは60pfsであるとする。

　図６中、上側の例では、矢印Q41に示す部分は、キャプチャ画像やコマ間ライブビュー画像の露光期間を示しており、矢印Q42に示す部分は、ライブビュー表示における各画像の表示期間を示している。

　この例では、キャプチャ画像の露光フレーム数もコマ間ライブビュー画像の露光フレーム数もともに「１」となっている。すなわち、キャプチャ画像の露光フレーム数がコマ間ライブビュー画像の露光フレーム数以下となっている。

　そのため、撮像されたキャプチャ画像やコマ間ライブビュー画像を順次、表示していけば、60pfsでライブビュー表示を行うことが可能である。

　そこで、制御部２９は、キャプチャ画像の露光フレーム数がコマ間ライブビュー画像の露光フレーム数以下である場合には、BOFのライブビュー表示を選択する。

　一方、図６中、下側の例では、矢印Q43に示す部分は、キャプチャ画像やコマ間ライブビュー画像の露光期間を示しており、矢印Q44に示す部分は、ライブビュー表示における各画像の表示期間を示している。

　この例では、キャプチャ画像の露光フレーム数は「２」となっている。すなわち、１つのキャプチャ画像を撮像するには、ライブビュー表示の２フレーム分の表示時間に相当する露光時間が必要となっている。

　これに対して、コマ間ライブビュー画像の露光フレーム数は、図中、上側の例と同様に「１」となっている。

　したがって、この例では、キャプチャ画像の露光フレーム数がコマ間ライブビュー画像の露光フレーム数よりも多い状態となっている。

　そのため、60pfsでBOFのライブビュー表示を行おうとしても、キャプチャ画像の直前に表示させるべき１フレーム分のコマ間ライブビュー画像を撮像することができない。

　すなわち、矢印Q44に示す部分では、60pfsでライブビュー表示を行うときに表示されるべき画像が示されているが、キャプチャ画像の露光フレーム数が「２」であるため、点線で囲まれた期間内のキャプチャ画像の直前にあるコマ間ライブビュー画像は、実際には撮像することができない。

　そこで、制御部２９は、キャプチャ画像の露光フレーム数がコマ間ライブビュー画像の露光フレーム数よりも多い場合には、ブラックアウトライブビュー表示を選択する。

　この場合、制御部２９は、実際に撮像されたコマ間ライブビュー画像については60pfsでライブビュー表示を行いつつ、矢印Q44に示す部分における点線で囲まれる期間をブラックアウト表示期間とし、画像の表示を行わないようにする。

　このブラックアウト表示期間は、例えばブラックアウトをしなければキャプチャ画像が表示される期間を含む、キャプチャ画像の露光フレーム数分の長さの期間などとされる。

　このようなブラックアウトライブビュー表示を行うことで、ブラックアウト表示期間以外では、60pfsでコマ間ライブビュー画像を表示させることができる。

　以上においては、制御部２９がキャプチャ画像とコマ間ライブビュー画像のシャッタスピードに基づいて、それらのキャプチャ画像とコマ間ライブビュー画像の露光フレーム数を求めて比較することで、ライブビュー表示の表示方式を選択する例について説明した。

　しかし、これに限らず、キャプチャ画像とコマ間ライブビュー画像とで露光フレーム数が異なることを前提として、キャプチャ画像とコマ間ライブビュー画像のシャッタスピードを比較することでも、上述の露光フレーム数を比較する場合と等価な処理、すなわちライブビュー表示の表示方式の選択を行うことができる。

　そのような場合、制御部２９は、キャプチャ画像のシャッタスピードが、コマ間ライブビュー画像のシャッタスピードより遅い場合、ブラックアウトライブビュー表示を選択する。これに対して、制御部２９は、キャプチャ画像のシャッタスピードが、コマ間ライブビュー画像のシャッタスピード以下である場合、BOFのライブビュー表示を選択する。

　なお、例えば制御部２９は、キャプチャ画像のシャッタスピードが、所定の閾値よりも大きい場合や、キャプチャ画像とコマ間ライブビュー画像のシャッタスピードの差分が所定値以上である場合に、ブラックアウトライブビュー表示を選択するようにしてもよい。

　また、キャプチャ画像とコマ間ライブビュー画像の露光フレーム数が同一（例えば「１」）である場合に、露光フレーム数が変わらない範囲で制御部２９がキャプチャ画像のシャッタスピードの調整を行うようにしてもよい。

　その他、制御部２９が、動き検出部２７での動きの検出結果や、ユーザが操作部２８を操作するなどしてメニュー等において指定された撮影モードに基づいてライブビュー表示の表示方式を選択するようにしてもよい。

　具体的には、例えば制御部２９は、動き検出部２７から供給された動きの検出結果に基づいて、流し撮り等のユーザによる撮影動作を特定する。例えば制御部２９は、画像処理装置１１が時間とともに水平方向に移動している場合、撮影動作として流し撮りが行われているとする。

　そして制御部２９は、画像処理装置１１の特定の動き、すなわち流し撮り等の予め定められた特定の撮影動作が行われていると特定された場合、ブラックアウトライブビュー表示を選択する。これに対して、制御部２９は、特定の撮影動作が行われていない場合にはBOFのライブビュー表示を選択する。

　なお、画像処理装置１１の動きとして特定の動きが検出された場合、すなわち流し撮り等の特定の撮影動作が行われていると特定された場合に、例えば図６を参照して説明したように、キャプチャ画像やコマ間ライブビュー画像のシャッタスピード等に基づいてライブビュー表示の表示方式を選択するようにしてもよい。この場合、例えば特定の撮影動作が行われていないときには、ライブビュー表示の表示方式としてBOFのライブビュー表示が選択される。

　また、例えば制御部２９が、ユーザ等により指定されている撮影モードや、ユーザが操作部２８を操作することで入力された指示（指示入力）などに基づいて、ライブビュー表示の表示方式を選択するようにしてもよい。

　具体的には、例えば流し撮りモード等の特定の撮影モードが指定されている場合や、モード切り替え等でのユーザの指示により明示的にBOFのライブビュー表示のオフが指定されている場合、制御部２９はブラックアウトライブビュー表示を選択する。

　そのような場合、例えば特定の撮影モード以外の他の撮影モードが指定されている場合や、ユーザにより入力された指示によって明示的にBOFのライブビュー表示のオンが指定されている場合には、制御部２９は、BOFのライブビュー表示を選択する。

　なお、流し撮りモードなどの特定の撮影モードが指定されている場合に、例えば図６を参照して説明したように、制御部２９がキャプチャ画像やコマ間ライブビュー画像のシャッタスピード等に基づいてライブビュー表示の表示方式を選択するようにしてもよい。この場合、例えば特定の撮影モードが指定されていないときには、制御部２９はライブビュー表示の表示方式としてBOFのライブビュー表示を選択する。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、ボタン、スイッチ、タッチパネル、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　記録用の複数のキャプチャ画像を連続して撮像する場合に、
　　前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、
　　画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるか
　を選択する制御部を備える
　画像処理装置。
（２）
　前記制御部は、所定のフレームレート以上のフレームレートで前記コマ間画像を表示することが可能なシャッタスピードで、前記コマ間画像を撮像させる
　（１）に記載の画像処理装置。
（３）
　前記所定のフレームレートは60fpsである
　（２）に記載の画像処理装置。
（４）
　前記制御部は、前記ブラックアウトライブビュー表示を行う場合、前記キャプチャ画像のシャッタスピードよりも速いシャッタスピードで前記コマ間画像を撮像させる
　（１）に記載の画像処理装置。
（５）
　前記制御部は、前記キャプチャ画像のシャッタスピード、および前記コマ間画像のシャッタスピードに基づいて、前記ブラックアウトフリーライブビュー表示を行わせるか、または前記ブラックアウトライブビュー表示を行わせるかの選択を行う
　（１）乃至（４）の何れか一項に記載の画像処理装置。
（６）
　前記制御部は、所定のフレームレートで前記ブラックアウトフリーライブビュー表示または前記ブラックアウトライブビュー表示を行う場合における、前記キャプチャ画像の露光時間と同じ長さの期間に表示されるフレーム数と、前記コマ間画像の露光時間と同じ長さの期間に表示されるフレーム数とに基づいて前記選択を行う
　（５）に記載の画像処理装置。
（７）
　前記制御部は、前記キャプチャ画像の露光時間と同じ長さの期間に表示されるフレーム数が、前記コマ間画像の露光時間と同じ長さの期間に表示されるフレーム数よりも多い場合、前記ブラックアウトライブビュー表示を選択する
　（６）に記載の画像処理装置。
（８）
　前記制御部は、前記キャプチャ画像のシャッタスピードが、前記コマ間画像のシャッタスピードよりも遅い場合、前記ブラックアウトライブビュー表示を選択する
　（５）に記載の画像処理装置。
（９）
　前記制御部は、特定の撮影モードが指定されている場合、前記キャプチャ画像のシャッタスピード、および前記コマ間画像のシャッタスピードに基づいて、前記選択を行う
　（５）乃至（８）の何れか一項に記載の画像処理装置。
（１０）
　前記制御部は、前記画像処理装置の動きの検出結果に基づいて、前記ブラックアウトフリーライブビュー表示を行わせるか、または前記ブラックアウトライブビュー表示を行わせるかの選択を行う
　（１）乃至（４）の何れか一項に記載の画像処理装置。
（１１）
　前記制御部は、前記画像処理装置の動きとして特定の動きが検出された場合、前記キャプチャ画像のシャッタスピード、および前記コマ間画像のシャッタスピードに基づいて、前記選択を行う
　（１０）に記載の画像処理装置。
（１２）
　前記制御部は、指定されている撮影モード、またはユーザにより入力された指示に基づいて、前記ブラックアウトフリーライブビュー表示を行わせるか、または前記ブラックアウトライブビュー表示を行わせるかの選択を行う
　（１）乃至（４）の何れか一項に記載の画像処理装置。
（１３）
　前記制御部は、前記キャプチャ画像の撮像開始が指示されたタイミングに基づいて、前記ブラックアウト表示期間の開始のタイミングを特定し、前記ブラックアウトライブビュー表示を行わせる
　（１）乃至（１２）の何れか一項に記載の画像処理装置。
（１４）
　画像処理装置が、
　記録用の複数のキャプチャ画像を連続して撮像する場合に、
　　前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、
　　画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるか
　を選択する
　画像処理方法。
（１５）
　記録用の複数のキャプチャ画像を連続して撮像する場合に、
　　前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、
　　画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるか
　を選択する
　ステップを含む処理をコンピュータに実行させるプログラム。

　１１　画像処理装置，　２１　レンズ部，　２２　イメージセンサ，　２３　画像処理部，　２４　コーデック処理部，　２５　表示部，　２６　記録部，　２７　動き検出部，　２８　操作部，　２９　制御部

Claims

　記録用の複数のキャプチャ画像を連続して撮像する場合に、
　　前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、
　　画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるか
　を選択する制御部を備える
　画像処理装置。
　前記制御部は、所定のフレームレート以上のフレームレートで前記コマ間画像を表示することが可能なシャッタスピードで、前記コマ間画像を撮像させる
　請求項１に記載の画像処理装置。
　前記所定のフレームレートは60fpsである
　請求項２に記載の画像処理装置。
　前記制御部は、前記ブラックアウトライブビュー表示を行う場合、前記キャプチャ画像のシャッタスピードよりも速いシャッタスピードで前記コマ間画像を撮像させる
　請求項１に記載の画像処理装置。
　前記制御部は、前記キャプチャ画像のシャッタスピード、および前記コマ間画像のシャッタスピードに基づいて、前記ブラックアウトフリーライブビュー表示を行わせるか、または前記ブラックアウトライブビュー表示を行わせるかの選択を行う
　請求項１に記載の画像処理装置。
　前記制御部は、所定のフレームレートで前記ブラックアウトフリーライブビュー表示または前記ブラックアウトライブビュー表示を行う場合における、前記キャプチャ画像の露光時間と同じ長さの期間に表示されるフレーム数と、前記コマ間画像の露光時間と同じ長さの期間に表示されるフレーム数とに基づいて前記選択を行う
　請求項５に記載の画像処理装置。
　前記制御部は、前記キャプチャ画像の露光時間と同じ長さの期間に表示されるフレーム数が、前記コマ間画像の露光時間と同じ長さの期間に表示されるフレーム数よりも多い場合、前記ブラックアウトライブビュー表示を選択する
　請求項６に記載の画像処理装置。
　前記制御部は、前記キャプチャ画像のシャッタスピードが、前記コマ間画像のシャッタスピードよりも遅い場合、前記ブラックアウトライブビュー表示を選択する
　請求項５に記載の画像処理装置。
　前記制御部は、特定の撮影モードが指定されている場合、前記キャプチャ画像のシャッタスピード、および前記コマ間画像のシャッタスピードに基づいて、前記選択を行う
　請求項５に記載の画像処理装置。
　前記制御部は、前記画像処理装置の動きの検出結果に基づいて、前記ブラックアウトフリーライブビュー表示を行わせるか、または前記ブラックアウトライブビュー表示を行わせるかの選択を行う
　請求項１に記載の画像処理装置。
　前記制御部は、前記画像処理装置の動きとして特定の動きが検出された場合、前記キャプチャ画像のシャッタスピード、および前記コマ間画像のシャッタスピードに基づいて、前記選択を行う
　請求項１０に記載の画像処理装置。
　前記制御部は、指定されている撮影モード、またはユーザにより入力された指示に基づいて、前記ブラックアウトフリーライブビュー表示を行わせるか、または前記ブラックアウトライブビュー表示を行わせるかの選択を行う
　請求項１に記載の画像処理装置。
　前記制御部は、前記キャプチャ画像の撮像開始が指示されたタイミングに基づいて、前記ブラックアウト表示期間の開始のタイミングを特定し、前記ブラックアウトライブビュー表示を行わせる
　請求項１に記載の画像処理装置。
　画像処理装置が、
　記録用の複数のキャプチャ画像を連続して撮像する場合に、
　　前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、
　　画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるか
　を選択する
　画像処理方法。
　記録用の複数のキャプチャ画像を連続して撮像する場合に、
　　前記キャプチャ画像と、前記キャプチャ画像が撮像されてから次の前記キャプチャ画像が撮像されるまでの間に撮像された、記録用ではない１または複数のコマ間画像とを順番に表示させるブラックアウトフリーライブビュー表示を行わせるか、
　　画像が表示されないブラックアウト表示期間と、少なくとも前記コマ間画像が順番に表示される表示期間とが交互に設けられるブラックアウトライブビュー表示を行わせるか
　を選択する
　ステップを含む処理をコンピュータに実行させるプログラム。