JP7307837B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、ライブビュー表示を行う撮像装置に関する。

デジタルカメラ等の撮像装置の中には、主被写体に対して撮像面位相差方式の自動焦点検出（撮像面位相差ＡＦ）を行いながら静止画の連続撮影を行う連写（連続撮影）機能が備えられているものがある。この連写機能の実行中、撮像装置は背面モニタ等にライブビュー（ＬＶ）画像として表示させる画像と、静止画像として記録するための記録画像を各々読み出して、リアルタイムに表示と記録を行う。

例えば、連写時に焦点検出を行いながら撮像素子から取得した画像をライブビュー画像（ＬＶ画像）として表示装置に表示させる際に、主被写体への追従性を向上させる技術が知られている。特許文献１では、表示装置に、解像度の異なる画像を逐次表示するか高解像度画像のみを表示するかを切り替える技術が提案されている。特許文献１によれば、フレームレートが低い連写においても、ＬＶ画像の表示時間間隔を短縮してフレーミング時の主被写体への追従性を向上させることが出来る。

特開２０１５－１４４３４６号公報

しかしながら、特許文献１で提案されている技術では、解像度の異なる画像を表示装置に逐次表示する際に、解像度が異なる画像同士の露出の違いや信号読み出し条件の違いなどに応じて画像同士の画角に差が生じる場合がある。このように、表示される画像同士に画角の差が生じると、画角が異なる画像が交互に表示されるため、ユーザにとって違和感のある不自然な表示となってしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は、連続撮影時に異なる種類の画像を取得してそれらの画像を表示する場合に、連続的に表示される画像の違和感を低減することである。

本発明に係わる画像処理装置は、撮像素子から読み出された、第１の画像と、前記第１の画像よりも画角の狭い第２の画像を取得し、前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させるように、前記第１の画像と前記第２の画像のいずれかを調整する調整手段と、表示手段に、前記調整手段による調整が行われた後の前記第１の画像と前記第２の画像とを切り替えて表示させる制御手段と、を備えることを特徴とする。

本発明によれば、連続撮影時に異なる種類の画像を取得してそれらの画像を表示する場合に、連続的に表示される画像の違和感を低減することが可能となる。

本発明の第１の実施形態における撮像素子の概略構造図。 第１の実施形態における撮像素子の画素配列図。 第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における連写動作を示すフローチャート。 第１の実施形態における交互表示のタイミング図。 第２の実施形態における画角調整処理の動作を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。以下の各実施形態では、瞳分割された焦点検出画素を有する撮像素子を備え、被写体に焦点を合せながら連続撮影（ＡＦ連写）を行う撮像装置について説明する。連続撮影において、静止画の表示用画像とライブビュー（ＬＶ）の表示用画像の画角差が小さくなるように画像処理制御を行うことにより、表示品質を維持しつつ、フレーミング中の追従性の低下を抑制することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態における撮像素子の構成例を示す概略ブロック図である。図１において、撮像素子３０６は複数の単位画素１０１を２次元アレイ状に配置した構成を有する。各単位画素１０１に対して、垂直出力線１０２、転送信号線１０３、リセット信号線１０４、行選択信号線１０５がそれぞれ接続されている。カラムＡＤＣブロック１１１は、単位画素１０１に接続された垂直出力線１０２から出力される信号を、Ａ／Ｄ変換（アナログデジタル変換）して出力する。行走査回路１１２は転送信号線１０３、リセット信号線１０４、行選択信号線１０５を介して単位画素１０１に接続される。複数の列走査回路１１３は、水平信号線１１５ａ，１１５ｂを介して、複数のカラムＡＤＣブロック１１１に接続される。タイミング制御回路１１４は、カラムＡＤＣブロック１１１、列走査回路１１３にそれぞれタイミング制御信号を出力して制御を行う。

切り替え部１１６は、水平信号線１１５ａと１１５ｂからの各信号を切り替えて、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と呼ぶ）１１７に出力する。Ｐ／Ｓ変換部１１７は切り替え部１１６の出力を取得し、パラレル・シリアル変換を行う。Ｐ／Ｓ変換部１１７は変換した信号を外部に出力する。

本実施形態の撮像素子３０６は、複数の単位画素１０１が水平方向（行方向）において転送信号線１０３、リセット信号線１０４、および行選択信号線１０５に接続され、垂直方向（列方向）において垂直出力線１０２に接続されている。垂直出力線１０２の各々は読み出し行単位に接続先が異なる。単位画素１０１から読み出される信号はカラムＡＤＣブロック１１１を介して、チャンネル毎に水平信号線１１５ａ、水平信号線１１５ｂから出力され、切り替え部１１６に送られる。切り替え部１１６で選択された画像信号は、タイミング制御回路１１４のタイミングに合わせてＰ／Ｓ変換部１１７でパラレル・シリアル変換され、撮像素子３０６の外部に出力される。

画素信号の読み出し方式としては、全画素を読み出す方式、垂直方向において画素を間引いて読み出す方式、水平方向において画素を加算して読み出す方式、垂直間引き水平加算方式等を適宜に選択可能である。垂直間引き水平加算方式は、垂直方向において間引き読み出しを行い水平方向において画素を加算して読み出す方式である。

本実施形態では、静止画の読み出しに全画素を読み出す方式（第１の読み出しモード）を採用する。第１の読み出しモードでは、第１の画素数の画素部として撮像素子の全ての画素部から画素信号が読み出される。読み出し画素数が多いため、所定時間内に限られた枚数の画像しか取得できないので、動体である被写体が高速で移動する場合、正確に被写体を画角内に捉え難くなる。一方、ライブビュー読み出しの方式には垂直間引き水平加算方式（第２の読み出しモード）を採用する。第２の読み出しモードでは、第１の画素数よりも少ない第２の画素数の画素部（部分）から画素信号が読み出される。読み出し画素数が少ないため、処理の高速化に適している。しかしながら、間引き率によっては画像処理に必要な画素が足りなくなる場合がある。このとき、ライブビュー画像と静止画像との撮像領域（表示範囲）に差が生じる。

図２は、本実施形態における撮像面位相差ＡＦで使用する撮像素子３０６の画素配列を模式的に示す図である。撮像素子３０６は、１つのオンチップマイクロレンズ２０１に対応して複数の光電変換部が配置された単位画素を複数有する構成である。カラーフィルタにはベイヤー配列が適用され、Ｒ／Ｇ行で示す奇数行の画素には、左から順に赤（ＲＥＤ）と緑（ＧＲＥＥＮ）のカラーフィルタが交互に設けられる。また、Ｇ／Ｂ行で示す偶数行の画素には、左から順に緑（ＧＲＥＥＮ）と青（ＢＬＵＥ）のカラーフィルタが交互に設けられる。オンチップマイクロレンズ２０１はカラーフィルタの上に構成されている。オンチップマイクロレンズ２０１の内側に配置された複数の光電変換部を複数の矩形で示す。

瞳分割型撮像素子において、１つのマイクロレンズ２０１に対して配置される対をなす光電変換部を、それぞれＡ画素１０１ａ、Ｂ画素１０１ｂと表記する。第１の画素群に含まれるＡ画素１０１ａからの出力によって第１の視点画像であるＡ画像が生成される。第２の画素群に含まれるＢ画素１０１ｂからの出力によって第２の視点画像であるＢ画像が生成される。演算部はＡ画像とＢ画像の相対的な像ずれ量を相関演算により検出し、所定の焦点検出領域のデフォーカス量を算出する。デフォーカス量に基づいてフォーカスレンズが移動されてレンズ部３０１（図３参照）の焦点調節動作が行われる。また、Ａ画像の信号とＢ画像の信号は撮像素子内で加算され、表示用および記録用の画像信号が生成される。なお、図２に示したように１つの単位画素に複数の光電変換部を設ける画素構成とせずに、光電変換部の受光面の一部を遮光する形態であってもよい。

図３は、撮像素子３０６を用いた撮像装置３００の概略構成を示すブロック図である。本実施形態の撮像装置３００は、一例として動画像または静止画像を取得可能なデジタルカメラであるが、これに限られるものではない。例えば監視カメラやスマートフォン等の携帯機器や車載カメラ等の移動体にも本発明は適用可能である。

レンズ部３０１は、撮像光学系を構成する複数のレンズを備える。レンズ部３０１はカメラ本体部に装着可能な交換レンズ、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部３０２は、撮像光学系を構成する可動レンズ（ズームレンズ、フォーカスレンズ等）を駆動する。メカニカルシャッタ（図にはメカシャッタと表記する）３０３は露光時間の制御に用いられ、絞り３０４は光量の制御に用いられる。メカニカルシャッタ・絞り駆動部（図にはシャッタ・絞り駆動部と表記する）３０５は、メカニカルシャッタ３０３および絞り３０４を駆動することによって撮像素子３０６の露出状態を制御する。なお、露光量を制御するための手段としてＮＤフィルタ等の光学フィルタを設ける構成にしてもよい。

撮像素子３０６は、撮像光学系を通して結像される被写体からの光を受光して光電変換を行い、電気信号を出力する。積層型構成の撮像素子の場合、撮像層と回路層を有する。撮像信号処理回路３０７は撮像素子３０６の出力信号を処理し、処理後の画像信号を出力する。第１のメモリ部３０８は、撮像信号処理回路３０７が処理した画像信号等を記憶する。

全体制御演算部３０９は撮像装置３００全体の制御を司る中枢部であり、ＣＰＵ（中央演算処理部）を備える。ＣＰＵは第２のメモリ部３１４から読み出したプログラムを実行することにより、各部の動作を制御する。第２のメモリ部３１４はＣＰＵの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等も記憶する。

記録媒体制御インターフェース（Ｉ／Ｆ）部３１０は、全体制御演算部３０９の制御指令にしたがって、画像信号等を記録媒体３１２に記録し、また記録媒体３１２から情報を読み出す処理を行う。記録媒体３１２は撮像装置の本体部に着脱可能である。表示部３１１は液晶表示パネル等の表示デバイスを備え、全体制御演算部３０９の制御指令にしたがって画像データ等を画面に表示する。

外部インターフェース（Ｉ／Ｆ）部３１３は、コンピュータ等の外部装置との間で情報を送受し合う通信処理部である。本実施形態では撮像装置３００が表示部３１１を備えるが、表示手段のない撮像装置の場合には画像情報や関連情報が外部Ｉ／Ｆ部３１３を介して外部の表示装置に出力される。例えば、ＡＦ連写時の静止画像とライブビュー画像を交互に出力する処理と、ライブビュー画像だけを出力する処理が実行される。

操作部３１５はスイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部３０９に入力する。全体制御演算部３０９は、操作部３１５によってユーザが設定した撮像装置の撮像モードや露出条件等に関する情報に基づいて撮像装置３００全体を制御する。

レンズ部３０１を通過した被写体からの光は絞り３０４により適切な光量に調整され、撮像素子３０６の撮像面上に結像される。撮像素子３０６の単位画素１０１を構成する光電変換部は被写体像を光電変換し、電気信号を出力する。電気信号にはさらにゲイン制御が行われ、Ａ／Ｄ変換によってアナログ信号からデジタル信号へ変換された上で、Ｒ（赤），Ｇｒ（緑），Ｇｂ（緑），Ｂ（青）の信号として撮像信号処理回路３０７に送られる。

撮像信号処理回路３０７は、デジタル信号に変換された画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて全体制御演算部３０９が露光制御および焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また、撮像信号処理回路３０７は、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。この他、撮像信号処理回路３０７は、ノイズを低減するローパスフィルタ処理や、シェーディング補正処理、ホワイトバランス処理等の各種の信号処理を行い、さらに各種の補正および画像信号の圧縮等を行う。

撮影中のレンズ部３０１は、レンズ駆動部３０２によってズーム駆動およびフォーカス駆動等の制御が行われる。メカニカルシャッタ３０３と絞り３０４はそれぞれ、全体制御演算部３０９の制御指令にしたがってメカニカルシャッタ・絞り駆動部３０５により駆動される。第１のメモリ部３０８は撮像後の画像信号を一時的に記憶する。記録媒体制御Ｉ／Ｆ部３１０は、記録媒体３１２に画像信号を記録する処理と、記録媒体３１２から信号を読み出す処理を行う。表示部３１１は撮像された画像を画面に表示する。

次に、図４を参照して、本実施形態における連写時の処理について説明する。図４は、本実施形態の撮像装置における連写動作を説明するフローチャートである。

撮像装置３００において連写が開始されると、Ｓ４０１では、静止画撮影用の撮像素子３０６の露光が行われる。露光終了後、Ｓ４０２では、撮像素子３０６から静止画像の画像信号が読み出される。Ｓ４０３では、全体制御演算部３０９は撮像信号処理回路３０７を制御して、表示用の静止画像の画角を調整する。すなわち、ライブビュー画像と撮像領域（表示範囲）が一致するように静止画像に対し、クロップする（切り出す）ことで画角を調整する。Ｓ４０４では、Ｓ４０３で調整された静止画像が表示部３１１の画面に表示される。

Ｓ４０５では、全体制御演算部３０９は、ライブビュー撮影用の撮像素子３０６の露光を行う。Ｓ４０６では、撮像素子３０６からライブビュー画像用の信号が読み出される。Ｓ４０７では、ライブビュー画像が表示部３１１の画面に表示される。

Ｓ４０８では、全体制御演算部３０９は、ユーザが操作部３１５により連写を終了する指示を行ったか否かを判断する。Ｓ４０８において、連写を続行すると判断された場合、Ｓ４０１へ戻る。Ｓ４０８で連写終了と判断された場合には一連の処理を終了する。

なお、本実施形態では連写を終了するか否かをＳ４０７でのライブビュー表示の後に判定したが、Ｓ４０４の静止画表示の後に実施してもよい。ただし、次の撮影までのタイムラグを少なくすることが出来るので、ライブビュー表示（Ｓ４０７）の後に実施するほうが望ましい。

図５は、静止画表示とライブビュー表示を交互に行う場合のタイミングチャートである。期間Ｔ１～Ｔ４はそれぞれ露光期間を示す。期間Ｓ１、Ｓ３は図４のＳ４０２の静止画読み出し期間をそれぞれ示し、期間Ｓ２、Ｓ４は図４のＳ４０６のライブビュー読み出し期間をそれぞれ示している。タイミングチャートには、シャッタの開閉状態（５０１）が示されている。表示期間（５０２）には、図４のＳ４０４の静止画（第１の画像）表示と図４のＳ４０７のライブビュー画像（第２の画像）表示が交互に行われることが示されている。期間Ｄ１，Ｄ３は、図４のＳ４０４の静止画の表示期間であり、期間Ｄ２，Ｄ４は図４のＳ４０７のライブビュー画像の表示期間である。合焦判定（５０３，５０４）、絞り制御（５０５）およびＡＦ制御（５０６）のタイミングを黒塗り長方形の記号でそれぞれ示す。静止画像の合焦判定（５０３）およびライブビューの合焦判定（５０４）のタイミングはそれぞれ、読み出し期間Ｓ１～Ｓ４の終了後である。静止画像の合焦判定（５０３）後に絞り制御（５０５）が行われ、ライブビューの合焦判定（５０４）後に絞り制御（５０５）およびＡＦ制御（５０６）が行われる。

本実施形態では、静止画像の表示に関し、ライブビュー画像と撮像領域が一致するように静止画像の画角を調整する制御が行われる。これにより、ライブビュー画像の撮像領域が静止画像より小さい場合でも表示品質の維持とフレーミング中の追従性を両立させることができる。

なお、第１の実施形態において画角調整として静止画像をクロップする制御を示したが、画角の調整方法としては、ライブビュー画像の周辺部の画素を画素コピーして増やす方法や静止画像を上書きする方法を用いてもよい。

また、撮像信号処理回路３０７により画角を調整する制御について示したが、全体制御演算部３０９が、表示部３１１に画像を表示する際に同じ撮像領域が表示されるよう、表示制御を行ってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、画角調整処理（Ｓ４０３の処理）を閾値に応じて切り替える方法について説明する。なお、本実施形態において第１の実施形態と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点について説明する。また、本実施形態では、画角差が発生する場合が多い画像の垂直方向についてのみ説明するが、垂直方向のみに制御を限定するものではない。

第１の実施形態では、画角調整（Ｓ４０３）を常に実行している。そのため、画角調整が不要な場合でも、静止画像を表示するまでに余分な時間がかかっている。そこで、第２の実施形態では、静止画像とライブビュー画像の画角差が閾値を超えているか否かを判定することで、余分な画角調整を削減する。

図６は、第２の実施形態における画角調整動作を示すフローチャートである。

まず、Ｓ６０１では、閾値を算出する。例えば、静止画の読み出し画素数が４４８０ピクセルであれば、４４８０×０．１％＝４ピクセルを閾値とする。Ｓ６０２では、ライブビューの撮像範囲の算出を行う。例えば、ライブビューの読み出し画素数が８９４ピクセル、間引き率が５分の１だとすると、ライブビューの撮像範囲は８９４×５＝４４７０ピクセルとなる。

Ｓ６０３では、静止画の撮像範囲とライブビューの撮像範囲の画角差を算出する。静止画の撮像範囲は静止画の読み出し画素数と同じなので、上記の例では、画角差は４４８０－４４７０＝１０ピクセルとなる。Ｓ６０４では、画角差が閾値より大きいか否かの判定を行い、画角差が閾値より大きい場合は、Ｓ４０３に進み、画角調整を実行する。画角差が閾値以下であれば、画角調整を行わずに終了する。例えば、上記の例では、画角差（１０ピクセル）が閾値（４ピクセル）を超えているので、Ｓ４０３に進み、画角調整を行う。

なお、閾値の算出において、画素数の０．１％を閾値としたが、この数値に限定されるものではなく、任意の数値を用いて計算してもよい。また、静止画の表示用画像、及びライブビューの表示用画像の画素数から算出することも可能である。なぜなら、静止画の表示用画像及びライブビューの表示用画像の画素数で１ピクセル未満の画角差は無視できるからである。例えば、静止画の表示用画像及びライブビューの表示用画像の画素数が１０８０ピクセルであれば、表示用画像の１ピクセルに相当する閾値は４４８０÷１０８０＝４．１４８…ピクセルとなり、小数点以下を切り捨てて、最終的に閾値は４ピクセルと計算できる。静止画の表示用画像及びライブビューの表示用画像の画素数が少ないほど、画角調整は不要になるので、静止画の表示用画像及びライブビューの表示用画像の画素数を用いて閾値を計算することが望ましい。

この第２の実施形態によれば、画角差がほとんどない場合に、余分な制御を省くことで、表示品質の維持と、撮影のパフォーマンスを両立させることが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

３００：撮像装置、３０１：レンズ部、３０２：レンズ駆動部、３０４：絞り、３０５：メカニカルシャッタ・絞り駆動部、３０６：撮像素子、３０７：撮像信号処理回路、３０９：全体制御演算部

Claims (17)

1. 撮像素子から読み出された、第１の画像と、前記第１の画像よりも画角の狭い第２の画像を取得し、前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させるように、前記第１の画像と前記第２の画像のいずれかを調整する調整手段と、
   表示手段に、前記調整手段による調整が行われた後の前記第１の画像と前記第２の画像とを切り替えて表示させる制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記調整手段は、前記第１の画像を調整して、前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させることを特徴とする請求項１に記載の画像処理装置。
3. 前記調整手段は、前記第１の画像から前記第２の画像の表示範囲に対応する領域を切り出すことにより、前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させることを特徴とする請求項２に記載の画像処理装置。
4. 前記調整手段は、前記第２の画像を調整して、前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させることを特徴とする請求項１に記載の画像処理装置。
5. 前記調整手段は、前記第２の画像の周辺部の画素をコピーして増やすことにより、前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させることを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の画像は、前記第１の画像よりも、少ない画素数から読み出された画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の画像は、画素から画像信号を間引いて読み出す方式、および、画素の画像信号を加算して読み出す方式の少なくともいずれかの方式で読み出された画像であることを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の画像は静止画像であり、前記第２の画像はライブビュー画像であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記調整手段は、静止画像の連写時に得られた、複数の静止画像と複数のライブビュー画像を含む連続した複数の画像において、前記静止画像の表示範囲と前記ライブビュー画像の表示範囲のいずれかを調整することを特徴とする請求項８に記載の画像処理装置。
10. 前記制御手段は、前記表示手段に、前記静止画像と前記ライブビュー画像を交互に表示させることを特徴とする請求項９に記載の画像処理装置。
11. 前記調整手段は、前記第１の画像と前記第２の画像との前記画角の差が所定の閾値より大きい場合に、前記調整を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記所定の閾値は、前記第１の画像の画素数と、前記第２の画像の画素数とを用いて算出されることを特徴とする請求項１１に記載の画像処理装置。
13. 前記撮像素子と、
    請求項１乃至１２のいずれか１項に記載の画像処理装置と、
    を備えたことを特徴とする撮像装置。
14. 前記表示手段を有することを特徴とする請求項１３に記載の撮像装置。
15. 撮像素子から、第１の画像と、前記第１の画像よりも画角の狭い第２の画像を読み出す工程と、
    前記第１の画像の表示範囲と、前記第２の画像の表示範囲とを一致させるように、前記第１の画像と前記第２の画像のいずれかを調整する工程と、
    表示手段に、前記調整が行われた後の前記第１の画像と前記第２の画像とを切り替えて表示させる工程と、
    を含むことを特徴とする画像処理装置の制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images