以下、添付図面にしたがって本発明にかかる画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。
図1および図2は、それぞれ撮像装置の一例(デジタルカメラ)を示す斜視図および背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画または動画の画像データとして記録メディアに記録するデジタルカメラである。
図1に示すように撮像装置10は、その正面に撮影レンズ12、ストロボ1等が配設され、上面にはシャッタボタン2、電源および/またはモードスイッチ3、モードダイヤル4等が配設されている。一方、図2に示すように、カメラ背面には、液晶モニタ(LCD:Liquid Crystal Display)30、ズームボタン5、十字ボタン6、MENUおよび/またはOKボタン7、再生ボタン8、BACKボタン9等が配設されている。
撮影レンズ12は、沈胴式のズームレンズで構成されており、電源および/またはモードスイッチ3によってカメラの作動モードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ1は、主要被写体にストロボ光を照射するものである。
シャッタボタン2は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。
撮像装置10は、撮影モードとして静止画撮影モードが選択され、シャッタボタン2が「半押し」されると、AFおよび/またはAE(Auto Exposure)制御を行う撮影準備動作を行い、シャッタボタン2が「全押し」されると、静止画の撮像および記録を行う。
また、撮像装置10は、撮影モードとして動画撮影モードが選択され、シャッタボタン2が「全押し」されると、動画の録画を開始し、シャッタボタン2が再度「全押し」されると、録画を停止して待機状態になる。
電源および/またはモードスイッチ3は、撮像装置10の電源をONまたはOFFする電源スイッチとしての機能と、撮像装置10のモードを設定するモードスイッチとしての機能とを併せ持っており、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置10は、電源および/またはモードスイッチ3をスライドさせて、「再生位置」または「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源および/またはモードスイッチ3をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル4は、撮像装置10の撮影モードを設定するモード切替部として機能し、このモードダイヤル4の設定位置により、撮像装置10の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。
液晶モニタ30は、撮影モード時のライブビュー画像、プレビュー画像、ポストビュー画像の表示、再生モード時の静止画または動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェイスの一部として機能する。
ズームボタン5は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン5Tと、広角側へのズームを指示するワイドボタン5Wとからなる。撮像装置10は、撮影モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、撮影レンズ12の焦点距離が変化する。また、再生モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、再生中の画像が拡大、縮小する。
十字ボタン6は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左および右キーは再生モード時のコマ送り(順方向および逆方向送り)ボタンとして機能する。
MENU/OKボタン7は、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するOKボタンとしての機能とを兼備した操作ボタンである。
再生ボタン8は、撮影記録した静止画または動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。
BACKボタン9は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
なお、本実施形態にかかる撮像装置10において、ボタンおよびスイッチ類に対して固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタンおよびスイッチ類の機能を実現するようにしてもよい。
図3は撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU:Central Processing Unit)40によって統括制御される。
撮像装置10には、シャッタボタン2、電源および/またはモードスイッチ3、モードダイヤル4、テレボタン5T、ワイドボタン5W、十字ボタン6、MENU/OKボタン7、再生ボタン8、BACKボタン9等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、撮像素子16の駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録および/または再生制御、および液晶モニタ30の表示制御などを行う。
電源および/またはモードスイッチ3により撮像装置10の電源がONされると、図示しない電源部から各ブロックへ給電され、撮像装置10の駆動が開始される。
撮影レンズ12、絞り14、メカシャッタ(機械的シャッタ)15等を通過した光束は、CMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである撮像素子16に結像される。なお、撮像素子16は、CMOS型に限らず、XYアドレス型、またはCCD(Charge Coupled Device)型のカラーイメージセンサでもよい。
撮像素子16は、多数の受光素子(フォトダイオード)が2次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧(または電荷)に変換され、撮像素子16内のA/D(Analog/Digital)変換器を介してデジタル信号に変換されて出力される。
撮像素子16は、水平方向および垂直方向に二次元的に配列された光電変換素子(フォトダイオード)で構成される複数の画素上に、以下に例示する第1の周期的色配列でカラーフィルタが配設されている。また、撮像素子16は、複数の位相差検出用画素と撮像用の複数の通常画素(位相差検出用画素以外の画素)が配置されている。
位相差検出用画素は、図5に示すように瞳分割用の開口部を有し、水平方向に対する開口部の位置が互いに異なる第1の位相差検出用画素ZAと第2の位相差検出用画素ZBとからなり、一対の第1の位相差検出用画素ZAと第2の位相差検出用画素ZBとは互いに開口部が向き合って隣接配置されている。なお、第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBの構造の詳細については後述する。
図4は、撮像素子16のカラーフィルタ配列および位相差検出用画素の配置を示す図である。
図4に示すように撮像素子16の複数の通常画素には、第1の色(緑色)に対応する第1のフィルタ、緑色以外の2色以上の各色(赤色および青色)にそれぞれ対応する複数の第2のフィルタのうちのいずれかのカラーフィルタが、第1の周期的色配列で配置されている。第1の実施形態の撮像素子16のカラーフィルタの第1の周期的色配列は、一般的なベイヤ配列である。なお、第1のフィルタは、緑色の波長帯域の光を透過させるGフィルタであり、複数の第2のフィルタは、赤色の波長帯域の光を透過させるRフィルタと、青色の波長帯域の光を透過させるBフィルタである。
ベイヤ配列を有する撮像素子16において、通常画素のみが水平方向(行方向)に配置された通常画素行は、Rフィルタを有する画素(R画素)とGフィルタを有する画素(G画素)とが行方向に交互に配置されたRG行と、G画素とBフィルタを有する画素(B画素)とが行方向に交互に配置されたGB行とがある。また、RG行とGB行とは、垂直方向(列方向)に交互に配置されている。
また、本例の第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBには、それぞれGフィルタが配置されている。なお、第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBには、例えば、Gフィルタを配置せずに、Gフィルタの透過波長域よりも広い波長域の光が入射できるようにしてもよい。
撮像素子16の第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBと通常画素とが周期的に行方向に配置された位相差検出用画素行は、複数行置きのGB行に設けられており、位相差検出用画素行に隣接する少なくとも2行には通常画素行のみが配置される。
また、本例の位相差検出用画素行は、一対の第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBと1つの通常画素の3画素を1周期として周期的に配列されている。したがって、位相差検出用画素行には、G画素とB画素とが行方向に2画素(一対の第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZB)置きに交互に配置されている。
なお、本例の位相差検出用画素行は、ベイヤ配列のGB行に設けられているが、これに限らず、RG行に設けるようにしてもよい。
動画を構成する1フレームの画像(フレーム画像)は、フル画素の静止画に比べて画像サイズを小さくしてもよい。すなわち動画撮影モードでは、撮像素子16は間引き駆動され、これにより低電力および高速処理を可能にする。また、ライブビュー表示を行う場合にも、画像サイズを小さくしてもよい。なお本説明のフレーム画像に対応する画像データは、位相差検出用画素の画素値を含んでいる。
図5は、一対の第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBを模式的に示した平面図である。
図5に示すように第1の位相差検出用画素ZAは、画素の右半分に開口部を有し、第2の位相差検出用画素ZBは、画素の左半分に開口部を有している。即ち、一対の第1の位相差検出用画素ZAと第2の位相差検出用画素ZBとは、互いに開口部が向き合っている。
通常画素と位相差検出用画素とで画素特性が異なることから、良質な画質を得るためには、位相差検出用画素を適切に補正した上で、表示用画像を生成する必要がある。
図6は第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBの構成を示す要部拡大図である。
図6に示すように第1の位相差検出用画素ZAのフォトダイオードPDの前面側(マイクロレンズL側)には、遮光部材16Aが配設され、一方、第2の位相差検出用画素ZBのフォトダイオードPDの前面側には、遮光部材16Bが配設される。マイクロレンズLおよび遮光部材16A、16Bは瞳分割機能を有し、図6上で、遮光部材16Aは、フォトダイオードPDの受光面の左半分を遮光する。そのため、第1の位相差検出用画素ZAには、撮影レンズ12の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。また、本例では、カラーフィルタCFとして、GフィルタがマイクロレンズLの下方に配置されている。
遮光部材16Bは、第2の位相差検出用画素ZBのフォトダイオードPDの受光面の右半分を遮光する。そのため、第2の位相差検出用画素ZBには、撮影レンズ12の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割機能を有するマイクロレンズLおよび遮光部材16A、16Bにより、射出瞳を通過する光束が左右に分割され、それぞれ第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZBに入射する。
図3に戻って、動画または静止画の撮影時に撮像素子16から読み出された画像信号(画像データ)は、画像入力コントローラ22を介してメモリ(SDRAM(Synchronous Dynamic Random Access Memory))48に一時的に記憶され、あるいはAF処理部42、AE検出部44等に取り込まれる。
CPU40は、操作部38での操作に基づいて撮像装置10の各部を統括制御するが、ライブビュー画像の撮影(表示)、および動画の撮影(記録)中には、常時AF動作およびAE動作を行う。
位相差検出部として機能するAF処理部42は、位相差AF処理を行う部分であり、画像入力コントローラ22を介して取得される第1の位相差検出用画素ZA、第2の位相差検出用画素ZBの各出力信号を使用して位相差を検出する。
CPU40は、AF処理部42から位相差を示す位相差データが入力されると、位相差データに基づいて位相差AFを行う焦点調節部として機能する。即ち、CPU40は、位相差データに基づいて撮影レンズ12によるピント位置と撮像素子16の結像面とのずれ量(デフォーカス量)を算出し、算出したデフォーカス量がゼロになるようにレンズ駆動部36を介して撮影レンズ12内のフォーカスレンズを移動させる。なお、デフォーカス量の算出は、AF処理部42で行ってもよい。
AE検出部44は、画像入力コントローラ22を介して取得される画像データ(例えば、画面全体のG画素の画素値)を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データ(G画素の画素値)を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力される積算値より被写体の明るさ(撮影Ev値(exposure value))を算出する。撮影モードが静止画撮影モードの場合には、シャッタボタン2の第1段階の押下(半押し)があると、CPU40は、前述のAF制御を再度行い、シャッタボタン2の全押しがあると、被写体の明るさ(撮影Ev値)を算出し、算出した撮影Ev値に基づいて絞り14のF値およびメカシャッタ15による露光時間(シャッタ速度)をプログラム線図にしたがって決定し、静止画の撮影(露出制御)を行う。
一方、撮影モードが動画撮影モードの場合には、シャッタボタン2の全押しがあると、CPU40は、動画の撮影および記録(録画)を開始させる。なお、動画撮影時には、メカシャッタ15を開放し、撮像素子16から画像データを連続的に読み出し(例えば、フレームレートとして30フレーム/秒、60フレーム/秒)、連続的に位相差AFを行うとともに、被写体の明るさを算出し、シャッタ駆動部33によりシャッタ速度(ローリングシャッタによる電荷蓄積時間)および/または絞り駆動部34による絞り14を制御する。
CPU40は、ズームボタン5からのズーム指令に応じてレンズ駆動部36を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
また、ROM47は、カメラ制御プログラム、撮像素子16の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているROM(Read Only Memory)、またはEEPROM(Electrically Erasable Programmable Read-Only Memory)である。
画像処理部24は、動画または静止画の撮影時に画像入力コントローラ22を介して取得され、メモリ48に一時的に記憶された未処理の画像データ(RAWデータ)を読み出す。画像処理部24は、読み出したRAWデータに対してオフセット処理、画素補間処理(位相差検出用画素、傷画素等の補間処理)、ホワイトバランス補正、感度補正を含むゲインコントロール処理、ガンマ補正処理、同時化処理(「デモザイク処理」ともいう)、輝度および色差信号生成処理、輪郭強調処理、および色補正等を行う。
画像処理部24により処理された画像データであって、ライブビュー画像として処理された画像データは、VRAM(Video RAM Random access memory)50に入力される。
VRAM50には、それぞれが1コマ分の画像を表す画像データを記録するA領域とB領域とが含まれている。VRAM50において1コマ分の画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域およびB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。
VRAM50から読み出された画像データは、ビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30に出力される。
画像処理部24により処理された画像データであって、記録用の静止画または動画として処理された画像データ(輝度データ(Y)および色差データ(Cb),(Cr))は、再びメモリ48に記憶される。
圧縮伸張処理部26は、静止画または動画の記録時に、画像処理部24により処理され、メモリ48に格納された輝度データ(Y)および色差データ(Cb),(Cr)に対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部26により圧縮された圧縮画像データは、メディアコントローラ52を介してメモリカード54に記録される。
また、圧縮伸張処理部26は、再生モード時にメディアコントローラ52を介してメモリカード54から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ52は、メモリカード54に対する圧縮画像データの記録および読み出しなどを行う。
オートフォーカス制御部として機能するCPU40は、位相差AFを行う場合、撮像素子16の少なくともAF領域内の位相差検出用画素行の画像データを読み出す読出し指令をセンサ駆動部32に出力し、撮像素子16から対応する画像データを読み出す。
動画(ライブビュー画像を含む)の撮影および表示時には、CPU40は、撮像素子16から画像データを間引き読み出しするための間引き率を取得する。この間引き率は、予め設定された固定値でもよいし、複数の間引き率からユーザにより選択できるようにしてもよい。例えば、動画の画像サイズの選択、あるいはフレームレートの選択に連動して最適な間引き率を設定することができる。なお、間引き読み出しする行には、位相差検出用画素行が含まれるようにする。
CPU40は、間引き率に応じた間引きパターン(抽出パターン)を示す読出し指令をセンサ駆動部32に出力し、撮像素子16から画像データを間引き読み出しする。
AF処理部42は、読み出された位相差検出用画素行からAF領域内の位相差検出用画素(第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZB)の出力データを抽出し、第1の位相差検出用画素ZAの出力データと第2の位相差検出用画素ZBの出力データとの位相差を検出する。例えば、一対の第1の位相差検出用画素ZAの第1の位相差検出用画素ZAの出力データと第2の位相差検出用画素ZBの第2の位相差検出用画素ZBの出力データとの相関が最大になるとき(一対の位相差検出用画素の各画素値の差分絶対値の積算値が最小になるとき)の第1の位相差検出用画素ZAの出力データと第2の位相差検出用画素ZBの出力データとの間の左右方向のシフト量から位相差を求める。
そして、求めたシフト量を、一対の第1の位相差検出用画素ZAと第2の位相差検出用画素ZBとの水平方向の位置ずれ分だけ補正した値を位相差データとして算出することができる。なお、位相差の算出方法は、上述の方法に限らず、種々の方法を適用することができる。
続いて、CPU40は、AF処理部42により検出された位相差データに基づいて撮影レンズ12(撮像光学系)によるピント位置と撮像素子16の結像面とのずれ量(デフォーカス量)を算出する。なお、デフォーカス量の算出は、AF処理部42で行ってもよい。
CPU40は、算出したデフォーカス量に基づいてデフォーカス量がゼロになるようにレンズ駆動部36を介して撮影レンズ12内のフォーカスレンズを移動させ、これにより位相差AFを行う。
撮像素子16は、一対の第1の位相差検出用画素ZAと第2の位相差検出用画素ZBとは互いに開口部が向き合って隣接配置されているため、一対の第1の位相差検出用画素ZAと第2の位相差検出用画素ZBとの間隔は最小となっている。これにより、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差AFを、一対の第1の位相差検出用画素と第2の位相差検出用画素とが通常画素を挟んで離れて配置されているものに比べて高精度に行うことができる。
なお、動画生成時に撮像素子16から間引き読み出しされる行には、位相差検出用画素(第1の位相差検出用画素ZAおよび第2の位相差検出用画素ZB)を有する位相差検出用画素行を含めることができ、動画の撮影中においても適切に位相差AFを行うことができる。
<第1の実施形態>
本発明の第1の実施形態に関して説明する。図7は、本実施形態の画像処理装置60の機能構成例を示すブロック図である。なお、画像処理装置60は、撮像装置10に設けられている。
本実施形態の画像処理装置60は、センサ61、インターフェイス63、メモリ48、ゲイン値算出部67、位相差画素補間部69、表示用画像生成部73、および表示部75を備えている。
センサ61は撮像素子16で実現され、撮像素子16は上述したように二次元的に複数の位相差検出用画素と複数の通常画素とが配置されている。
インターフェイス63は、画像取得部として機能し、画像入力コントローラ22で実現される。インターフェイス63は、動画の撮像中に撮像素子16から複数の位相差検出用画素の画素値および複数の通常画素の画素値を有するフレーム画像であって、動画の時系列順の各フレーム画像を順次取得する。インターフェイス63は、センサ61から出力された画素データをメモリ48に置く(記憶させる)ことができ、また、メモリ48を介在することなく後段の回路に画素データを受け渡すこともできる。また、メモリ48に置いた画素データを読み込み、後段の回路に送ることもできる。ライブビュー画像を生成する場合、リアルタイム性を確保するために、インターフェイス63はセンサ61から出力された画素データをメモリ48を介在することなく後段処理に受け渡すことが望ましい。したがって、ライブビュー画像を生成する場合には、メモリ48に画素データを置いてゲイン値を算出し、ゲイン補間を行う時間的な余裕がない。
図8は、インターフェイス63に入力される動画の時系列順の各フレームを概念的に示した図である。インターフェイス63に入力されたフレーム画像は、第1フレーム201、第2フレーム202、および第3フレーム203と順次連続して続く。例えば、第2フレーム202の位相差検出用画素の画素値を補間する場合には、第2フレーム202が現在フレームとなり、第1フレーム201が過去フレームとなる。また、第3フレーム203の位相差検出用画素の画素値を補間する場合には、第3フレーム203が現在フレームとなり、第2フレーム202が過去フレームとなる。一方、第1フレーム201の位相差検出用画素の画素値を補間する場合には、第1フレーム201が現在フレームとなるが、第1フレーム201が最初のフレームとなるために過去フレームは存在しないことになる。
図7に戻って、メモリ48は、上述したようにSDRAMで構成されている。
ゲイン値算出部67は、画像取得部により取得した時系列順の過去フレーム画像に基づいて、現在フレーム画像の位相差検出用画素の画素値のゲイン補間に使用するゲイン値を算出する。
ゲイン値は像高(画面内の位置)に応じて変化する。そこで、ゲイン値算出部67は、例えば、フレーム画像面をK×Lエリアに分割し、各エリアでゲイン値を算出する。なお、便宜上、1つのフレームに対する複数のゲイン値をゲイン値セットと呼ぶ。
ゲイン値算出部67が、直前のフレーム(過去フレーム)のみでゲイン値を算出する場合には、ゲイン値算出部67が、直前のフレーム(過去フレーム)で算出したゲイン値セットをそのまま現在のフレームに用いる。
またゲイン値算出部67は、複数の過去フレーム画像の位相差検出用画素と通常画素との信号比を算出し、ゲイン値を算出してもよい。
この場合、ゲイン値算出部67は、過去Nフレームそれぞれで算出したNセットのゲイン値を、エリア毎に平均化して現在のフレームに用いる。
具体的には、フレーム番号をk(現在フレームが0、過去に遡るにしたがって1、2、3、…)、ゲイン値を算出するエリアの座標を(x,y)とし、kフレームの(x,y)のゲイン値をG(k,x,y)と定義する。過去Nフレームに亘って同一エリアのゲイン値を平均化するので、現フレームに適用するゲイン値セットG’(x,y)は次のように算出される。
より好ましい態様としては、フレーム別の重みw(k)を用意しておき
とする。w(k)は、平均化に用いないフレームで0、平均化に用いるフレームで1とする。例えば、現在のフレーム露光時の絞りF1と、k番目の過去フレーム露光時の絞りF2が所定以上異なっている場合には、k番目のw(k)を0とする。なお、現在フレームの撮像条件と過去フレームの撮像条件との変化量によって、ゲイン値の算出を変える態様は、図16において詳細に説明する。
ゲイン値算出部67は、RAWデータを解析することでゲイン値を算出する。具体的には、RAWデータをK×Lエリアに分割し、各エリアにおいて、G画素の平均値Gaveと位相差検出用画素の平均値Paveを算出し、ゲイン値はGave/Paveとして算出する。このとき、エリア内が黒つぶれしている場合、GaveやPaveが極端に小さな値になりゲイン値を精度よく算出することができない。また、エリア内が飽和している場合にもゲイン値を精度よく算出できない。そこで、そのようなエリアのゲイン値は、上述した(式1)および(式2)で示した平均化に用いないほうが好ましい。
したがって、(式2)における重みw(k)をエリア毎に設ける。つまり、重みをw(k,x,y)と表現し、k番目のフレームにおいて、(x,y)のエリアのゲイン値の精度が低いと考えられる場合においてw(k,x,y)=0とする。より具体的には、ゲイン値算出を行うエリア内のG画素のうち、そのレベルが閾値TH1以上閾値TH2以下の画素の数が閾値TH3より小さい場合はゲイン値の精度が低いと考え、w(k,x,y)の値を調整する。
位相差画素補間部69は、画像処理部24により実現され、第1のゲイン補間部71を備える。第1のゲイン補間部71は、ゲイン値算出部67で算出されたゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。すなわち、第1のゲイン補間部71は、位相差検出用画素の感度低下分を補填するように位相差検出用画素の画素値にゲイン値算出部67で算出されたゲイン値を掛けることで、通常画素と信号レベルを合わせる補間を行う。
表示用画像生成部73は、画像処理部24により実現され、第1のゲイン補間部71で補間された現在フレーム画像の位相差検出用画素の画素値および通常画素の画素値に基づいて、現在フレーム画像の表示用画像を生成する。すなわち、表示用画像生成部73は、位相差検出用画素の画素値が補間された現在フレームの表示用画像を生成する。
表示部75は、表示用画像生成部73で生成された表示用画像を表示する。表示部75は、液晶モニタ30に表示用画像を表示させる。例えば表示部75は、液晶モニタ30にライブビュー画像、プレビュー画像、またはポストビュー画像を表示する。
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。本実施形態では、位相差検出用画素の画素値に対して、ゲイン補間ともに周辺画素値に基づいて行われる周辺画素補間が行われる。
図9は、本実施形態の画像処理装置60の機能構成例を示すブロック図である。なお、図7で既に説明を行った箇所は、同じ符号を付し説明を省略する。
周辺画素値算出部77は、CPU40で実現され、現在フレーム画像の位相差検出用画素の周辺領域にある通常画素の画素値に基づいて周辺画素値を算出する。例えば、周辺画素値算出部77は、補間を行う注目画素(位相差検出用画素)の周辺画素の画素値を加重平均することにより、周辺画素値を算出する。ここで周辺画素とは、補間の精度や撮像条件に応じて適宜決定されるものであるが、例えば注目画素を中心にして3×3、5×5、7×7の範囲の通常画素である。なお、周辺画素値算出部77は、加重平均以外の公知の方法により、周辺画素値を算出することができる。
位相差画素補間部69は、第1のゲイン補間部71、補間制御部79、および周辺画素補間部81を備える。
周辺画素補間部81は、周辺画素値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。すなわち周辺画素補間部81は、注目画素(位相差検出用画素)の周辺の通常画素の画素値を加重平均されて求められた周辺画素値を注目画素の画素値とすることにより、注目画素の画素値を補間する。
補間制御部79は、第1のゲイン補間部71と周辺画素補間部81との動作を制御する。例えば補間制御部79は、ゲイン値算出部67がゲイン値を算出した場合には第1のゲイン補間部71に補間をさせ、ゲイン値算出部67がゲイン値を算出していない場合には周辺画素補間部81に補間をさせる。
(表示例1)
次に、第2の実施形態における液晶モニタ30への表示用画像の表示例に関して説明する。表示例1では、第1フレームに使用される位相差検出用画素の画素値を周辺画素補間のみで補間する場合である。
図10は、撮像素子16への露光からライブビュー画像の表示のシーケンス図にゲイン値算出のタイミングを追記したシーケンス図である。
図10には、(A)VD同期信号、(B)露光および読み出し、(C)ライブビュー画像生成処理、(D)ゲイン値算出、および(E)液晶モニタ30への表示のシーケンスがそれぞれ記載されている。
図10に示す場合は、ローリングシャッタ方式の撮像素子16に対して露光が行われる。露光後、VD(Vertical Driving)同期信号に合わせて(図10(A))、各ラインの画素値を含む画素データは順次ASIC(Application specific integrated circuit)へと転送される(図10(B)の「読み出し」)。ここでASICは、インターフェイス63、ゲイン値算出部67、周辺画素値算出部77、位相差画素補間部69(補間制御部79、第1のゲイン補間部71、および周辺画素補間部81)、表示用画像生成部73の機能を有する。
ASICは、センサ61から受けた画素データを処理し、ライブビュー画像を生成する。ASICの処理には、位相差画素補間部69が行う位相差検出用画素の画素値の補間と、表示用画像生成部73により行われるその他処理がある(図10(C))。ここでその他処理とは、デモザイクやノイズ低減、および輪郭強調などライブビュー画像生成に用いる一般的な信号処理のことを示す。ここで、ASICの補間制御部79は、現在処理を行っているフレームが第1フレームである場合には、周辺画素補間部81に位相差検出用画素の画素値の補間を行わせる。
次にASICにより、センサからの読み出しが全て終了した後に、読み出した画素値に基づいてゲイン値が算出される(図10(D))。この算出されたゲイン値は、現在フレーム画像の液晶モニタ30の表示に間に合わないので、次フレーム画像の補間処理に使用される。
ここで、位相差検出用画素の密度が高い場合は周辺画素補間の精度が低下するため、積極的にゲイン補間を用いて補間を行うことが好ましい。一方、ゲイン補間を行うためには、位相差検出用画素と通常画素との信号比(=ゲイン補間に用いるゲイン値)を算出しておく必要がある。信号比算出はライブビュー処理と比較して多くのラインデータを用いる必要があるため、一旦メモリ48に画素データを展開した上で信号比を算出しなければならず、タイミング的に、算出した信号比を現在のフレームに適用することは困難である。
すなわち、表示用画像の画質を良くするという観点からは、ゲイン値を算出した後に現在フレーム画像に対する位相差検出用画素の補間を行うことが好ましい。しかし、ライブビュー表示に要求されるリアルタイム性を確保するためには、ゲイン値算出にかかる時間が問題となってしまう。すなわち、ゲイン値を算出してゲイン補間を行うとライブビュー表示のリアルタイム性を確保することが困難となる。したがって、本発明では、ライブビュー表示を開始して第1フレームの表示画像を生成する際には、適切なゲイン値が存在しない場合には、周辺画素補間のみで位相差検出用画素の画素値を補間し表示画像を生成する。
なお、本発明は電源がONになった場合に表示されるライブビュー表示以外にも、再生モードから撮影モードに切り替えた直後のライブビュー表示時や、位相差検出用画素を含むラインを出力対象としない駆動モードから、当該ラインを出力対象とする駆動モードに切り替えた後のライブビュー表示にも適用することが可能である。
図11は、画像処理装置60のライブビュー画像の表示動作フローを示した図である。
先ず、ライブビュー表示開始指示が出力される(ステップS101)。例えば、撮像装置10の電源スイッチおよび/またはモードスイッチ3がONにされたと同時に、ライブビュー表示開始指示がCPU40より出力される。カメラ起動後や静止画撮影を行った後などにライブビュー表示を開始するとき、ライブビュー表示の露光量を決定するために測光が行われる(初回測光)(ステップS102)。ただし、例えば、ライブビュー表示を開始する直前の静止画撮影時の測光結果を、初回測光の代替とすることも可能である。
その後、初回測光の結果を受け、ライブビュー表示の露光パラメータ(絞り、ISO感度、シャッタ速度、ライブビュー時のセンサフレームレート)を設定し(ステップS103)、VD同期信号で(フレーム毎に)露光および画素データの読み出しが行われる(ステップS104)。なお、測光は撮像装置10の内部に備えられる測光センサにより行われ、露光パラメータの設定はCPU40、読み出しはインターフェイス63により行われる。
取得された画素データを用いて測光を行い(ステップS105)、次フレーム用の露光パラメータがCPU40により決定される(ステップS106)。さらに、画素データを用いて、ゲイン値算出部67によりゲイン補間用のゲイン値を算出する(ステップS107)。
その後、補間制御部79により現在のフレームが第1フレームであるか否かが判定され(ステップS108)、現在のフレームが第1フレームである場合、すなわちゲイン値算出部67がゲイン値を算出していない場合には、補間制御部79により周辺画素補間部81により周辺画素補間が行われ、周辺画素補間のみで位相差検出用画素を補間する(ステップS109)。
一方、現在のフレームが第1フレームでない場合、すなわちゲイン値算出部67がゲイン値を算出している場合には、補間制御部79により周辺画素補間部81またはゲイン補間で位相差検出用画素が補間する(ステップS110)。なお、この場合の位相差検出用画素の補間は撮像状況、フレーム画像の状態が考慮されて行われ、補間制御部79が、第1のゲイン補間部71のみ補間を行わせたり、第1のゲイン補間部71および周辺画素補間部81に補間を行わせたりする。例えば補間制御部79は、フレーム画像の周波数成分に応じて、および/または合焦の程度に応じて、第1のゲイン補間部71と周辺画素補間81との動作を制御する。
その後、表示用画像生成部73により、ライブビュー画像の生成が行われ(ステップS111)、液晶モニタ30またはEVF(Electric viewfinder)への表示用画像が表示される(ステップS112)。その後、例えばCPU40によりライブビュー表示を継続するか否かの判定が行われ(ステップS113)、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
(表示例2)
次に、第1の実施形態および第2の実施形態における液晶モニタ30へのライブビュー画像の表示例に関して説明する。表示例2では、第1フレーム画像はゲイン値が算出されずゲイン補間ができないので、第1フレーム画像を表示させない。
図12は、図9と同様に、撮像素子16への露光からライブビュー画像の表示のシーケンス図にゲイン値算出のタイミングを追記したシーケンス図である。図12のシーケンス図は、図9のシーケンス図と比較すると、第1フレームが液晶モニタ30に表示されてない点で異なる。
第1フレーム画像に関して、センサ61から受けた画素データを処理し、ゲイン値算出部67によりゲイン値が算出される(図10(D))。しかしながら、第1フレーム画像は表示を行わないため、周辺画素補間部81による補間および表示用画像生成部73により第1フレームの表示用画像の生成は行われない。
第2フレーム画像以降では、図10で説明したように、ゲイン値算出部67で算出されたゲイン値に基づいて補間が行われ、液晶モニタ30に対応するライブビュー画像の表示が行われる。
図13は、画像処理装置60の表示動作フローを示した図である。
先ず、ライブビュー表示開始指示がCPU40により、出力される(ステップS201)。その後、初回測光が行われ(ステップS202)、露光パラメータが設定される(ステップS203)。測光は撮像装置10の内部に備えられる測光センサにより行われ、露光パラメータの設定はCPU40により行われる。
そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス63により行われ(ステップS204)、測光が測光センサにより行われ(ステップS205)、次フレーム用の露光パラメータがCPU40により決定され(ステップS206)、次フレーム用の位相差検出用画素と通常画素の信号比がゲイン値算出部67により算出される(ステップS207)。
その後、補間制御部79により現在のフレームが第1フレームであるか否かが判定され(ステップS208)、現在のフレームが第1フレームでない場合、すなわちゲイン値算出部67がゲイン値を算出している場合には、補間制御部79により周辺画素補間部81またはゲイン補間で位相差検出用画素が補間する(ステップS209)。
その後、表示用画像生成部73により、ライブビュー画像の生成が行われ(ステップS210)、液晶モニタ30またはEVFへの表示用画像が表示される(ステップS211)。
一方で、現在のフレームが第1フレームである場合、すなわちゲイン値算出部67がゲイン値を算出していない場合には、表示用画像生成部73により表示用画像の生成が行われない。すなわち、第1フレームは液晶モニタ30に表示されない。
その後、例えばCPU40によりライブビュー表示を継続するか否かの判定が行われ(ステップS212)、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。
<第3の実施形態>
次に、本発明の第3の実施形態に関して説明する。本実施形態では、位相差検出用画素の画素値に対して、推定されたゲイン値に基づいて補間が行われる。
図14は、本実施形態の画像処理装置60の機能構成例を示すブロック図である。なお、図7で既に説明を行った箇所は、同じ符号を付し説明を省略する。
本実施形態の画像処理装置60は、センサ61、インターフェイス63、メモリ48、ゲイン値算出部67、位相差画素補間部69、表示用画像生成部73、表示部75、周辺画素値算出部77、パラメータ取得部85、および推定ゲイン値算出部87を備えている。
パラメータ取得部85は、CPU40で実現され、ゲイン値を推定するための情報であるゲイン値推定パラメータを取得する。例えばパラメータ取得部85は、撮像装置10がレンズ交換式のカメラである場合に、レンズ側とボディ側とで通信が行われ、レンズ側からレンズの特性およびゲイン値を推定するためのゲイン値パラメータを取得する。
パラメータ取得部85が取得するゲイン値推定パラメータは、撮像素子16が受光する光束が通過するレンズ瞳の形状に関する情報、および位相差検出用画素と通常画素との入射光線角度特性に関する情報のうち少なくとも一方を含む。ゲイン値はレンズ瞳形状の影響を大きく受け、レンズ瞳形状は、F値およびフォーカスレンズ位置等によって変化する。レンズ瞳の形状に関する情報として、例えば絞り14の状態を示すF値またはフォーカスレンズ位置があげられる。
推定ゲイン値算出部87は、パラメータ取得部85で取得されたゲイン値推定パラメータに基づいて、推定ゲイン値を算出する。例えば推定ゲイン値算出部87は、レンズ瞳形状と位相差検出用画素と通常画素との入射光線角度特性に基づいて、推定ゲイン値を算出する。
第2のゲイン補間部83は、推定ゲイン値を使用して、現在フレーム画像の位相差検出用画素の画素値を補間する。すなわち、補間制御部79は、推定ゲイン値算出部87が推定ゲイン値を算出した場合には、第2のゲイン補間部83に補間をさせる。これにより、第1フレームのようにゲイン値算出部67がゲイン値を算出していない場合であっても、推定ゲイン値に基づいて、位相差検出用画素の画素値がゲイン補間される。
(表示例3)
次に第3の実施形態における液晶モニタ30へのライブビュー画像の表示例に関して説明する。表示例3は、表示例1と同様に、第1フレームに使用される位相差検出用画素の画素値を周辺画素補間のみで補間する場合である。
図15は、第3の実施形態の画像処理装置60の表示例3の表示動作を示すフロー図である。
先ず、ライブビュー表示の開始指示がCPU40により出力される(ステップS301)。その後、初回測光が行われ(ステップS302)、露光パラメータが設定される(ステップS303)。測光は撮像装置10の内部に備えられる測光センサにより行われ、露光パラメータの設定はCPU40で行われる。
そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス63により行われ(ステップS304)、測光が行われ(ステップS305)、次フレーム用の露光パラメータがCPU40により決定され(ステップS306)、次フレーム用の位相差検出用画素と通常画素のゲイン値がゲイン値算出部67により算出される(ステップS307)。
その後、補間制御部79により現在のフレームが第1フレームであるか否かが判定され(ステップS308)、現在のフレームが第1フレームでない場合、すなわちゲイン値算出部67がゲイン値を算出している場合には、パラメータ取得部85によりレンズ通信が可能であるか否かが判定される(ステップS309)。
レンズ通信が可能でない場合には、補間制御部79は周辺画素補間部81に位相差検出用画素の画素値を補間させて(ステップS310)、表示用画像生成部73は表示用画像を生成する(ステップS311)。
一方、パラメータ取得部85によりレンズ通信が可能であると判定(ステップS309)され、パラメータ取得部85によりゲイン値推定パラメータが取得可能と判定(ステップS314)された場合には、推定ゲイン値算出部87により取得されたゲイン値推定パラメータに基づいてゲイン値が算出される(ステップS315)。その後、補間制御部79は第2のゲイン補間部83または周辺画素補間部81により、位相検出用画素の画素値を補間させ(ステップS316)、表示用画像生成部73に表示用画像を生成させる(ステップS311)。
その後、表示部75により、生成された表示用画像を液晶モニタ30またはEVFへ表示される(ステップS312)。
その後、例えばCPU40によりライブビュー表示を継続するか否かの判定が行われ(ステップS313)、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。
(表示例4)
次に、第3の実施形態における液晶モニタ30へのライブビュー画像の表示例に関して説明する。表示例4では、レンズ第1フレーム画像はゲイン値が算出されずゲイン補間ができないので、第1フレーム画像を表示させない。
サードパーティ製のレンズが装着された場合や何かしらの不具合によりカメラボディとレンズと間の通信が不可能な場合や、通信はできても、ゲイン値を推定するために必要なパラメータがレンズ側に格納されていない場合は、推定ゲイン値算出部87は、推定ゲイン値を算出することができない。このような場合には、第1フレーム画像の表示を行わない。すなわち表示用画像生成部73は、パラメータ取得部85がゲイン値推定パラメータを取得していない場合には、現在フレーム画像のみの表示用画像を生成する。
図16は、第3の実施形態の画像処理装置60の表示例4の表示動作を示すフロー図である。
先ず、ライブビュー表示の開始指示がCPU40により出力される(ステップS401)。その後、初回測光が行われ(ステップS402)、露光パラメータが設定される(ステップS403)。測光は撮像装置10の内部に備えられる測光センサにより行われ、露光パラメータの設定はCPU40で行われる。
そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス63により行われ(ステップS404)、測光が行われ(ステップS405)、次フレーム用の露光パラメータがCPU40により決定され(ステップS406)、次フレーム用の位相差検出用画素と通常画素のゲイン値がゲイン値算出部67により算出される(ステップS407)。
その後、補間制御部79により現在のフレームが第1フレームであるか否かが判定され(ステップS408)、現在のフレームが第1フレームでない場合、すなわちゲイン値算出部67がゲイン値を算出している場合には、パラメータ取得部85によりレンズ通信が可能であるか否かが判定される(ステップS409)。
レンズ通信が可能でない場合には、第1フレームに対応する表示用画像を生成しない。
一方、パラメータ取得部85によりレンズ通信が可能であると判定(ステップS409)され、パラメータ取得部85によりゲイン値推定パラメータが取得可能と判定(ステップS410)された場合には、推定ゲイン値算出部87により取得されたゲイン値推定パラメータに基づいてゲイン値が算出される(ステップS411)。その後、補間制御部79は第2のゲイン補間部83または周辺画素補間部81により、位相検出用画素の画素値を補間させ(ステップS412)、表示用画像生成部73に表示用画像を生成させる(ステップS413)。
その後、表示部75により、生成された表示用画像を液晶モニタ30またはEVFへ表示される(ステップS414)。
その後、例えばCPU40によりライブビュー表示を継続するか否かの判定が行われ(ステップS415)、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。
<第4の実施形態>
次に、本発明の第4の実施形態に関して説明する。本実施形態では、フレーム間の撮像条件の変化量に応じて、位相差検出用画素の画素値に対して補間がされる。
図17は、本実施形態の画像処理装置60の機能構成例を示すブロック図である。なお、図7で既に説明を行った箇所は、同じ符号を付し説明を省略する。
本実施形態の画像処理装置60は、センサ61、インターフェイス63、メモリ48、ゲイン値算出部67、位相差画素補間部69、表示用画像生成部73、表示部75、周辺画素値算出部77、パラメータ取得部85、推定ゲイン値算出部87、および撮像条件取得部89で構成されている。
撮像条件取得部89は、CPU40で実現され、現在フレーム画像および過去フレーム画像に関して、撮像条件に関する情報を取得する。例えば撮像条件取得部89は、撮像素子16が受光する光束が通過した光学系の絞り14に関する情報を取得する。
補間制御部79は、現在フレーム画像および過去フレーム画像において、撮像条件に関する情報の変化量が閾値以上である場合には、周辺画素補間部81に補間をさせる。例えば補間制御部79は、次のように制御を行う。露出追従のために、過去フレーム画像と現在フレーム画像との間でF値が大きく変化した場合には、過去フレームのゲイン値を用いたゲイン補間を行うべきではない。このような場合には、周辺画素補間のみで位相差画素補間を行うことが望ましい。よって、補間制御部79は、例えば過去フレーム露光時の瞳径r1、現在フレーム露光時の瞳径r2、で算出される変化量、予め決められた閾値thが以下(式3)の条件を満たす場合、瞳形状の変化が大きいと判定し周辺画素補間部81に補間を行わせる。
(表示例5)
図18は、第4の実施形態の画像処理装置60の表示例5の表示動作を示すフロー図である。
先ず、ライブビュー表示の開始指示がCPU40により出力される(ステップS501)。その後、初回測光が行われ(ステップS502)、露光パラメータが設定される(ステップS503)。測光は撮像装置10の内部に備えられる測光センサにより行われ、露光パラメータの設定はCPU40で行われる。
そして、設定された露光パラメータに基づいて露光が行われ、露光された画素より画素値の読み出しがインターフェイス63により行われ(ステップS504)、測光が行われ(ステップS505)、次フレーム用の露光パラメータがCPU40により決定され(ステップS506)、次フレーム用の位相差検出用画素と通常画素のゲイン値がゲイン値算出部67により算出される(ステップS507)。
その後、補間制御部79により現在のフレームが第1フレームであるか否かが判定され(ステップS508)、現在のフレームが第1フレームでない場合、すなわちゲイン値算出部67がゲイン値を算出している場合には、撮像条件取得部89により現在フレーム画像および過去フレーム画像の撮像条件に関する情報が取得され、補間制御部79により変化量が閾値より大きいか否かが判定される(ステップS516)。変化量が閾値以上である場合には、過去フレーム画像に基づいて算出されたゲイン値を現在フレームのゲイン補間には使用できないため、パラメータ取得部85によりレンズ通信が可能であるか否かが判定される(ステップS509)。一方、変化量が閾値以下である場合には、過去フレーム画像に基づいて算出されたゲイン値を現在フレームのゲイン補間には使用できるため、算出されたゲイン値を使用して補間が行われる。
レンズ通信が可能でない場合には、補間制御部79は周辺画素補間部81に位相差検出用画素の画素値を補間させて(ステップS510)、表示用画像生成部73は表示用画像を生成する(ステップS511)。
その後、表示部75により、生成された表示用画像を液晶モニタ30またはEVFへ表示される(ステップS512)。
その後、例えばCPU40によりライブビュー表示を継続するか否かの判定が行われ(ステップS513)、ライブビュー表示を継続する場合には、算出された露光パラメータにより露光パラメータが設定される。一方、ライブビュー表示を継続しない場合には終了する。
一方、パラメータ取得部85によりレンズ通信が可能であると判定(ステップS509)され、パラメータ取得部85によりゲイン値推定パラメータが取得可能と判定(ステップS514)された場合には、推定ゲイン値算出部87により取得されたゲイン値推定パラメータに基づいてゲイン値が算出される(ステップS515)。その後、補間制御部79は第2のゲイン補間部83または周辺画素補間部81により、位相検出用画素の画素値を補間させ(ステップS517)、表示用画像生成部73に表示用画像を生成させる(ステップS511)。
<その他の例>
次に本発明のその他の例に関して説明する。上述の説明ではローリングシャッタ方式の例に関して説明してきたが、本例ではグローバルシャッタ方式の例に関して説明する。
図19は、図9と同様に、撮像素子16への露光から画像の表示のシーケンス図にゲイン値算出のタイミングを追記したシーケンス図である。図19のシーケンス図は、図9のシーケンス図と比較すると、グローバルシャッタ方式により画素値が読み出される点で異なる。
グローバルシャッタ方式のセンサ61では、ローリングシャッタ方式のセンサ61と異なり全ライン(全画素)の露光が同時に開始され同時に完了する(図19(B))。ただし、露光完了後、蓄積された信号の読み出しおよびASICへの転送は、1番目のラインから順次転送となり、読み出し(図19(C))、転送およびそれ以降の処理シーケンスは、ローリングシャッタ方式の場合(図10)と同様となる。
すなわち、読み出しが終了したラインの画素値から順次位相差検出用画素の画素値の補間およびその他の処理が行われ、また、1枚目のフレーム画像は、例えば周辺画素補間部81により位相差検出用画素の画素値の補間が行われる(図19(D))。また、ゲイン値算出部67により、ゲイン値の算出が行われるが算出されたゲイン値は、次のフレーム画像において使用される(図19(E))。
なお、図19では画素データの読出しのタイミングと次の露光のタイミングとが重なっている。つまり、露光と読出しは並列に行われている。グローバルシャッタ方式のセンサ61の場合、露光中に電荷が貯まるフォトダイオードとは別に、フォトダイオードに貯まった信号を蓄積しておく蓄積部(不図示)が全画素に備わっている。露光完了後、全てのフォトダイオードに貯まった信号は蓄積部に移される。蓄積部の信号が順次読出され、ASICへと転送される。したがって、蓄積部に信号が移されれば、フォトダイオードは信号が空の状態となるため、次の露光を開始することが可能である。
<スマートフォンの例>
図20は、撮像装置10の一実施形態であるスマートフォンの外観を示す図である。
図20に示すスマートフォン100は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141(撮像部)とを備える。なお、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図21は、図20に示したスマートフォン100の内部構成を示すブロック図である。図21に示すように、スマートフォン100の主たる構成要素として、無線通信部110と、表示入力部120と、通話部130と、操作部140と、カメラ部141と、記憶部150と、外部入出力部160(出力部)と、GPS(global positioning system)受信部170と、モーションセンサ部180と、電源部190と、主制御部101とを備える。また、スマートフォン100の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部110は、主制御部101の指示にしたがって、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データおよび画像データ等の各種ファイルデータや電子メールデータなどの送受信、およびウェブデータやストリーミングデータなどの受信が行われる。
表示入力部120は、表示パネル121の画面上に配設された操作パネル122を備えたいわゆるタッチパネルであり、主制御部101の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。なお、操作パネル122を便宜上、タッチパネルとも称す。
表示パネル121は、LCD(Liquid Crystal Display)またはOELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いる。操作パネル122は、表示パネル121の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される1または複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル122は、操作に起因して発生する検出信号を主制御部101に出力する。次いで、主制御部101は、受信した検出信号に基づいて、表示パネル121上の操作位置(座標)を検出する。
図20に例示されるスマートフォン100の表示パネル121と操作パネル122とは一体となって表示入力部120を構成し、操作パネル122が表示パネル121を完全に覆うような配置となっている。その配置を採用した場合、操作パネル122は、表示パネル121外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル122は、表示パネル121に重なる重畳部分についての検出領域(以下、「表示領域」という)と、それ以外の表示パネル121に重ならない外縁部分についての検出領域(以下、「非表示領域」という)とを備えていてもよい。
なお、表示領域の大きさと表示パネル121の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル122が、外縁部分およびそれ以外の内側部分の2つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体102の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル122で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、および静電容量方式などが挙げられ、いずれの方式が採用されてもよい。
通話部130は、スピーカ131およびマイクロホン132を備え、マイクロホン132を通じて入力されたユーザの音声を主制御部101にて処理可能な音声データに変換して主制御部101に出力したり、無線通信部110或いは外部入出力部160により受信された音声データを復号してスピーカ131から出力したりする。また、図20に示すように、例えば、スピーカ131およびマイクロホン132を表示入力部120が設けられた面と同じ面に搭載することができる。
操作部140は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図20に示すように、操作部140は、スマートフォン100の筐体102の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
記憶部150は、主制御部101の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、およびダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。
また、記憶部150は、スマートフォン内蔵の内部記憶部151と着脱自在な外部メモリスロットを有する外部記憶部152とにより構成される。なお、記憶部150を構成する内部記憶部151および外部記憶部152のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、RAM(Random Access Memory)、或いはROMなどの格納媒体を用いて実現される。
外部入出力部160は、スマートフォン100に連結される全ての外部機器とのインターフェイスの役割を果たし、通信等(例えば、USB(Universal Serial Bus)、IEEE1394など)またはネットワーク(例えば、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により他の外部機器に直接的または間接的に接続する。
スマートフォン100に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器、有線/無線接続される外部オーディオビデオ機器、スマートフォン、パーソナルコンピュータ、PDA(Personal Digital Assistant)、およびイヤホンなどがある。外部入出力部160は、このような外部機器から伝送を受けたデータをスマートフォン100の内部の各構成要素に伝達したり、スマートフォン100の内部のデータが外部機器に伝送されたりするように構成されてもよい。
GPS受信部170は、主制御部101の指示にしたがって、GPS衛星ST1、ST2〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン100の緯度、経度および高度によって特定される位置情報(GPS情報)を取得する。GPS受信部170は、無線通信部110および/または外部入出力部160(例えば、無線LAN)から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部180は、例えば、3軸の加速度センサなどを備え、主制御部101の指示にしたがって、スマートフォン100の物理的な動きを検出する。スマートフォン100の物理的な動きを検出することにより、スマートフォン100の動く方向や加速度が検出される。その検出の結果は、主制御部101に出力される。
電源部190は、主制御部101の指示にしたがって、スマートフォン100の各部に、バッテリ(図示しない)に蓄えられる電力を供給する。
主制御部101は、マイクロプロセッサを備え、記憶部150が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン100の各部を統括して制御する。また、主制御部101は、無線通信部110を通じて音声通信およびデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。
アプリケーション処理機能は、記憶部150が記憶するアプリケーションソフトウェアにしたがって主制御部101が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部160を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、およびウェブページを閲覧するウェブブラウジング機能の他、本発明にかかる画像処理機能などがある。
また、主制御部101は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部120に表示する等の画像処理機能を備える。また、画像処理機能には、図3に示した画像処理部24により行われる画像処理を含む。
さらに、主制御部101は、表示パネル121に対する表示制御と、操作部140や操作パネル122を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部101は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル121の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部101は、操作部140を通じたユーザ操作を検出したり、操作パネル122を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部101は、操作パネル122に対する操作位置が、表示パネル121に重なる重畳部分(表示領域)に該当するか、或いはそれ以外の表示パネル121に重ならない外縁部分(非表示領域)に該当するかを判定し、操作パネル122の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部101は、操作パネル122に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部141は、主制御部101の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic Experts Group)などの圧縮した画像データに変換し、その画像データを記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることができる。図20に示すようにスマートフォン100において、カメラ部141は表示入力部120と同じ面に搭載されているが、カメラ部141の搭載位置はこれに限らず、表示入力部120が設けられる筐体102の表面ではなく筐体102の背面にカメラ部141が搭載されてもよいし、或いは複数のカメラ部141が筐体102に搭載されてもよい。なお、複数のカメラ部141が搭載されている場合には、撮像に供するカメラ部141を切り替えて単独のカメラ部141によって撮像が行われてもよいし、或いは複数のカメラ部141を同時に使用して撮像が行われてもよい。
また、カメラ部141はスマートフォン100の各種機能に利用することができる。例えば、カメラ部141で取得した画像が表示パネル121に表示されてもよいし、操作パネル122の操作入力手法の一つとして、カメラ部141で撮像取得される画像が利用されてもよい。また、GPS受信部170が位置を検出する際に、カメラ部141からの画像が参照されて位置が検出されてもよい。さらには、カメラ部141からの画像が参照されて、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン100のカメラ部141の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部141からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、GPS受信部170により取得された位置情報、マイクロホン132により取得された音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、およびモーションセンサ部180により取得された姿勢情報等などを静止画または動画の画像データに付加して得られるデータを、記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることもできる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。