以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。
[第1実施形態]
図1は、第1実施形態に係る撮像装置100の外観の一例を示す斜視図であり、図2は、図1に示す撮像装置100の背面図である。
撮像装置100は、レンズ交換式カメラである。撮影装置100は、カメラ本体200と、カメラ本体200に交換可能に装着される交換レンズ300と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ300は、手動操作により光軸方向に移動可能なフォーカスレンズ302を有する撮影レンズ16(図3参照)を含む。また、カメラ本体200には、ハイブリッドファインダー(登録商標)220が設けられている。ここで言うハイブリッドファインダー220とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。
交換レンズ300は、カメラ本体200に対して交換可能に装着される。また、交換レンズ300の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング301が設けられている。フォーカスリング301の手動による回転操作に伴ってフォーカスレンズ302は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子20(図3参照)に被写体光が結像される。
カメラ本体200の前面には、ハイブリッドファインダー220に含まれるOVFのファインダー窓241が設けられている。また、カメラ本体200の前面には、ファインダー切替えレバー(ファインダー切替え部)214が設けられている。ファインダー切替えレバー214を矢印SW方向に回動させると、OVFで視認可能な光学像とEVFで視認可能な電子像(ライブビュー画像)との間で切り換わるようになっている(後述)。なお、OVFの光軸L2は、交換レンズ300の光軸L1とは異なる光軸である。また、カメラ本体200の上面には、主としてレリーズボタン211及び撮影モードや再生モード等の設定用のダイヤル212が設けられている。
撮影準備指示部及び撮影指示部としてのレリーズボタン211は、撮影準備指示状態と撮影指示状態との2段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
本第1実施形態に係る撮像装置100では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン211を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光(撮影)が行われる。つまり、レリーズボタン211を半押し状態にすることによりAE(Automatic Exposure)機能が働いて露出状態が設定された後、AF(Auto-Focus)機能が働いて合焦制御され、レリーズボタン211を全押し状態にすると撮影が行われる。
図2に示すカメラ本体200の背面には、OVFのファインダー接眼部242、表示部213、十字キー222、MENU/OKキー224、BACK/DISPボタン225が設けられている。
十字キー222は、1つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。MENU/OKキー224は、表示部213の画面上に1つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。BACK/DISPボタン225は、選択項目など所望の対象の消去や指定内容の取消し、あるいは1つ前の操作状態に戻すときなどに使用される。
表示部213は、例えばLCDにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像(スルー画像)の表示に用いられる。また、表示部213は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部213は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
図3は第1実施形態に係る撮像装置100の電気系の構成(内部構成)の一例を示すブロック図である。
撮像装置100は、カメラ本体200に備えられたマウント256と、マウント256に対応する交換レンズ300側のマウント346と、を含む。交換レンズ300は、マウント256にマウント346が結合されることによりカメラ本体200に交換可能に装着される。
交換レンズ300は、スライド機構303及びモータ304を含む。スライド機構303は、フォーカスリング301の操作が行われることでフォーカスレンズ302を光軸L1方向に移動させる。スライド機構303には光軸L1方向に対してスライド可能にフォーカスレンズ302が取り付けられている。また、スライド機構303にはモータ304が接続されており、スライド機構303は、モータ304の動力を受けてフォーカスレンズ302を光軸L1方向に沿ってスライドさせる。
モータ304は、マウント256,346を介してカメラ本体200に接続されており、カメラ本体200からの命令に従って駆動が制御される。なお、本第1実施形態では、モータ304の一例として、ステッピングモータを適用している。従って、モータ304は、カメラ本体200からの命令によりパルス電力に同期して動作する。
撮像装置100は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、CPU(central processing unit:中央処理装置)12によって制御されている。撮像装置100は、操作部14、インタフェース部24、メモリ26及びエンコーダ34を含む。また、撮像部100は、本発明に係る表示制御部の一例である表示制御部36A,36Bを含む。また、撮像部100は、接眼検出部37を含む。また、撮像装置100は、本発明に係る補正部、生成部及び特定部の一例である画像処理部28を含む。なお、以下では、表示制御部36A,36Bを区別して説明する必要がない場合は「表示制御部36」と称する。また、本第1実施形態では、画像処理部28とは別のハードウェア構成で表示制御部36を設けているが、これに限らず、画像処理部28が表示制御部36と同様の機能を有するものとしてもよく、この場合、表示制御部36は不要となる。
CPU12、操作部14、インタフェース部24、記憶部の一例であるメモリ26、画像処理部28、エンコーダ34、表示制御部36A,36B、接眼検出部37及び外部インタフェース(I/F)39は、バス40を介して相互に接続されている。なお、メモリ26は、パラメータやプログラムなどが記憶された不揮発性の記憶領域(一例としてEEPROMなど)と画像などの各種情報が一時的に記憶される揮発性の記憶領域(一例としてSDRAMなど)とを有する。
なお、本第1実施形態に係る撮像装置100では、オートフォーカスモード時に、CPU12が、撮像によって得られた画像のコントラスト値が最大となるようにモータ304を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、CPU12は、撮像によって得られた画像の明るさを示す物理量であるAE情報を算出する。CPU12は、レリーズボタン211が半押し状態とされたときには、AE情報により示される画像の明るさに応じたシャッタースピード及びF値を導出する。そして、導出したシャッタースピード及びF値となるように関係各部を制御することによって露出状態の設定を行う。
操作部14は、撮像装置100に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部14によって受け付けられた各種指示は操作信号としてCPU12に出力され、CPU12は、操作部14から入力された操作信号に応じた処理を実行する。
操作部14は、レリーズボタン211、撮影モード等を選択するフォーカスモード切替え部212、ファインダー切替えレバー214、十字キー222、MENU/OKキー224及びBACK/DISPボタン225を含む。また、操作部14は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部213の表示画面に重ねられている。
カメラ本体200は、位置検出部23を含む。位置検出部23は、CPU12に接続されている。位置検出部23は、マウント256,346を介してフォーカスリング301に接続されており、フォーカスリング301の回転角度を検出し、検出結果である回転角度を示す回転角度情報をCPU12に出力する。CPU12は、位置検出部23から入力された回転角度情報に応じた処理を実行する。
撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ302を含む撮影レンズ16及びシャッタ18を介してカラーの撮像素子(一例としてCMOSセンサ)20の受光面に結像される。撮像素子20に蓄積された信号電荷は、デバイス制御部22から加えられる読出し信号によって信号電荷(電圧)に応じたデジタル信号として順次読み出される。撮像素子20は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間(シャッタスピード)を制御する。なお、本第1実施形態に係る撮像素子20は、CMOS型のイメージセンサであるが、これに限らず、CCDイメージセンサでもよい。
撮像素子20は、一例として図4に示すカラーフィルタ21を備えている。カラーフィルタ21は、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタG、R(赤)に対応するRフィルタR及びB(青)に対応するBフィルタを含む。図4に示す例では、撮像素子20の画素数の一例として“4896×3265”画素を採用しており、これらの画素に対してGフィルタ、Rフィルタ及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に所定の周期性で配置されている。そのため、撮像装置100は、R,G,B信号の同時化(補間)処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、同時化処理とは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
撮像素子20は、第1の画素L、第2の画素R及び通常画素N(第3の画素の一例)(後述)を含む。撮像装置100は、位相差AF機能を働かせることにより、第1の画素Lの画素からの信号出力値(以下、画素値)と第2の画素Rの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。
一例として図5に示すように、撮像素子20は、第1の画素行150、第2の画素行152及び第3の画素行154を含む。第1の画素行150は、同一行内に第1の画素組を含み、第1の画素組は、行方向に複数の通常画素N(図5に示す例では、4つの通常画素N)を介在させて周期的に配置されている。第1の画素組とは、行方向に第1の並び方(図中正面視左側に第1の画素Lが位置し、図中正面視右側に第2の画素Rが位置する並び方)で隣接する一対の第1の画素L及び第2の画素Rを指す。
第2の画素行152は、同一行内に第2の画素組を含み、第2の画素組は、行方向に複数の通常画素N(図5に示す例では、4つの通常画素N)を介在させて周期的に配置されている。第2の画素組とは、行方向に第2の並び方(第1の並び方と逆の並び方)で隣接する一対の第1の画素L及び第2の画素Rを指す。第3の画素行154は、同一行内に複数の通常画素Nが隣接して配置されている。
第1の画素行150及び第2の画素行152は、列方向に複数行の第3の画素行154(本第1実施形態では、列方向に所定周期で行数が異なる第3の画素行154)を介在させて交互に配置されている。
第1の画素Lは、一例として図6に示すように、遮光部材20Aによって受光面における行方向の左半分(受光面から被写体を臨む場合の左側(換言すると、被写体から受光面を臨む場合の右側))が遮光された画素である。第2の画素Rは、一例として図6に示すように、遮光部材20Bによって受光面における行方向の右半分(受光面から被写体を臨む場合の右側(換言すると、被写体から受光面を臨む場合の左側))が遮光された画素である。なお、以下では、第1の画素L及び第2の画素Rを区別して説明する必要がない場合は「位相差画素」と称する。
一例として図7に示すように、撮影レンズ16の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの右半分の光束を指す。左領域通過光及び右領域通過光のうちのピントが合っている(合焦状態である)部分は、撮像素子20上の同じ位置に結像する。これに対し、左領域通過光及び右領域通過光のうちの前ピン又は後ピンの部分は、それぞれ撮像素子20上の異なる位置に入射する(位相がずれる)。そのため、受光面における左領域通過光による光強度分布と右領域通過光による光強度分布とが行方向で分離して像がぼける。また、受光面における左領域通過光による光強度分布及び右領域通過光による光強度分布の各々の分布位置は、前ピンの場合と後ピンの場合とで逆転する。
一例として図6に示すように、マイクロレンズ19及び遮光部材20A,20Bは瞳分割部として機能する。すなわち、撮影レンズ16の射出瞳を通過する光束は、マイクロレンズ19及び遮光部材20A,20Bにより左右に分割され、第1の画素Lが左領域通過光を受光し、第2の画素Rが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像(後述する左眼画像及び右眼画像)として取得される。なお、以下では、遮光部材20A,20Bを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。
撮像素子20は、第1の画素群、第2の画素群及び第3の画素群に分類される。第1の画素群とは、一例として図5に示すように、行列状に配置された複数の第1の画素Lを指す。第2の画素群とは、一例として図5に示すように、行列状に配置された複数の第2の画素Rを指す。第3の画素群とは、一例として図5に示す複数の通常画素Nを指す。ここで、通常画素Nとは、位相差画素以外の画素(例えば遮光部材20A,20Bが設けられていない画素)を指す。なお、以下では、第1の画素群から出力されるRAW画像を「第1の画像」と称し、第2の画素群から出力されるRAW画像を「第2の画像」と称し、第3の画素群から出力されるRAW画像を「第3の画像」と称する。
図3に戻って、撮像素子20は、第1の画素群から第1の画像(各第1の画素Lの画素値を示すデジタル信号)を出力し、第2の画素群から第2の画像(各第2の画素Rの画素値を示すデジタル信号)を出力する。また、撮像素子20は、第3の画素群から第3の画像(各通常画素の画素値を示すデジタル信号)を出力する。なお、第3の画素群から出力される第3の画像は有彩色の画像であり、例えば通常画素Nの配列と同じカラー配列のカラー画像である。撮像素子20から出力された第1の画像、第2の画像及び第3の画像は、インタフェース部24を介してメモリ26における揮発性の記憶領域に一時記憶される。
画像処理部28は、メモリ26に記憶されている第1〜第3の画像に対して各種の画像処理を施す。画像処理部28は、一例として図8に示すように、補正部28A、生成部28B及び特定部28Cを含む。画像処理部28は、画像処理に係る複数の機能の回路を1つにまとめた集積回路であるASIC(Application Specific Integrated Circuit)により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、CPU、ROM及びRAMを含むコンピュータなどの他のハードウェア構成であってもよい。
補正部28Aは、左領域通過光及び右領域通過光に基づく減光特性に応じた補正係数を求め、求めた補正係数に基づいて第1の画像及び第2の画像を補正する。
生成部28Bは、撮像素子20から出力された画像信号に基づいて表示用画像を生成する。表示用画像は、例えば、撮像素子20から出力された第3の画像に基づいて生成される第1の表示用画像と、補正部28Aにより補正された第1の画像及び第2の画像に基づいて生成される合焦確認に使用する第2の表示用画像と、を有する。
特定部28Cは、生成部28Bにより生成された第2の表示用画像のうち、第1条件及び第2条件の双方の条件を満足する画像領域を特定する。ここで、第1条件とは、コントラストの大きさが第1所定値以上であるとの条件を指し、第2条件とは、第1の画像と第2の画像との一致度が第2所定値以上であるとの条件を指す。また、ここで、「画像領域」とは、例えば、第2の表示用画像のうち、第1条件及び第2条件の双方の条件を満足する第1の画素L及び第2の画素Rに対応する画像領域(例えば第1の画素L及び第2の画素Rの位置に対応する位置に存在する画像領域)を指す。
ところで、撮像素子20の受光面に形成される像のぼけ量に相当する像ずれ量(左領域通過光による光強度分布と右領域通過光による光強度分布とのずれ量)は、下記の数式(1)に示すように、撮影レンズ16のF値に依存することが知られている。数式(1)は、一例として図9Aに示す合焦(ジャスピン)時の被写体、撮影レンズ16及び撮像素子20の位置関係及び図9Bに示す非合焦時の被写体、撮影レンズ16及び撮像素子20の位置関係から導出される。すなわち、像ずれ量Δは、下記の数式(2)で表され、数式(2)に示す“z”は、下記の数式(3)で表される。なお、数式(3)に示す“y”は、下記の数式(4)で表される。
数式(1)に示すように、像ずれ量ΔはF値の減少に従って大きくなる。従って、特定部28Cで用いる第1及び第2所定値の最適値もF値に従って変化する。そこで、特定部28Cは、一例として図10に示す閾値導出テーブル260を用いて第1所定値の一例である閾値ε1及び第2所定値の一例である閾値ε2を導出する。図10に示す閾値導出テーブル260は、複数のF値の各々に対して閾値ε1,ε2の最適値として予め定められた値が対応付けられている。従って、特定部28Cは、閾値導出テーブル260から、現在設定されているF値に対応する閾値ε1,ε2として的確な値を導出することができる。
なお、数式(1)に示す像ずれ量Δは長さの単位であり、この長さが撮像素子20の単一画素の直径よりも大きくなるとピントがずれている(非合焦状態である)と判定される。従って、閾値ε1,ε2を撮像素子20の単一画素の大きさに応じて定めるようにしてもよい。また、数式(1)によれば、像ずれ量Δは、撮影レンズ16と被写体との距離にも依存するので、閾値ε1,ε2を撮影レンズ16と被写体との距離に応じて定めるようにしてもよい。また、F値、撮像素子20の単一画素の大きさ、及び撮影レンズ16と被写体との距離のうちの少なくとも2つの組み合わせに応じて閾値ε1,ε2を定めてもよく、この場合もテーブルを用いて閾値ε1,ε2を導出すればよい。
生成部28Bは、一例として図11に示すように、通常処理部30及びスプリットイメージ処理部32を含む。通常処理部30は、第3の画素群に対応するR,G,B信号を処理することで第1の表示用画像の一例である有彩色の通常画像を生成する。また、スプリットイメージ処理部32は、第1の画素群及び第2の画素群に対応するG信号を処理することで第2の表示用画像の一例である無彩色のスプリットイメージを生成する。
図3に戻って、エンコーダ34は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー220は、電子像を表示するLCD247を有する。LCD247における所定方向の画素数(一例として視差発生方向である行方向の画素数)は、表示部213における同方向の画素数よりも少ない。表示制御部36Aは表示部213に、表示制御分36BはLCD247に各々接続されており、LCD247及び表示部213が選択的に制御されることによりLCD247又は表示部213により画像が表示される。なお、以下では、表示部213及びLCD247を区別して説明する必要がない場合は「表示装置」と称する。
なお、本第1実施形態に係る撮像装置100は、ダイヤル212(フォーカスモード切替え部)によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部36は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル212によりオートフォーカスモードが選択されると、CPU12は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第1の画素群から出力された第1の画像と第2の画素群から出力された第2の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ302のデフォーカス量をゼロにするように、デバイス制御部22からマウント256,346を介してモータ304を制御し、フォーカスレンズ302を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第1の画像及び第2の画像の位相ずれ量を指す。
接眼検出部37は、ユーザ(例えば撮影者)がファインダー接眼部242を覗き込んだことを検出し、検出結果をCPU12に出力する。従って、CPU12は、接眼検出部37での検出結果に基づいてファインダー接眼部242が使用されているか否かを把握することができる。
外部I/F39は、LAN(Local Area Network)やインターネットなどの通信網に接続され、通信網を介して、外部装置(例えばプリンタ)とCPU12との間の各種情報の送受信を司る。従って、撮像装置100は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置100は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
図12は第1実施形態に係る撮像装置100の要部機能の一例を示す機能ブロック図である。なお、図3に示すブロック図と共通する部分には同一の符号が付されている。
通常処理部30及びスプリットイメージ処理部32は、それぞれWBゲイン部、ガンマ補正部及び同時化処理部を有し(図示省略)、メモリ26に一時記憶された元のデジタル信号(RAW画像)に対して各処理部で順次信号処理を行う。すなわち、WBゲイン部は、R,G,B信号のゲインを調整することによりホワイトバランス(WB)を実行する。ガンマ補正部は、WBゲイン部でWBが実行された各R,G,B信号をガンマ補正する。同時化処理部は、撮像素子20のカラーフィルタの配列に対応した色補間処理を行い、同時化したR,G,B信号を生成する。なお、通常処理部30及びスプリットイメージ処理部32は、撮像素子20により1画面分のRAW画像が取得される毎に、そのRAW画像に対して並列に画像処理を行う。
通常処理部30は、インタフェース部24からR,G,BのRAW画像が入力され、第3の画素群のR,G,B画素を、第1の画素群及び第2の画素群のうちの同色の周辺画素(例えば隣接するG画素)により補間することで、記録用の通常画像を生成する。
また、通常処理部30は、生成した記録用の通常画像の画像データをエンコーダ34に出力する。通常処理部30により処理されたR,G,B信号は、エンコーダ34により記録用の信号に変換(エンコーディング)され、記録部40に記録される。また、通常処理部30により処理された第3の画像に基づく画像である表示用の通常画像は、表示制御部36に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。
撮像素子20は、第1の画素群及び第2の画素群の各々の露出条件(一例として電子シャッタによるシャッタ速度)を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部28は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。
一方、スプリットイメージ処理部32は、メモリ26に一旦記憶されたRAW画像から第1の画素群及び第2の画素群のG信号を抽出し、第1の画素群及び第2の画素群のG信号に基づいて無彩色のスプリットイメージを生成する。RAW画像から抽出される第1の画素群及び第2の画素群の各々に相当する画素群は、上述したようにGフィルタの画素による画素群である。そのため、スプリットイメージ処理部32は、第1の画素群及び第2の画素群の各々に相当する画素群のG信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左眼画像」と称し、上記の「無彩色の右の視差画像」を「右眼画像」と称する。
スプリットイメージ処理部32は、スプリットイメージを生成する。スプリットイメージは、第1の画素群から出力された第1の画像に基づく左眼画像と、第2の画素群から出力された第2の画像に基づく右眼画像とを所定方向(例えば視差発生方向と交差する方向)に交互に組み合わせることによって生成される。生成されたスプリットイメージの画像データは表示制御部36に出力される。
表示制御部36は、通常処理部30から入力された表示用の通常画像の画像データと、スプリットイメージ処理部32から入力された第1、第2の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部36は、通常処理部30から入力された第3の画素群に対応する画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部32から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示装置に出力する。すなわち、表示制御部36Aは、画像データを表示部213に出力し、表示制御部36Bは画像データをLCD247に出力する。これにより、表示装置は、通常画像を動画像として連続して表示し、かつ、通常画像の表示領域内に、スプリットイメージを動画像として連続して表示する。
スプリットイメージは、一例として図13に示すように、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。なお、図13に示す矩形枠を表す縁の線は実際には表示されないが、図13では説明の便宜上示されている。
なお、本第1実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。
ハイブリッドファインダー220は、OVF240及びEVF248を含む。OVF240は、対物レンズ244と接眼レンズ246とを有する逆ガリレオ式ファインダーであり、EVF248は、LCD247、プリズム245及び接眼レンズ246を有する。
また、対物レンズ244の前方には、液晶シャッタ243が配設されており、液晶シャッタ243は、EVF248を使用する際に、対物レンズ244に光学像が入射しないように遮光する。
プリズム245は、LCD247に表示される電子像又は各種の情報を反射させて接眼レンズ246に導き、かつ、光学像とLCD247に表示される情報(電子像、各種の情報)とを合成する。
ここで、ファインダー切替えレバー214を図1に示す矢印SW方向に回動させると、回動させる毎にOVF240により光学像を視認することができるOVFモードと、EVF248により電子像を視認することができるEVFモードとが交互に切り替えられる。
表示制御部36Bは、OVFモードの場合、液晶シャッタ243が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、LCD247には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
また、表示制御部36Bは、EVFモードの場合、液晶シャッタ243が遮光状態になるように制御し、接眼部からLCD247に表示される電子像のみが視認できるようにする。なお、LCD247には、表示部213に出力されるスプリットイメージが合成された画像データと同等の画像データが入力され、これにより、表示部213と同様に通常画像の一部にスプリットイメージが合成された電子像を表示させることができる。
ところで、一般的なスプリットイメージは、一例として図14及び図15に示すように、左眼画像と右眼画像とを視差発生方向と交差する方向(図14及び図15に示す例では図中正面視上下方向)に交互に組み合わせた複数分割(図14及び図15に示す例では4分割)の画像である。スプリットイメージに含まれる左眼画像及び右眼画像は、合焦状態に応じて所定方向(図14及び図15に示す例では視差発生方向(図中正面視左右方向))にずれる。なお、図14に示す例では、人物に対してピントが合っていて人物の周辺領域(例えば木)に対してピントがあっていない状態が示されており、図15に示す例では、木に対してピントが合っていて木の周辺領域(例えば人物)に対してピントがあっていない状態が示されている。
しかし、スプリットイメージを利用した合焦判断方法では、像ずれがなくなったか否かを目視で判断するが、連続的に動く像ずれを視認しながら行う必要があり、ピント合わせに時間を要する。スプリットイメージを利用した合焦判断方法以外の合焦判断方法としては、フォーカス・ピーキングを利用した合焦判断方法が知られている。フォーカス・ピーキングを利用した合焦判断方法では、高コントラスト領域か否か(所定コントラスト以上の領域であるか否か)の判断は、スプリットイメージを利用した合焦判断方法と比べ、短時間で行うことができる。しかし、高コントラスト領域がすべて強調表示されるため、ユーザは合焦状態にない高コントラスト領域を合焦状態にあると誤判断してしまう虞がある。
そこで、本第1実施形態に係る撮像装置100では、マニュアルフォーカスモード時に、画像処理部28が、一例として図16に示す画像出力処理を行う。以下では、マニュアルフォーカスモードにおいて画像処理部28によって行われる画像出力処理について、図16を参照して説明する。なお、以下では、画像処理部28が画像出力処理を行う場合を例示するが、本発明はこれに限定されるものではなく、例えばCPU12が画像出力処理プログラムを実行することにより撮像装置100で画像出力処理が行われるようにしてもよい。
図16に示す画像出力処理では、先ず、ステップ400において、生成部28Bにより、第1〜第3の画像が入力されたか否かが判定される。ステップ400において、第1〜第3の画像が入力されていない場合は、判定が否定されてステップ400の判定を再び行う。ステップ400において、第1〜第3の画像が入力された場合は、判定が肯定されてステップ402へ移行する。
ステップ402では、生成部28Bにより、ステップ400で入力された第3の画像に基づいて通常画像が生成される。また、ステップ402では、生成部28Bにより、ステップ400で入力された第1及び第2の画像に基づく左眼画像及び右眼画像が生成され、生成された左眼画像及び右眼画像に基づいてスプリットイメージが生成される。
次のステップ404では、補正部28A及び特定部28Cにより、一例として図17及び図18に示す画像領域特定処理(第1条件及び第2条件の双方の条件を満足する画素間に対応する画像領域を特定する処理)が行われ、その後、ステップ406へ移行する。
ところで、撮像装置100では、一例として図19に示すように、被写体が撮像される場合に撮影レンズ16を通過した左領域通過光は、第1の画素Lに対応するマイクロレンズ19を通過し、第1の画素Lに入射する。しかし、左領域通過光は、第2の画素Rに対応するマイクロレンズ19を通過しても遮光部材20Bによって遮光されるので、第2の画素Rに入射しない。一方、撮影レンズ16を通過した右領域通過光は、第2の画素Rに対応するマイクロレンズ19を通過し、第2の画素Rに入射する。しかし、右領域通過光は、第1の画素Lに対応するマイクロレンズ19を通過しても遮光部材20Aによって遮光されるので、第1の画素Lに入射しない。このように画素の半分に対して遮光部材が配置されている上、左領域通過光及び右領域通過光の各々の中心が、撮影レンズ16の光軸から偏倚しているため、第1の画素群及び第2の画素群の各々では、瞳分割方向の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、左眼画像及び右眼画像における出力の変化となって現れる。すなわち、仮に撮影レンズ16に対して正面から光量が均一な光が入射された場合に得られる左眼画像及び右眼画像の左右方向(瞳分割方向に相当する方向)の出力は画素位置に応じて略線形的に変化することとなる。例えば、図20に示すように、左眼画像は、右方向の画素位置ほど出力が小さくなり、右眼画像は、左方向の画素位置ほど出力が小さくなる。左眼画像及び右眼画像の各出力の左右の相反する方向への略線形的な変化は、スプリットイメージの画質に対しても影響を及ぼす。
そこで、図17に示す画像領域特定処理では、先ず、ステップ500において、補正部28Aにより、ステップ400で入力された第1の画像及び第2の画像の出力を補正する補正係数として、減光特性に応じた補正係数が導出される。ここで、補正係数は、例えば補正用直線に基づいて導出される。補正用直線は、例えば特定の一行に含まれる複数の画素の出力についての回帰直線と目標感度比(例えば1.0)との距離の2乗和が最小になる一次関数を指し、補正用直線の従属変数が補正係数として用いられる。なお、補正係数は、これに限定されるものではなく、実機による実験やシミュレーション等によって予め得られたデフォルト値(事前に予想した減光特性をキャンセルする補正係数)であってもよい。また、ここでは、第1の画像及び第2の画像の出力を補正する場合を例示しているが、これに限らず、第1の画素L及び第2の画素Rの感度を補正するようにしてもよい。
次のステップ502では、補正部28Aにより、ステップ500で導出された補正係数に基づいて第1の画像及び第2の画像の出力が補正される。これにより、一例として図21に示すように、第1及び第2の画素群の各々の瞳分割方向の画素の線形的な感度変化に起因する第1の画像及び第2の画像の線形的な出力変化は、補正係数に基づいて補正されない場合と比べ、軽減される。
次のステップ504では、特定部28Cにより、ステップ400で入力された第1〜第3の画像に含まれる全画素のうち、一例として図22に示すように、処理対象とする画素群(注目画素群)262が設定される。
以下では、説明の便宜上、ステップ400で入力された第1〜第3の画像を区別して説明する必要がない場合は、第1〜第3の画像を「処理対象画像」と総称する。また、以下では、説明の便宜上、処理対象画像に含まれる画素のうち、撮像素子20における第1の画素Lの位置に対応する位置の画素を第1の画素L1と称する。また、処理対象画像に含まれる画素のうち、撮像素子20における第2の画素Rの位置に対応する位置の画素を第2の画素R2と称する。また、処理対象画像に含まれる画素のうち、撮像素子20における通常画素Nの位置に対応する位置の画素を通常画素N1と称する。なお、本第1実施形態では、ステップ400で入力された第1〜第3の画像を処理対象画像としているが、これに限らず、ステップ400で入力された第1〜第3の画像のうちの部分的な画像を処理対象画像としてもよい。例えば、ステップ400で入力された第1〜第3の画像のうちのスプリットイメージの表示領域の位置に対応する位置の画像を処理対象画像としてもよいし、ステップ400で入力された第1〜第3の画像のうちのスプリットイメージの表示領域の一部領域の位置に対応する位置の画像を処理対象画像としてもよい。この場合、全画面分の画像を処理する場合と比較して、処理に要する時間を短くすることができる。
注目画素群262とは、例えば処理対象画像に含まれる全画素のうち、未だに後述するステップ506〜ステップ534の処理対象とされていない画素群を指す。例えば、本第1実施形態では、注目画素群262が、一例として図22に示す注目画素群規定枠263によって定められる。図22に示す注目画素群規定枠263は、4×6の分割領域(単一の画素の大きさに対応する大きさの分割領域)で区切られた矩形枠である。図22に示す例では、図中正面視右上角の分割領域に、第1の画素行150に含まれる第1の画素L(隣接する一対の第1の画素組のうちの一方の組に含まれる第1の画素L)に対応する第1の画素L1が位置している。また、図中正面視左上角の分割領域に、第1の画素行150に含まれる第2の画素R(隣接する一対の第1の画素組のうちの他方の組に含まれる第2の画素R)に対応する第2の画素R1が位置している。また、注目画素群規定枠263の残りの分割領域の各々に、第1の画素行150及び第3の画素行154に含まれる通常画素Nに対応する通常画素N1が位置している。
次のステップ506では、特定部28Cにより、一例として図23に示すように、ステップ504で設定された注目画素群262の注目行に含まれる隣接する通常画素N1(以下、「注目通常画素組」という)が設定される。ここで、注目画素群262の注目行とは、例えば、ステップ504で設定された注目画素群262に含まれる位相差画素が属する一行を指す。また、ここで、注目通常画素組とは、未だに後述するステップ508〜518の処理対象とされていない通常画素N1を含み、且つ、注目行に含まれる第1の画素L1と第2の画素R1との間に配置された隣接する2つの通常画素N1を指す。
次のステップ508では、特定部28Cにより、ステップ506で設定された注目通常画素組に含まれる通常画素N1の何れかの出力が飽和状態(例えば出力が上限値に到達している状態)か否かが判定される。ステップ508において、ステップ506で設定された注目通常画素組に含まれる通常画素N1の何れかの出力が飽和状態の場合は、判定が肯定されてステップ510へ移行する。ステップ508において、ステップ506で設定された注目通常画素組に含まれる通常画素N1の何れの出力も飽和状態にない場合は、判定が否定されてステップ512へ移行する。
ステップ510では、特定部28Cにより、ステップ504で設定された注目画素群262の注目行に含まれる全ての通常画素N1が注目通常画素組として設定されたか否かが判定される。ステップ510において、ステップ504で設定された注目画素群262の注目行に含まれる全ての通常画素N1が注目通常画素組として設定された場合は、判定が肯定されてステップ536へ移行する。ステップ510において、ステップ504で設定された注目画素群262の注目行に含まれる全ての通常画素N1が注目通常画素組として設定されていない場合は、判定が否定されてステップ506へ移行する。
ステップ512では、特定部28Cにより、ステップ506で設定された注目通常画素組に含まれる通常画素N1毎の列方向の画素値の平均値(以下、「平均画素値」という)が算出される。図23に示す例では、注目通常画素組に含まれる隣接する通常画素N1の一方はA列に属し、他方はB列に属しているので、注目画素群262におけるA列に属する通常画素N1の平均画素値とB列に属する通常画素N1の平均画素値とが算出される。
次のステップ514では、特定部28Cにより、ステップ506で設定された注目通常画素組に含まれる通常画素N1間の平均画素値(ステップ512で算出された平均画素値)の差分(例えば差の絶対値)d1が算出され、その後、ステップ516へ移行する。
ステップ516では、特定部28Cにより、一例として図10に示す閾値導出テーブル260を用いて、現在設定されているF値に対応する閾値ε1が導出され、その後、ステップ518へ移行する。
ステップ518では、特定部28Cにより、ステップ514で算出された差分d1がステップ516で導出された閾値ε1以上であるか否かが判定される。ステップ518において、ステップ514で算出された差分d1がステップ516で導出された閾値ε1未満の場合は、判定が否定されてステップ510へ移行する。ステップ518において、ステップ514で算出された差分d1がステップ516で導出された閾値ε1以上の場合は、判定が肯定されてステップ520へ移行する。
ステップ520では、特定部28Cにより、一例として図23に示すように、ステップ504で設定された注目画素群262の注目行に含まれる一対の注目位相差画素が設定される。ここで、注目位相差画素とは、注目画素群262の注目行に含まれる両端に位置する第1の画素L1及び第2の画素R1の各々を指す。なお、以下では、第1の画素L1と第2の画素R1とを区別して説明する必要がない場合は「注目位相差画素」と称する。
ステップ522では、特定部28Cにより、ステップ520で設定された一対の注目位相差画素間の画素値(ステップ502で出力が補正された左眼画像及び右眼画像における位相差画素間の画素値)の差分Dが算出され、その後、ステップ524へ移行する。
次のステップ524では、特定部28Cにより、一例として図10に示す閾値導出テーブル260を用いて、現在設定されているF値に対応する閾値ε2が導出され、その後、ステップ526へ移行する。
ステップ526では、特定部28Cにより、ステップ522で算出された差分Dがステップ524で導出された閾値ε2以下であるか否かが判定される。ステップ526において、ステップ522で算出された差分Dがステップ524で導出された閾値ε2を超える場合は判定が否定されてステップ536へ移行する。ステップ526において、ステップ522で算出された差分Dがステップ524で導出された閾値ε2以下の場合は判定が肯定されてステップ528へ移行する。
ステップ528では、特定部28Cにより、一例として図24に示す第1画素値分布及び第2画素値分布が生成される。第1画素値分布とは、一例として図22に示す注目行が属する一行(例えば第1の画素行150に対応する一行)に含まれる全ての第1の画素L1による画素値の分布を指す。第2画素値分布とは、注目行が属する一行に含まれる全ての第2の画素R1による画素値の分布を指す。
次のステップ530では、特定部28Cにより、一例として図24に示すように、ステップ528で生成された第1画素値分布と第2画素値分布とのピーク間の距離(ピーク間距離)αが算出され、その後、ステップ532へ移行する。ピーク間距離αとは、例えば、瞳分割方向(視差発生方向)で信号レベルが極大値を持つ画素間の距離を指し、いわゆる位相差(又は位相差に相当する物理量)を意味する。
ステップ532では、特定部28Cにより、ステップ530で算出されたピーク間距離αが閾値ε3以下であるか否かが判定される。ここでは、閾値ε3として、図23に示す注目画素群262の注目行に含まれる位相差画素間の距離×2の値に相当する値を採用しているが、これ以外の値を採用してもよいことは言うまでもなく、また、ユーザによって指定された値を採用してもよい。
ステップ532において、ステップ530で算出されたピーク間距離αが閾値ε3を超える場合(例えば第1画素値分布及び第2画素値分布が図24に示す状態の場合)、判定が否定されてステップ536へ移行する。ステップ532において、ステップ530で算出されたピーク間距離αが閾値ε3以下の場合(例えば第1画素値分布及び第2画素値分布が図25に示す状態の場合)、判定が肯定されてステップ534へ移行する。
ステップ534では、特定部28Cにより、ステップ504で設定された注目画素群262の位置を示す位置情報(例えば処理対象画像内の位置を特定可能な二次元座標)が所定の記憶領域(例えばメモリ26)に記憶される。
次のステップ536では、特定部28Cにより、処理対象画像に含まれる全画素のうち、注目画素群262として未だに設定されていない画素群が存在していないか否かが判定される。ステップ536において、処理対象画像に含まれる全画素のうち、注目画素群262として未だに設定されていない画素群が存在している場合は、判定が否定されてステップ504へ移行する。ステップ536において、処理対象画像に含まれる全画素のうち、注目画素群262として未だに設定されていない画素群が存在していない場合は、判定が肯定されて本画像領域特定処理を終了する。
図16に戻って、ステップ406では、特定部28Cにより、所定の記憶領域に位置情報が記憶されているか否か(ステップ534で所定の記憶領域に位置情報が記憶されたか否か)が判定される。ステップ406において、所定の記憶領域に位置情報が記憶されていない場合は、判定が否定されてステップ410へ移行する。ステップ406において、所定の記憶領域に位置情報が記憶されている場合は、判定が肯定されてステップ408へ移行する。
ステップ408では、特定部28Cにより、ステップ402で生成されたスプリットイメージのうち、特定画像領域(本発明に係る画像領域の一例)の明るさ及び色(又は、明るさ若しくは色)が、他の領域と区別可能に調整される。ここで、特定画像領域とは、例えば所定の記憶領域に記憶されている位置情報(ステップ534で所定の記憶領域に記憶された位置情報)により示される画像領域(注目画素群262に相当する領域)のうち、スプリットイメージに含まれる領域を指す。
次のステップ410では、特定部28Cにより、ステップ402で生成された通常画像及びスプリットイメージ、又は、ステップ408で特定画像領域の明るさ及び色が調整されたスプリットイメージとステップ402で生成された通常画像とが表示制御部36に出力される。これにより、表示制御部36は、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内のスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、ライブビュー画像を表示する。
また、表示制御部36は、ステップ408で特定画像領域の明るさ及び色が調整されたスプリットイメージとステップ402で生成された通常画像とが入力されると、表示装置に対して、特定画像領域を他の領域と区別可能に表示させるように制御を行う。これにより、表示装置は、一例として図26に示すように、ライブビュー画像のうち、特定画像領域を他の領域と区別可能に表示(強調表示(ピーキング))する。特定画像領域を他の領域と区別可能に表示する方法としては、例えば、特定画像領域の出力を上限値まで引き上げる方法や、特定画像領域を予め定められた特殊色で表示する方法が挙げられる。なお、図26に示す例では、スプリットイメージにおける太線領域が特定画像領域に相当する。また、図26に示すように特定画像領域の輪郭によって規定された枠内の面領域(図26に示す例では特定画像領域の輪郭とスプリットイメージの外枠とで囲まれた領域)に対して、枠外の領域と区別可能なパッチパターンを表示するようにしてもよい。
以上説明したように、本第1実施形態に係る撮像装置100では、特定部28Cにより、差分d1がε1以上であるとの第1条件、及び差分Dが閾値ε2以下であるとの第2条件の双方の条件を満足する画像領域(特定画像領域)が特定される。また、表示装置により、通常画像及びスプリットイメージが表示され、且つ、スプリットイメージ内における特定画像領域が他の領域と区別可能に表示される。従って、本第1実施形態に係る撮像装置100は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
また、本第1実施形態に係る撮像装置100では、差分d1が通常画素N1の画素値に基づいて定められる。従って、本第1実施形態に係る撮像装置100は、通常画素N1の画素値を用いずに差分d1を定める場合と比べ、第1条件(差分d1≧閾値ε1)を満足する画像領域を高精度に特定することができる。
また、本第1実施形態に係る撮像装置100では、第1の画素L1と第2の画素R1との間に配置された通常画素N1の画素値に基づいて差分d1が定められる。従って、本第1実施形態に係る撮像装置100は、第1の画素L1と第2の画素R1との間に配置された通常画素N1の画素値を用いずに差分d1を定める場合と比べ、第1条件を満足する画像領域を高精度に特定することができる。
また、本第1実施形態に係る撮像装置100では、通常画素N1の列方向の所定画素(図22に示す例では4画素)分の平均画素値に基づいて差分d1が定められる。従って、本第1実施形態に係る撮像装置100は、平均画素値に基づいて差分d1を定める構成を有しない場合と比べ、第1条件を満足する画像領域を高精度に特定することができる。
また、本第1実施形態に係る撮像装置100では、コントラストの大きさが、非飽和状態の通常画素N1に基づいて定められる。従って、本第1実施形態に係る撮像装置100は、本構成を有しない場合と比べ、非飽和状態の画素が含まれる場合に起こり得る画像領域の誤特定を抑制することができる。
また、本第1実施形態に係る撮像装置100では、減光特性に応じて補正係数が導出され、導出された補正係数で補正された左眼画像及び右眼画像に基づいて差分Dが算出される。従って、本第1実施形態に係る撮像装置100は、本構成を有しない場合と比べ、減光特性に起因する特定画像領域の誤特定を抑制することができる。
また、本第1実施形態に係る撮像装置100では、ピーク間距離αに基づいて第2条件(差分D≦閾値ε2)を満足する画像領域(例えば第2条件を満足する第1の画素L及び第2の画素Rに対応する領域)が特定される。従って、本第1実施形態に係る撮像装置100は、ピーク間距離αに基づいて第2条件を満足する画像領域を特定する構成を有しない場合と比べ、第2条件を満足する画像領域を高精度に特定することができる。
なお、上記第1実施形態では、撮像素子20の中央部に複数の位相差画素が予め定められた配置パターンで配置されているため、表示装置の画面中央部にスプリットイメージを表示する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、撮像素子20の全領域を対象にして複数の位相差画素を予め定められた配置パターンで配置した場合、一例として図27に示すように、表示装置の全画面に対してスプリットイメージを表示するようにしてもよい。この場合、通常画像及びスプリットイメージの双方を表示する構成と比べ、合焦状態にあるか否かを視覚的に容易に認識することを簡易な構成で実現することができる。
また、上記第1実施形態では、図18に示す画像領域特定処理において、第1画素値分布と第2画素値分布とのピーク間距離αが算出される場合を例示したが、本発明はこれに限定されるものではない。例えば、図28に示すように、図18に示す画像領域特定処理のステップ528,530,532に代えて、ステップ558,560,562が特定部28Cによって行われるようにしてもよい。
図28に示す画像領域特定処理では、ステップ558において、特定部28Cにより、注目行が属する一行に含まれる第1の画素L及び第2の画素Rの各々の画素値が位置で微分される。次のステップ560では、特定部28Cにより、ステップ558で微分されて得られた第1の画素Lについての微分ピーク値と第2の画素Rについての微分ピーク値との距離(微分ピーク間距離)βが算出される。次のステップ562では、特定部28Cにより、微分ピーク間距離βが閾値ε4(閾値ε2に相当する値)以下か否かが判定される。ステップ562において、微分ピーク間距離βが閾値ε4を超える場合は判定が否定されてステップ536へ移行する。ステップ562において、微分ピーク間距離βが閾値ε4以下の場合は判定が肯定されてステップ534へ移行する。
微分ピーク間距離βは、ピーク間距離αに含まれるノイズが軽減された値に相当するので、微分ピーク間距離βを用いることで、第2条件を満足する画像領域(例えば第2条件を満足する第1の画素L及び第2の画素Rに対応する領域)を高精度に特定することができる。
また、上記第1実施形態では、ステップ528,530,532が組み込まれた画像領域特定処理を例示したが、本発明はこれに限定されるものではなく、図18に示す画像領域特定処理からステップ528,530,532を除いてもよい。この場合、画像出力処理の高速化が期待できる。また、図18に示す画像領域特定処理からステップ522,524,526を除いてもよい。この場合も、画像出力処理の高速化が期待できる。
また、上記第1実施形態では、通常画素N間の平均画素値の差分d1を算出する場合を例示したが、本発明はこれに限定されるものではなく、例えば、注目通常画素組に含まれる一対の通常画素N1間の差分を算出するようにしてもよい。この場合、画素値の平均を求める必要がなくなるので、画像出力処理の高速化が期待できる。
また、上記第1実施形態では、図17に示す画像領域特定処理で注目画素群262を設定する場合を例示したが、これに限らず、図29に示す注目画素群262A、図30に示す注目画素群262B又は図31に示す注目画素群262Cを設定してもよい。
図29に示す注目画素群262Aは、注目画素群規定枠263Aによって規定されている。注目画素群規定枠263Aは、4×8の分割領域で区切られた矩形枠であり、図中正面視右上角及び左上角の分割領域に第1の画素組に相当する第1の画素L1及び第2の画素R1が位置し、残りの分割領域に通常画素N1が位置する。画像領域特定処理において図29に示す注目画素群262Aを設定した場合、注目位相差画素として、例えば注目画素群262Aの図中正面視左上角の第1の画素L1と図中正面視右上角の第2の画素R1を採用する。また、注目画素群262Aの図中正面視左上角の第1の画素L1に隣接する第2の画素R1と図中正面視左上角の第2の画素R1に隣接する第1の画素L1を注目位相差画素として採用してもよい。
なお、図29に示す例において、注目位相差画素は、注目画素群262Aの図中正面視左上角の第1の画素L1と図中正面視右上角の第2の画素R1に限定されるものではなく、一対の第1の画素L1及び第2の画素R1であれば、如何なる組み合わせでもよい。
図30に示す注目画素群262Bは、注目画素群規定枠263Bによって規定されている。注目画素群規定枠263Bは、5×5の分割領域で区切られた矩形枠であり、図中正面視左下角の分割領域に第1の画素L1が位置し、図中正面視左上角の分割領域に第2の画素R1が位置し、残りの分割領域に通常画素N1が位置する。画像領域特定処理において図30に示す注目画素群262Bを設定した場合、注目位相差画素として、例えば注目画素群262Bの図中正面視左上角の第2の画素R1と図中正面視左下角の第1の画素L1を採用する。また、注目通常画素組として、例えば注目画素群262Bにおける第2の画素R1が属する行に含まれるに隣接する一対の通常画素N1又は注目画素群262Bにおける第1の画素L1が属する行に含まれる隣接する一対の通常画素N1を採用する。
図31に示す注目画素群262Cは、注目画素群規定枠263Cによって規定されている。注目画素群規定枠263Cは、4×2の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第1の画素L1が位置し、図中正面視右上角の分割領域に第2の画素R1が位置し、残りの分割領域に通常画素N1が位置する。画像領域特定処理において図31に示す注目画素群262Cを設定した場合、注目位相差画素として、例えば注目画素群262Cの図中正面視左上角の第1の画素L1と図中正面視右上角の第2の画素R1を採用する。また、注目通常画素組として、例えば注目画素群262Cにおいて第1の画素L1及び第2の画素R1に各々隣接する一対の通常画素N1を採用する。
また、上記第1実施形態では、第1〜第3の画素群を有する撮像素子20を例示したが、本発明はこれに限定されるものではなく、第1の画素群及び第2の画素群のみからなる撮像素子であってもよい。この場合、通常画像の生成は、第1の画像及び第2の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第1の画像又は第2の画像を通常画像として採用してもよい。また、差分d1の算出は、通常画素N1の画素値に代えて、例えば第1の画素L1の画素値と第2の画素R1の画素値とを足し合わせた画素値を用いることにより実現される。この場合、通常画素N1を用いる場合と比べ、高い空間周波数領域の検出が可能となる。また、第1の画素L1の画素値と第2の画素R1の画素値とを足し合わせた画素値に代えて、第1の画素L1の画素値又は第2の画素R1の画素値を用いてもよい。この場合、より高い空間周波数領域の検出が可能となる。
また、上記第1実施形態では、閾値導出テーブル260を用いて閾値ε1,ε2を導出しているが、これに限らず、演算式を用いて閾値ε1,ε2を導出してもよい。
また、上記第1実施形態では、差分d1,Dを算出する例を挙げて説明したが、差分に代えて、画素値の比を算出してもよい。
[第2実施形態]
上記第1実施形態では、通常画素N1間の平均画素値の差分d1を用いて画像領域を特定する例を挙げて説明したが、本第2実施形態では、複数の通常画素N1による画素値の変化率を用いて画像領域を特定する場合について説明する。なお、以下では、上記第1実施形態と同一の構成については、同一の符号を付し、説明を省略する。
図1〜図3に示す本第2実施形態に係る撮像装置100Aは、上記第1実施形態で説明した撮像装置100と比べ、画像処理部28が図17に示す画像領域特定処理に代えて図32に示す画像領域特定処理を行う点が異なる。図32に示す画像領域特定処理は、図17に示す画像領域特定処理と比べ、ステップ506〜518に代えて、ステップ600〜ステップ610を有する点が異なる。
図32に示す画像領域特定処理では、ステップ600において、特定部28Cにより、一例として図33に示すように、ステップ504で設定された注目画素群262の注目行に含まれる注目通常画素組が設定される。本第2実施形態に係る注目通常画素組とは、未だに後述するステップ600〜610の処理対象とされていない通常画素N1を含み、且つ、ステップ504で設定された注目画素群262の注目行に含まれる全ての通常画素N1を指す。
次のステップ602では、特定部28Cにより、ステップ600で設定された注目通常画素組に含まれる通常画素N1の何れかの出力が飽和状態か否かが判定される。ステップ602において、ステップ600で設定された注目通常画素組に含まれる通常画素N1の何れかの出力が飽和状態の場合は、判定が肯定されてステップ536へ移行する。ステップ602において、ステップ600で設定された注目通常画素組に含まれる通常画素N1の何れの出力も飽和状態にない場合は、判定が否定されてステップ604へ移行する。
ステップ604では、特定部28Cにより、ステップ600で設定された注目通常画素組に含まれる通常画素N1毎の列方向の平均画素値が算出される。図33に示す例では、注目通常画素組に含まれる4つの通常画素N1の各々は、A列、B列、C列及びD列の各列に属しているので、これらの各列について平均画素値が算出される。すなわち、注目画素群262におけるA列に属する通常画素N1の平均画素値、B列に属する通常画素N1の平均画素値、C列に属する通常画素N1の平均画素値、及びD列に属する通常画素N1の平均画素値が算出される。
次のステップ606では、特定部28Cにより、ステップ600で設定された注目通常画素組に含まれる通常画素N1毎の平均画素値(ステップ604で算出された平均画素値)の回帰直線が生成され、その後、ステップ608へ移行する。
ステップ608では、特定部28Cにより、現在設定されているF値に対応する閾値ε5が導出され、その後、ステップ610へ移行する。なお、閾値ε5は、上記第1実施形態で説明した閾値ε1と同様にF値毎に予め定められており、F値との対応関係がテーブル化されている。
ステップ610では、特定部28Cにより、ステップ606で生成された回帰直線の傾きsがステップ608で導出された閾値ε5以上であるか否かが判定される。ステップ610において、傾きsがステップ608で導出された閾値ε5未満の場合は、判定が否定されてステップ536へ移行する。ステップ610において、傾きsがステップ608で導出された閾値ε1以上の場合は、判定が肯定されてステップ520へ移行する。
以上説明したように、本第2実施形態に係る撮像装置100Aでは、コントラストの大きさが、第1の画素L1と第2の画素R1との間に配置された複数の通常画素N1の画素値の変化率に基づいて定められる。従って、本第2実施形態に係る撮像装置100Aは、本構成を有しない場合と比べ、第1条件を満足する画像領域を高精度に特定することができる。
また、本第2実施形態に係る撮像装置100Aでは、コントラストの大きさが、複数の通常画素N1の各々における列方向の所定画素(図33に示す例では4画素)分の平均画素値の変化率に基づいて定められる。従って、本第2実施形態に係る撮像装置100Aは、第1条件を満足する画像領域をより一層高精度に特定することができる。
[第3実施形態]
上記第1及び第2実施形態では、図22及び図33に示す画素の配置パターンを用いた場合の画像領域特定処理の一例を説明したが、本第3実施形態では、一例として図34に示す画素の配置パターンを用いた場合の画像領域特定処理の一例について説明する。なお、以下では、上記第1及び第2実施形態と同一の構成については、同一の符号を付し、説明を省略する。
図1〜図3に示す本第3実施形態に係る撮像装置100Bは、上記第1実施形態で説明した撮像装置100と比べ、撮像素子20に代えて撮像素子20Aを有する点が異なる。撮像素子20Aは、一例として図34に示すように、位相差画素行270及び通常画素行272を有する。位相差画素行270は、通常画素Nを含まずに第1の画素L及び第2の画素Rを含み、通常画素行272は、位相差画素を含まずに通常画素Nを含む。位相差画素行270及び通常画素行272は、列方向に交互に配置されている。位相差画素行270は、同一行内に第1の画素L及び第2の画素Rが交互に配置されている。
図1〜図3に示す本第3実施形態に係る撮像装置100Bは、上記第1実施形態で説明した撮像装置100と比べ、画像処理部28が図17に示す画像領域特定処理に代えて図35に示す画像領域特定処理を行う点が異なる。図35に示す画像領域特定処理は、図17に示す画像領域特定処理と比べ、ステップ504〜518に代えて、ステップ700〜ステップ710を有する点が異なる。
図35に示す画像領域特定処理では、ステップ700において、特定部28Cにより、処理対象画像に含まれる全画素のうち、一例として図34に示す注目画素群262Dが設定され、その後、ステップ702へ移行する。なお、注目画素群262Dとは、例えば処理対象画像に含まれる全画素のうち、未だに以降の処理の対象とされていない画素群を指す。例えば、本第3実施形態では、注目画素群262Dが、一例として図34に示す注目画素群規定枠263Dによって定められる。図34に示す注目画素群規定枠263Dは、2×2の分割領域で区切られた矩形枠であり、図中正面視右上角及び左上角の分割領域に異なる位相差画素が位置し、残りの分割領域に通常画素Nが位置する。図34に示す例では、図中正面視右上角の分割領域に第1の画素L1が位置し、図中正面視左上角の分割領域に第2の画素R1が位置している。
ステップ702では、特定部28Cにより、一例として図34に示すように、ステップ700で設定された注目画素群262Dの注目行に含まれる注目通常画素組(図34に示す例では、注目画素群262Dに含まれる一対の通常画素N1)が設定される。ここで、注目通常画素組とは、未だに以降の処理の対象とされていない一対の通常画素N1を指す。
次のステップ704では、特定部28Cにより、ステップ702で設定された注目通常画素組に含まれる通常画素N1の何れかの出力が飽和状態か否かが判定される。ステップ704において、ステップ702で設定された注目通常画素組に含まれる通常画素N1の何れかの出力が飽和状態の場合は、判定が肯定されて図18に示すステップ536へ移行する。ステップ704において、ステップ702で設定された注目通常画素組に含まれる通常画素N1の何れの出力も飽和状態にない場合は、判定が否定されてステップ706へ移行する。
ステップ706では、特定部28Cにより、ステップ702で設定された注目通常画素組に含まれる一対の通常画素N1の画素値の差分(例えば差の絶対値)d2が算出され、その後、ステップ708へ移行する。
ステップ708では、特定部28Cにより、一例として図10に示す閾値導出テーブル260を用いて、現在設定されているF値に対応する閾値ε1が導出され、その後、ステップ710へ移行する。
ステップ710では、特定部28Cにより、ステップ706で算出された差分d2がステップ708で導出された閾値ε1以上であるか否かが判定される。ステップ710において、ステップ706で算出された差分d2がステップ708で導出された閾値ε1未満の場合は、判定が否定されて図18に示すステップ536へ移行する。ステップ710において、ステップ706で算出された差分d2がステップ708で導出された閾値ε1以上の場合は、判定が肯定されて図18に示すステップ520へ移行する。
以上説明したように、本第3実施形態に係る撮像装置100Bでは、行方向で第1の画素L1と第2の画素R1とが交互に隣接して配置されている。従って、本第3実施形態に係る撮像装置100Bは、本構成を有しない場合と比べ、特定画像領域として、より一層高い空間周波数の画像領域を特定することができる。
なお、上記第3実施形態では、位相差画素行270及び通常画素行272を含む撮像素子20Aを例示したが、本発明はこれに限定されるものではなく、例えば図36及び図37に示す撮像素子20B又は図38及び図39に示す撮像素子20Cを用いてもよい。
一例として図36及び図37に示す撮像素子20Bは、第1の画素行274、第2の画素行276及び第3の画素行278を含む。第1の画素行274及び第2の画素行276は、列方向で隣接しており、列方向に複数行(図36及び図37に示す例では2行)の第3の画素行278を介在させて周期的に配置されている。第1の画素行274は、同一行内に第1の画素Lと第2の画素Rとが交互に配置されており、第1の画素Lと第2の画素Rとの間に複数の通常画素N(図36及び図37に示す例では2つの通常画素N)が配置されている。第2の画素行276は、同一行内に第1の画素Lと第2の画素Rとが第1の画素行274とは逆の並び方で交互に配置されており、第1の画素Lと第2の画素Rとの間に複数の通常画素N(図36及び図37に示す例では2つの通常画素N)が配置されている。また、第1の画素行274に含まれる第1の画素L及び第2の画素行276に含まれる第2の画素Rは同一列内に配置されており、第1の画素行274に含まれる第2の画素R及び第2の画素行276に含まれる第1の画素Lは同一列内に配置されている。第3の画素行278は、同一行内に複数の通常画素Nが隣接して配置されている。
撮像素子20Bを用いる場合、上記第3実施形態に係る画像領域特定処理のステップ700において、一例として図36に示す注目画素群262E又は一例として図37に示す注目画素群262Fが設定される。図36に示す注目画素群262Eは、注目画素群規定枠263Eによって規定されている。注目画素群規定枠263Eは、2×4の分割領域で区切られた矩形枠であり、図中正面視左上角及び右下角の各分割領域に第1の画素L1が位置し、図中正面視右上角及び左下角の各分割領域に第2の画素R1が位置し、残りの分割領域に通常画素N1が位置する。この場合、注目通常画素組として、例えば注目画素群262Eの図中正面視左上角の第1の画素L1と図中正面視右上角の第2の画素R1との間で隣接している一対の通常画素N1を採用すればよい。また、注目位相差画素として、例えば注目画素群262Eの図中正面視左上角の第1の画素L1と図中正面視左下角の第2の画素R1を採用すればよい。また、これに限らず、注目画素群262Eの図中正面視右上角の第2の画素R1と図中正面視右下角の第1の画素L1を注目位相差画素として採用してもよい。
図37に示す注目画素群262Fは、注目画素群規定枠263Fによって規定されている。注目画素群規定枠263Fは、2×3の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第1の画素L1が位置し、図中正面視左下角の分割領域に第2の画素R1が位置し、残りの分割領域に通常画素N1が位置する。この場合、注目通常画素組として、例えば注目画素群262Fに含まれる第1の画素L1と行方向で隣接する一対の通常画素N1を採用すればよい。また、注目位相差画素として、例えば注目画素群262Fに含まれる第1の画素L1及び第2の画素R1を採用すればよい。
図36及び図37に示す構成によれば、行方向に隣接して配置された第1の画素L1及び第2の画素R1を注目位相差画素として採用する場合と比べ、より一層高い空間周波数の画像領域を特定することができる。
一例として図38及び図39に示す撮像素子20Cは、第1の画素行280、第2の画素行282及び第3の画素行284を含む。第1の画素行280及び第2の画素行282は、列方向で隣接しており、列方向に複数行(図38及び図39に示す例では2行)の第3の画素行284を介在させて周期的に配置されている。第1の画素行280は、同一行内に第1の画素Lと第2の画素Rとが交互に配置されており、第1の画素Lと第2の画素Rとの間に複数の通常画素N(図38及び図39に示す例では2つの通常画素N)が配置されている。第2の画素行282は、同一行内に第1の画素Lと第2の画素Rとが第1の画素行280とは逆の並び方で交互に配置されており、第1の画素Lと第2の画素Rとの間に複数の通常画素N(図38及び図39に示す例では2つの通常画素N)が配置されている。また、第1の画素行280に含まれる第1の画素L及び第2の画素行282に含まれる第2の画素Rは行方向に1画素分ずれた位置に配置されている。また、第1の画素行280に含まれる第2の画素R及び第2の画素行282に含まれる第1の画素Lは行方向に1画素分ずれた位置に配置されている。第3の画素行284は、同一行内に複数の通常画素Nが隣接して配置されている。
撮像素子20Cを用いる場合、上記第3実施形態に係る画像領域特定処理のステップ700において、一例として図38に示す注目画素群262G又は一例として図39に示す注目画素群262Hが設定される。図38に示す注目画素群262Gは、注目画素群規定枠263Gによって規定されている。注目画素群規定枠263Gは、2×5の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第1の画素行280の第1の画素L1が位置し、図中正面視右下角の分割領域に第2の画素行280の第1の画素L1が位置する。この場合、注目通常画素組として、例えば注目画素群262Gの図中正面視左上角の第1の画素L1とこの第1の画素L1と共に注目画素群262Gの同一行内に存在する第2の画素R1との間で隣接している一対の通常画素N1を採用すればよい。また、注目位相差画素として、例えば注目画素群262Gの図中正面視左上角の第1の画素L1とこの第1の画素L1に斜め方向で隣接する第2の画素R1(注目画素群262Gに含まれる第2の画素行282の第2の画素R1)を採用すればよい。また、これに限らず、注目画素群262Gの図中正面視右下角の第1の画素L1とこの第1の画素L1に斜め方向で隣接する第2の画素R1(注目画素群262Gに含まれる第1の画素行280の第2の画素R1)を位相差画素として採用してもよい。
図39に示す注目画素群262Hは、注目画素群規定枠263Hによって規定されている。注目画素群規定枠263Hは、4×2の分割領域で区切られた矩形枠であり、図中正面視左上角の分割領域に第1の画素行280の第1の画素L1が位置する。この場合、注目通常画素組として、例えば注目画素群262Hに含まれる2行の第3の画素行284のうちの一方の行に含まれる一対の通常画素Nに対応する一対の通常画素N1を採用すればよい。また、注目位相差画素として、例えば注目画素群262Gの図中正面視左上角の第1の画素L1とこの画素に斜め方向で隣接する第2の画素R1(注目画素群262Hに含まれる第2の画素行282の第2の画素Rに対応する第2の画素R1)を採用すればよい。
図38及び図39に示す構成によれば、行方向に複数画素分だけ離れて配置された第1の画素L1及び第2の画素R1を注目位相差画素として採用する場合と比べ、高い空間周波数の画像領域を特定することができる。
なお、図36に示す注目画素群262E及び図38に示す注目画素群262Gの各々は、複数の第1の画素L1及び複数の第2の画素R1を有する。この場合、注目位相差画素として採用する第1の画素L1と第2の画素R1との組み合わせは如何なる組み合わせであってもよい。
[第4実施形態]
上記各実施形態では、撮像装置100(100A,100B)を例示したが、撮像装置100(100A,100B)の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、PDA(Personal Digital Assistants)や携帯型ゲーム機などが挙げられる。本第3実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図40は、スマートフォン500の外観の一例を示す斜視図である。図40に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532と、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。
図41は、図40に示すスマートフォン500の構成の一例を示すブロック図である。図40に示すように、スマートフォン500の主たる構成要素として、無線通信部510と、表示入力部520と、通信部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、を備える。また、スマートフォン500の主たる構成要素として、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501と、を備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示に従って、移動通信網NWに収容された基地局装置BSに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。そのため、表示入力部520は、主制御部501の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された3Dを鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図40に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通信部530は、スピーカ531やマイクロホン532を備える。通信部530は、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力する。また、通信部530は、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力する。また、図41に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の側面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図40に示すように、操作部540は、スマートフォン500の筐体502の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部550は、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部550は、ストリーミングデータなどを一時的に記憶する。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552を有する。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)が例示できる。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス(USB)、IEEE1394などが挙げられる。ネットワークとしては、例えば、インターネット、無線LAN、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA(登録商標))が挙げられる。また、ネットワークの他の例としては、UWB(Ultra Wideband(登録商標))、ジグビー(ZigBee(登録商標))などが挙げられる。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)が挙げられる。外部機器の他の例としては、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示省略)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部501は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル21に重ならない外縁部分(非表示領域)かを判定する。そして、この判定結果を受けて、操作パネル522の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOSやCCDなどの撮像素子を用いて撮像するデジタルカメラであり、図1等に示す撮像装置100と同様の機能を備えている。
また、カメラ部541は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部540又は表示入力部520に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部541の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル521に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図12に示すハイブリッドファインダー220をスマートフォン500に設けるようにしてもよい。
また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部550に記録したり、入出力部560や無線通信部510を通じて出力することができる。図40に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合には、撮像に供するカメラ部541を切り替えて単独にて撮像したり、あるいは、複数のカメラ部541を同時に使用して撮像したりすることもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データに各種情報を付加して記憶部550に記録したり、入出力部560や無線通信部510を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)が挙げられる。この他にも、モーションセンサ部580により取得した姿勢情報等などであってもよい。
また、上記各実施形態では、上下方向に2分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。
例えば、図42に示すスプリットイメージ66aは、行方向に平行な複数の分割線63aにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ66aでは、第1の画素群から出力された出力信号に基づいて生成されたライン状(一例として短冊状)の位相差画像66Laが奇数ライン(偶数ラインでも可)に表示される。また、第2の画素群から出力された出力信号に基づき生成されたライン状(一例として短冊状)の位相差画像66Raが偶数ラインに表示される。
また、図43に示すスプリットイメージ66bは、行方向に傾き角を有する分割線63b(例えば、スプリットイメージ66bの対角線)により2分割されている。このスプリットイメージ66bでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lbが一方の領域に表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rbが他方の領域に表示される。
また、図44A及び図44Bに示すスプリットイメージ66cは、行方向及び列方向にそれぞれ平行な格子状の分割線63cにより分割されている。スプリットイメージ66cでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lcが市松模様(チェッカーパターン)状に並べられて表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rcが市松模様状に並べられて表示される。
また、スプリットイメージに限らず、2つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、2つの位相差画像を重畳して合成表示し、ピントがずれている場合は2重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。
また、上記各実施形態では、第1〜第3の画素群を有する撮像素子20(20A)を例示したが、本発明はこれに限定されるものではなく、第1の画素群及び第2の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像に基づいて3次元画像(3D画像)を生成することができるし、2次元画像(2D画像)も生成することができる。この場合、2次元画像の生成は、例えば第1の画像及び第2の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第1の画像又は第2の画像を2次元画像として採用してもよい。
また、上記各実施形態では、第1〜第3の画像が画像処理部28に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部36が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図13に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像(例えば第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像)に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群(例えば第1の画素群及び第2の画素群)のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素(例えば第1の画素群及び第2の画素群)が配置された撮像素子を使用する場合が例示できる。
また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211が半押し状態にされた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211に対して押圧操作が行われていない場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部36が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部36は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。
また、上記各実施形態で説明した撮像装置100(100A,100B)は、被写界深度を確認する機能(被写界深度確認機能)を有していてもよい。この場合、例えば撮像装置100は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ(非保持型スイッチ)を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置100における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間(所定位置に押し込まれている間)、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをCPU12が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ(保持型スイッチ)を適用してもよい。
また、上記各実施形態で説明した画像出力処理の流れ(図16参照)及び画像領域特定処理(図17、図18、図32及び図35参照)はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記各実施形態で説明した画像出力処理及び画像領域特定処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、その他のハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
上記各実施形態で説明した画像出力処理及び画像領域特定処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域(例えばメモリ26)に予め記憶しておけばよい。なお、必ずしも最初からメモリ26に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるSSD(Solid State Drive)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやLAN(Local Area Network)などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
上記目的を達成するために、本発明の第16の態様に係る画像処理方法は、撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された画像信号に基づく第1の表示用画像と第1及び第2の画像信号に基づく合焦確認に使用する第2の表示用画像とを生成し、第2の表示用画像のうち、コントラストの大きさが第1所定値以上であるとの第1条件、及び第1の画像信号と第2の画像信号との一致度が第2所定値以上であるとの第2条件の双方の条件を満足する画像領域を特定し、画像を表示する表示部に対して、第1の表示用画像を表示させ、且つ、第1の表示用画像の表示領域内に第2の表示用画像を表示させ、且つ、第2の表示用画像のうち、特定した画像領域を、他の領域と区別可能に表示させる制御を行うことを含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
上記目的を達成するために、本発明の第17の態様に係る画像処理方法は、撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された画像信号に基づく第1の表示用画像と第1及び第2の画像信号に基づく合焦確認に使用する第2の表示用画像とを生成し、第2の表示用画像のうち、コントラストの大きさが第1所定値以上であるとの第1条件、及び第1の画像信号と第2の画像信号との一致度が第2所定値以上であるとの第2条件の双方の条件を満足する画像領域を特定し、画像を表示する表示部に対して、第2の表示用画像を表示させ、且つ、第2の表示用画像のうち、特定した画像領域を、他の領域と区別可能に表示させる制御を行うことを含む。これにより、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。