JPWO2015045795A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JPWO2015045795A1
JPWO2015045795A1 JP2015539063A JP2015539063A JPWO2015045795A1 JP WO2015045795 A1 JPWO2015045795 A1 JP WO2015045795A1 JP 2015539063 A JP2015539063 A JP 2015539063A JP 2015539063 A JP2015539063 A JP 2015539063A JP WO2015045795 A1 JPWO2015045795 A1 JP WO2015045795A1
Authority
JP
Japan
Prior art keywords
image
acquired
pixel
correction coefficient
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015539063A
Other languages
English (en)
Other versions
JP6033454B2 (ja
Inventor
克俊 井澤
克俊 井澤
林　淳司
林　　淳司
智行 河合
智行 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6033454B2 publication Critical patent/JP6033454B2/ja
Publication of JPWO2015045795A1 publication Critical patent/JPWO2015045795A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/24—Focusing screens
    • G03B13/28—Image-splitting devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本発明は、減光特性の補正を即時的に行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。補正部（２８Ｂ）は、第１比較結果及び第２比較結果に基づいて、減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後フレームに対する減光特性を補正する。第１比較結果とは、取得部（２８Ａ）により異なるタイミングでフレームが取得されて得られた一対のフレームのうちの先に取得された先フレームに含まれる位相差画像と通常画像とを比較した結果を指す。第２比較結果とは、一対のフレームのうちの後に取得された後フレームに含まれる位相差画像と通常画像とを比較した結果を指す。制御部（２８Ｃ）は、表示装置に対して、減光特性が補正された後フレームを動画像として連続して表示させる。

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。
マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。
ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため、位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。
そこで、近年では、マニュアルフォーカスモード時にユーザ（例えば撮影者）が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリング（以下、「フォーカスリング」という）を操作してピントを合わせる。
ここで、特許文献１に記載の撮像装置を参照して、スプリットイメージの原理を説明する。特許文献１に記載の撮像装置は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる所謂右眼画像及び左眼画像を生成する。そして、右眼画像及び左眼画像を用いてスプリットイメージを生成し、かつ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる通常画像を生成する。そして、表示部に通常画像を表示し、且つ、通常画像内にスプリットイメージを表示する。
ところで、右眼画像及び左眼画像は、撮影レンズにおける一対の領域を通過する光束の中心が、レンズ光軸から偏倚していることにより、右眼画像及び左眼画像には瞳分割方向における各方向に線形的な減光特性が現れる。
減光特性を補正する技術としては、特許文献２に記載の技術が知られている。特許文献２に記載の撮像装置は、通常画像に含まれる画素値と右眼画像及び左眼画像の各々に含まれる画素値とを比較して補正テーブルを作成し、作成した補正テーブルを使用して減光特性を補正する。
特開２００９−１４７６６５号公報 ＷＯ２０１２／０３９３４６
しかしながら、減光特性は、撮像装置におけるレンズや絞り値などの撮影条件に依存しているので、特許文献２に記載の技術では、撮影条件毎に補正テーブルを作成しなければならず、撮影条件の変化に対して減光特性の補正を即時的に行うことが困難である。
本発明は、このような実情を鑑みて提案されたものであり、減光特性の補正を即時的に行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された第１画像信号に基づく第１画像、及び撮像素子から出力された第２画像信号に基づく第２画像を含む撮影画像を取得する取得部と、取得部により互いに異なるタイミングで撮影画像が取得されることにより得られた一対の撮影画像のうちの先に取得された先取得画像に含まれる第１画像と第２画像とを比較した第１比較結果、及び一対の撮影画像のうちの先取得画像よりも後に取得された後取得画像に含まれる第１画像と第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後取得画像に対する減光特性を補正する補正部と、画像を表示する表示部と、表示部に対して、先取得画像に含まれる第２画像及び補正部によって減光特性が補正された後取得画像に含まれる第２画像を動画像として連続して表示させ、かつ、第２画像の表示領域内に、先取得画像に含まれる第１画像に基づく画像及び補正部によって減光特性が補正された後取得画像に含まれる第１画像に基づく画像を合焦確認用の動画像として連続して表示させる制御部と、を含む。これにより、画像処理装置は、第１比較結果及び第２比較結果に基づいて算出された減光特性補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
上記目的を達成するために、本発明の第２の態様に係る画像処理装置は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された第１画像信号に基づく第１画像、及び撮像素子から出力された第２画像信号に基づく第２画像を含む撮影画像を取得する取得部と、取得部により互いに異なるタイミングで撮影画像が取得されることにより得られた一対の撮影画像のうちの先に取得された先取得画像に含まれる第１画像と第２画像とを比較した第１比較結果、及び一対の撮影画像のうちの先取得画像よりも後に取得された後取得画像に含まれる第１画像と第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後取得画像に対する減光特性を補正する補正部と、画像を表示する表示部と、表示部に対して、先取得画像に含まれる第１画像に基づく画像及び補正部によって減光特性が補正された後取得画像に含まれる第１画像に基づく画像を合焦確認用の動画像として連続して表示させる制御部と、を含む。これにより、画像処理装置は、第１比較結果及び第２比較結果に基づいて算出された平均化補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
本発明の第３の態様に係る画像処理装置では、本発明の第１の態様又は第２の態様において、減光特性補正係数は、第１比較結果及び第２比較結果を平均化して得た減光特性補正係数である。これにより、画像処理装置は、第１比較結果と第２比較結果とを平均化して得た値を減光特性補正係数として用いない場合と比べ、現在の撮影条件に対応した減光特性補正係数を得ることができる。
本発明の第４の態様に係る画像処理装置では、本発明の第３の態様において、減光特性補正係数は、第１の重みが付与された第１比較結果及び第１の重み未満の第２の重みが付与された第２比較結果を平均化して得た減光特性補正係数である。これにより、画像処理装置は、第１の重みが付与された第１比較結果及び第１の重み未満の第２の重みが付与された第２比較結果を平均化して得た値を減光特性補正係数として用いない場合と比べ、減光特性の補正精度を高めることができる。
本発明の第５の態様に係る画像処理装置では、本発明の第３の態様において、減光特性補正係数は、第１の重みが付与された第１比較結果及び第１の重み以上の第２の重みが付与された第２比較結果を平均化して得た減光特性補正係数である。これにより、画像処理装置は、第１の重みが付与された第１比較結果及び第１の重み以上の第２の重みが付与された第２比較結果を平均化して得た値を減光特性補正係数として用いない場合と比べ、減光特性の補正時間を短くすることができる。
本発明の第６の態様に係る画像処理装置では、本発明の第１の態様から第３の態様の何れか１つにおいて、第１比較結果は、先取得画像に含まれる第１画像と第２画像との互いに対応する画素位置における画素値を比較した第１比較値に基づく値であり、第２比較結果は、後取得画像に含まれる第１画像と第２画像との互いに対応する画素位置における画素値を比較した第２比較値に基づく値である。これにより、画像処理装置は、本構成を有しない場合と比べ、減光特性が補正された画像の輝度が画素単位で第２画像の輝度に対応することを可能にする減光特性補正係数を得ることができる。
本発明の第７の態様に係る画像処理装置では、本発明の第６の態様において、減光特性補正係数は、撮像素子における瞳分割方向の３以上の画素位置毎に、第１比較値のうちの最小値及び最大値の少なくとも１つ以外の第１比較値に基づく値、及び第２比較値のうちの最小値及び最大値の少なくとも１つ以外の第２比較値に基づく値に基づいて得た減光特性補正係数である。これにより、画像処理装置は、本構成を有しない場合と比べ、精度良く平滑化された減光特性補正係数を得ることができる。
本発明の第８の態様に係る画像処理装置では、本発明の第６の態様において、補正部は、第２比較値が上限値を超える場合、上限値を超える第２比較値を、上限値を超える第２比較値を得た画素位置に対応する画素位置の第１比較値に相当する値に変更し、第２比較値が下限値未満の場合、下限値未満の第２比較値を、下限値未満の第２比較値を得た画素位置に対応する画素位置の第１比較値に相当する値に変更する。これにより、画像処理装置は、本構成を有しない場合と比べ、精度良く平滑化された減光特性補正係数を得ることができる。
本発明の第９の態様に係る画像処理装置では、本発明の第６の態様から第８の態様の何れか１つにおいて、撮像素子は、画素毎に割り当てられた色について感度を有し、第１比較値は、先取得画像に含まれる第１画像と第２画像との同種色の感度を有する互いに対応する画素位置における画素値を比較した比較値であり、第２比較値は、後取得画像に含まれる第１画像と第２画像との同種色の感度を有する互いに対応する画素位置における画素値を比較した比較値である。これにより、画像処理装置は、本構成を有しない場合と比べ、画素毎に感度を有する色が異なっていても減光特性の補正を高精度に行うことができる。
本発明の第１０の態様に係る画像処理装置では、本発明の第１の態様から第９の態様の何れか１つにおいて、撮像素子は、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号を第２画像信号として出力する画素群を有する。これにより、画像処理装置は、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号を第２画像信号として出力する画素群を撮像素子が有しない場合と比べ、画像の画質を向上させることができる。
本発明の第１１の態様に係る撮像装置は、本発明の第１の態様から第１０の態様の何れか１つの画像処理装置と、位相差画素群を有する撮像素子と、撮像素子から出力された信号に基づいて生成された画像を記憶する記憶部と、を含む。これにより、撮像装置は、第１比較結果及び第２比較結果に基づいて算出された減光特性補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
本発明の第１２の態様に係る画像処理方法は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された第１画像信号に基づく第１画像、及び撮像素子から出力された第２画像信号に基づく第２画像を含む撮影画像を取得し、互いに異なるタイミングで撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる第１画像と第２画像とを比較した第１比較結果、及び一対の撮影画像のうちの先取得画像よりも後に取得した後取得画像に含まれる第１画像と第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後取得画像に対する減光特性を補正し、画像を表示する表示部に対して、先取得画像に含まれる第２画像及び減光特性を補正した後取得画像に含まれる第２画像を動画像として連続して表示させ、かつ、第２画像の表示領域内に、先取得画像に含まれる第１画像に基づく画像及び減光特性を補正した後取得画像に含まれる第１画像に基づく画像を合焦確認用の動画像として連続して表示させることを含む。これにより、本発明の第１３の態様に係る画像処理方法は、第１比較結果及び第２比較結果に基づいて算出された減光特性補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
本発明の第１３の態様に係る画像処理方法は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された第１画像信号に基づく第１画像、及び撮像素子から出力された第２画像信号に基づく第２画像を含む撮影画像を取得し、互いに異なるタイミングで撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる第１画像と第２画像とを比較した第１比較結果、及び一対の撮影画像のうちの先取得画像よりも後に取得した後取得画像に含まれる第１画像と第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後取得画像に対する減光特性を補正し、画像を表示する表示部に対して、先取得画像に含まれる第１画像に基づく画像及び減光特性を補正した後取得画像に含まれる第１画像に基づく画像を合焦確認用の動画像として連続して表示させることを含む。これにより、本発明の第１４の態様に係る画像処理方法は、第１比較結果及び第２比較結果に基づいて算出された減光特性補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
本発明の第１４の態様に係る画像処理プログラムは、コンピュータに、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された第１画像信号に基づく第１画像、及び撮像素子から出力された第２画像信号に基づく第２画像を含む撮影画像を取得し、互いに異なるタイミングで撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる第１画像と第２画像とを比較した第１比較結果、及び一対の撮影画像のうちの先取得画像よりも後に取得した後取得画像に含まれる第１画像と第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後取得画像に対する減光特性を補正し、画像を表示する表示部に対して、先取得画像に含まれる第２画像及び減光特性を補正した後取得画像に含まれる第２画像を動画像として連続して表示させ、かつ、第２画像の表示領域内に、先取得画像に含まれる第１画像に基づく画像及び減光特性を補正した後取得画像に含まれる第１画像に基づく画像を合焦確認用の動画像として連続して表示させることを含む処理を実行させるための画像処理プログラムである。これにより、画像処理プログラムは、第１比較結果及び第２比較結果に基づいて算出された減光特性補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
本発明の第１５の態様に係る画像処理プログラムは、コンピュータに、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された第１画像信号に基づく第１画像、及び撮像素子から出力された第２画像信号に基づく第２画像を含む撮影画像を取得し、互いに異なるタイミングで撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる第１画像と第２画像とを比較した第１比較結果、及び一対の撮影画像のうちの先取得画像よりも後に取得した後取得画像に含まれる第１画像と第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後取得画像に対する減光特性を補正し、画像を表示する表示部に対して、先取得画像に含まれる第１画像に基づく画像及び減光特性を補正した後取得画像に含まれる第１画像に基づく画像を合焦確認用の動画像として連続して表示させることを含む処理を実行させるための画像処理プログラムである。これにより、画像処理プログラムは、第１比較結果及び第２比較結果に基づいて算出された減光特性補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
本発明によれば、減光特性の補正を即時的に行うことができる、という効果が得られる。
第１〜第３実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１〜第３実施形態に係る撮像装置の背面側を示す背面図である。 第１〜第３実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１〜第３実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの構成の一例を示す概略構成図である。 第１〜第３実施形態に係る撮像装置に含まれる撮像素子における通常画素、第１の画素及び第２の画素の配置例、並びに通常画素、第１の画素及び第２の画素の各々に対して割り当てられたカラーフィルタの色の配置例を示す模式図である。 第１〜第３実施形態に係る撮像装置に含まれる撮像素子における第１の画素及び第２の画素の各々の構成の一例を示す模式図である。 第１〜第３実施形態に係る撮像装置の本発明に係る要部機能の一例を示すブロック図である。 第１〜第３実施形態に係る撮像装置に含まれる画像処理部によって生成されるスプリットイメージの生成方法の説明に供する模式図である。 第１〜第３実施形態に係る撮像装置に含まれる第１ディスプレイに表示されたスプリットイメージ及び通常画像を含むライブビュー画像の一例を示す画面図である。 第１〜第３実施形態に係る撮像装置に含まれるハイブリッドファインダーの構成の一例を示す概略構成図である。 左領域通過光及び右領域通過光による減光特性の原理（第１及び第２の画素の各々に入射する光束の経路の一例）の説明に供する説明図である。 瞳分割方向の線形的な減光特性が左眼画像及び右眼画像の各々における瞳分割方向に相当する方向の各画素の出力に与える影響の一例を示すグラフである。 第１実施形態に係る画像出力処理の流れの一例を示すフローチャートである。 補正前後の表示用左眼画像及び表示用右眼画像が受ける減光特性の影響の一例を示す概念図である。 第２実施形態に係る画像出力処理の流れの一例を示すフローチャートである。 第２実施形態に係る画像出力処理によって設定された注目行及び注目画素群の一例を示す模式図である。 第３実施形態に係る画像出力処理の流れの一例を示すフローチャートである。 図１７Ａに示すフローチャートの続きである。 第１〜第３実施形態に係る撮像装置に含まれる画像処理部の補正部による第１及び第２平均化補正係数の算出方法の説明に供する模式図である。 第１〜第３実施形態に係る撮像装置に含まれる撮像素子における位相差画素に対してＧフィルタ及びＲフィルタが割り当てられている画素配置例を示す模式図である。 第４実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第４実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。 第１〜第４実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１〜第４実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である 第１〜第４実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１〜第４実施形態に係るスプリットイメージの変形例であって、市松模様に形成されたスプリットイメージの一例を示す模式図である。 撮像素子に含まれる第１の画素及び第２の画素の配置の変形例を示す概略配置図である。
以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。
［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。
撮像装置１００は、レンズ交換式カメラである。撮像装置１００は、撮像装置本体２００と、撮像装置本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ３００は、手動操作により光軸方向に移動可能なフォーカスレンズ３０２を有する撮影レンズ１６（図３参照）を含む。また、撮像装置本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。
交換レンズ３００は、撮像装置本体２００に対して交換可能に装着される。また、交換レンズ３００の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング３０１が設けられている。フォーカスリング３０１の手動による回転操作に伴ってフォーカスレンズ３０２は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。
撮像装置本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、撮像装置本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、撮像装置本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。
撮影準備指示部及び撮影指示部としてのレリーズボタン２１１は、撮影準備指示状態と撮影指示状態との２段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
本第１実施形態に係る撮像装置１００では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure）機能が働いて露出状態が設定された後、ＡＦ（Auto-Focus）機能が働いて合焦制御され、レリーズボタン２１１を全押し状態にすると撮影が行われる。
図２に示す撮像装置本体２００の背面には、タッチパネル・ディスプレイ２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５、及びＯＶＦのファインダー接眼部２４２が設けられている。
タッチパネル・ディスプレイ２１３は、液晶ディスプレイ（以下、「第１ディスプレイ」という）２１５及びタッチパネル２１６を備えている。
第１ディスプレイ２１５は、画像及び文字情報等を表示する。第１ディスプレイ２１５は、撮影モード時に連続フレームで撮影されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ２１５は、静止画撮影の指示が与えられた場合に単一フレームで撮影されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ２１５は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
タッチパネル２１６は、透過型のタッチパネルであり、第１ディスプレイ２１５の表示領域の表面に重ねられている。タッチパネル２１６は、指示体（例えば、指又はスタイラスペン）による接触を検知する。タッチパネル２１６は、検知結果（タッチパネル２１６に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で所定の出力先（例えば、後述のＣＰＵ１２（図３参照））に出力する。検知結果情報は、タッチパネル２１６が指示体による接触を検知した場合、タッチパネル２１６上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル２１６が指示体による接触を検知していない場合、座標を含まない。
十字キー２２２は、１つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、第１ディスプレイ２１５の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。
図３は、第１実施形態に係る撮像装置１００のハードウェア構成の一例を示す電気系ブロック図である。
撮像装置１００は、撮像装置本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６と、を含む。交換レンズ３００は、マウント２５６にマウント３４６が結合されることにより撮像装置本体２００に交換可能に装着される。
交換レンズ３００は、スライド機構３０３及びモータ３０４を含む。スライド機構３０３は、フォーカスリング３０１の操作が行われることでフォーカスレンズ３０２を光軸Ｌ１に沿って移動させる。スライド機構３０３には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ３０２が取り付けられている。また、スライド機構３０３にはモータ３０４が接続されており、スライド機構３０３は、モータ３０４の動力を受けてフォーカスレンズ３０２を光軸Ｌ１に沿ってスライドさせる。
モータ３０４は、マウント２５６，３４６を介して撮像装置本体２００に接続されており、撮像装置本体２００からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ３０４の一例として、ステッピングモータを適用している。従って、モータ３０４は、撮像装置本体２００からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ３０４が交換レンズ３００に設けられている例が示されているが、これに限らず、モータ３０４は撮像装置本体２００に設けられていてもよい。
撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって制御されている。撮像装置１００は、操作部１４、インタフェース部２４、一次記憶部２５、
二次記憶部２６、スピーカ３５、接眼検出部３７、及び外部インタフェース（Ｉ／Ｆ）３９を含む。また、撮像装置１００は、本発明に係る制御部の一例である表示制御部３６を含む。また、撮像装置１００は、本発明に係る取得部、補正部及び制御部の一例である画像処理部２８を含む。
ＣＰＵ１２、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、画像処理部２８、スピーカ３５、表示制御部３６、接眼検出部３７、外部Ｉ／Ｆ３９、及びタッチパネル２１６は、バス４０を介して相互に接続されている。
一次記憶部２５とは、揮発性のメモリを意味し、例えばＲＡＭ（Random Access Memory）を指す。一次記憶部２５は、フレーム記憶領域２５Ａ、第１補正係数記憶領域２５Ｂ、及び第２補正係数記憶領域２５Ｃを有する。フレーム記憶領域２５Ａは、後述のフレームを記憶する記憶領域である。第１補正係数記憶領域２５Ｂは、後述の左眼画像補正係数を記憶する記憶領域である。第２補正係数記憶領域２５Ｃは、後述の右眼画像補正係数を記憶する記憶領域である。
二次記憶部２６とは、不揮発性のメモリを意味し、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）を指す。二次記憶部２６は、第１使用係数記憶領域２６Ａ及び第２使用係数記憶領域２６Ｂを有する。第１使用係数記憶領域２６Ａは、後述の第１平均化補正係数を記憶する記憶領域であり、第２使用係数記憶領域２６Ｂは、後述の第２平均化補正係数を記憶する記憶領域である。
なお、本第１実施形態に係る撮像装置１００では、オートフォーカスモード時に、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ３０４を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズボタン２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。
操作部１４は、撮像装置１００に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部１４は、レリーズボタン２１１、撮影モード等を選択するダイヤル２１２、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。
撮像装置本体２００は、位置検出部２３を含む。位置検出部２３は、ＣＰＵ１２に接続されている。位置検出部２３は、マウント２５６，３４６を介してフォーカスリング３０１に接続されており、フォーカスリング３０１の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ１２に出力する。ＣＰＵ１２は、位置検出部２３から入力された回転角度情報に応じた処理を実行する。
撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ３０２を含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。
撮像素子２０は、一例として図４に示すカラーフィルタ２１を備えている。カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタＧ、Ｒ（赤）に対応するＲフィルタＲ及びＢ（青）に対応するＢフィルタを含む。図５に示す例では、撮像素子２０の画素数の一例として“４８９６×３２６５”画素を採用しており、これらの画素に対してＧフィルタ、Ｒフィルタ及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に所定の周期性で配置されている。そのため、撮像装置１００は、Ｒ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
一例として図５に示すように、撮像素子２０は、後述する第１の画素Ｌ、第２の画素Ｒ、及び通常画素Ｎを含む。第１の画素Ｌ、第２の画素Ｒ、及び通常画素Ｎの各々にはマイクロレンズ１９が設けられており、マイクロレンズ１９を透過した光は、第１の画素Ｌ、第２の画素Ｒ、及び通常画素Ｎによって受光されて光電変換される。撮像素子２０の各画素には、カラーフィルタ２１に含まれる“Ｒ”、“Ｇ”及び“Ｂ”の何れかのフィルタが割り当てられている。なお、図５に示す例において、画素内の“Ｒ”とはＲフィルタを指し、画素内のＧ”とはＧフィルタを指し、画素内の“Ｂ”とはＢフィルタを指す。
撮像素子２０は、第１の画素行１５０、第２の画素行１５２及び第３の画素行１５４を含む。第１の画素行１５０は、同一行内に第１の画素Ｌ、第２の画素Ｒ、及び通常画素Ｎを含む。第１の画素Ｌ及び第２の画素Ｒは、Ｇフィルタに対して第１の画素Ｌ及び第２の画素Ｒが割り当てられるように、行方向に複数の通常画素Ｎ（図５に示す例では２個の通常画素Ｎ）を介在させて交互に配置されている。第２の画素行１５２は、第１の画素行１５０と比べ、第１の画素Ｌと第２の画素Ｒの位置が逆になっている点が異なる。第３の画素行１５４とは、行内の全画素が通常画素Ｎの行を指す。第１の画素行１５０及び第２の画素行１５２は、列方向に複数行の第３の画素行１５４（本第１実施形態では、一例として、列方向に所定周期で行数が異なる第３の画素行１５４）を介在させて交互に配置されている。なお、以下では、第１の画素行１５０及び第２の画素行１５２を区別して説明する必要がない場合、「位相差画素行」と称する。
第１の画素Ｌは、一例として図６に示すように、遮光部材２０Ａによって受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））が遮光された画素である。第２の画素Ｒは、一例として図６に示すように、遮光部材２０Ｂによって受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））が遮光された画素である。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。
撮影レンズ１６の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ１６の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９及び遮光部材２０Ａ，２０Ｂにより左右に分割され、第１の画素Ｌが左領域通過光を受光し、第２の画素Ｒが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像（後述する左眼画像及び右眼画像）として取得される。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。
撮像素子２０は、第１の画素群（本発明に係る位相差画素群の一例）、第２の画素群（本発明に係る位相差画素群の一例）及び第３の画素群に分類される。第１の画素群とは、一例として図５に示すように、行列状に配置された複数の第１の画素Ｌを指す。第２の画素群とは、一例として図５に示すように、行列状に配置された複数の第２の画素Ｒを指す。第３の画素群とは、一例として図５に示す複数の通常画素Ｎを指す。ここで、通常画素Ｎとは、位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂが設けられていない画素）を指す。
なお、以下では、説明の便宜上、第１の画素群から出力されるＲＡＷ画像を「左眼画像」と称し、第２の画素群から出力されるＲＡＷ画像を「右眼画像」と称し、第３の画素群から出力されるＲＡＷ画像を「通常画像」と称する。また、以下では、同一の撮影タイミングで得られた左眼画像、右眼画像、及び通常画像を区別して説明する必要がない場合、「フレーム」と称する。すなわち、フレームとは、本発明に係る撮影画像の一例を意味する。また、以下では、説明の便宜上、左眼画像及び右眼画像を区別して説明する必要がない場合、「位相差画像」と称する。また、左眼画像とは、本発明に係る第１画像の一例を意味し、右眼画像とは、本発明に係る第１画像の一例を意味し、通常画像とは、本発明に係る第２画像の一例を意味する。
図３に戻って、撮像素子２０は、第１の画素群から左眼画像（各第１の画素Ｌの信号出力値（以下、「画素値」という）を示すデジタル信号）を出力し、第２の画素群から右眼画像（各第２の画素Ｒの画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から通常画像（各通常画素Ｎの画素値を示すデジタル信号）を出力する。すなわち、各第１の画素Lの画素値を示す信号、及び、各第２の画素Ｒの画素値を示すデジタル信号が、本発明に係る第１画像信号の一例である。また、各通常画素Ｎの画素値を示すデジタル信号が、本発明の第２の画像信号の一例である。なお、第３の画素群から出力される通常画像は有彩色画像であり、例えば、通常画素Ｎの配列と同じカラー配列のカラー画像である。撮像素子２０から出力されたフレームは、インタフェース部２４を介してフレーム記憶領域２５Ａに一時記憶（上書き保存）される。
画像処理部２８は、フレーム記憶領域２５Ａに記憶されているフレームに対して各種の画像処理を施す。画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であってもよい。
画像処理部２８は、一例として図７に示すように、取得部２８Ａ、補正部２８Ｂ及び制御部２８Ｃを含む。取得部２８Ａは、撮像素子２０から出力された左眼画像及び右眼画像（本発明に係る第１画像の一例）と撮像素子２０から出力された通常画像（本発明に係る第２画像の一例）を取得する。
補正部２８Ｂは、取得部２８Ａにより異なるタイミングでフレームが取得されることにより得られた一対のフレームのうちの先に取得された先フレーム（先取得画像）に含まれる位相差画像と通常画像とを比較した第１比較結果を得る。また、補正部２８Ｂは、取得部２８Ａにより異なるタイミングでフレームが取得されることにより得られた一対のフレームのうちの後に取得された後フレーム（後取得画像）に含まれる位相差画像と通常画像とを比較した第２比較結果を得る。更に、補正部２８Ｂは、第１比較結果及び第２比較結果に基づいて、減光特性補正係数を導出し、導出した減光特性補正係数に基づいて後フレームに対する減光特性を補正する。減光特性補正係数とは、一例として図１４に示すように、表示用左眼画像及び表示用右眼画像（後述）に現れる減光特性を補正するための補正係数を指す。本第１実施形態において、減光特性とは、例えば、撮影レンズ１６における一対の領域を通過する光束の中心が、レンズ光軸から偏倚していることにより、右眼画像及び左眼画像に現れる瞳分割方向における各方向に線形的な減光特性を指す。なお、補正部２８Ｂによって導出される第１比較結果、第２比較結果、及び減光特性補正係数は、演算式を用いて導出してもよいし、テーブルを用いて導出してもよい。
制御部２８Ｃは、表示装置（後述）に対して、先フレームに含まれる通常画像及び減光特性が補正された後フレームに含まれる通常画像を動画像として連続して表示させる。また、制御部２８Ｃは、通常画像の表示領域内に、先フレームに含まれる位相差画像に基づく画像（例えば、後述のスプリットイメージ）及び減光特性が補正された後フレームに含まれる位相差画像に基づく画像を合焦確認用の動画像として連続して表示させる。
画像処理部２８は、撮像素子２０により１画面分のフレームが取得される毎に、そのフレームに対して並列に画像処理を行い、有彩色の通常画像を生成し、且つ、合焦確認に使用する画像として無彩色のスプリットイメージを生成する。
スプリットイメージは、一例として図８に示すように、表示用左眼画像と表示用右眼画像とを所定方向（ここでは一例として視差発生方向と直交する方向）に隣接させて配置した画像である。表示用左眼画像とは、左眼画像を所定方向に４分割して得た４つの分割画像のうちの一部の分割画像（図８に示す例では、正面視上から１番目及び３番目の分割画像）を指す。表示用右眼画像とは、右眼画像を所定方向に４分割して得た４つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像（図８に示す例では、正面視上から２番目及び４番目の分割画像）を指す。
図３に戻って、ハイブリッドファインダー２２０は、電子像を表示する液晶ディスプレイ（以下、「第２ディスプレイ」という）２４７を有する。
表示制御部３６は、第１ディスプレイ２１５及び第２ディスプレイ２４７に接続されている。表示制御部３６は、ＣＰＵ１２からの指示に従って、第１ディスプレイ２１５及び第２ディスプレイ２４７を選択的に制御することで第１ディスプレイ２１５及び第２ディスプレイ２４７に対して画像を選択的に表示させる。なお、以下では、第１ディスプレイ２１５及び第２ディスプレイ２４７を区別して説明する必要がない場合は「表示装置」と称する。表示装置は、本発明に係る表示部の一例である。
一例として図９に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図９に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に２つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図９に示す例では、人物の周辺領域（例えば、木）に対してピントが合っていて人物に対してピントがあっていない状態が示されている。なお、以下では、説明の便宜上、表示用左眼画像及び表示用右眼画像を区別して説明する必要がない場合、「表示用視差画像」と称する。
なお、本第１実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示され、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。
なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された左眼画像と第２の画素群から出力された右眼画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ３０２のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してモータ３０４を制御し、フォーカスレンズ３０２を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば左眼画像及び右眼画像の位相ずれ量を指す。
図３に戻って、接眼検出部３７は、ユーザ（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。
外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
一例として図１０に示すように、ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、第２ディスプレイ２４７、プリズム２４５及び接眼レンズ２４６を有する。
また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。
プリズム２４５は、第２ディスプレイ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像と第２ディスプレイ２４７に表示される情報（電子像、各種の情報）とを合成する。
ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２ディスプレイ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
また、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部から第２ディスプレイ２４７に表示される電子像のみが視認できるようにする。なお、第２ディスプレイ２４７には、第１ディスプレイ２１５に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第２ディスプレイ２４７は、第１ディスプレイ２１５と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。
ところで、撮像装置１００では、一例として図１１に示すように、被写体が撮影される場合に撮影レンズ１６を通過した左領域通過光は、第１の画素Ｌに対応するマイクロレンズ１９を通過し、第１の画素Ｌに入射する。しかし、左領域通過光は、第２の画素Ｒに対応するマイクロレンズ１９を通過しても遮光部材２０Ｂによって遮光されるので、第２の画素Ｒに入射しない。一方、撮影レンズ１６を通過した右領域通過光は、第２の画素Ｒに対応するマイクロレンズ１９を通過し、第２の画素Ｒに入射する。しかし、右領域通過光は、第１の画素Ｌに対応するマイクロレンズ１９を通過しても遮光部材２０Ａによって遮光されるので、第１の画素Ｌに入射しない。このように画素の半分に対して遮光部材が配置されている上、左領域通過光及び右領域通過光の各々の中心が、撮影レンズ１６の光軸から偏倚しているため、第１の画素群及び第２の画素群の各々では、瞳分割方向の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、左眼画像及び右眼画像における出力の変化となって現れる。すなわち、仮に撮影レンズ１６に対して正面から光量が均一な光が入射された場合に得られる左眼画像及び右眼画像の左右方向（瞳分割方向に相当する方向）の出力は画素位置に応じて略線形的に変化することとなる。例えば、図１２に示すように、左眼画像は、右方向の画素位置ほど出力が小さくなり、右眼画像は、左方向の画素位置ほど出力が小さくなる。左眼画像及び右眼画像の各出力の左右の相反する方向への略線形的な変化は、スプリットイメージの画質に対しても影響を及ぼす。
そこで、本第１実施形態に係る撮像装置１００では、画像処理部２８が、一例として図１３に示す画像出力処理を行う。以下、本第１実施形態に係る撮像装置１００の作用として、画像処理部２８によって行われる画像出力処理について、図１３を参照して説明する。なお、図１３に示す画像出力処理は、マニュアルフォーカスモードが設定されてからフレーム記憶領域２５Ａに一組の左眼画像、右眼画像、及び通常画像が記憶された場合に画像処理部２８によって行われる。
図１３に示す画像出力処理では、先ず、ステップ４００で、取得部２８Ａは、フレーム記憶領域２５Ａからフレームを取得し、その後、ステップ４０２へ移行する。
ステップ４０２で、補正部２８Ｂは、マニュアルフォーカスモードが設定された時点又はステップ４００でフレームを取得した前回の時点から係数更新フレーム数（例えば、１フレーム）に到達したか否かを判定する。ステップ４０２において、マニュアルフォーカスモードが設定された時点又はステップ４００でフレームを取得した前回の時点から係数更新フレーム数に到達した場合は、判定が肯定されて、ステップ４０４へ移行する。ステップ４０２において、マニュアルフォーカスモードが設定された時点又はステップ４００でフレームを取得した前回の時点から係数更新フレーム数に到達していない場合は、判定が否定されて、ステップ４１８へ移行する。
ステップ４０４で、補正部２８Ｂは、特定の位相差画素行について、ステップ４００で取得された左眼画像及び通常画像の各々から特定の画素位置の画素値を取得し、その後、ステップ４０６へ移行する。特定の位相差画素行とは、例えば、撮像素子１５０における列方向の最上段の第１画素行１５０を指す。また、特定の画素位置とは、特定の第１画素行１５０内の未だにステップ４０４及びステップ４０８で画素値が取得されていない画素位置を指す。
ステップ４０６で、補正部２８Ｂは、左眼画像補正係数（本発明に係る第２比較結果及び第２比較値に基づく値の一例）を算出する。そして、算出した左眼画像補正係数を画素位置の座標（例えば、ステップ４０４で画素値を取得した画素位置を特定可能な座標）と対応付けて第１補正係数記憶領域２５Ｂに記憶（上書き保存）し、その後、ステップ４０８へ移行する。左眼画像補正係数とは、例えば、特定の画素位置における通常画像Ｎの画素値に対する隣接左眼画素の画素値の割合Ａｎ（図５に示す例では、割合Ａ０、割合Ａ１、割合Ａ２、又は割合Ａ３）を指す。隣接左眼画素とは、一例として図５に示すように、特定の画素位置の通常画素Ｎに隣接する第１の画素Ｌを指す。
ステップ４０８で、補正部２８Ｂは、特定の位相差画素行について、ステップ４００で取得された右眼画像及び通常画像の各々から特定の画素位置の画素値を取得し、その後、ステップ４１０へ移行する。
ステップ４１０で、補正部２８Ｂは、右眼画像補正係数（本発明に係る第２比較結果及び第２比較値に基づく値の一例）を算出する。そして、算出した右眼画像補正係数を画素位置の座標（例えば、ステップ４０４で画素値を取得した画素位置を特定可能な座標）と対応付けて第２補正係数記憶領域２５Ｃに記憶（上書き保存）し、その後、ステップ４１２へ移行する。右眼画像補正係数とは、例えば、特定の画素位置における通常画像Ｎの画素値に対する隣接右眼画素の画素値の割合Ｂｎ（図５に示す例では、割合Ｂ０、割合Ｂ１、割合Ｂ２、又は割合Ｂ３）を指す。隣接右眼画素とは、一例として図５に示すように、特定の画素位置の通常画素Ｎに隣接する第２の画素Ｒを指す。
なお、以下では、説明の便宜上、左眼画像補正係数及び右眼画像補正係数を区別して説明する必要がない場合、「最新補正係数」と称する。また、本第１実施形態では、通常画素Ｎの画素値を位相差画素の画素値で除して得た除算結果を最新補正係数として例示しているが、除算結果に調整係数を乗じて得た値を最新補正係数としてもよい。また、通常画素Ｎの画素値と位相差画素の画素値との差分値に基づく値を最新補正係数としてもよい。このように、通常画素Ｎの画素値と位相差画素の画素値とを比較した比較値に基づく値を最新補正係数として用いればよい。
また、本第１実施形態では、通常画素Ｎの画素値と第２の画素Ｒの画素値とを比較することで右眼画像補正係数を導出する例を挙げて説明しているが、左眼画像補正係数を参照して右眼画像補正係数を予測してもよい。この場合、例えば、第２の画素Ｒの画素位置に対応する画素位置の第１の画素Ｌの左眼画像補正係数に対して画素位置毎に個別に定められた調整係数を乗じて得た値を右眼画像補正係数とする例が挙げられる。
ステップ４１２で、補正部２８Ｂは、特定の位相差画素行内の全位相差画素についてステップ４０６及びステップ４１０で最新補正係数を算出したか否かを判定する。ステップ４１２において、特定の位相差画素行内の全位相差画素についてステップ４０６及びステップ４１０で最新補正係数を算出した場合は、判定が肯定されて、ステップ４１４へ移行する。ステップ４１２において、特定の位相差画素行内の全位相差画素についてステップ４０６及びステップ４１０で最新補正係数を算出していない場合は、判定が否定されて、ステップ４０４へ移行する。
ステップ４１４で、補正部２８Ｂは、第１使用係数記憶領域２６Ａに記憶されている第１平均化補正係数と第１補正係数記憶領域２５Ｂに記憶されている左眼画像補正係数との平均値を新たな第１平均化補正係数として算出する。また、第２使用係数記憶領域２６Ｂに記憶されている第２平均化補正係数と第２補正係数記憶領域２５Ｃに記憶されている右眼画像補正係数との平均値を新たな第２平均化補正係数として算出する。
ここで、第１平均化補正係数と左眼画像補正係数との平均値とは、一例として図１８に示すように、画素毎（例えば、第１補正係数記憶領域２５Ｂに記憶されている座標毎）の第１平均化補正係数と左眼画像補正係数との重み付け平均値を指す。第１平均化補正係数と左眼画像補正係数との重み付け平均値とは、第１平均化補正係数に対して重みα（第１の重み）を乗じて得た値と左眼画像補正係数に対して重みβ（第２の重み）を乗じて得た値との平均値（例えば、図１８にて実線で示された曲線グラフ）を指す。
また、第２平均化補正係数と右眼画像補正係数との平均値とは、画素毎（第２補正係数記憶領域２５Ｃに記憶されている座標毎）の第２平均化補正係数と右眼画像補正係数との重み付け平均値を指す。第２平均化補正係数と右眼画像補正係数との重み付け平均値とは、例えば、第２平均化補正係数に対して重みα（第２の重み）を乗じて得た値と右眼画像補正係数に対して重みβを乗じて得た値との平均値（例えば、図１８にて１点鎖線で示された曲線グラフ）を指す。
重みα及び重みβは、固定値であってもよいし、可変値（例えば、タッチパネル２１６によって受け付けられた指示に応じてカスタマイズされる値）であってもよい。また、ＣＰＵ１２の処理速度の低下（演算負荷の増大）に応じて、重みβを所定の上限値を限度に大きくし、且つ、重みαを所定の下限値を限度に小さくしてもよい。なお、重みα及び重みβの比重パターンとしては、“α＞β”の大小関係を有する第１比重パターン（例えば、α＝０．９及びβ＝０．１）と、“α≦β”の大小関係を有する第２比重パターン（例えば、α＝０．５及びβ＝０．５）が例示できる。第１比重パターンを採用すると、減光特性の補正精度を高める（画質の向上を図る）ことができ、第２比重パターンを採用すると、減光特性の補正時間を短くする（処理速度の高速化を図る）ことができる。
なお、ステップ４１４において、第１使用係数記憶領域２６Ａに記憶されている第１平均化補正係数とは、本発明に係る減光特性補正係数、第１比較結果、及び第１比較値に基づく値の一例を意味する。また、ステップ４１４において、第２使用係数記憶領域２６Ｂに記憶されている第２平均化補正係数とは、本発明に係る減光特性補正係数、第１比較結果、及び第１比較値に基づく値の一例を意味する。
次のステップ４１６で、補正部２８Ｂは、ステップ４１４で算出した第１平均化補正係数を第１使用係数記憶領域２６Ａに画素毎（例えば、第１補正係数記憶領域２５Ｂに記憶されている座標毎）に記憶する。また、補正部２８Ｂは、ステップ４１４で算出した第２平均化補正係数を第２使用係数記憶領域２６Ｂに画素毎（例えば、第２補正係数記憶領域２５Ｃに記憶されている座標毎）に記憶する。
次のステップ４１８で、補正部２８Ｂは、第１使用係数記憶領域２６Ａに記憶されている第１平均化補正係数を用いて、ステップ４００で取得された左眼画像の減光特性を補正する（所謂シェーディング補正を行う）。また、補正部２８Ｂは、第２使用係数記憶領域２６Ｂに記憶されている第２平均化補正係数を用いて、ステップ４００で取得された右眼画像を補正する。
次のステップ４２０で、制御部２８Ｃは、ステップ４１８で減光特性が補正された左眼画像及び右眼画像に基づいてスプリットイメージを生成し、その後、ステップ４２２へ移行する。
ステップ４２２で、制御部２８Ｃは、ステップ４００で取得された通常画像、及びステップ４２０で生成したスプリットイメージを表示制御部３６に出力し、その後、画像出力処理を終了する。表示制御部３６は、通常画像及びスプリットイメージが入力されると、
表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、一例として図９に示すように、ライブビュー画像を表示する。
このように、撮影者は、表示装置に表示されるスプリットイメージにより合焦状態を確認することができる。また、マニュアルフォーカスモード時には、フォーカスリング３０１を操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。
また、補正部２８Ｂによりスプリットイメージの減光特性が補正された場合、一例として図１４に示すように、第１及び第２の画素群の各々の瞳分割方向の画素の線形的な感度変化に起因する表示用視差画像の線形的な輝度変化が軽減される。
以上説明したように、撮像装置１００では、異なるタイミングで取得された一対のフレームのうちの後に取得された後フレームに含まれる位相差画像と通常画像との比較結果である最新補正係数が算出される。最新補正係数が算出されると、一対のフレームのうちの先に取得された先フレームに含まれる位相差画像と通常画像との比較結果である第１及び第２平均化補正係数、及び算出された最新補正係数とに基づいて、新たな第１及び第２平均化補正係数が算出される。そして、新たな第１及び第２平均化補正係数を用いて減光特性が補正されたスプリットイメージを含むライブビュ―画像が表示装置に表示される。これにより、撮像装置１００は、現在の第１及び第２平均化補正係数と最新補正係数とに基づいて算出された新たな第１及び第２平均化補正係数を用いて減光特性を補正する構成を有しない場合と比べ、減光特性の補正を即時的に行うことができる。
また、撮像装置１００では、一対のフレームのうちの先フレームの減光特性の補正で用いられた第１及び第２平均化補正係数（現在の第１及び第２平均化補正係数）と最新補正係数とを平均化して得た値が新たな第１及び第２平均化補正係数として用いられる。これにより、撮像装置１００は、現在の第１及び第２平均化補正係数と最新補正係数とを平均化して得た値を新たな第１及び第２平均化補正係数として用いない場合と比べ、現在の撮影条件に対応した第１及び第２平均化補正係数を得ることができる。
また、撮像装置１００では、第１及び第２平均化補正係数の各々は、位相差画像と通常画像との互いに対応する画素位置（例えば、行方向で同一の画素位置）における画素値を比較した比較値である。また、最新補正係数は、位相差画像と通常画像との互いに対応する画素位置における画素値を比較した比較値である。これにより、撮像装置１００は、本構成を有しない場合と比べ、減光特性が補正された位相差画像の輝度が画素単位で通常画像の輝度に対応することを可能にする第１及び第２平均化補正係数を得ることができる。
また、撮像装置１００では、一対のフレームのうちの後フレームに含まれる左眼画像と通常画像とを比較した比較結果である左眼画像補正係数の平均値が算出される（ステップ４０６）。また、一対のフレームのうちの後フレームに含まれる右眼画像と通常画像とを比較した比較結果である右眼画像補正係数の平均値が算出される（ステップ４１０）。ここで、先フレームに含まれる左眼画像と通常画像とを比較した比較結果である現在の第１平均化補正係数、及び算出された左眼画像補正係数の平均値に基づいて、左眼画像の減光特性を補正するための新たな第１平均化補正係数が算出される（ステップ４１４）。また、先フレームに含まれる右眼画像と通常画像とを比較した比較結果である現在の第２平均化補正係数、及び算出された右眼画像補正係数の平均値に基づいて、右眼画像の減光特性を補正するための新たな第２平均化補正係数が算出される（ステップ４１４）。そして、算出された新たな第１平均化補正係数に基づいて後フレームに含まれる左眼画像の減光特性が補正され、算出された新たな第２平均化補正係数に基づいて後フレームに含まれる右眼画像の減光特性が補正される（ステップ４１８）。これにより、撮像装置１００は、本構成を有しない場合と比べ、右眼画像及び左眼画像の減光特性を高精度に補正することができる。
なお、上記第１実施形態では、特定の位相差画素行について、取得された左眼画像及び通常画像の各々から特定の画素位置の画素値に基づいて左眼・右眼画像補正係数を算出する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、撮像素子２０の行方向で同一の画素位置における第１の画素Ｌの画素値の平均値及び第２の画素Ｒの画素値の平均値に基づいて左眼・右眼画像補正係数を算出してもよい。
また、上記第１実施形態では、特定の位相差画素行内の位相差画素の画素値に基づいて得られた第１及び第２平均化補正係数の各々を、他の行における位相差画素の減光特性の補正のために用いているが、本発明はこれに限定されるものではない。例えば、全位相差画素行について第１及び第２平均化補正係数の各々を算出し、行方向について同一の画素位置から得た第１及び第２平均化補正係数の各々の平均値、モード、又はメジアンを、補正に用いる新たな第１及び第２平均化補正係数として算出してもよい。
また、上記第１実施形態では、行方向について隣接する通常画素Ｎ及び位相差画素から得た画素値を比較する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、位相差画素に対して隣接する通常画素Ｎが存在しない場合は、位相差画素の画素値とこの位相差画素から最も近い位置に存在する通常画素Ｎの画素値を比較すればよい。
また、上記第１実施形態では、ステップ４０４，４０８で画素値が取得される特定の位相差画素行として、撮像素子２０における列方向の最上段の第１画素行１５０を例示したが、本発明はこれに限定されるものではない。例えば、撮像素子１５０における列方向の中央段に存在する第１画素行１５０又は第２画素行１５２であってもよいし、撮像素子１５０における列方向の最下段に存在する第１画素行１５０又は第２画素行１５２であってもよい。また、ステップ４０４，４０８で画素値が取得される特定の位相差画素行は、撮影レンズ１６の種類や絞り値などの撮影条件に応じて選択的に設定されればよい。また、ステップ４０４，４０８で画素値が取得される特定の画素位置も、撮影レンズ１６の種類や絞り値などの撮影条件に応じて選択的に設定されればよい。
また、上記第１実施形態では、１フレーム毎に新たな第１及び第２平均化補正係数を算出する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、ＣＰＵ１２の現在の処理速度（演算負荷）に応じて定められたフレーム数毎に新たな第１及び第２平均化補正係数を算出してもよい。具体例としては、ＣＰＵ１２の処理速度が閾値未満の場合に、５フレーム毎に新たな第１及び第２平均化補正係数を算出し、ＣＰＵ１２の処理速度が閾値以上の場合に、１フレーム毎に新たな第１及び第２平均化補正係数を算出する例が挙げられる。
また、上記第１実施形態で説明した画像出力処理の流れ（図１３参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態で説明した画像出力処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。また、上記第１実施形態で説明した画像出力処理に含まれる各処理は、ＡＳＩＣやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
また、上記第１実施形態で説明した画像出力処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えば二次記憶部２６）に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などにプログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
また、上記第１実施形態で説明した画像出力処理に含まれる各処理をソフトウェア構成により実現するには、例えば、ＣＰＵ１２が画像出力処理プログラムを実行することにより撮像装置１００で画像出力処理が行われるようにすればよい。ここで、画像出力処理プログラムとは、例えば、取得プロセス、補正プロセス、及び制御プロセスを有するプログラムを指す。画像出力処理プログラムは二次記憶部２６に記憶されていればよく、ＣＰＵ１２は、二次記憶部２６から画像出力処理プログラムを読み出して一次記憶部２５に展開し、取得プロセス、補正プロセス、及び制御プロセスを順に実行すればよい。この場合、ＣＰＵ１２は、取得プロセスを実行することで図７に示す取得部２８Ａと同様に動作する。また、ＣＰＵ１２は、補正プロセスを実行することで図７に示す補正部２８Ｂと同様に動作する。更に、ＣＰＵ１２は、制御プロセスを実行することで図７に示す制御部２８Ｃと同様に動作する。
また、上記第１実施形態で説明した撮像装置１００は、被写界深度を確認する機能（被写界深度確認機能）を有していてもよい。この場合、例えば撮像装置１００は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ（非保持型スイッチ）を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置１００における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間（所定位置に押し込まれている間）、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをＣＰＵ１２が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ（保持型スイッチ）を適用してもよい。
［第２実施形態］
上記第１実施形態では、１つの位相差画素毎に個別に最新補正係数を算出する場合を例示したが、本第２実施形態では、複数の位相差画素毎に最新補正係数を算出する場合について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
本第２実施形態に係る撮像装置１００Ａは、上記第１実施形態に係る撮像装置１００と比べ、画像処理部２８によって図１３に示す画像出力処理が行われることに代えて、画像処理部２８によって図１５に示す画像出力処理が行われる点が異なる。図１５に示す画像出力処理は、図１３に示す画像出力処理と比べ、ステップ４０４〜４１２に代えてステップ４３０〜ステップ４４８を有する点が異なる。
図１５に示す画像出力処理では、ステップ４３０で、補正部２８Ｂは、ステップ４００で取得されたフレームにおける注目行６００（図１６参照）が設定され、その後、ステップ４３２へ移行する。ここで、注目行６００とは、一例として図１６に示すように、２つの位相差画素行（瞳分割方向に複数の位相差画素が配置された行）を含む５行を指す。
ステップ４３２で、補正部２８Ｂは、ステップ４３０で設定した注目行６００における注目すべき画素群として係数算出画素群６０２ｎ（図１６参照）を設定し、その後、ステップ４３４へ移行する。図１６に示す例では、係数算出画素群６０２ｎの一例として、係数算出画素群６０２１，６０２２が示されている。一例として図１６に示すように、係数算出画素群６０２ｎは、行列状（図１６に示す例では、５×１２の行列状）の画素群である。係数算出画素群６０２ｎは、複数の通常画素Ｎ、複数の第１の画素Ｌ（図１６に示す例では、４つの第１の画素Ｌ）、及び複数の第２の画素Ｒ（図１６に示す例では、４つの第２の画素Ｒ）を有する。なお、ステップ４３２で注目すべき画素群とは、未だにステップ４３４からステップ４４０の処理対象とされていない画素群を指す。
ステップ４３４で、補正部２８Ｂは、ステップ４３２で設定した係数算出画素群６０２ｎに含まれる特定の第１の画素Ｌ及び特定の通常画素Ｎの各々から画素値を取得し、その後、ステップ４３６へ移行する。ステップ４３４において、特定の第１の画素Ｌとは、係数算出画素群６０２ｎに含まれる複数の第１の画素Ｌのうち、未だにステップ４３４で画素値を取得していない１つの第１の画素Ｌを指す。ステップ４３４において、特定の通常画素Ｎとは、特定の第１の画素Ｌと隣接する１つの通常画素Ｎを指す。
ステップ４３６で、補正部２８Ｂは、左眼画像補正係数を算出する。そして、算出した左眼画像補正係数を画素位置の座標（例えば、ステップ４３４で画素値を取得した第１の画素Ｌの画素位置を特定可能な座標）と対応付けて第１補正係数記憶領域２５Ｂに記憶（上書き保存）し、その後、ステップ４３８へ移行する。
ステップ４３８で、補正部２８Ｂは、ステップ４３２で設定した係数算出画素群６０２ｎに含まれる特定の第２の画素Ｒ及び特定の通常画素Ｎの各々から画素値を取得し、その後、ステップ４４０へ移行する。ステップ４３８において、特定の第２の画素Ｒとは、係数算出画素群６０２ｎに含まれる複数の第２の画素Ｒのうち、未だにステップ４３８で画素値を取得していない１つの第２の画素Ｒを指す。ステップ４３８において、特定の通常画素Ｎとは、特定の第２の画素Ｒと隣接する１つの通常画素Ｎを指す。
ステップ４４０で、補正部２８Ｂは、右眼画像補正係数を算出する。そして、算出した右眼画像補正係数を画素位置の座標（例えば、ステップ４３８で画素値を取得した第２の画素Ｒの画素位置を特定可能な座標）と対応付けて第２補正係数記憶領域２５Ｃに記憶（上書き保存）し、その後、ステップ４４２へ移行する。
ステップ４４２で、補正部２８Ｂは、注目画素群に含まれる全ての第１の画素Ｌ及び全ての第２の画素Ｒについて左眼画像補正係数及び右眼画像補正係数を算出したか否かを判定する。ここで、注目画素群とは、ステップ４３２で注目すべき画素群として設定された係数算出画素群６００ｎを指す。
ステップ４４２において、注目画素群に含まれる全ての第１の画素Ｌ及び全ての第２の画素Ｒについて左眼画像補正係数及び右眼画像補正係数を算出していない場合は、判定が否定されて、ステップ４３４へ移行する。ステップ４４２において、注目画素群に含まれる全ての第１の画素Ｌ及び全ての第２の画素Ｒについて左眼画像補正係数及び右眼画像補正係数を算出した場合は、判定が肯定されて、ステップ４４４へ移行する。
ステップ４４４で、補正部２８Ｂは、第１補正係数記憶領域２５Ｂに記憶されている左眼画像補正係数から最大の左眼画像補正係数（最大補正値）及び最小の左眼画像補正係数（最小補正値）を消去する。また、補正部２８Ｂは、第２補正係数記憶領域２５Ｃに記憶されている右眼画像補正係数から最大の右眼画像補正係数（最大補正値）及び最小の右眼画像補正係数（最小補正値）を消去する。
次のステップ４４６で、補正部２８Ｂは、ステップ４３０で設定した注目行６００に含まれる全ての係数算出画素群６０２ｎについてステップ４３４からステップ４４４の処理を終了したか否かを判定する。ステップ４４６において、ステップ４３０で設定した注目行６００に含まれる全ての係数算出画素群６０２ｎについてステップ４３４からステップ４４４の処理を終了していない場合は、判定が否定されて、ステップ４３２へ移行する。ステップ４４６において、ステップ４３０で設定した注目行６００に含まれる全ての係数算出画素群６００ｎについてステップ４３４からステップ４４４の処理を終了した場合は、判定が肯定されて、ステップ４４８へ移行する。
ステップ４４８で、補正部２８Ｂは、第１補正係数記憶領域２５Ｂに記憶されている左眼画像補正係数を係数算出画素群６０２ｎ毎に平均化した値を最新補正係数として第１使用係数記憶領域２６Ａに画素毎に記憶する。ここで、左眼画像補正係数を係数算出画素群６０２ｎ毎に平均化した値とは、例えば、図１６に示す割合Ａ０に対応する画素位置については、割合Ａ０、割合Ａ１、割合Ａ２、及び割合Ａ３から最大値及び最小値を除いた値を平均した平均値Ｘ１を指す。図１６に示す割合Ａ１、割合Ａ２、及び割合Ａ３の各々に対応する画素位置については、平均値Ｘ１及び平均値Ｙ１に基づいて算出される平均値Ｚ１（＝（３Ｘ１＋Ｙ１）／４）を指す。平均値Ｙ１とは、図１６に示す割合Ａ４、割合Ａ５、割合Ａ６、及び割合Ａ７から最大値及び最小値を除いた値の平均値を指す。なお、平均値Ｚ１に限らず、図１６に示す割合Ａ１、割合Ａ２、及び割合Ａ３の各々に対応する画素位置については、平均値Ｘ１及び平均値Ｙ１を用いた内挿法により得た値であってもよい。
また、係数算出画素群６０２ｎ毎に平均化した値を第１使用係数記憶領域２６Ａに画素毎に記憶するとは、例えば、左眼画像補正係数を係数算出画素群６０２ｎ毎に平均化した値を、第１補正係数記憶領域２５Ｂに記憶されている座標毎に記憶することを意味する。
また、ステップ４４８で、補正部２８Ｂは、第２補正係数記憶領域２５Ｃに記憶されている右眼画像補正係数を係数算出画素群６０２ｎ毎に平均化した値を最新補正係数として第２使用係数記憶領域２６Ｂに画素毎に記憶する。ここで、右眼画像補正係数を係数算出画素群６０２ｎ毎に平均化した値とは、例えば、図１６に示す割合Ａ０に対応する画素位置については、割合Ｂ０、割合Ｂ１、割合Ｂ２、及び割合Ｂ３から最大値及び最小値を除いた値を平均した平均値Ｘ２を指す。図１６に示す割合Ｂ１、割合Ｂ２、及び割合Ｂ３の各々に対応する画素位置については、平均値Ｘ２及び平均値Ｙ２に基づいて算出される平均値Ｚ２（＝（３Ｘ２＋Ｙ２）／４）を指す。平均値Ｙ２とは、図１６に示す割合Ｂ４、割合Ｂ５、割合Ｂ６、及び割合Ｂ７から最大値及び最小値を除いた値の平均値を指す。なお、平均値Ｚ２に限らず、図１６に示す割合Ｂ１、割合Ｂ２、及び割合Ｂ３の各々に対応する画素位置については、平均値Ｘ２及び平均値Ｙ２を用いた内挿法により得た値であってもよい。
以上説明したように、撮像装置１００Ａでは、係数算出画素群６０２ｎから得られた左眼画像補正係数のうちの最小値及び最大値以外の左眼画像補正係数に基づいて第１平均化補正係数が算出される。また、係数算出画素群６０２ｎから得られた右眼画像補正係数のうちの最小値及び最大値以外の右眼画像補正係数に基づいて第２平均化補正係数が算出される。これにより、撮像装置１００Ａは、本構成を有しない場合と比べ、精度良く平滑化された第１及び第２平均化補正係数を得ることができる。
なお、上記第２実施形態では、最大・最小補正値以外の左眼・右眼画像補正係数を係数算出画素群６０２ｎ毎に平均化した値を最新補正係数として用いる例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、最大・最小補正値以外の左眼・右眼画像補正係数のメジアン又はモードを係数算出画素群６０２ｎ毎に算出し、算出したメジアン又はモードを最新補正係数として用いるようにしてもよい。
［第３実施形態］
上記第１実施形態では、算出した左眼・右眼画像補正係数をそのまま記憶領域に記憶する場合を例示したが、本第３実施形態では、算出した左眼・右眼画像補正係数が上限値を超えるか又は下限値を下回った場合に代替値を記憶領域に記憶する場合について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
本第３実施形態に係る撮像装置１００Ｂは、上記第１実施形態に係る撮像装置１００と比べ、画像処理部２８によって図１３に示す画像出力処理が行われることに代えて、画像処理部２８によって図１７Ａ及び図１７Ｂに示す画像出力処理が行われる点が異なる。図１７Ａ及び図１７Ｂに示す画像出力処理は、図１３に示す画像出力処理と比べ、ステップ４０４〜４１２に代えてステップ４３０〜ステップ４４８を有する点が異なる。また、図１７Ａ及び図１７Ｂに示す画像出力処理は、図１３に示す画像出力処理と比べ、ステップ４６０〜４７０を有する点が異なる。
図１７Ａ及び図１７Ｂに示す画像出力処理では、ステップ４６０で、補正部２８Ｂは、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数が上限値を超えているか否かを判定する。なお、上限値は、固定値であってもよいし、可変値（例えば、タッチパネル２１６によって受け付けられた指示に応じてカスタマイズされる値）であってもよい。
ステップ４６０において、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数が上限値以下の場合は、判定が否定されて、ステップ４６２へ移行する。ステップ４６０において、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数が上限値を超えている場合は、判定が肯定されて、ステップ４６４へ移行する。
ステップ４６２で、補正部２８Ｂは、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数が下限値未満か否かを判定する。なお、下限値は、上限値未満の値である。また、下限値は、固定値であってもよいし、可変値（例えば、タッチパネル２１６によって受け付けられた指示に応じてカスタマイズされる値）であってもよい。
ステップ４６２において、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数が下限値以上の場合は、判定が否定されて、ステップ４０８へ移行する。ステップ４６２において、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数が下限値未満の場合は、判定が肯定されて、ステップ４６４へ移行する。
ステップ４６４で、補正部２８Ｂは、ステップ４０６で第１補正係数記憶領域２５Ｂに記憶した左眼画像補正係数に代えて、画素位置が対応する現在の第１平均化補正係数を新たな左眼画像補正係数として第１補正係数記憶領域２５Ｂに記憶（上書き保存）する。画素位置が対応する現在の第１平均化補正係数とは、第１使用係数記憶領域２６Ａに記憶されている第１平均化補正係数のうちのステップ４０６で左眼画像補正係数の算出に用いた画素値が取得された画素位置に対応する画素位置の第１平均化補正係数を指す。
ステップ４６６で、補正部２８Ｂは、ステップ４１０で第２補正係数記憶領域２５Ｃに記憶した右眼画像補正係数が上限値を超えているか否かを判定する。ステップ４６６において、ステップ４１０で第２補正係数記憶領域２５Ｃに記憶した右眼画像補正係数が上限値以下の場合は、判定が否定されて、ステップ４６８へ移行する。ステップ４６６において、ステップ４１０で第２補正係数記憶領域２５Ｂに記憶した右眼画像補正係数が上限値を超えている場合は、判定が肯定されて、ステップ４７０へ移行する。
ステップ４６８で、補正部２８Ｂは、ステップ４１０で第２補正係数記憶領域２５Ｃに記憶した右眼画像補正係数が下限値未満か否かを判定する。ステップ４６８において、ステップ４１０で第２補正係数記憶領域２５Ｃに記憶した右眼画像補正係数が下限値以上の場合は、判定が否定されて、ステップ４７６へ移行する。ステップ４６８において、ステップ４１０で第２補正係数記憶領域２５Ｃに記憶した右眼画像補正係数が下限値未満の場合は、判定が肯定されて、ステップ４７０へ移行する。
ステップ４７０で、補正部２８Ｂは、ステップ４１０で第２補正係数記憶領域２５Ｃに記憶した右眼画像補正係数に代えて、画素位置が対応する現在の第２平均化補正係数を新たな右眼画像補正係数として第２補正係数記憶領域２５Ｂに記憶（上書き保存）する。画素位置が対応する現在の第２平均化補正係数とは、第２使用係数記憶領域２６Ｂに記憶されている第２平均化補正係数のうちのステップ４１０で右眼画像補正係数の算出に用いた画素値が取得された画素位置に対応する画素位置の第２平均化補正係数を指す。
以上説明したように、本第３実施形態に係る撮像装置１００Ｂでは、一対のフレームのうちの後フレームに基づいて算出された上限値を超える左眼画像補正係数が先フレームの減光特性の補正で用いられた第１平均化補正係数に置き換えられる。また、一対のフレームのうちの後フレームに基づいて算出された上限値を超える右眼画像補正係数が先フレームの減光特性の補正で用いられた第２平均化補正係数に置き換えられる。これにより、撮像装置１００Ｂは、本構成を有しない場合と比べ、精度良く平滑化された第１及び第２平均化補正係数を得ることができる。
なお、上記各実施形態では、位相差画素に対してＧフィルタが割り当てられている場合を例示したが、本発明はこれに限定されるものではない。例えば、図１９に示すように、第１の画素Ｌに対してＲフィルタが割り当てられている場合、Ｒフィルタが割り当てられている第１の画素Ｌの画素値、及びこの第１の画素Ｌに最も近い位置の通常画素Ｎの画素値から左眼画像補正係数を算出すればよい。また、一例として図１９に示すように、第２の画素Ｒに対してＲフィルタが割り当てられている場合、Ｒフィルタが割り当てられている第２の画素Ｒの画素値、及びこの第２の画素Ｒに最も近い位置の通常画像Ｎの画素値から右眼画像補正係数を算出すればよい。また、第１の画素Ｌ及び第２の画素Ｒに対してＢフィルタが割り当てられている場合についても同様に左眼画像補正係数及び右眼画像補正係数を算出すればよい。このように、互いに同種色の感度を有する位相差画素及び通常画素Ｎの各画素値を用いて左眼画像補正係数及び右眼画像補正係数を算出することにより、位相差画素毎に感度を有する色が異なっていても減光特性の補正を高精度に行うことが可能となる。
［第４実施形態］
上記各実施形態では、撮像装置１００，１００Ａ，１００Ｂを例示したが、撮像装置１００，１００Ａ，１００Ｂの変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、ＰＤＡ（Personal Digital Assistants）や携帯型ゲーム機などが挙げられる。本第２実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図２０は、スマートフォン５００の外観の一例を示す斜視図である。図２０に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。
図２１は、図２０に示すスマートフォン５００の構成の一例を示すブロック図である。図２１に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通信部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
図２１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通信部５３０は、スピーカ５３１やマイクロホン５３２を備える。通信部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通信部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２１に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の正面下部に搭載することができる。
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部５４０は、スマートフォン５００の筐体５０２の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示省略）に蓄えられる電力を供給するものである。
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮影するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。
また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図１０に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。
また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２１に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。
なお、上記各実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。
例えば、図２２に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。
また、図２３に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。
また、図２４Ａ及び図２４Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される。
また、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。
また、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。
また、上記各実施形態では、第１〜第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図９に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画素群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。
また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部３６が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部３６は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。
また、上記各実施形態では、一例として図５に示すように第１の画素Ｌ及び第２の画素Ｒの各々が１画素単位で配置された撮像素子２０を例示したが、本発明はこれに限定されるものではなく、一例として図２５に示す撮像素子７００を用いてもよい。撮像素子７００は、撮像素子２０と比べ、全画素の各々について、第１の画素Ｌ（例えば、左眼画像用の光が入射されるフォトダイオード）及び第２の画素Ｒ（例えば、右眼画像用の光が入射されるフォトダイオード）が一組ずつ配置されている点が異なる。図２５に示す例では、各画素がマイクロレンズ７０２を有しており、各画素における第１の画素Ｌ及び第２の画素Ｒはマイクロレンズ７０２を介して光が入射されるように配置されている。各画素における画素信号の読み出しパターンとしては、例えば、第１〜第４読み出しパターンが例示できる。第１読み出しパターンとは、第１の画素Ｌのみから画素信号を読み出すパターンを指す。第２読み出しパターンとは、第２の画素Ｒのみから画素信号を読み出すパターンを指す。第３読み出しパターンとは、第１の画素Ｌ及び第２の画素Ｒの各々から画素信号を別々のルートを介して（例えば、画素毎に設けられた個別の信号線を介して）同時に読み出すパターンを指す。第４読み出しパターンとは、第１の画素Ｌ及び第２の画素Ｒから画素信号を通常画素の画素信号として、画素毎に設けられた１つの信号線を介して読み出すパターンを指す。通常画素の画素信号とは、例えば、１つの画素につき、第１の画素Ｌの画素信号及び第２の画素Ｒの画素信号を加算して得た画素信号（例えば、第１の画素Ｌのフォトダイオードの電荷と第２の画素Ｒのフォトダイオードの電荷とを合わせた１つの電荷）を指す。
また、図２５に示す例では、１つの画素につき、１つの第１の画素Ｌ及び１つの第２の画素Ｒが配置されているが、これに限らず、少なくとも１つの第１の画素Ｌ及び少なくとも１つの第２の画素Ｒが１つの画素に配置されていればよい。また、図２５に示す例では、１つの画素内において、第１の画素Ｌと第２の画素Ｒとが水平方向に配置されているが、これに限らず、第２の画素Ｌと第２の画素Ｒとを垂直方向に配置してもよいし、第１の画素Ｌと第２の画素Ｒとを斜め方向に配置してもよい。
１６ 撮影レンズ
２０，７００ 撮像素子
１００，１００Ａ，１００Ｂ 撮像装置
２８Ａ 取得部
２８Ｂ 補正部
２８Ｃ 制御部

Claims (15)

  1. 撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された前記第１画像信号に基づく第１画像、及び前記撮像素子から出力された前記第２画像信号に基づく第２画像を含む撮影画像を取得する取得部と、
    前記取得部により互いに異なるタイミングで前記撮影画像が取得されることにより得られた一対の撮影画像のうちの先に取得された先取得画像に含まれる前記第１画像と前記第２画像とを比較した第１比較結果、及び前記一対の撮影画像のうちの前記先取得画像よりも後に取得された後取得画像に含まれる前記第１画像と前記第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて前記後取得画像に対する減光特性を補正する補正部と、
    画像を表示する表示部と、
    前記表示部に対して、前記先取得画像に含まれる前記第２画像及び前記補正部によって減光特性が補正された前記後取得画像に含まれる前記第２画像を動画像として連続して表示させ、かつ、前記第２画像の表示領域内に、前記先取得画像に含まれる前記第１画像に基づく画像及び前記補正部によって減光特性が補正された前記後取得画像に含まれる前記第１画像に基づく画像を合焦確認用の動画像として連続して表示させる制御部と、
    を含む画像処理装置。
  2. 撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された前記第１画像信号に基づく第１画像、及び前記撮像素子から出力された前記第２画像信号に基づく第２画像を含む撮影画像を取得する取得部と、
    前記取得部により互いに異なるタイミングで前記撮影画像が取得されることにより得られた一対の撮影画像のうちの先に取得された先取得画像に含まれる前記第１画像と前記第２画像とを比較した第１比較結果、及び前記一対の撮影画像のうちの前記先取得画像よりも後に取得された後取得画像に含まれる前記第１画像と前記第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、導出した減光特性補正係数に基づいて前記後取得画像に対する減光特性を補正する補正部と、
    画像を表示する表示部と、
    前記表示部に対して、前記先取得画像に含まれる前記第１画像に基づく画像及び前記補正部によって減光特性が補正された前記後取得画像に含まれる前記第１画像に基づく画像を合焦確認用の動画像として連続して表示させる制御部と、
    を含む画像処理装置。
  3. 前記減光特性補正係数は、前記第１比較結果及び前記第２比較結果を平均化して得た減光特性補正係数である請求項１又は請求項２に記載の画像処理装置。
  4. 前記減光特性補正係数は、第１の重みが付与された前記第１比較結果及び前記第１の重み未満の第２の重みが付与された前記第２比較結果を平均化して得た減光特性補正係数である請求項３に記載の画像処理装置。
  5. 前記減光特性補正係数は、第１の重みが付与された前記第１比較結果及び前記第１の重み以上の第２の重みが付与された前記第２比較結果を平均化して得た減光特性補正係数である請求項３に記載の画像処理装置。
  6. 前記第１比較結果は、前記先取得画像に含まれる前記第１画像と前記第２画像との互いに対応する画素位置における画素値を比較した第１比較値に基づく値であり、
    前記第２比較結果は、前記後取得画像に含まれる前記第１画像と前記第２画像との互いに対応する画素位置における画素値を比較した第２比較値に基づく値である請求項１から請求項５の何れか１項に記載の画像処理装置。
  7. 前記減光特性補正係数は、前記撮像素子における瞳分割方向の３以上の画素位置毎に、前記第１比較値のうちの最小値及び最大値の少なくとも１つ以外の前記第１比較値に基づく値、及び前記第２比較値のうちの最小値及び最大値の少なくとも１つ以外の前記第２比較値に基づく値に基づいて得た減光特性補正係数である請求項６に記載の画像処理装置。
  8. 前記補正部は、前記第２比較値が上限値を超える場合、前記上限値を超える前記第２比較値を、前記上限値を超える前記第２比較値を得た画素位置に対応する画素位置の前記第１比較値に相当する値に変更し、前記第２比較値が下限値未満の場合、前記下限値未満の前記第２比較値を、前記下限値未満の前記第２比較値を得た画素位置に対応する画素位置の前記第１比較値に相当する値に変更する請求項６に記載の画像処理装置。
  9. 前記撮像素子は、画素毎に割り当てられた色について感度を有し、
    前記第１比較値は、前記先取得画像に含まれる前記第１画像と前記第２画像との同種色の感度を有する互いに対応する画素位置における画素値を比較した比較値であり、
    前記第２比較値は、前記後取得画像に含まれる前記第１画像と前記第２画像との同種色の感度を有する互いに対応する画素位置における画素値を比較した比較値である請求項６から請求項８の何れか１項に記載の画像処理装置。
  10. 前記撮像素子は、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号を前記第２画像信号として出力する画素群を有する請求項１から請求項９の何れか１項に記載の画像処理装置。
  11. 請求項１から請求項１０の何れか１項に記載の画像処理装置と、
    前記位相差画素群を有する撮像素子と、
    前記撮像素子から出力された信号に基づいて生成された画像を記憶する記憶部と、
    を含む撮像装置。
  12. 撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された前記第１画像信号に基づく第１画像、及び前記撮像素子から出力された前記第２画像信号に基づく第２画像を含む撮影画像を取得し、
    互いに異なるタイミングで前記撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる前記第１画像と前記第２画像とを比較した第１比較結果、及び前記一対の撮影画像のうちの前記先取得画像よりも後に取得した後取得画像に含まれる前記第１画像と前記第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、
    導出した前記減光特性補正係数に基づいて前記後取得画像に対する減光特性を補正し、
    画像を表示する表示部に対して、前記先取得画像に含まれる前記第２画像及び減光特性を補正した前記後取得画像に含まれる前記第２画像を動画像として連続して表示させ、かつ、前記第２画像の表示領域内に、前記先取得画像に含まれる前記第１画像に基づく画像及び減光特性を補正した前記後取得画像に含まれる前記第１画像に基づく画像を合焦確認用の動画像として連続して表示させる
    ことを含む画像処理方法。
  13. 撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された前記第１画像信号に基づく第１画像、及び前記撮像素子から出力された前記第２画像信号に基づく第２画像を含む撮影画像を取得し、
    互いに異なるタイミングで前記撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる前記第１画像と前記第２画像とを比較した第１比較結果、及び前記一対の撮影画像のうちの前記先取得画像よりも後に取得した後取得画像に含まれる前記第１画像と前記第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、
    導出した前記減光特性補正係数に基づいて前記後取得画像に対する減光特性を補正し、
    画像を表示する表示部に対して、前記先取得画像に含まれる前記第１画像に基づく画像及び減光特性を補正した前記後取得画像に含まれる前記第１画像に基づく画像を合焦確認用の動画像として連続して表示させる
    ことを含む画像処理方法。
  14. コンピュータに、
    撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された前記第１画像信号に基づく第１画像、及び前記撮像素子から出力された前記第２画像信号に基づく第２画像を含む撮影画像を取得し、
    互いに異なるタイミングで前記撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる前記第１画像と前記第２画像とを比較した第１比較結果、及び前記一対の撮影画像のうちの前記先取得画像よりも後に取得した後取得画像に含まれる前記第１画像と前記第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、
    導出した前記減光特性補正係数に基づいて前記後取得画像に対する減光特性を補正し、
    画像を表示する表示部に対して、前記先取得画像に含まれる前記第２画像及び減光特性を補正した前記後取得画像に含まれる前記第２画像を動画像として連続して表示させ、かつ、前記第２画像の表示領域内に、前記先取得画像に含まれる前記第１画像に基づく画像及び減光特性を補正した前記後取得画像に含まれる前記第１画像に基づく画像を合焦確認用の動画像として連続して表示させることを含む処理を実行させるための画像処理プログラム。
  15. コンピュータに、
    撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号を出力する位相差画素群を有し、且つ、前記撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる画像信号に相当する第２画像信号を出力する撮像素子から出力された前記第１画像信号に基づく第１画像、及び前記撮像素子から出力された前記第２画像信号に基づく第２画像を含む撮影画像を取得し、
    互いに異なるタイミングで前記撮影画像を取得することにより得た一対の撮影画像のうちの先に取得した先取得画像に含まれる前記第１画像と前記第２画像とを比較した第１比較結果、及び前記一対の撮影画像のうちの前記先取得画像よりも後に取得した後取得画像に含まれる前記第１画像と前記第２画像とを比較した第２比較結果に基づいて減光特性補正係数を導出し、
    前記導出した減光特性補正係数に基づいて前記後取得画像に対する減光特性を補正し、
    画像を表示する表示部に対して、前記先取得画像に含まれる前記第１画像に基づく画像及び減光特性を補正した前記後取得画像に含まれる前記第１画像に基づく画像を合焦確認用の動画像として連続して表示させることを含む処理を実行させるための画像処理プログラム。
JP2015539063A 2013-09-27 2014-09-05 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Active JP6033454B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013202363 2013-09-27
JP2013202363 2013-09-27
PCT/JP2014/073458 WO2015045795A1 (ja) 2013-09-27 2014-09-05 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6033454B2 JP6033454B2 (ja) 2016-11-30
JPWO2015045795A1 true JPWO2015045795A1 (ja) 2017-03-09

Family

ID=52742942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539063A Active JP6033454B2 (ja) 2013-09-27 2014-09-05 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US9674467B2 (ja)
JP (1) JP6033454B2 (ja)
CN (1) CN105580349B (ja)
WO (1) WO2015045795A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD826307S1 (en) * 2016-03-31 2018-08-21 Canon Denshi Kabushiki Kaisha Interchangeable lens for camera
JP1573685S (ja) * 2016-08-31 2017-04-10
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
US10387477B2 (en) * 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
CN111316161B (zh) * 2017-09-28 2021-11-23 富士胶片株式会社 摄像装置、信息获取方法及信息获取程序
JP6911136B2 (ja) 2017-09-28 2021-07-28 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
JP1638777S (ja) * 2018-05-15 2019-08-13
JP1633585S (ja) * 2018-05-15 2019-06-10
JP1637187S (ja) * 2018-05-15 2019-07-22
JP1636781S (ja) * 2018-05-15 2019-07-22
JP1636778S (ja) * 2018-05-15 2019-07-22
JP1629820S (ja) * 2018-05-15 2019-04-22
JP1638779S (ja) * 2018-05-15 2019-08-13
JP1629821S (ja) * 2018-05-15 2019-04-22
JP1636777S (ja) * 2018-05-15 2019-07-22
JP1629828S (ja) * 2018-05-15 2019-04-22
JP1638776S (ja) * 2018-05-15 2019-08-13
JP1636779S (ja) * 2018-05-15 2019-07-22
JP1633586S (ja) * 2018-05-15 2019-06-10
JP1629824S (ja) * 2018-05-15 2019-04-22
JP1629825S (ja) * 2018-05-15 2019-04-22
JP1633584S (ja) * 2018-05-15 2019-06-10
JP1638780S (ja) * 2018-05-15 2019-08-13
TWI736328B (zh) * 2020-06-19 2021-08-11 宏碁股份有限公司 頭戴式顯示裝置及應用其之畫面顯示方法
JP7499695B2 (ja) * 2020-12-24 2024-06-14 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器
TWI824289B (zh) * 2021-02-08 2023-12-01 明俐科技有限公司 影像處理演算法的測試系統及測試方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
CN101809994B (zh) * 2007-08-10 2012-11-14 佳能株式会社 摄像设备及其控制方法
JP5043626B2 (ja) * 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
JP5200955B2 (ja) * 2008-02-14 2013-06-05 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP5225151B2 (ja) * 2008-03-11 2013-07-03 キヤノン株式会社 撮像装置及び画像処理方法
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP2011257565A (ja) * 2010-06-08 2011-12-22 Canon Inc 撮像装置
JP2012003080A (ja) * 2010-06-17 2012-01-05 Olympus Corp 撮像装置
EP2618585B1 (en) * 2010-09-13 2016-07-27 Fujifilm Corporation Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
WO2012039346A1 (ja) * 2010-09-22 2012-03-29 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
JP5954964B2 (ja) * 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
JP2012182332A (ja) * 2011-03-02 2012-09-20 Sony Corp 撮像素子および撮像装置
JP5499224B2 (ja) * 2011-08-19 2014-05-21 富士フイルム株式会社 撮像装置及びシェーディング補正方法

Also Published As

Publication number Publication date
JP6033454B2 (ja) 2016-11-30
CN105580349A (zh) 2016-05-11
CN105580349B (zh) 2018-08-14
WO2015045795A1 (ja) 2015-04-02
US9674467B2 (en) 2017-06-06
US20160191824A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6033454B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6158340B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5681329B2 (ja) 撮像装置及び画像表示方法
JP5960286B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5889441B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JPWO2014054498A1 (ja) 撮像装置及び画像表示方法
JP5955417B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US10015405B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5934844B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R150 Certificate of patent or registration of utility model

Ref document number: 6033454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250