JP6720037B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6720037B2
JP6720037B2 JP2016184564A JP2016184564A JP6720037B2 JP 6720037 B2 JP6720037 B2 JP 6720037B2 JP 2016184564 A JP2016184564 A JP 2016184564A JP 2016184564 A JP2016184564 A JP 2016184564A JP 6720037 B2 JP6720037 B2 JP 6720037B2
Authority
JP
Japan
Prior art keywords
image processing
image
subject
region
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016184564A
Other languages
English (en)
Other versions
JP2018050192A (ja
Inventor
謙治 大内
謙治 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016184564A priority Critical patent/JP6720037B2/ja
Priority to US15/708,432 priority patent/US10447937B2/en
Publication of JP2018050192A publication Critical patent/JP2018050192A/ja
Application granted granted Critical
Publication of JP6720037B2 publication Critical patent/JP6720037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像を経て生成された入力画像に対して画像処理を行う画像処理装置および撮像装置に関する。
撮像を経て生成される画像には、撮像自体によって生成される撮像画像だけでなく、特許文献1にて開示されているように撮像画像を用いたリフォーカス処理によって生成されるリフォーカス画像がある。リフォーカス処理は、撮像素子において撮像光学系の射出瞳のうち互いに異なる領域を通過した光を光電変換する複数の画素からの出力信号を用いて、ピントを合わせる被写体(合焦被写体)を撮像後に擬似的に変更したリフォーカス画像を生成する処理である。このようなリフォーカス処理では、良好な画質を有する最終的な出力画像を生成するためのホワイトバランス処理等の画像処理も併せて行われる。
特開2016−024489号公報
しかしながら、リフォーカス処理を行う際に、変更前の合焦被写体と変更後の合焦被写体とで明るさ等の被写体条件が異なる場合がある。この場合に、変更前の合焦被写体の被写体条件で画像処理を行っても、変更後の合焦被写体の色が不自然になる等、全体として良好な画質の出力画像が得られなくなるおそれがある。
本発明は、撮像後に選択された被写体を含む領域だけでなく他の被写体を含む領域に対しても良好な画像処理が行われるようにした画像処理装置等を提供する。
本発明の一側面としての画像処理装置は、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う。該画像処理装置は、入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するパラメータ設定手段と、第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて入力画像に対する画像処理を行う処理手段と、入力画像のうち第2の被写体領域を選択する選択手段とを有する。処理手段は、第2の被写体領域に含まれる被写体と第1の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、第1の画像処理パラメータと上記位置関係に関する情報とを用いて第2の画像処理パラメータを設定することを特徴とする。
なお、被写体からの光により形成された光学像を撮像する撮像素子と、撮像素子からの出力信号を用いて生成された撮像画像を入力画像として又は撮像画像を用いて生成された入力画像に対して画像処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
さらに、本発明の他の一側面としての画像処理方法は、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う方法であり、入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するステップと、第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて入力画像に対する画像処理を行う処理ステップと、入力画像のうち第2の被写体領域を選択するステップとを有する。処理ステップにおいて、第2の被写体領域に含まれる被写体と第1の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、第1の画像処理パラメータと上記位置関係に関する情報とを用いて第2の画像処理パラメータを設定することを特徴とする。
なお、コンピュータに上記画像処理方法に従う処理を実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。
本発明によれば、撮像後に選択された第2の被写体領域だけでなく他の第1の被写体領域に対しても良好な画像処理が行われ、全体として良好な画質を有する画像を生成することができる。
本発明の実施例である撮像装置の構成を示すブロック図。 実施例の撮像装置における撮像部の構成を示す図。 実施例における撮像素子の画素と射出瞳との関係を示す図。 実施例の撮像装置における撮像光学系と瞳分割を示す図。 上記撮像素子の出力信号から得られる像ずれ量とデフォーカス量との関係を示す図。 実施例におけるリフォーカス処理を説明する図。 実施例における撮像処理を示すフローチャート。 実施例におけるリフォーカス処理を示すフローチャート。 実施例におけるリフォーカス処理後の被写体の位置関係を示す図。
以下、本発明の実施例について図面を参照しながら説明する。
図1には、本発明の実施例である撮像装置(以下、カメラという)100の構成を示す。
10は撮像光学系としての撮像レンズである。12は絞り機能を備えたシャッタである。14は撮像レンズにより形成された被写体の光学像を電気信号に変換する撮像素子であり、本実施例ではCMOSセンサにより構成されている。16はA/D変換器であり、撮像素子14の各画素からのアナログ出力信号をデジタル信号としての画素信号に変換する。
18はタイミング発生部であり、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。タイミング発生部18は、メモリ制御部22およびシステム制御部50により制御される。
20は画像処理部であり、A/D変換器16からの画素信号やメモリ制御部22からの画像データに対して画素補間処理や色変換処理等の画像処理を行う。また、画像処理部20は、撮像により生成された画像データを用いて所定の演算処理を行い、その演算結果をシステム制御部50に供給する。システム制御部50は、画像処理部20からの演算結果に基づいて露光制御部40にAE(自動露出)処理およびEF(フラッシュプリ発光)処理を行わせ、フォーカス制御部42にAF(オートフォーカス)処理を行わせる。さらに、画像処理部20は、撮像により生成された画像データ(入力画像)に対して、後述するリフォーカス処理およびAWB(オートホワイトバランス)処理も行う。画像処理部20とシステム制御部50とにより画像処理装置が構成される。
メモリ制御部22は、A/D変換器16、タイミング発生部18、画像処理部20、画像表示メモリ24、D/A変換器26、メモリ30および圧縮・伸長部32を制御する。A/D変換器16から出力される画素データは、画像処理部20を介して又は直接、メモリ制御部22に供給され、画像表示メモリ24またはメモリ30に書き込まれる。
28はTFT−LCD等により構成される画像表示部である。画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28に供給され、これにより画像表示部28に画像が表示される。ライブビュー撮像(ファインダ用撮像)により順次生成される画像データを画像表示部28に表示することにより、電子ファインダ機能を実現することができる。また、画像表示部28を用いて、再生表示機能等、各種表示機能を実現することができる。
メモリ30は、本撮像(記録用撮像)により取得された静止画像や動画像の画像データを格納する。メモリ30は、また、メモリ30はシステム制御部50の作業領域としても利用され得る。
圧縮・伸長部32は、適応離散コサイン変換(ADCT)等により画像データを圧縮または伸長する。圧縮・伸長部32は、メモリ30に格納された画像データを読み込んで圧縮処または伸長処理を行い、処理を終えた画像データをメモリ30に書き込む。
露光制御部40は、シャッタ12を制御したり、フラッシュ(照明ユニット)48を制御してフラッシュ調光を行ったりする。フォーカス制御部42は、撮像レンズ10に含まれるフォーカスレンズの駆動を制御することでフォーカシングを行う。44は撮像レンズ10に含まれる変倍レンズの駆動を制御するズーム制御部である。46は撮像レンズ10を保護するバリア102の動作を制御するバリア制御部である。
システム制御部50は、カメラ100全体の動作を制御する。52はメモリであり、システム制御部50の動作用の定数、変数、プログラム等を記憶する。また、メモリ52は、AEで用いるプログラム線図も格納している。
54は液晶表示素子やスピーカ等が設けられた表示部であり、カメラ100の上部や光学ファインダ104内に設けられている。表示部54は、システム制御部50からの表示信号に応じて文字、画像および音声等により各種情報をユーザに与える。ユーザは、光学ファインダ104を通して被写体を確認しながら光学ファインダ104内の表示部54に表示された情報を見ることができる。
56は電気的に消去・記録可能な不揮発性メモリであり、EEPROM等で構成される。 60、62、64および66は、ユーザにより操作されることでシステム制御部50に各種指示を入力する操作部であり、スイッチ、ダイヤル、タッチパネル、視線検知センサ、音声認識部を有する。60はモードダイヤルスイッチであり、そのダイヤル位置に応じた撮像モードの設定を指示する。62は第1シャッタスイッチ(SW1)であり、不図示のシャッターボタンの半押し操作でオンとなることで、AF処理、AE処理、AWB処理、EF処理等の開始を指示する。64は第2シャッタスイッチ(SW2)であり、シャッターボタンの全押し操作によりオンとなることで、本撮像の開始を指示する。66はその他の操作指示を行うための操作部である。
80は電源制御部であり、電源(バッテリ)86からの電圧を上記各部に必要な電圧に変換して供給する。82および84はコネクタである。90はメモリカードやハードディスク等の記録媒体1200とのインタフェースである。98は記録媒体1200がカメラ100装着されていることを検知する記録媒体着脱検知部である。
110は通信部であり、不図示のケーブルを介した有線通信またはアンテナ112を介した無線通信により他の機器との通信を行う。
図2には、本実施例における撮像素子14の画素配列を示す。図2は、CMOSセンサのうち4列×4行の範囲の撮像画素の配列を示している。このうち2行×2列の撮像画素からなる画素群200は、左上に配置されたR(赤)の分光感度を有する画素200Rと、右上と左下に配置されたG(緑)の分光感度を有する画素200Gと、右下に配置されたB(青)の分光感度を有する画素200Bとを含む。さらに、各撮像画素200aは2列×1行(すなわち対をなす)の第1サブ画素201と第2サブ画素202とにより構成されている。つまり、第1および第2サブ画素201,202はそれぞれ焦点検出画素を構成し、図2では8列×4行の範囲の焦点検出画素の配列を示している。撮像素子14は、このような撮像画素および対のサブ画素を撮像面上に多数配置することで、撮像画像を生成するための撮像信号と焦点検出のための焦点検出信号の取得を可能としている。
なお、図2には、対のサブ画素201,202が水平方向に並べられて射出瞳を水平方向に2つに分割(瞳分割)する場合を示しているが、垂直方向に瞳分割してもよい。また、水平および垂直方向の両方に瞳分割するために、サブ画素を複数列×複数行に配置してもよい。後述するように本実施例ではこれらのサブ画素から出力された信号を用いて、焦点位置を疑似的に動かした画像(リフォーカス画像)を再構成(生成)する。この際、基本的には、瞳分割数が多いほどより良好なリフォーカス画像を生成することができる。
なお、本実施例では各撮像画素が対のサブ画素を含む場合について説明するが、撮像画素と対のサブ画素とを別々の画素として構成し、複数の撮像画素の配列内に対のサブ画素としての焦点検出画素を部分的(離散的)に配置してもよい。
図3の下部には、撮像レンズ10の光軸に沿った方向をz方向とした場合における図2に示した撮像素子14の1つの撮像画素200aのxz断面を示している。また、図3の上部には、撮像レンズ10の射出瞳410が形成される面(射出瞳面)を示している。図3では、射出瞳面をz方向が図の紙面に垂直な方向となるように撮像画素200aとは向きを変えて示している。さらに図3およびz方向に沿った射出瞳410と撮像素子14の断面を示す図4には、後述するマイクロレンズ305による瞳分割を示している。図4において、600は被写体面である。
撮像画素200aの光入射側には入射した光を集光するためのマイクロレンズ305が設けられている。また、撮像画素200a内には、x方向に2分割された光電変換部301および光電変換部302,302が設けられている。これら光電変換部301および光電変換部302はそれぞれ、図2に示した第1サブ画素201および第2サブ焦点検出画素202に対応する。なお、図示はしていないが、撮像画素200aにおけるマイクロレンズ305と光電変換部301,302との間にはR、GまたはB光のみを透過させる(分光する)カラーフィルタが設けられている。撮像画素200aに入射した光は、マイクロレンズ305により集光されてカラーフィルタ306で分光された後、光電変換部301,302で受光される。光電変換部301,302はそれぞれ、その光電変換作用により電荷を蓄積する。各光電変換部において蓄積された電荷は電圧信号に変換されてサブ画素信号として出力される。
また、図3に示すように撮像画素200aにおいて重心が−x方向に偏っている光電変換部301と射出瞳面のうち+x側の第1の瞳領域401はマイクロレンズ305によって概ね共役関係となっている。このため、光電変換部301は、第1の瞳領域401を通過した光を受光する。また、撮像画素200aにおいて重心が+x方向に偏っている光電変換部302と射出瞳面のうち−x側の第2の瞳領域402もマイクロレンズ305によって概ね共役関係となっている。このため、光電変換部302は、第2の瞳領域402を通過した光を受光する。光電変換部301,302を含む撮像画素200G全体では、射出瞳面のうち第1および第2の瞳領域401,402を含む全瞳領域400を通過した光を受光可能である。
射出瞳410における互いに異なる瞳領域である第1の瞳領域401と第2の瞳領域402を通過した光線はそれぞれ、各撮像画素に対して互いに異なる角度で入射して互いに異なる光電変換部301,302で受光される。これにより、瞳分割が行われる。なお、本実施例では、水平方向(x方向)に瞳分割を行う場合を示しているが、垂直方向(y方向)に瞳分割を行ってもよい。
このように撮像画素200aごとに瞳分割を行う撮像素子14は、複数の撮像画素200aにおける光電変換部301(第1サブ画素201)からのサブ画素信号を集めて第1の焦点検出信号を生成する。また、複数の撮像画素200aにおける光電変換部302(第2サブ画素202)からのサブ画素信号を集めて第2の焦点検出信号を生成する。さらに、撮像画素200aごとに第1および第2サブ画素201,202の出力信号を加算して該加算信号を集めることで、有効画素数Nの解像度を有する画像を生成するための撮像信号が生成される。
次に、上記のように撮像素子14から取得される第1および第2の焦点検出信号のずれ量と撮像レンズ10のデフォーカス量との関係について、図5を用いて説明する。500は撮像素子14の受光面としての撮像面を示している。図3および図4で説明した瞳分割により、撮像レンズ10の射出瞳410は第1の瞳領域401と第2の瞳領域402に2分割されている。
デフォーカス量dは、被写体からの光の結像位置から撮像面500までの距離を|d|とするとき、結像位置が撮像面500より被写体側にある前ピン状態を負(d<0)とし、撮像面500より被写体側とは反対側にある後ピン状態を正(d>0)として定義される。被写体からの光の結像位置が撮像面500にある合焦状態では、デフォーカス量d=0である。図5は、被写体面601に対して撮像レンズ10が合焦状態である場合を示しており、この場合、被写体面602に対しては前ピン状態である。前ピン状態と後ピン状態を併せて、デフォーカス状態という。
前ピン状態では、被写体面602からの光のうち第1の瞳領域401を通過した第1の光束は、一旦集光された後に該光束の重心位置G1を中心として幅Γ1に広がり、撮像面500でぼけた被写体像を形成する。また、被写体面602からの光のうち第2の瞳領域402を通過した第2の光束は、一旦集光された後に重心位置G2を中心として幅Γ2に広がり、撮像面500でぼけた被写体像を形成する。これらぼけた被写体像はそれぞれ複数の第1のサブ画素201および複数の第2のサブ画素202により受光される。こうして複数の第1のサブ画素201および複数の第2のサブ画素202から出力されたサブ画素信号により第1の焦点検出信号および第2の焦点検出信号が生成される。
このため、第1の焦点検出信号および第2の焦点検出信号はそれぞれ、撮像面500上の重心位置G1,G2に被写体面602からの光がぼけ幅Γ1,Γ2だけぼけて形成した被写体像を示す信号となる。ぼけ幅Γ1,Γ2は、デフォーカス量d(絶対値)の増加に対して概ね比例して増加する。また、第1の焦点検出信号と第2の焦点検出信号との間のずれ量(第1および第2の光束の重心位置の差G1−G2であり、以下、像ずれ量という)pも、デフォーカス量dの増加に対し概ね比例して増加する。後ピン状態(d>0)でも、第1および第2の焦点検出信号間の像ずれ量が増加する方向(正方向)が前ピン状態において像ずれ量が増加する方向(負方向)とは反対であるが、同様にデフォーカス量d(絶対値)の増加に伴って像ずれ量が増加する。したがって、第1および第2の焦点検出信号間の像ずれ量(位相差)から撮像レンズ10のデフォーカス量を算出することができる。
次に、図6を用いて、画像処理部20が行うリフォーカス処理について説明する。画像処理部20は、リフォーカス処理を、撮像素子14を用いて取得された撮像画像のうち互いに異なる視点からの撮像を行う第1および第2サブ画素201,202のそれぞれに対応するサブ画素信号を用いて行う。具体的には、画像処理部20は、これらサブ画像信号を、生成するリフォーカス画像に対応する焦点位置にある焦点面(再構成面)での画素配置に従って相対的にシフトして加算する。言い換えれば、互いに異なる視点からの撮像により得られた互いに視差を有する複数の視差画像をピントを合わせたい被写体領域が重なるようにシフト合成する。これにより、任意の焦点位置で合焦度が高いリフォーカス画像を得ることができる。
図6では、iを整数として、撮像素子14の撮像面500に配置された列方向i番目の撮像画素における第1サブ画素201からのサブ画素信号を第1サブ画素信号Aiとして示している。また、同撮像画素における第2サブ画素201からのサブ画素信号を第2サブ画素信号Biとして示している。第1サブ画素信号Aiは、図4および図5に示した瞳領域401を通過して主光線角度θaでi番目の第1サブ画素201に入射した光を光電変換して得られる信号である。第2サブ画素信号Biは、図4および図5に示した瞳領域402を通過して主光線角度θbでi番目の第2サブ画素202に入射した光を光電変換して得られる信号である。
第1サブ画素信号Aiと第2サブ画素信号Biはそれぞれ、光(主光線)の強度の情報だけでなく入射角度(θa,θb)の情報も有する。このため、第1サブ画素信号Aiを入射角度θaの方向に仮想結像面710まで平行移動させるとともに、第2サブ画素信号Biを入射角度θbの方向に仮想結像面710まで平行移動させてこれらを加算する。これにより、仮想結像面710での画素信号としてのリフォーカス画素信号を生成することができる。
第1サブ画素信号Aiを入射角度θaの方向に仮想結像面710まで平行移動させることは、第1サブ画素信号Aiを列方向に+0.5画素分シフトすることに相当する。一方、第2サブ画素信号Biを入射角度θbの方向に仮想結像面710まで平行移動させることは、第2サブ画素信号Biを列方向に−0.5画素分シフトすることに相当する。このため、第1サブ画素信号Aiと第2サブ画素信号Biとを相対的に+1画素シフトさせ、AiとBi+1とを加算することで仮想結像面710でのリフォーカス画素信号を生成することができる。同様に、第1サブ画素信号Aiと第2サブ画素信号Biとを整数画素分シフトさせて加算することで、整数シフト量に応じた仮想結像面でのリフォーカス画素信号を生成することができる。
なお、リフォーカス処理においては、撮像素子14で得られる視差の大きさによってリフォーカス効果が得られるシフト量の最大値、つまりはリフォーカス処理が可能な範囲(リフォーカス可能範囲)が変化する。このため、リフォーカス処理を行う場合には、まずリフォーカス可能範囲を確認して、そのリフォーカス可能範囲内に収まるようにシフト量を制御することが望ましい。
また、リフォーカス処理によりシフト合成する複数の視差画像を、互いに異なる位置(視点)に配置した複数の撮像装置を用いて取得してもよい。
次に、図7のフローチャートを用いて、システム制御部50が行う撮像処理について説明する。システム制御部50は、コンピュータプログラムとしての撮像処理プログラムに従って本処理を実行する。
ステップS801では、システム制御部50は、第1シャッタスイッチ(SW1)62がオンになるまで待機し、SW1がオンになるとステップS802に進む。なお、システム制御部50は、撮像素子14にライブビュー撮像を行わせ、画像処理部20に撮像素子14からの撮像信号を用いてライブビュー画像を順次生成させて画像表示部28に順次表示させる。
ステップS802では、システム制御部50は、露光制御部40にAE処理を行わせるとともに、フォーカス制御部42にAF処理を行わせる。そして、ステップS803に進む。
ステップS803では、システム制御部50は、第2シャッタスイッチ(SW2)62がオンになるとステップS804に進み、SW2がオンにならなければステップS801に戻る。
ステップS804では、システム制御部50は、撮像素子14およびシャッタ12を制御して本撮像を行わせ、画像処理部20に撮像画像データ(以下、単に撮像画像という)を生成させる。ここで生成される撮像画像は、撮像素子14の第1および第2サブ画素201,202のそれぞれに対応するサブ画素信号を含む画素信号として含む画像であり、リフォーカス画像を再構成可能な(リフォーカス処理が可能な)画像である。言い換えれば、リフォーカス画像を生成するためにシフト合成される複数の視差画像を取得可能な画像である。
次にステップS805では、システム制御部50は、本撮像により取得された撮像画像のリフォーカス可能範囲を算出する。リフォーカス可能範囲は、撮像素子14で得られる視差に基づいて算出してもよいし、後に再構成するリフォーカス画像の出力サイズに基づいて算出してもよい。
次にステップS806では、システム制御部50は、本撮像により取得された撮像画像内の被写体を検出し、検出した被写体を含む画像領域を被写体領域(第1の被写体領域)として設定する。被写体の検出は、撮像画像全体において行ってもよいが、本実施例では撮像画像のうちリフォーカス可能範囲内でのみ行う。ここにいう被写体は、人物の顔や胴体、建物、動物等である。一般的な撮像においては、被写体は複数検出されるため、ここでも複数の被写体領域が設定されるものとして説明を続ける。また、被写体の検出を行わず、ユーザが選択した複数の被写体のそれぞれを含む画像領域を複数の被写体領域として設定してよい。
次にステップS807では、システム制御部(パラメータ設定手段)50は、ステップS806で設定した被写体領域ごとに、その被写体領域に対する第1の画像処理パラメータとしての画質パラメータを設定する。画質パラメータは、ホワイトバランス処理(以下、WB処理という)、色変換処理および輝度処理のうち少なくとも1つの画像処理で用いるパラメータである。本実施例では、WB処理のためのパラメータとする。また、被写体領域に対する画質パラメータとは、これを用いて該被写体領域の画像処理を行った場合に、その被写体領域の画質が良好となるパラメータである。例えば、被写体領域に含まれる被写体が人物の顔である場合に、その顔を含む被写体領域のWBが良好となる画質パラメータとしてのWB係数である。
次にステップS808では、システム制御部50は、ステップS806で設定した被写体領域ごとに、それら被写体領域に含まれる被写体間の位置関係に関する情報を算出(取得)する。また、位置関係に関する情報とは、例えば奥行き方向(カメラ100の撮像光軸方向)における被写体間の距離や相対位置を示す情報である。この際、距離や相対位置の基準となる被写体を適宜設定してもよい。例えば、撮像時にAE処理によりピントが合った被写体を基準となる被写体として設定してもよい。奥行き方向での距離や相対位置は、それぞれ被写体ごとの焦点状態に関する情報であるデフォーカス量や像ずれ量から算出してもよいし、デフォーカス量や像ずれ量を奥行き方向での距離や相対位置の情報として代用してもよい。
最後にステップS809では、システム制御部50は、画像処理部20に、リフォーカス処理が可能な撮像画像を出力させ、記録媒体1200またはメモリ30に格納させる。この際、撮像画像に、ステップS807で設定した被写体領域ごとの画質パラメータやステップS808で算出した位置関係に関する情報を関連付けて記録媒体1200に記録する(記憶させる)。
次に、図9のフローチャートを用いて、画像処理部20が行うリフォーカス処理について説明する。画像処理用コンピュータとしての画像処理部20は、コンピュータプログラムである画像処理プログラムに従って本処理を実行する。
ステップS901では、画像処理部20は、ステップS809で記録媒体1200またはメモリ30に格納されたリフォーカス可能な撮像画像を取得する。
次にステップS902では、画像処理部20は、ステップS804での本撮像において撮像画像とともに生成して該撮像画像に関連付けて保存した表示画像を画像表示部28に出力してこれを表示させる。
次にステップS903では、画像処理部(選択手段)20は、撮像画像において後に行うリフォーカス処理により新たにピントを合わせる領域としての特定被写体領域(第2の被写体領域)をユーザによる選択操作に応じて選択する。具体的には、ユーザにステップS902から画像表示部28に表示された表示画像を見ながら操作部66のタッチパネル等を通じて特定被写体領域の選択操作を行わせ、この選択操作に応じて画像処理部20が特定被写体領域を設定(選択)する。画像処理部20は、選択された特定被写体領域を、次のリフォーカス処理における目標リフォーカス領域として設定する。
なお、特定被写体領域は、撮像処理におけるステップS806で検出(設定)された複数の被写体領域に含まれていてもよいし、含まれていなくてもよい。ここでは、特定被写体領域が撮像処理において検出された複数の被写体領域のうちの1つであるものとして説明を続ける。
次にステップS904では、画像処理部(処理手段)20は、後に行うリフォーカス処理によって生成するリフォーカス画像全体に対して行うWB処理で用いる第2の画像処理パラメータとしての画質パラメータを算出(設定)する。以下の説明において、第2の画像処理パラメータとしての画質パラメータを、リフォーカス画質パラメータという。
この後、画像処理部20は、ステップS905において目標リフォーカス領域の距離にピントを合わせたリフォーカス画像を生成し、ステップS904で設定したリフォーカス画質パラメータを用いてリフォーカス画像に対してWB処理を行う。
ここで、ステップS904におけるリフォーカス画質パラメータの算出方法の例を、図9(a),(b)を用いて説明する。リフォーカス画質パラメータの算出には、ステップS809で撮像画像データに関連付けて記憶された被写体領域ごとの画質パラメータ(第1の画像処理パラメータ)と、被写体間の位置関係に関する情報(ここでは距離の情報とする)とを用いる。なお、ここでの説明では、位置関係は上述したように奥行き方向での位置関係のみを意味し、画像面内(画面内)での位置関係は含まないものとする。ただし、画像面内での被写体間の位置関係を用いてリフォーカス画質パラメータを設定してもよい。
図9(a)は、撮像画像データを用いたリフォーカス処理により生成され、複数の被写体1000,1001,1002のうち目標リフォーカス領域(特定被写体領域)に含まれる特定被写体1000にピントが合わせられたリフォーカス画像を示している。図9(b)は、特定被写体1000,1001,1002間の位置関係を示している。被写体1001は特定被写体1000、すなわちピント位置から距離D1だけ遠側に離れて位置し、被写体1002はピント位置から距離D2だけ近側に離れて位置する。このとき、リフォーカス画質パラメータは、ステップS809で記憶された被写体領域(1000,1001,1002)ごとの画質パラメータを、ピント位置からの距離(つまりは特定被写体と他の被写体との位置関係)に応じて加重平均することにより算出する。具体的には、図9(b)および次式に示すように、ピント位置での重みを最大である1とし、ピント位置から遠側および近側に遠ざかるほど重みを1に対してより小さくして加重平均を行う。
このように、リフォーカス画像全体に対するリフォーカス画質パラメータを、特定被写体領域に最も重きを置きながらもリフォーカス画像全体の画質バランスを考慮した画質パラメータに設定することができる。なお、画面内の被写体間の位置関係に応じたリフォーカス画質パラメータを算出する場合も、奥行き方向での位置関係に応じたリフォーカス画質パラメータの算出と同様にして算出すればよい。例えば、画面内での複数の被写体領域の重心間の距離を算出し、該距離に応じた重みを用いた加重平均により算出すればよい。
また、リフォーカス画像における被写界深度範囲を算出し、該被写界深度範囲に含まれる被写体を含む被写体領域に対する画質パラメータのみを用いてリフォーカス画質パラメータを算出してもよい。これにより、よりユーザにとって好適な画質のリフォーカス画像を生成することができる。
次にステップS906では、画像処理部20は、ステップS905において記録用のリフォーカス画像とともに生成した表示用のリフォーカス画像を画像表示部28に出力してこれを表示させる。
次にステップS907では、画像処理部20は、目標リフォーカス領域の変更指示(リフォーカス画像の再生成指示)があったか否かを判定し、変更指示があればステップS904に戻り、変更指示がなければステップS908に進む。
ステップS908では、画像処理部20は、ユーザによるリフォーカス画像の出力指示があったか否かを判定し、出力指示がなければステップS907に戻り、出力指示があればステップS909に進む。
ステップS909では、画像処理部20は、出力画像としてのWB処理後のリフォーカス画像を記録媒体1200に出力して記録させる。
本実施例では、図9のリフォーカス処理を行う前の図8の撮像処理においてリフォーカス処理で用いる被写体領域ごとの画質パラメータや被写体間の位置関係に関する情報を予め算出して撮像画像データに関連付けて記憶しておく場合について説明した。これにより、リフォーカス処理において目標リフォーカス領域が変更されるごとの再計算量を減らすことができる。しかし、画質パラメータや位置関係に関する情報をリフォーカス処理内で算出するようにしてもよい。
また、本実施例では、被写体間の奥行き方向での位置関係をデフォーカス量や像ずれ量から算出する場合について説明したが、フォーカス量や像ずれ量を用いない他の方法で位置関係を取得してもよい。例えば、撮像画像全体に対する各被写体の割合から簡易的に距離情報を算出して位置関係を取得してもよい。具体的には、被写体領域が顔の領域である場合には、単純にその顔の領域の大きさの割合から距離を推測してもよい。
また、前述したように、特定被写体領域は、撮像処理にて検出された複数の被写体領域に含まれていなくてもよい。この場合には、上記加重平均において、複数の特定被写体領域のうち特定被写体領域の特定被写体と所定の位置関係を有する被写体を含む被写体領域に対する画質パラメータを用いて設定した画質パラメータに対する重みを最大とすればよい。特定被写体と所定の位置関係を有する被写体とは、特定被写体に最も近い被写体や、特定被写体を間に挟んで位置する被写体等である。特定被写体に最も近い被写体を含む被写体領域の画質パラメータをそのまま又は補正して特定被写体領域の画質パラメータとして用いてもよい。また、特定被写体を間に挟んで位置する被写体を含む2つの被写体領域の画質パラメータを用いた補間処理により特定被写体領域の画質パラメータを設定してもよい。
(変形例)
上記実施例では、リフォーカス画像に対する画像処理を行う場合に被写体領域ごとに画質パラメータを設定する場合について説明した。しかし、リフォーカス画像ではない撮像画像(入力画像)に対する画像処理を行う場合に被写体領域ごとに画質パラメータを設定してもよい。この場合、特定被写体領域は、ユーザが注目する被写体として選択した特定被写体を含む領域とすればよい。本変形例によれば、ユーザが注目する被写体に重きを置きつつ他の被写体の画質も良好とする画像処理を行うことで、ユーザの意思を反映した全体として高画質の撮像画像(出力画像)を生成することができる。
また、上記実施例では、画像処理装置を構成するシステム制御部50と画像処理部20がカメラ100に内蔵されている場合について説明したが、画像処理装置は撮像装置と別の装置として構成されていてもよい。この場合、パーソナルコンピュータ等により構成される画像処理装置は、撮像画像のデータを通信または記録媒体を介して撮像装置から受け取ればよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する部(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
20 画像処理部
50 システム制御部

Claims (20)

  1. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理装置であって、
    前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するパラメータ設定手段と、
    前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理手段と、
    前記入力画像のうち第2の被写体領域を選択する選択手段とを有し、
    前記処理手段は、
    前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、
    前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定することを特徴とする画像処理装置。
  2. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理装置であって、
    前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するパラメータ設定手段と、
    前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理手段と、
    前記入力画像のうち第2の被写体領域を選択する選択手段とを有し、
    前記処理手段は、
    前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との位置関係に関する情報を取得し、
    前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定し、
    前記選択手段は、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第2の被写体領域を選択することを特徴とする画像処理装置。
  3. 前記第2の被写体領域が前記複数の第1の被写体領域に含まれており、
    前記処理手段は、前記第2の被写体領域に対する前記第1の画像処理パラメータに最大の重みを付け、他の前記第1の被写体領域に対する前記第1の画像処理パラメータに前記最大の重みに対して前記位置関係に応じて異なる重みを付けて前記複数の第1の被写体領域のそれぞれに対する前記第1の画像処理パラメータを加重平均することにより、前記第2の画像処理パラメータを設定することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記入力画像において被写体領域を検出する検出手段を有し、
    前記パラメータ設定手段は、検出された前記第1の被写体領域ごとに前記第1の画像処理パラメータを設定することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
  5. 前記入力画像は、前記ピントの合うあるいは合わない領域を変更する処理として、該入力画像から取得した互いに視差を有する複数の視差画像をシフトして合成することで仮想的にデフォーカス状態を変更する処理が可能な画像であり、
    前記選択手段は、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第2の被写体領域を選択することを特徴とする請求項1からのいずれか一項に記載の画像処理装置。
  6. 前記入力画像は、該入力画像から互いに視差を有する複数の視差画像を取得可能な画像であることを特徴とする請求項に記載の画像処理装置。
  7. 前記入力画像は、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子を用いて生成された画像であることを特徴とする請求項またはに記載の画像処理装置。
  8. 前記位置関係は、奥行き方向での位置関係であることを特徴とする請求項からのいずれか一項に記載の画像処理装置。
  9. 前記位置関係は、画像面内での位置関係を含むことを特徴とする請求項に記載の画像処理装置。
  10. 前記処理手段は、前記位置関係に関する情報を、前記撮像における焦点状態に関する情報に基づいて取得することを特徴とする請求項1からのいずれか一項に記載の画像処理装置。
  11. 前記処理手段は、前記位置関係に関する情報を、前記入力画像に対する前記第1および第2の被写体領域のそれぞれの大きさの割合に基づいて取得することを特徴とする請求項1からのいずれか一項に記載の画像処理装置。
  12. 前記処理手段は、
    前記入力画像における被写界深度範囲を取得し、
    該被写界深度範囲に含まれる前記第1の被写体領域に対して設定された前記第1の画像処理パラメータを用いて前記第2の画像処理パラメータを設定することを特徴とする請求項1から11のいずれか一項に記載の画像処理装置。
  13. 前記画像処理は、ホワイトバランス処理、色変換処理および輝度処理のうち少なくとも1つであることを特徴とする請求項1から12のいずれか一項に記載の画像処理装置。
  14. 前記入力画像は、該入力画像から互いに視差を有する複数の視差画像を取得可能な画像であり、
    前記処理手段は、前記ピントの合うあるいは合わない領域を変更する処理において、該変更後の被写体領域が重なるように前記複数の視差画像をシフト合成することを特徴とする請求項1から13のいずれか一項に記載の画像処理装置。
  15. 被写体からの光により形成された光学像を撮像する撮像素子と、
    該撮像素子からの出力信号を用いて生成された撮像画像を入力画像として又は前記撮像画像を用いて生成された入力画像に対して画像処理を行う請求項1から14のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
  16. 前記パラメータ設定手段が前記撮像画像を用いて設定した前記第1の画像処理パラメータと、該処理手段が前記撮像時に取得した前記位置関係に関する情報とが記憶されており、
    前記処理手段は、記憶された前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記画像処理を行うことを特徴とする請求項15に記載の撮像装置。
  17. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理方法であって、
    前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するステップと、
    前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理ステップと、
    前記入力画像のうち第2の被写体領域を選択するステップとを有し、
    前記処理ステップにおいて、
    前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、
    前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定することを特徴とする画像処理方法。
  18. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理方法であって、
    前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するステップと、
    前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理ステップと、
    前記入力画像のうち第2の被写体領域を選択するステップとを有し、
    前記処理ステップにおいて、
    前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との位置関係に関する情報を取得し、
    前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定し、
    前記選択するステップは、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第2の被写体領域を選択することを特徴とする画像処理方法。
  19. コンピュータに、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を実行させるコンピュータプログラムであって、
    前記コンピュータに、
    前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定する処理を行わせ、
    前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行わせ、
    前記入力画像のうち第2の被写体領域を選択する処理を行わせ、
    さらに前記コンピュータに、
    前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得させ、
    前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定させることを特徴とする画像処理プログラム。
  20. コンピュータに、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を実行させるコンピュータプログラムであって、
    前記コンピュータに、
    前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定する処理を行わせ、
    前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行わせ、
    前記入力画像のうち第2の被写体領域を選択する処理を行わせ、
    さらに前記コンピュータに、
    前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との位置関係に関する情報を取得させ、
    前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定させ、
    前記選択する処理は、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第2の被写体領域を選択することを特徴とする画像処理プログラム。
JP2016184564A 2016-09-21 2016-09-21 画像処理装置、撮像装置、画像処理方法および画像処理プログラム Active JP6720037B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016184564A JP6720037B2 (ja) 2016-09-21 2016-09-21 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US15/708,432 US10447937B2 (en) 2016-09-21 2017-09-19 Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016184564A JP6720037B2 (ja) 2016-09-21 2016-09-21 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2018050192A JP2018050192A (ja) 2018-03-29
JP6720037B2 true JP6720037B2 (ja) 2020-07-08

Family

ID=61620775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016184564A Active JP6720037B2 (ja) 2016-09-21 2016-09-21 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Country Status (2)

Country Link
US (1) US10447937B2 (ja)
JP (1) JP6720037B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789288B1 (en) * 2018-05-17 2020-09-29 Shutterstock, Inc. Relational model based natural language querying to identify object relationships in scene

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362443A (ja) * 2003-06-06 2004-12-24 Canon Inc パラメータ決定方式
JP2008022240A (ja) * 2006-07-12 2008-01-31 Fujifilm Corp 撮影装置,画像処理装置、及び画像ファイル生成方法,画像処理方法、並びに画像処理プログラム
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20180084201A1 (en) 2018-03-22
JP2018050192A (ja) 2018-03-29
US10447937B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
US9258545B2 (en) Stereoscopic imaging apparatus
JP5517514B2 (ja) 撮像装置及びその制御方法
US8520059B2 (en) Stereoscopic image taking apparatus
CN102362487B (zh) 立体成像设备
EP2618585B1 (en) Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
US20110058070A1 (en) Mage pickup apparatus
JP5469258B2 (ja) 撮像装置および撮像方法
JP5470458B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
JP2011022386A5 (ja)
JP2012049773A (ja) 撮像装置および方法、並びにプログラム
JP2018101951A (ja) 撮像装置、撮像方法およびコンピュータのプログラム
JP2014039096A (ja) 多眼カメラ撮影システム及びその制御方法
JP2017005689A (ja) 画像処理装置および画像処理方法
JP2014026051A (ja) 撮像装置、画像処理装置
JP6595797B2 (ja) 撮像装置およびその制御方法
JP6720037B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP6624834B2 (ja) 撮像装置およびその制御方法
JP6917803B2 (ja) 撮像装置、制御方法、及びプログラム
JP2010204385A (ja) 立体撮像装置および立体撮像方法
JP2018005008A (ja) カメラボディおよび交換レンズ
JP2012124650A (ja) 撮像装置および撮像方法
JP2016071275A (ja) 撮像装置およびフォーカス制御プログラム
JP6671868B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200617

R151 Written notification of patent or utility model registration

Ref document number: 6720037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151