JP7098342B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7098342B2
JP7098342B2 JP2018019449A JP2018019449A JP7098342B2 JP 7098342 B2 JP7098342 B2 JP 7098342B2 JP 2018019449 A JP2018019449 A JP 2018019449A JP 2018019449 A JP2018019449 A JP 2018019449A JP 7098342 B2 JP7098342 B2 JP 7098342B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
image processing
designated
viewpoint images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018019449A
Other languages
English (en)
Other versions
JP2019140439A5 (ja
JP2019140439A (ja
Inventor
昌彦 奥沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018019449A priority Critical patent/JP7098342B2/ja
Priority to PCT/JP2019/003403 priority patent/WO2019155981A1/ja
Publication of JP2019140439A publication Critical patent/JP2019140439A/ja
Priority to US16/984,343 priority patent/US11323689B2/en
Publication of JP2019140439A5 publication Critical patent/JP2019140439A5/ja
Application granted granted Critical
Publication of JP7098342B2 publication Critical patent/JP7098342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、視差のある複数の画像から視点を変更した画像を生成する画像処理技術に関する。
複数のマイクロレンズと、各マイクロレンズに対応する光電変換部により画素部が構成された撮像素子を用いて、視点の異なる視点画像のデータを位相差検出により取得可能な撮像装置がある。特許文献１に開示の撮像装置は、１つのマイクロレンズと２つの副画素から１画素が構成された撮像素子を用いて、２つの視点画像により焦点を検出する。１つのマイクロレンズを共有している副画素同士の画素値を加算することで１つの画素値として扱い、画像出力を得ることができる。
視差画像は視点の異なる複数の画像であるが、これらの画像のデータを記録媒体に保存しておくことで、撮影後に視点位置を別の位置に設定して画像の再生成が可能である。特許文献２では、視差画像に基づいて視点位置を変更する技術が開示されている。ユーザが撮影を行った時に狙った被写体の前に意図せずにボケがかぶってしまった場合、上記の技術を用いてボケが被写体にかぶらない位置に視点を移動することにより、撮影後に好適な画像を取得できる。
特許第３７７４５９７号公報 特開２０１７－１８４２１７号公報
特許文献２では、視差画像に基づいて視点を変更する方法として、視点の移動方向をユーザが指定するＵＩ（ユーザ・インタフェース）を用いて実現している。しかし、このＵＩでは、例えば被写体の前側にボケ領域が被った前ボケ被り写真において、視点の移動方向と前ボケが移動する方向とが逆向きになるため、ボケ領域がどちらに移動するかについてユーザが直感的に分かりにくいという課題がある。前ボケ被りとは、主被写体である第１被写体の手前に位置する第２被写体（前景）のボケが大きい場合にボケ領域に主被写体が隠れてしまう現象である。
本発明は、視点の異なる複数の画像から画像を生成する際、分かり易い操作で視点変更を行える画像処理装置を提供することを目的とする。
本発明の一実施形態の画像処理装置は、視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置であって、前記複数の視点画像のデータを取得する取得手段と、表示手段により表示された画像にて位置を指定する指定手段と、前記指定手段によって指定される位置の移動方向と移動量を検出する検出手段と、前記検出手段により前記指定手段で指定された位置が所定の領域であると検出される場合に、前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成手段と、を備える。前記生成手段は、前記指定手段で指定された位置に応じて、前記検出手段によって検出された移動方向とは逆方向に視点を移動させて前記複数の視点画像を合成することと、前記検出手段によって検出された移動方向と同じ方向に視点を移動させて前記複数の視点画像を合成することとを選択的に制御する。
本発明の画像処理装置によれば、視点の異なる複数の画像から画像を生成する際、分かり易い操作で視点変更を行える画像処理装置を提供することができる。
本発明の実施形態の画像処理装置の構成図である。 撮像素子の画素配置例を示す模式図である。 撮像素子における画素構造を示す模式図である。 画素構造と瞳分割との対応関係を説明する図である。 瞳分割、およびデフォーカス量と像ずれ量の関係を示す図である。 視点画像および合成画像の例を示す図である。 画像処理部の構成例を示すブロック図である。 第１実施形態における制御を説明するフローチャートである。 図８に続く処理を示すフローチャートである。 第１実施形態の表示例の説明図である。 合成画像の生成処理を示すフローチャートである。 第１実施形態のボケ領域検出処理を説明するフローチャートである。 第２実施形態における制御を説明するフローチャートである。 第２実施形態のボケ領域検出処理を説明するフローチャートである。
本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。以下では、本発明に係る画像処理装置を適用した撮像装置にて、撮像部により取得される、視点の異なる画像を視点画像という。視差画像は、複数の視点画像により構成されるものとする。
［第１実施形態］
図１は、本実施形態に係る画像処理装置１００の構成図である。画像処理装置１００は撮像機能を有しており、視差を有する画像、つまり複数の視点画像のデータを記録することができる。さらに画像処理装置１００は、複数の視点画像に対して画像処理を行って１枚の画像を生成し、画面表示および記録処理を行う。
撮像部１０１は、レンズ、シャッタ、絞り、撮像素子を備え、撮像光学系を構成するレンズを通して被写体を撮像する。撮像素子は、例えば各画素部が左右方向に分割された光電変換部を備え、一対の像信号を取得することができる。画素構造の詳細については図２を用いて後述する。バス１０２は、画像処理装置１００内の各部を接続し、データや制御信号の送受を行う。
システム制御部１０３は画像処理装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、図示しない不揮発性メモリ等に記憶されたプログラムを実行することで、本実施形態の各処理を実現する。メモリ１０４は、撮像部１０１から得られた視点画像データや画像処理の中間データ等を記憶する。メモリ１０４は、所定枚数の撮像画像データを格納するのに十分な記憶容量を有する。
画像処理部１０５は、メモリ１０４に記憶された複数の視点画像から１枚の合成画像のデータを生成し、メモリ１０４へ記憶する。また画像処理部１０５は、ガンマ補正やノイズ低減、色空間変換等の各種画像処理を行う。画像処理部１０５は画像処理されたデータに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等のフォーマット変換を行って、記録用出力データや表示用画像データを生成し、メモリ１０４へ記憶する。
表示部１０６は液晶表示パネル等を備え、メモリ１０４に記憶された表示用画像データやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面等を表示する。操作部１０７は、画像処理装置１００に対するユーザ操作や、撮像画像に対して画像処理を行うための指示を受け付ける。操作部１０７は、画像処理装置１００の装置本体部に設けられた操作ボタンや、表示部１０６の表示画面上で操作可能なタッチパネル等を備え、ユーザの操作指示をシステム制御部１０３に通知する。
距離情報取得部１０８は、メモリ１０４に記憶された一対の視点画像データから像ずれ量やデフォーカス量を求め、被写体の距離情報を取得する。距離情報は撮像画像の奥行き方向の深度情報であり、指定個所の被写体が結像位置より手前にあるか否かを、距離情報を用いて判定することができる。具体的には、一対の視点画像データから像ずれ量が得られ、像ずれ量からデフォーカス係数を用いて算出されるデフォーカス量の符号によって、指定個所の被写体が結像位置より手前にあるか否かを判定することができる。デフォーカス量がゼロの位置は結像位置に相当し、デフォーカス量の符号によって撮像光学系の光軸上での前後関係が判明する。
記録媒体Ｉ／Ｆ部１１０は、メモリカード等の記録媒体１１１との間でデータを送受するインタフェース部である。記録媒体１１１は半導体メモリ等から構成され、撮像画像データおよび当該データに関連した情報を記録する。記録媒体Ｉ／Ｆ部１１０を介して記録媒体１１１にデータが記録され、また記録媒体１１１からデータの読み出しが行われる。
次に、画像処理装置１００の撮像機能について説明する。ユーザは操作部１０７を用いて画像処理装置１００に撮像を指示する。図２は、撮像部１０１内の撮像素子における画素配置例を示す模式図であり、横４画素×縦４画素が配列された領域を代表的に示す。撮像素子は撮像光学系の瞳領域を分割して、異なる瞳部分領域を通過した光束に基づく複数の画像信号を生成可能である。具体的には、各画素部を構成する光電変換部が水平方向（瞳分割方向）に２分割されている。
本実施形態において、図２の左上の２×２の画素群２００は、撮像素子に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。Ｒ（赤）の分光感度を有する画素２００Ｒが左上に配置され、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に配置されている。Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。図２の右上の画素部にて代表的に示すように、横方向に２分割された光電変換部のうち、左半分を光電変換部２０１とし、右半分の光電変換部２０２とする。光電変換部２０１の出力から得られる第１の画像データと、光電変換部２０２の出力から得られる第２の画像データは、視差画像データ（一対の視点画像データ）を構成する。つまり１回の撮像によって視差画像を生成することができる。また、光電変換部２０１および２０２の出力を加算して読み出すことで、撮像画像データを取得することができる。視差画像データおよび撮像画像データはメモリ１０４へ記憶される。
撮像素子にて、図２に示す４行４列の撮像画素（４行８列の光電変換部）を撮像面上に多数配置することで、撮像画像信号および視点画像信号を取得可能である。すなわち撮像画像を取得しつつ、撮像面位相差検出方式の焦点検出を行うことができる。
撮像素子における１つの画素２００Ｇを、その受光面側（＋ｚ方向）から見た平面図を図３（Ａ）に示す。図３（Ａ）にて紙面に垂直な方向をｚ方向とし、左右方向をｘ方向、上下方向をｙ方向と定義する。手前側を＋ｚ方向とし、右方向を＋ｘ方向、上方向を＋ｙ方向と定義する。図３（Ａ）のａ－ａ断面を、－ｙ方向から見た場合の断面図を図３（Ｂ）に示す。図３（Ｂ）にて紙面に垂直な方向がｙ方向であり、左右方向がｘ方向、上下方向がｚ方向である。
画素２００Ｇには、受光面側に入射光を集光するためのマイクロレンズ３０５が形成されている。光電変換部３００は、ｘ方向にＮＨ分割、ｙ方向にＮＶ分割される。図３の例では、ＮＨ＝２、ＮＶ＝１であり、２つの光電変換部３０１，３０２が形成されているが、分割数は任意に設定可能である。例えば、ＮＨ＝２、ＮＶ＝２として水平方向および垂直方向にそれぞれ２分割された、第１乃至第４の光電変換部が１つのマイクロレンズに対応する構造でもよい。
光電変換部３０１，３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオード、またはイントリンシック層を省略したｐｎ接合フォトダイオードの構成をもつ。各画素部には、マイクロレンズ３０５と、光電変換部３０１，３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、光電変換部ごとにカラーフィルタの分光透過率が変更されるか、あるいはカラーフィルタが省略される。画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６での分光後に、光電変換部３０１，３０２がそれぞれ受光する。光電変換部３０１，３０２では受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて画素信号として出力される。
図４は、図３に示す画素構造と瞳分割との対応関係を説明する図である。図４の下側には、画素構造のａ－ａ線での切断面を、＋ｙ方向から見た場合の断面図を示し、上側には撮像光学系の射出瞳面（射出瞳４１０参照）を、－Ｚ方向から見た場合の図を示す。図４では、射出瞳面の座標軸と対応を取るために、画素構造の断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。
第１の瞳部分領域４０１は、－ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１の瞳部分領域４０１は光電変換部３０１が受光可能な瞳領域を表し、射出瞳面上で＋Ｘ方向に重心が偏倚している。また、第２の瞳部分領域４０２は、＋ｘ方向に重心が偏心している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２の瞳部分領域４０２は光電変換部２０２で受光可能な瞳領域を表し、射出瞳面上で、－Ｘ方向に重心が偏倚している。
図４に示す領域４００は、光電変換部３０１と光電変換部３０２とを合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。撮像素子と瞳分割との対応関係を図５（Ａ）の概略図に示す。第１の瞳部分領域４０１と第２の瞳部分領域４０２をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。撮像面５００への入射光は、２分割された光電変換部３０１，３０２でそれぞれ受光され、各光電変換部は光を電気信号に変換する。
撮像部１０１により撮像された画像のデータ、つまり、対をなす視点画像データはメモリ１０４に記憶される。図６を参照して、視点画像データの例を説明する。図６（Ａ）に示す第１の視点画像７０１は撮像光学系を通して取得された画像であり、被写体Ｏ１～Ｏ３の領域を示す。被写体Ｏ１～Ｏ３は、撮像部１０１から距離ｄ１～ｄ３にそれぞれ存在する。図６（Ｂ）に示す第２の視点画像７０２は撮像光学系を通して取得された画像である。視点画像７０２は視点画像７０１と視点が異なり、被写体Ｏ１の領域と被写体Ｏ２の領域とが重なっている。これは被写体Ｏ１の方が被写体Ｏ２よりも撮像部１０１に近いことを意味する。
画像処理部１０５はメモリ１０４から視点画像データを読み出して所定の画像処理を行い、視差画像を１つの画像に合成する。図６（Ｃ）は、第１の視点画像７０１と第２の視点画像７０２を、１：１の比率で合成した場合の合成画像７０３を示す。視点画像７０１，７０２における被写体Ｏ２の位置は同一であり、合成画像７０３においても画像ずれは生じない。一方、視差の影響により、視点画像７０１，７０２における被写体Ｏ１およびＯ３の領域は水平方向の位置が異なる。そのため、合成画像７０３では被写体Ｏ１およびＯ３の領域に画像ずれが発生する。合成画像７０３では被写体Ｏ２に被写体Ｏ１が重なっている。これは、図６（Ｂ）の視点画像７０２において被写体Ｏ２に被写体Ｏ１が重なっているからである。
図６（Ｄ）は、被写体Ｏ１および被写体Ｏ２について視点画像７０１と視点画像７０２との合成比率を２：０に変更した場合の合成画像７０４を示す。被写体Ｏ３については視点画像７０１と７０２の合成比率が１：１で合成されるものとする。合成画像７０４において被写体Ｏ１および被写体Ｏ２の各領域は重なり合っていない。合成対象とする２つの画像間に生じる視差の影響により、距離ｄ２に存在する被写体Ｏ２と、被写体Ｏ２より手前側（撮像部側）に存在する被写体Ｏ１とが重なる場合、合成比率を変更することで、合成画像にて被写体領域の重なりを低減できる。つまり合成画像において、所定の基準距離およびその近傍に位置する被写体領域の像に、それよりも手前側に位置する被写体領域の像が合成されて発生する前ボケ被りを低減し、または除去するボケ補正処理が可能である。
画像処理部１０５は合成画像に対して所定の画像処理を行った後に画像データをメモリ１０４へ記憶し、さらに記録媒体Ｉ／Ｆ部１１０を介して記録媒体１１１に画像データを記録する。このとき、合成前の視差画像データをＲＡＷデータとして記録媒体１１１に記録することもできる。これらの一連の処理はシステム制御部１０３によって制御される。
図７は、画像処理部１０５の構成例として、視差画像から合成画像を生成する処理に関する機能要素を模式的に示す。画像処理部１０５はボケ領域検出部１０５ａ、画像合成部１０５ｂ、合成比率算出部１０５ｃを備える。
ボケ領域検出部１０５ａは、距離情報取得部１０８からの距離情報と複数の視点画像に基づき、複数の視点画像において合焦領域の周辺領域のうちでボケ領域を検出する。つまり、焦点が合っている第１被写体よりも手前側の第２被写体にてボケが生じている領域が検出される。合成比率算出部１０５ｃは、ボケ領域検出部１０５ａの検出結果に基づき、複数の視点画像の画素位置ごとの合成比率を決定する。画像合成部１０５ｂは複数の視点画像データを取得し、合成比率算出部１０５ｃが算出した合成比率を用いて複数の視点画像を合成し、合成画像データを生成する。画像の合成は重み付け加算によって行われる。
本実施形態では、撮像素子の各画素部の第１の光電変換部３０１の受光信号を集めて第１の視点画像が生成され、第２の光電変換部３０２の受光信号を集めて第２の視点画像が生成される。画像処理部１０５は、撮像素子の画素部ごとに、第１の光電変換部３０１と第２の光電変換部３０２の加算読出しによって、所定の解像度の撮像信号を生成して撮像された画像データを出力する。図５（Ｂ）を参照して、第１の視点画像と第２の視点画像の像ずれ量とデフォーカス量との関係について説明する。
図５（Ｂ）にて、撮像面５００上に撮像素子（不図示）が配置されている。撮像光学系の射出瞳４１０は、第１の瞳部分領域４０１と第２の瞳部分領域４０２に２分割される。デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面５００までの距離を表す。被写体像の結像位置が撮像面５００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図５（Ｂ）に示す被写体６０１の位置は、合焦状態（ｄ＝０）に対応する位置を例示し、被写体６０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１の瞳部分領域４０１（または第２の瞳部分領域４０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面５００上でボケた像となる。ボケ像は、撮像素子に配列された各画素を構成する光電変換部３０１（または光電変換部３０２）により受光され、第１の視点画像（または第２の視点画像）が生成される。よって、第１の視点画像（または第２の視点画像）は、撮像面５００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）として検出される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の視点画像と第２の視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１－Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１の視点画像と第２の視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。本実施形態では第１の視点画像と第２の視点画像、または第１の視点画像と第２の視点画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の視点画像と第２の視点画像との間の像ずれ量の大きさが増加する。
撮像光学系の焦点調節制御では、デフォーカス量の大きさおよび符号に応じてフォーカスレンズが駆動され、所定の被写体に焦点が合った合焦位置へフォーカスレンズが移動される。画像処理部１０５はデフォーカス量の分布を表すデフォーカスマップを生成する。
次に画像処理装置１００の画像編集機能について説明する。ユーザは操作部１０７を用いて画像編集モードへの移行を画像処理装置１００に指示することができる。ユーザが画像編集モードのメニュー表示画面でボケシフト機能を選択すると、画像処理装置１００は記録媒体１１１に記録された画像データを読み出す。ボケシフト機能とは、ボケ補正処理によってボケ領域の位置を変更する機能である。この機能により、画像内の所定の被写体領域に対するボケ領域の相対的な位置を変更することができる。画像処理装置１００は視差画像を含むＲＡＷデータを抽出し、表示部１０６の画面上にサムネイル画像の一覧表示を行う。ユーザが所望のサムネイル画像を選択すると、選択されたサムネイル画像に対応する視差画像が画面上に表示され、ボケシフト編集モードに移行する。
図８から図１０を参照して、画像編集機能におけるボケシフト処理に関して説明する。図８および図９は、ボケシフト編集機能における視点変更を説明するフローチャートであり、以下の処理はシステム制御部１０３のＣＰＵがプログラムを実行することにより実現される。図１０は表示部１０６の表示例を示す図である。図１０（Ａ）は、編集前の状態を表示した図であり、撮像対象に対応する被写体領域１００１の前に、点線枠で示す領域１００２で前ボケ被りが発生している様子を示す。
先ず、ユーザは操作部１０７を用いて、表示部１０６に表示された画像の中から移動させたい対象を指定する。システム制御部１０３は、ユーザ操作により指定された画像上の座標データをメモリ１０４に記憶する（Ｓ２００１）。画像処理部１０５は、編集中の画像について、前ボケ領域の検出を行う（Ｓ２００２）。前ボケ領域の検出は、画像中のボケ領域を検出し、その領域中から結像位置よりも手前側（撮像装置側）にあるボケのみを抽出することによって行われる。ボケ領域検出処理の詳細については、図１２を用いて後述する。ボケ領域の検出後に画像処理部１０５は、距離情報取得部１０８による距離情報を用いて、結像位置よりも手前にあるボケ領域と判定された領域を前ボケ領域とする。
システム制御部１０３は、Ｓ２００１でメモリ１０４に記憶しておいた座標データと、Ｓ２００２で検出された前ボケ領域から、ユーザの指定した位置が前ボケ領域内であるか否かを判定する（Ｓ２００３）。判定の結果、ユーザの指定した位置が前ボケ領域内である場合、Ｓ２００４の処理に進み、ユーザの指定した位置が前ボケ領域内でない場合にはＳ２００５の処理に進む。
Ｓ２００４でシステム制御部１０３は、Ｓ２００２で検出された前ボケ領域を強調表示して表示部１０６の表示内容を更新する処理を実行する。また、Ｓ２００５でシステム制御部１０３は、Ｓ２００２で検出された前ボケ領域以外の領域を強調表示して表示部１０６の表示内容を更新する処理を実行する。Ｓ２００４またはＳ２００５の後、Ｓ２００６に処理を進める。Ｓ２００６では、選択後のユーザの操作可能範囲を明示するために、ユーザの選択した点を中心としてスライド操作の可能範囲が表示部１０６の画面に表示される。図１０（Ｂ）を用いて、具体例を説明する。
図１０（Ｂ）は、ボケシフト編集機能においてユーザの指定した位置が、Ｓ２００３の処理で前ボケ領域内にあると判定された状態を表す図である。領域１００３は、前ボケ領域であることを強調することによって、ユーザの指定した位置が前ボケ領域内であることを示している。スライド操作の可能範囲１００４は、Ｓ２００６にてユーザのスライド操作が可能な範囲を表す。可能範囲１００４はユーザが指定した位置を中心として所定の幅を有し、図１０ではスケール表示の例を示している。なお、表示されるスライド操作の可能範囲１００４については、前ボケ領域が画面上で移動する距離を表示させる必要はない。視点変更による前ボケ領域の移動をユーザが微調整できるように、画面上のスライド操作の可能範囲１００４が表示され、ユーザ操作によりスケール調整を行うことができる。また、スライド操作に限らず、ドラッグ操作、フリック操作などで同等の操作を実施可能にしてもよい。
上記動作は、ユーザが表示部１０６の画面部のタッチパネルに手指を接触させることで直接操作を行う動作である。これに限らず、カーソルを表示部１０６の画面に表示し、ユーザが画像処理装置１００に配置されたボタンやポインティングデバイス等でカーソルを動かして所定の場所を選択する方法でもよい。この場合、他の場所に操作可能範囲を表示してもよい。
図１０（Ｃ）は、図８のＳ２００３で前ボケ領域以外の外部領域が指定されたことが判定された場合の例を示す。領域１００５は、前ボケ領域の外部領域が選択されたことがわかるように強調表示される。図１０（Ｃ）に示す強調表示方法は一例である。例えば、被写体領域１００１上をユーザが指定した場合、画像処理装置１００は被写体領域の認識処理を行い、被写体領域１００１のみ、またはその外形領域のみを強調するように表示してもよい。
図８のＳ２００６の次にシステム制御部１０３は、ユーザのスライド操作が行われたか否かを判定する（Ｓ２００７）。ユーザが指定した位置から、可能範囲１００４で示す範囲内でスライド操作が行われた場合、Ｓ２００８の処理に進む。スライド操作が行われない間、Ｓ２００７の判定処理が繰り返される。Ｓ２００８でシステム制御部１０３は、スライド操作後の座標データと、Ｓ２００１で記憶された座標データから、ユーザがスライド操作を行った方向とスライド距離を算出する。次にシステム制御部１０３は、Ｓ２００８で算出したスライド距離から視点移動量を決定する（Ｓ２００９）。システム制御部１０３は、Ｓ２００２で検出された領域が前ボケ領域であるか否かを判定する（図９：Ｓ２０１０）。前ボケ領域が指定されていると判定された場合、Ｓ２０１１の処理に進み、前ボケ領域以外の領域が指定されていると判定された場合、Ｓ２０１２の処理に進む。
Ｓ２０１１でシステム制御部１０３は、Ｓ２００８で算出したスライド操作方向（例えば、図１０（Ｂ）の左方向）と逆方向に視点移動方向を決定する。またＳ２０１２でシステム制御部１０３は、Ｓ２００８で算出したスライド操作方向（例えば、図１０（Ｃ）の右方向）と同じ方向に視点移動方向を決定する。Ｓ２０１１またはＳ２０１２の後、Ｓ２０１３でシステム制御部１０３は、決定した視点移動量と視点移動方向に基づいて視点位置を決定する。
画像処理部１０５は、Ｓ２０１３で決定された視点位置にしたがって、視差画像の合成処理を行い、記録用画像と表示用画像の各データを生成してメモリ１０４に記憶する（Ｓ２０１４）。図１０（Ｄ）を参照して具体例を説明する。
図１０（Ｄ）は、視点移動後の合成画像を表示した例を示す。ユーザ操作によって視点移動操作が行われ、視点変更処理が実行される。その結果、図１０（Ａ）では被写体領域１００１にかぶっていた前ボケ領域１００２は、被写体領域１００１にかぶらない位置の領域１００６に移動しており、ユーザの意図する画像が得られる。
図９のＳ２０１５で表示部１０６はメモリ１０４に記憶された表示用画像データを読み出して表示内容を更新する。このとき、表示部１０６の画面に表示される結果を保存するか否かを指定するためのＧＵＩ表示が行われ、ユーザからの指示を受け付ける処理が実行される。
Ｓ２０１６でシステム制御部１０３は、ユーザ操作を受け付けて表示データを保存するか否かを判断する。ユーザがデータの保存を指示したことが判断された場合、Ｓ２０１７の処理に進む。Ｓ２０１７にてシステム制御部１０３および画像処理部１０５は、Ｓ２０１３で決定した視点位置に基づいて保存用の画像データを合成し、各種の画像処理を行った後に記録媒体１１１に画像データを記録して、編集モードを終了する。Ｓ２０１６でユーザがデータの保存を指示しなかった場合には、データを保存せずに編集モードを終了する。
図９のＳ２０１４およびＳ２０１７の処理に関し、図１１を参照して、視差画像から視点を変更して合成画像を生成する処理について説明する。図１１は、合成画像の生成処理を示すフローチャートである。以下、合成前の視差画像ＡおよびＢに関して、画像Ａを第１の視点画像とし、画像Ｂを第２の視点画像とする。
図１１のＳ４０１で画像処理部１０５は、視差画像ＡおよびＢのデータをメモリ１０４、記録媒体１１１、または外部装置等から取得して画像合成部１０５ｂに供給する。Ｓ４０２で画像合成部１０５ｂは、Ｓ４０１で取得した視差画像ＡおよびＢのデータを基準合成比率１：１で合成し、合成画像Ｃのデータを生成する。Ｓ４０３でボケ領域検出部１０５ａは視差画像に関連する距離情報に基づき、視差画像ＡおよびＢ、および合成画像Ｃから、合焦距離の近傍に位置する被写体の領域に含まれるボケ領域を検出する。このボケ領域は、合焦距離の被写体よりも手前側（撮像装置側）に位置する被写体に起因する前ボケ被りの領域である。
Ｓ４０４で画像処理部１０５は、ボケ領域検出部１０５ａによりボケ領域が検出されたか否かを判定する。ボケ領域が検出されたと判定された場合、Ｓ４０６の処理へ進み、検出されないことが判定された場合、Ｓ４０５へ処理を進める。Ｓ４０５で画像処理部１０５は、Ｓ４０２で生成された合成画像Ｃのデータを出力し、合成画像の生成処理を終了する。
Ｓ４０６で合成比率算出部１０５ｃは、視点移動方向および移動量に応じて視差画像ＡおよびＢの、画素ごとの合成比率を決定する。Ｓ４０４にてボケ領域が検出されている場合、ボケ領域に対する視差画像ＡとＢとの合成比率が算出される。ボケ領域以外については、ボケ領域から所定距離以上の画素に関し、視差画像ＡとＢとの合成比率が基準合成比率「１：１」に設定される。ボケ領域から所定距離未満の画素については、ボケ領域の合成比率と基準合成比率と距離等に応じて線形補間により合成比率が算出される。対象画素についてのボケ領域からの距離は、当該画素とボケ領域の外縁を形成する画素との最短距離とすることができる。合成比率算出部１０５ｃが画素ごとの合成比率を決定すると、Ｓ４０７の処理に進む。Ｓ４０７で画像合成部１０５ｂは、合成比率算出部１０５ｃで画素ごとに決定された合成比率を用いて、視差画像ＡとＢとを合成し、合成画像Ｄのデータを生成して出力する。合焦位置にある第１被写体に対して、その手前に存在する第２被写体のボケ像が合成されることにより第１被写体の像の画質が低下する前ボケ被りは、視差画像ＡとＢの合成比率を変更して補正することで抑制できる。
図１２のフローチャートを参照して、Ｓ４０３のボケ領域検出処理について説明する。Ｓ５０１で、画像処理部１０５は、視差画像ＡおよびＢのデータからデフォーカスマップを生成する。デフォーカスマップは、画像の領域ごと、または画素ごとのデフォーカス量を表す情報である。デフォーカス量は、撮像装置から被写体までの距離に対応しており、撮像画像の奥行き方向の深度情報を表した被写体距離情報に相当する。デフォーカスマップの生成方法は公知である。例えば、視差画像ＡおよびＢをそれぞれ複数の領域に分割し、対応する分割領域内の画素値の相関量が最大となる相対移動量を検出する処理が行われる。相対移動量はシフト量、あるいは像ずれ量に相当し、着目領域に対する位相差として検出される。デフォーカス量は像ずれ量に所定の変換係数を乗算することで算出され、デフォーカス量の分布を示すデフォーカスマップが生成される。変換係数は、撮像光学系の口径、視差画像ＡおよびＢの感度分布の重心間隔等に基づいて決定される。なお、被写体距離情報としては、デフォーカスマップに限らず、像ずれ量の分布を示す像ずれ量マップや、デフォーカス量を被写体の距離情報に換算した距離マップを用いてもよい。
Ｓ５０２でボケ領域検出部１０５ａは、Ｓ５０１で生成したデフォーカスマップから、デフォーカス量が予め定められた閾値以下の領域と、その周辺領域を選択する。合焦距離にある被写体の領域とその周辺領域が検出される。例えば、デフォーカスマップに基づいて、焦点深度内の領域を選択する場合を想定する。１つの画素部が２つの光電変換部を有する構成の場合、撮像光学系の絞り値（Ｆ値）をＦ、許容錯乱円径をδと記すと、デフォーカス量の絶対値が２Ｆδ以下である領域が選択される。１つの画素部が縦Ｎ個×横Ｎ個の光電変換部を有する構成の場合には、デフォーカス量の絶対値がＮＦδ以下である領域が選択される。
Ｓ５０３でボケ領域検出部１０５ａは、Ｓ５０２で選択された領域のそれぞれについて、ボケ領域が含まれているか否かを検出する。具体的には、画像合成部１０５ｂは、視差画像ＡとＢの合成比率をα：（２．０－α）として、０≦α≦２．０の範囲でαの値を変化させて複数の合成画像Ｋ（α）を生成する。合成画像Ｋ（α）は、Ｓ５０２で選択された領域についてのみ生成すればよいが、全領域について生成してもよい。ボケ領域検出部１０５ａは、Ｓ５０２で選択された各領域をさらに分割した小領域ごとに、個々の合成画像Ｋ（α）について評価値を算出する。評価値は、合成画像Ｋ（α）と、Ｓ４０２で生成された合成画像Ｃとの画素値の差分絶対値和として算出され、積分される。また、ボケ領域検出部１０５ａは、評価値が最大となるα値を小領域ごとにメモリに記憶する。α値は、画像処理部１０５の処理能力や、合成画像に要求される画質等に基づいて決定される。
Ｓ５０４でボケ領域検出部１０５ａは、予め定められた数の合成画像Ｋ（α）について、各小領域における評価値を積分し、積分値が所定の閾値以上である小領域を検出する。検出される小領域は、合成比率を基準合成比率１：１から変化させたことによって評価値が有意に変化した領域であり、合成比率を変化させることによるボケ補正が有効な領域に相当する。
Ｓ５０５でボケ領域検出部１０５ａは、Ｓ５０４で検出した小領域ごとに、評価値（画素値の差分絶対値和）が最大となるα値を対応付けてメモリに記憶する。小領域に対するボケ補正効果が最も得られる合成比率はα：（２．０－α）である。
本実施形態では、ユーザが着目した領域を指定し、指定領域とスライド操作方向および操作量に応じて視点移動方向および移動量を決定して視点変更処理を行う。ユーザが画像中の移動させたい領域を指定するとともに、指定した領域の移動方向および移動量を指定する操作を行うことができる。よって、ユーザにとって直感的な操作で視点変更処理を行える。なお、上記の説明では、視点を変更して合成処理する領域は特に指定されていないが、ユーザが指定した所定の領域のみに視点変更処理を適用してもよい。本実施形態によれば、視点の異なる複数の画像から合成画像を生成する際、視点位置の変更によって出力画像がどのように変化するかを直感的に把握することができる。視点の移動方向を指定する方法に比べて、ユーザは分かり易い操作で視点変更を行える。
［第２実施形態］
続いて本発明の第２実施形態を説明する。本実施形態では、ユーザにより指定される方向が前ボケの移動する方向であることが第１実施形態との相違点である。本実施形態では主に第１実施形態との相違点を説明し、第１実施形態と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略する。
図１３のフローチャートを参照して、本実施形態のシステム制御部１０３が行う制御について説明する。ボケシフト編集機能のモードに入り、ユーザがスライド操作を開始すると、システム制御部１０３はスライド開始位置をメモリ１０４に記憶する（Ｓ４００１）。システム制御部１０３は、画像上のスライド開始位置付近にスライド操作の可能範囲（図１０（Ｂ）参照）を表示させる制御を行う（Ｓ４００２）。
ユーザがＳ４００２にて図示された可能範囲内でスライド操作を行うと、システム制御部１０３は、Ｓ４００１で記憶しておいた座標データとスライド操作後の座標データから、ユーザがスライド操作した方向とスライド距離を算出する（Ｓ４００３）。システム制御部１０３は、Ｓ４００３で算出したスライド距離から視点移動量を決定し、スライド操作方向に前ボケ領域が移動するように、Ｓ４００３にて算出したスライド操作方向と逆方向に視点移動方向を決定する（Ｓ４００４）。
システム制御部１０３は、決定した視点移動量と視点移動方向に基づいて視点位置を決定する（Ｓ４００５）。画像処理部１０５は視差画像データを合成し、記録用画像データと表示用画像データを生成してメモリ１０４に記憶する（Ｓ４００６）。表示部１０６は、メモリ１０４に記憶された表示用画像データを読み出して表示内容を更新する（Ｓ４００７）。このとき、表示部１０６の画面上の表示結果を保存するか否かを指定するためのＧＵＩ表示が行われ、ユーザからの指示を受け付ける処理が実行される。
Ｓ４００８でシステム制御部１０３は、表示データを保存するか否かを判断する。ユーザがデータの保存を指示したことが判断された場合、Ｓ４００９の処理に進む。Ｓ４００９にて、システム制御部１０３および画像処理部１０５は、保存用の画像データを生成し、各種の画像処理を行った後に記録媒体１１１に画像データを記録して、編集モードを終了する。Ｓ４００８でユーザが表示データの保存を指示しなかった場合、当該データを保存せずに編集モードを終了する。ここで、ユーザから再度スライド操作が行われた場合は、再度編集モードが開始され、Ｓ４００１へ進むことになる。
図１４のフローチャートを参照して、本実施形態におけるボケ領域検出処理について説明する。Ｓ５０１およびＳ５０２の処理は、図１２と同じであるので説明を省略し、Ｓ６０１からＳ６０６の処理を説明する。
Ｓ５０２の次に、Ｓ６０１でボケ領域検出部１０５ａは、視差画像ＡとＢの合成比率を変更した合成画像Ｋ（α）の生成処理を開始する。Ｓ６０２でボケ領域検出部１０５ａは個々の合成画像Ｋ（α）に対し、Ｓ５０２で選択された領域それぞれについて評価値を算出する。この評価値は、合焦度合いを表すコントラスト評価値である。コントラスト評価値は公知の方法で算出できる。例えば、ボケ領域検出部１０５ａは、コントラスト評価値を求める画像領域にバンドパスフィルタを適用して所定の周波数帯域の成分を抽出し、抽出された成分に微分フィルタを適用して隣接画素同士の差分値を算出する。ボケ領域検出部１０５ａは、算出した差分値の最大値を、処理対象の画像領域の各ラインについて検出し、その積算値を当該画像領域のコントラスト評価値とする。
Ｓ６０３でボケ領域検出部１０５ａは、全ての合成画像Ｋ（α）について、処理対象の画像領域のコントラスト評価値を算出したか否かを判定する。コントラスト評価値がすべて算出されたと判定された場合、Ｓ６０４へ処理を進め、算出がまだ終了していないと判定された場合には、Ｓ６０２に戻って処理を続行する。
Ｓ６０４でボケ領域検出部１０５ａは、各画像領域について算出したコントラスト評価値の変化量として、最大値と最小値との差分を算出する。Ｓ６０５でボケ領域検出部１０５ａは、コントラスト評価値の変化量および変化の傾向が以下の条件（１）および（２）を満たす画像領域を選択する。
（１）コントラスト評価値の変化量が閾値以上であること。
（２）一方の視点画像（例えばＡ）の合成比率を徐々に高くし、他方の視点画像（例えばＢ）の合成比率を徐々に低くした合成画像Ｋ（α）について、コントラスト評価値が単調増加または単調減少していること。
条件（１）に関して、合成比率を変化させたことでコントラスト評価値に一定以上の差が生じた領域は、合成比率を変えることによって合焦度合いが変化している領域である。つまり、この領域はボケ補正が有効な領域である。また、条件（２）に関しては、画像合成によるボケが生じていない領域のコントラスト評価値が視差画像Ｂの合成比率にかかわらず一定である。これに対し、画像合成によるボケが生じている領域のコントラスト評価値は、例えば視差画像Ｂの合成比率の単調増加に応じて単調減少する。
２つの条件のうちの条件（１）を課すだけでも、ある程度の精度で補正対象とするボケ領域は検出できるが、条件（２）をさらに課すことで、合成によってボケが生じている領域を精度良く検出できる。なお、条件（１）の判定に用いる閾値は、あらかじめ設定された固定値または可変値である。可変値の場合には、撮影感度や被写体輝度等の組み合わせに応じて閾値が変化する。
Ｓ６０６でボケ領域検出部１０５ａは、処理対象となる画像領域ごとに、コントラスト評価値が最大となる合成画像Ｋ（α）の合成比率を対応付けてメモリ１０４に記憶する。この合成比率は個々の画像領域でボケ補正効果が最も得られる合成比率を示す。
本実施形態によれば、ユーザは前ボケの移動方向のみに着目して操作できるので、より直感的な操作で視点変更処理を行うことができる。
前記実施形態では、左右方向において瞳分割された光電変換部を有する撮像素子によって視差画像データを取得する例を説明したが、これに限ったことではない。例えば、左右および上下方向の視差画像を取得可能な多眼カメラを用いてもよい。この場合、ユーザが行うスライド操作については、画像内の２次元方向（上下左右方向）で指定することができ、視点の移動方向についても同様に２次元方向で決定することができる。
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 画像処理装置
１０１ 撮像部
１０３ システム制御部
１０５ 画像処理部
１０６ 表示部
１０７ 操作部
１０８ 距離情報取得部

Claims (15)

  1. 視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置であって、
    前記複数の視点画像のデータを取得する取得手段と、
    表示手段により表示された画像にて位置を指定する指定手段と、
    前記指定手段によって指定される位置の移動方向と移動量を検出する検出手段と、
    前記検出手段により前記指定手段で指定された位置が所定の領域であると検出される場合に、前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成手段と、を備え、
    前記生成手段は、前記指定手段で指定された位置に応じて、前記検出手段によって検出された移動方向とは逆方向に視点を移動させて前記複数の視点画像を合成することと、前記検出手段によって検出された移動方向と同じ方向に視点を移動させて前記複数の視点画像を合成することとを選択的に制御する
    ことを特徴とする画像処理装置。
  2. 視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置であって、
    前記複数の視点画像のデータを取得する取得手段と、
    前記視点画像に関連する距離情報を取得する距離情報取得手段と、
    表示手段により表示された画像にて位置を指定する指定手段と、
    前記指定手段によって指定される位置の移動方向と移動量を検出する検出手段と、
    前記検出手段により前記指定手段で指定された位置が所定の領域であると検出される場合に、前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成手段と、を備え、
    前記生成手段は、前記距離情報と前記複数の視点画像のデータを用いて、複数の被写体のうちで焦点が合っている第１被写体よりも撮像手段の側に位置する第２被写体にてボケが生じているボケ領域を検出する
    ことを特徴とする画像処理装置。
  3. 前記視点画像に関連する距離情報を取得する距離情報取得手段を備え、
    前記生成手段は、前記距離情報と前記複数の視点画像のデータを用いて、複数の被写体のうちで焦点が合っている第１被写体よりも撮像手段の側に位置する第２被写体にてボケが生じているボケ領域を検出する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記生成手段は、
    前記ボケ領域を検出するボケ領域検出手段と、
    前記ボケ領域検出手段が検出した前記ボケ領域に対応する前記複数の視点画像の合成比率を算出する算出手段と、
    前記算出手段が算出した前記合成比率を用いて、前記複数の視点画像を合成して前記移動量にしたがって視点を移動させた場合の視点画像を生成する画像合成手段と、を備える
    ことを特徴とする請求項２または請求項３に記載の画像処理装置。
  5. 前記指定手段によって前記ボケ領域内の位置が指定された場合、前記画像合成手段は、前記検出手段によって検出された移動方向とは逆方向に視点を移動させて前記複数の視点画像を合成する
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 前記指定手段によって前記ボケ領域の外部の領域内の位置が指定された場合、前記画像合成手段は、前記検出手段によって検出された移動方向と同じ方向に視点を移動させて前記複数の視点画像を合成する
    ことを特徴とする請求項４または請求項５に記載の画像処理装置。
  7. 前記表示手段は、前記指定手段によって指定された位置を含む領域を強調表示する
    ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 前記指定手段によって指定した位置を中心とするスライド操作の範囲を、前記表示手段に表示させる制御を行う制御手段を備える
    ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 前記距離情報は、前記複数の視点画像に係る像ずれ量またはデフォーカス量の分布を表す情報である
    ことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
  10. 前記取得手段は、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を、複数の光電変換部により光電変換して得られた画素信号から生成される前記複数の視点画像のデータを取得する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 請求項１乃至１０のいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像素子を備える
    ことを特徴とする撮像装置。
  12. 前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
    前記各マイクロレンズに対応する前記複数の光電変換部の出力から前記複数の視点画像のデータが生成される
    ことを特徴とする請求項１１に記載の撮像装置。
  13. 視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置にて実行される画像処理方法であって、
    前記複数の視点画像のデータを取得する工程と、
    表示手段により表示された画像にて指定手段によって位置を指定する工程と、
    前記指定手段によって指定される位置の移動方向と移動量を検出手段が検出する工程と、
    前記指定手段で指定された位置が所定の領域であると検出される場合に、前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成工程と、を有し、
    前記生成工程では、前記指定手段で指定された位置に応じて、前記検出手段によって検出された移動方向とは逆方向に視点を移動させて前記複数の視点画像を合成することと、前記検出手段によって検出された移動方向と同じ方向に視点を移動させて前記複数の視点画像を合成することとが選択的に制御される
    ことを特徴とする画像処理方法。
  14. 視点の異なる複数の視点画像のデータに基づいて画像データを生成する画像処理装置にて実行される画像処理方法であって、
    前記複数の視点画像のデータと前記視点画像に関連する距離情報を取得する工程と、
    表示手段により表示された画像にて指定手段によって位置を指定する工程と、
    前記指定手段によって指定される位置の移動方向と移動量を検出手段が検出する工程と、
    前記指定手段で指定された位置が所定の領域であると検出される場合に、前記検出手段によって検出された移動方向とは逆方向に前記移動量にしたがって視点を移動させた場合の視点画像を前記複数の視点画像に基づいて生成する生成工程と、を有し、
    前記生成工程では、前記距離情報と前記複数の視点画像のデータを用いて、複数の被写体のうちで焦点が合っている第１被写体よりも撮像手段の側に位置する第２被写体にてボケが生じているボケ領域を検出する処理が行われる
    ことを特徴とする画像処理方法。
  15. 請求項１３または請求項１４に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。
JP2018019449A 2018-02-06 2018-02-06 画像処理装置、撮像装置、画像処理方法、およびプログラム Active JP7098342B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018019449A JP7098342B2 (ja) 2018-02-06 2018-02-06 画像処理装置、撮像装置、画像処理方法、およびプログラム
PCT/JP2019/003403 WO2019155981A1 (ja) 2018-02-06 2019-01-31 画像処理装置、撮像装置、画像処理方法、およびプログラム
US16/984,343 US11323689B2 (en) 2018-02-06 2020-08-04 Image processing device, imaging device, image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018019449A JP7098342B2 (ja) 2018-02-06 2018-02-06 画像処理装置、撮像装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2019140439A JP2019140439A (ja) 2019-08-22
JP2019140439A5 JP2019140439A5 (ja) 2021-03-11
JP7098342B2 true JP7098342B2 (ja) 2022-07-11

Family

ID=67549614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018019449A Active JP7098342B2 (ja) 2018-02-06 2018-02-06 画像処理装置、撮像装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11323689B2 (ja)
JP (1) JP7098342B2 (ja)
WO (1) WO2019155981A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10818721B2 (en) * 2018-08-22 2020-10-27 Stmicroelectronics (Research & Development) Limited Pixel circuit and method of operating the same in an always-on mode
CN117011507B (zh) * 2023-09-04 2024-01-26 南京诺源医疗器械有限公司 一种2cmos图像识别数据分析方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049898A (zh) 2014-06-26 2014-09-17 苏宁云商集团股份有限公司 触摸屏操作方法和装置以及触摸终端
JP2014526096A (ja) 2011-07-21 2014-10-02 クォルコム・メムズ・テクノロジーズ・インコーポレーテッド タッチ感知ディスプレイデバイス及びそれに関連した方法
JP2015193280A (ja) 2014-03-31 2015-11-05 富士通テン株式会社 車両制御装置及び車両制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP4868236B2 (ja) * 2004-12-21 2012-02-01 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
JP5230684B2 (ja) * 2010-05-13 2013-07-10 パナソニック株式会社 電子機器、表示方法、及びプログラム
JP2012114816A (ja) * 2010-11-26 2012-06-14 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013116138A (ja) * 2011-12-01 2013-06-13 Sony Corp 画像処理装置及び方法
WO2014050681A1 (ja) * 2012-09-26 2014-04-03 富士フイルム株式会社 画像処理装置、方法及びプログラム、プリンタ、表示装置
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN106716985B (zh) * 2014-09-08 2019-07-30 富士胶片株式会社 摄像控制装置、摄像控制方法、及相机系统
US10085005B2 (en) * 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
JP2017098929A (ja) * 2015-11-17 2017-06-01 キヤノン株式会社 画像処理装置および画像処理方法
CN105898460A (zh) * 2015-12-10 2016-08-24 乐视网信息技术（北京）股份有限公司 调整智能电视的全景视频播放视角的方法和装置
JP6757184B2 (ja) 2016-03-24 2020-09-16 キヤノン株式会社 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
US10524018B2 (en) * 2016-08-30 2019-12-31 Samsung Electronics Co., Ltd. Apparatus and method for displaying image
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
JP7154789B2 (ja) * 2018-03-27 2022-10-18 キヤノン株式会社 表示制御装置、その制御方法、プログラム及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526096A (ja) 2011-07-21 2014-10-02 クォルコム・メムズ・テクノロジーズ・インコーポレーテッド タッチ感知ディスプレイデバイス及びそれに関連した方法
JP2015193280A (ja) 2014-03-31 2015-11-05 富士通テン株式会社 車両制御装置及び車両制御方法
CN104049898A (zh) 2014-06-26 2014-09-17 苏宁云商集团股份有限公司 触摸屏操作方法和装置以及触摸终端

Also Published As

Publication number Publication date
WO2019155981A1 (ja) 2019-08-15
JP2019140439A (ja) 2019-08-22
US20200366882A1 (en) 2020-11-19
US11323689B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
US9247227B2 (en) Correction of the stereoscopic effect of multiple images for stereoscope view
EP2566150B1 (en) Image processing apparatus, image processing method, and program
CN103493484B (zh) 成像装置和成像方法
JP5657343B2 (ja) 電子機器
EP2693756B1 (en) Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
JP5421829B2 (ja) 撮像装置
JP2018107654A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP2017184217A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
JP2013044806A (ja) 撮像装置
JP6095266B2 (ja) 画像処理装置及びその制御方法
JP7098342B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
JP2015215571A (ja) 撮像装置およびその制御方法
EP2911383B1 (en) Image processing apparatus, control method, program, and recording medium
JP6728020B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6056160B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
JP6648916B2 (ja) 撮像装置
JP2013175821A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017204787A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
JP2017098929A (ja) 画像処理装置および画像処理方法
US11514556B2 (en) Image processing apparatus, image processing method, and image pickup apparatus for displaying image for use in focusing operation
US20220358667A1 (en) Image processing apparatus and method, and image capturing apparatus and control method thereof, and storage medium
JP7395326B2 (ja) レンズ装置、撮像装置、通信方法、および、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R151 Written notification of patent or utility model registration

Ref document number: 7098342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151