JPWO2018088212A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JPWO2018088212A1
JPWO2018088212A1 JP2018550128A JP2018550128A JPWO2018088212A1 JP WO2018088212 A1 JPWO2018088212 A1 JP WO2018088212A1 JP 2018550128 A JP2018550128 A JP 2018550128A JP 2018550128 A JP2018550128 A JP 2018550128A JP WO2018088212 A1 JPWO2018088212 A1 JP WO2018088212A1
Authority
JP
Japan
Prior art keywords
viewpoint
image
shift amount
pixel
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018550128A
Other languages
English (en)
Other versions
JP7014175B2 (ja
Inventor
健吾 早坂
健吾 早坂
功久 井藤
功久 井藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018088212A1 publication Critical patent/JPWO2018088212A1/ja
Application granted granted Critical
Publication of JP7014175B2 publication Critical patent/JP7014175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、所望のぼけが付与されたリフォーカスを実現することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。集光処理部は、シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行う。集光処理では、視点ごとの補正係数によりシフト量を補正した補正後のシフト量に応じて画素がシフトされる。本技術は、例えば複数の視点の画像から、リフォーカスを行った画像を得る場合等に適用することができる。

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば所望のぼけが付与されたリフォーカスを実現することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
複数の視点の画像から、例えばリフォーカスを行った画像、すなわち、光学系のフォーカスを変更して撮影を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば非特許文献１を参照）。
例えば非特許文献１には、100台のカメラからなるカメラアレイを用いたリフォーカスの方法が記載されている。
今後、リフォーカスについては、ピントを残したまま、画像の全体に所望のぼけが付与されたリフォーカスを実現することのニーズが高まることが予想される。
本技術は、このような状況に鑑みてなされたものであり、所望のぼけが付与されたリフォーカスを実現することができるようにするものである。
本技術の画像処理装置、又は、プログラムは、複数の視点の画像を取得する取得部と、前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部とを備え、前記集光処理部は、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
本技術の画像処理方法は、複数の視点の画像を取得することと、前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行うこととを含み、前記集光処理では、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする画像処理方法である。
本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点の画像が取得され、前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理が行われる。前記集光処理では、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素がシフトされる。
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、所望のぼけが付与されたリフォーカスを実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 撮影装置１１の構成例を示す背面図である。 撮影装置１１の他の構成例を示す背面図である。 画像処理装置１２の構成例を示すブロック図である。 画像処理システムの処理の例を説明するフローチャートである。 補間部３２での補間画像の生成の例を説明する図である。 視差情報生成部３１でのディスパリティマップの生成の例を説明する図である。 集光処理部３３で行われる集光処理によるリフォーカスの概要を説明する図である。 ディスパリティ変換の例を説明する図である。 集光処理によるリフォーカスの概要を説明する図である。 集光処理部３３が行う集光処理の例を説明するフローチャートである。 視点ごとの補正係数の例を示す図である。 合焦シフト量DP#iを補正しない場合の、合焦対象画素に集光する光線の強度の分布の例を模式的に示す図である。 合焦シフト量DP#iを補正する場合の、合焦対象画素に集光するはずであった光線の強度の分布の例を模式的に示す図である。 合焦シフト量DP#iを補正する場合の、合焦対象画素に集光するはずであった光線の強度の分布の例を模式的に示す図である。 集光処理部３３が行う集光処理の他の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した画像処理システムの一実施の形態＞
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
図１において、画像処理システムは、撮影装置１１、画像処理装置１２、及び、表示装置１３を有する。
撮影装置１１は、被写体を複数の視点から撮影し、その結果得られる複数の視点の、例えば（ほぼ）パンフォーカスの撮影画像を画像処理装置１２に供給する。
画像処理装置１２は、撮影装置１１からの複数の視点の撮影画像を用いて任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を表示装置１３に供給する。
表示装置１３は、画像処理装置１２からの処理結果画像を表示する。
なお、図１において、画像処理システムを構成する撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのすべてを例えばディジタル（スチル／ビデオ）カメラや、スマートフォン等の携帯端末等のような、独立した装置に内蔵させることができる。
また、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それぞれを別個に独立した装置に内蔵させることができる。
さらに、撮影装置１１、画像処理装置１２、及び、表示装置１３は、それらのうちの任意の２つと残りの１つとをそれぞれ別個に独立した装置に内蔵させることができる。
例えば撮影装置１１及び表示装置１３をユーザが所持する携帯端末に内蔵させ、画像処理装置１２をクラウド上のサーバに内蔵させることができる。
また、画像処理装置１２の一部のブロックをクラウド上のサーバに内蔵させ、画像処理装置１２の残りのブロックと撮影装置１１及び表示装置１３とを携帯端末に内蔵させることができる。
＜撮影装置１１の構成例＞
図２は、図１の撮影装置１１の構成例を示す背面図である。
撮影装置１１は、例えばRGBの値を画素値として有する画像を撮影する複数のカメラユニット（以下、にカメラともいう）２１iを有し、その複数のカメラ２１iによって、複数の視点の撮影画像を撮影する。
図２では、撮影装置１１は、複数としての、例えば７個のカメラ２１1，２１2，２１3，２１4，２１5，２１6、及び、２１7を有し、それらの７個のカメラ２１1ないし２１7は、２次元平面上に配置されている。
さらに、図２では、７個のカメラ２１1ないし２１7は、それらのうちの１つである、例えばカメラ２１1を中心として、他の６個のカメラ２１2ないし２１7が、カメラ２１1の周辺に正６角形を構成するように配置されている。
したがって、図２では、７個のカメラ２１1ないし２１7のうちの、任意の１つのカメラ２１i(i=1,2,...,7)とそのカメラ２１iに最も近い他の１つのカメラ２１j(ｊ=1,2,...,7)との（光軸どうしの）距離は、同一の距離Bになっている。
カメラ２１iと２１jとの距離Bとしては、例えば20mm程度を採用することができる。この場合、撮影装置１１は、ICカード等のカードサイズ程度の大きさに構成することができる。
なお、撮影装置１１を構成するカメラ２１iの数は、７個に限定されるものではなく、２個以上６個以下の数や、８個以上の数を採用することができる。
また、撮影装置１１において、複数のカメラ２１iは、上述のような正６角形等の正多角形を構成するように配置する他、任意の位置に配置することができる。
ここで、以下、カメラ２１1ないし２１7のうちの、中心に配置されたカメラ２１1を基準カメラ２１1ともいい、その基準カメラ２１1の周辺に配置されたカメラ２１2ないし２１7を周辺カメラ２１2ないし２１7ともいう。
図３は、図１の撮影装置１１の他の構成例を示す背面図である。
図３では、撮影装置１１は、９個のカメラ２１11ないし２１19で構成され、その９個のカメラ２１11ないし２１19は、横×縦が３×３に配置されている。３×３のカメラ２１i(i=11,12,...,19)は、上、下、左、又は、右に隣接するカメラ２１j(j=11,12,...,19)と距離Bだけ離れて配置されている。
ここで、以下では、特に断らない限り、撮影装置１１は、例えば図２に示したように、７個のカメラ２１1ないし２１7で構成されることとする。
また、基準カメラ２１1の視点を基準視点ともいい、基準カメラ２１1で撮影された撮影画像PL1を基準画像PL1ともいう。さらに、周辺カメラ２１iで撮影された撮影画像PL#iを周辺画像PL#iともいう。
なお、撮影装置１１は、図２や図３に示したように、複数のカメラ２１iで構成する他、例えばRen.Ng、他７名，"Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02に記載されているように、MLA(Micro Lens Array)を用いて構成することができる。MLAを用いて撮影装置１１を構成した場合であっても、実質的に、複数の視点から撮影した撮影画像を得ることができる。
また、複数の視点の撮影画像を撮影する方法は、撮影装置１１を複数のカメラ２１iで構成する方法や、MLAを用いて構成する方法に限定されるものではない。
＜画像処理装置１２の構成例＞
図４は、図１の画像処理装置１２の構成例を示すブロック図である。
図４において、画像処理装置１２は、視差情報生成部３１、補間部３２、集光処理部３３、及び、パラメータ設定部３４を有する。
画像処理装置１２には、撮影装置１１から、カメラ２１1ないし２１7で撮影された７視点の撮影画像PL1ないしPL7が供給される。
画像処理装置１２において、撮影画像PL#iは、視差情報生成部３１、及び、補間部３２３に供給される。
視差情報生成部３１は、撮影装置１１から供給される撮影画像PL#iを用いて視差情報を求め、補間部３２、及び、集光処理部３３に供給する。
すなわち、視差情報生成部３１は、例えば撮影装置１１から供給される撮影画像PL#iそれぞれの、他の撮影画像PL#jとの視差情報を求める処理を複数の視点の撮影画像PL#iの画像処理として行う。そして、視差情報生成部３１は、例えば撮影画像の画素（の位置）ごとに視差情報が登録されたマップを生成し、補間部３２、及び、集光処理部３３に供給する。
ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えばディスパリティを採用することとし、視差情報生成部３１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。
補間部３２は、撮影装置１１からの、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と視差情報生成部３１からのディスパリティマップとを用いてカメラ２１1ないし２１7の７視点以外の視点から撮影を行ったならば得られる画像を補間により生成する。
ここで、後述する集光処理部３３が行う集光処理によって、複数のカメラ２１1ないし２１7で構成される撮影装置１１は、カメラ２１1ないし２１7を合成開口とする仮想レンズとして機能させることができる。図２の撮影装置１１については、仮想レンズの合成開口は、周辺カメラ２１2ないし２１7の光軸を結ぶ、直径が略2Bの略円形状になる。
補間部３２は、例えば仮想レンズの直径2Bを一辺とする正方形（又は、仮想レンズの合成開口に内接する正方形）内のほぼ等間隔の複数の点、すなわち、例えば横×縦が２１×２１個の点を視点として、その２１×２１視点のうちの、カメラ２１1ないし２１7の７視点以外の、２１×２１−７視点の画像を補間により生成する。
そして、補間部３２は、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と撮影画像を用いた補間により生成された２１×２１−７視点の画像とを集光処理部３３に供給する。
ここで、補間部３２において、撮影画像を用いた補間により生成された画像を補間画像ともいう。
また、補間部３２から集光処理部３３に供給される、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と２１×２１−７視点の補間画像との、合計で、２１×２１視点の画像を視点画像ともいう。
補間部３２での補間は、カメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7から、より多く数の視点（ここでは、２１×２１視点）の視点画像を生成する処理であると考えることができる。この多数の視点の視点画像を生成する処理は、実空間内の実空間点から、カメラ２１1ないし２１7を合成開口とする仮想レンズに入射する光線を再現する処理であると捉えることができる。
集光処理部３３は、補間部３２からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線をイメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。
集光処理部３３の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスが行われる。リフォーカスは、視差情報生成部３１からのディスパリティマップや、パラメータ設定部３４からの集光パラメータを用いて行われる。
集光処理部３３の集光処理によって得られる画像は、処理結果画像として（表示装置１３）に出力される。
パラメータ設定部３４は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、撮影画像PL#i（例えば基準画像PL1）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータ（の一部）として、集光処理部３３に供給する。
その他、パラメータ設定部３４は、ユーザの操作等に応じて、後述する補正係数を設定し、集光パラメータ（の他の一部）として、集光処理部３３に供給する。
なお、画像処理装置１２は、サーバとして構成することもできるし、クライアントとして構成することもできる。さらに、画像処理装置１２は、サーバクライアントシステムとして構成することもできる。画像処理装置１２をサーバクライアントシステムとして構成する場合には、画像処理装置１２の任意の一部のブロックをサーバで構成し、残りのブロックをクライアントで構成することができる。
＜画像処理システムの処理＞
図５は、図１の画像処理システムの処理の例を説明するフローチャートである。
ステップＳ１１において、撮影装置１１は、複数の視点としての７視点の撮影画像PL1ないしPL7を撮影する。撮影画像PL#iは、画像処理装置１２（図４）の視差情報生成部３１、及び、補間部３２に供給される。
そして、処理はステップＳ１１からステップＳ１２に進み、画像処理装置１２は、撮影装置１１からの撮影画像PL#iを取得する。さらに、画像処理装置１２では、視差情報生成部３１は、撮影装置１１からの撮影画像PL#iを用いて視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。
視差情報生成部３１は、視差情報生成処理により得られるディスパリティマップを補間部３２、及び、集光処理部３３に供給し、処理はステップＳ１２からステップＳ１３に進む。なお、ここでは、画像処理装置１２は、撮影装置１１から撮影画像PL#iを取得することとしたが、画像処理装置１２では、撮影装置１１から撮影画像PL#iを直接取得する他、例えば撮影装置１１やその他の図示せぬ撮影装置で撮影され、クラウドに予め保存された撮影画像PL#iを、クラウドから取得すること等ができる。
ステップＳ１３では、補間部３２は、撮影装置１１からのカメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と視差情報生成部３１からのディスパリティマップとを用いてカメラ２１1ないし２１7の７視点以外の複数の視点の補間画像を生成する補間処理を行う。
さらに、補間部３２は、撮影装置１１からのカメラ２１1ないし２１7の７視点の撮影画像PL1ないしPL7と補間処理により得られた複数の視点の補間画像とを複数の視点の視点画像として、集光処理部３３に供給し、処理はステップＳ１３からステップＳ１４に進む。
ステップＳ１４では、パラメータ設定部３４は、集光パラメータを設定する設定処理を行う。
設定処理では、例えばユーザの操作等によって指定された位置にある、基準画像PL1の画素が、合焦させる合焦対象画素に設定される。
また、設定処理では、例えばユーザの操作等に応じて、集光処理において、画素をシフトする画素シフト量（後述する基準シフト量BV又は合焦シフト量DP#i）を補正する補正係数が、補間部３２で得られる視点画像の視点ごとに設定される。
パラメータ設定部３４は、設定処理により得られた合焦対象画素（の情報）、及び、視点ごとの補正係数を集光パラメータとして、集光処理部３３に供給し、処理はステップＳ１４からステップＳ１５に進む。
ここで、設定処理では、パラメータ設定部３４は、例えば撮影装置１１からの７視点の撮影画像PL1ないしPL7のうちの、例えば基準画像PL1を、合焦させる被写体の指定を促すメッセージとともに、表示装置１３に表示させることができる。そして、パラメータ設定部３４は、ユーザが、表示装置１３に表示された基準画像PL1（に映る被写体）上の位置を指定するのを待って、ユーザが指定した位置にある基準画像PL1の画素を合焦対象画素に設定することができる。
合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えばアプリケーションからの指定や、予め決められたルールによる指定等に従って設定することができる。
例えば所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を合焦対象画素に設定することができる。
ステップＳ１５では、集光処理部３３は、補間部３２からの複数の視点の視点画像、視差情報生成部３１からのディスパリティマップ、並びに、パラメータ設定部３４からの集光パラメータとしての合焦対象画素及び視点ごとの補正係数を用いてカメラ２１1ないし２１7を合成開口とする仮想レンズを通過した被写体からの光線を図示せぬ仮想センサ上に集光させることに相当する集光処理を行う。
仮想レンズを通過した光線が集光される仮想センサの実体は、例えば図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、仮想レンズを通過した光線の集光により得られる画像の画素値が求められる。
集光処理部３３の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素を画素シフトして（画素値を）積算することにより、所定の距離の合焦点に合焦した処理結果画像の各画素値が求められ、処理結果画像の生成、すなわち、リフォーカスが行われる。
ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部３３の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部３４からの集光パラメータとしての合焦対象画素を用いて設定される。
また、集光処理部３３の集光処理では、基準シフト量BV、ひいては、後述するように、基準シフト量BVから一意に求められる合焦シフト量DP#iに応じて、複数の視点の視点画像の画素の画素シフトが行われる。集光処理では、パラメータ設定部３４からの集光パラメータとしての視点ごとの補正係数によって、合焦シフト量DP#i（又は基準シフト量BV）が補正され、補正後の合焦シフト量DP#iに応じて、複数の視点の視点画像の画素の画素シフトが行われる。
以上のように、視点ごとの補正係数によって補正された補正後の合焦シフト量DP#iに応じて、複数の視点の視点画像の画素の画素シフトが行われるので、補正係数に応じて、所望のぼけが付与されたリフォーカスを実現することができる。
集光処理部３３は、集光処理の結果得られる処理結果画像を表示装置１３に供給し、処理はステップＳ１５からステップＳ１６に進む。
ステップＳ１６では、表示装置１３が、集光処理部３３からの処理結果画像を表示する。
なお、図５では、ステップＳ１４の設定処理を、ステップＳ１３の補間処理とステップＳ１５の集光処理との間で行うこととしたが、設定処理のうちの、集光パラメータとしての合焦対象画素の設定は、ステップＳ１１の７視点の撮影画像PL1ないしPL7の撮影の直後から、ステップＳ１５の集光処理の直前までの間の任意のタイミングで行うことができる。
さらに、設定処理のうちの、集光パラメータとしての視点ごとの補正係数の設定は、ステップＳ１５の集光処理の直前までの任意のタイミングで行うことができる。
また、画像処理装置１２（図４）は、集光処理部３３だけで構成することができる。
例えば集光処理部３３の集光処理を、補間画像を用いずに、撮影装置１１で撮影された撮影画像を用いて行う場合には、補間部３２を設けずに、画像処理装置１２を構成することができる。但し、集光処理を、撮影画像の他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。
また、例えば撮影装置１１で撮影された複数の視点の撮影画像の視差情報を距離センサ等を用いて外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部３１を設けずに、画像処理装置１２を構成することができる。
さらに、例えば集光処理部３３において、予め決められたルールに従って、合焦面及び視点ごとの補正係数を設定する場合には、パラメータ設定部３４を設けずに、画像処理装置１２を構成することができる。
＜補間画像の生成＞
図６は、図４の補間部３２での補間画像の生成の例を説明する図である。
ある視点の補間画像を生成する場合、補間部３２は、補間画像の画素を順次、補間の対象の補間対象画素に選択する。さらに、補間部３２は、７視点の撮影画像PL1ないしPL7のうちの全部、又は、補間画像の視点に近い一部の視点の撮影画像PL#iを補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部３２は、視差情報生成部３１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の撮影画像PL#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮影を行ったならば、補間対象画素に映る空間点と同一の空間点が映っている画素）を求める。
そして、補間部３２は、対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を補間対象画素の画素値として求める。
対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての撮影画像PL#iの視点と補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。
なお、撮影画像PL#iに指向性がある強い光が映っている場合には、７視点の撮影画像PL1ないしPL7のうちの全部を画素値算出画像に選択するよりも、補間画像の視点に近い３視点や４視点等の一部の視点の撮影画像PL#iを画素値算出画像に選択する方が、実際に、補間画像の視点から撮影したならば得られる画像に近い補間画像を得ることができる。
＜ディスパリティマップの生成＞
図７は、図４の視差情報生成部３１でのディスパリティマップの生成の例を説明する図である。
すなわち、図７は、撮影装置１１のカメラ２１1ないし２１7で撮影された撮影画像PL1ないしPL7の例を示している。
図７では、撮影画像PL1ないしPL7には、所定の背景の手前側に、前景としての所定の物体objが映っている。撮影画像PL1ないしPL7それぞれについては、視点が異なるため、例えば撮影画像PL2ないしPL7それぞれに映る物体objの位置（撮影画像上の位置）は、撮影画像PL1に映る物体objの位置から、視点が異なる分だけずれている。
いま、カメラ２１iの視点（位置）、すなわち、カメラ２１iで撮影された撮影画像PL#iの視点をvp#iと表すこととする。
例えば撮影画像PL1の視点vp1のディスパリティマップを生成する場合には、視差情報生成部３１は、撮影画像PL1を注目する注目画像PL1とする。さらに、視差情報生成部３１は、注目画像PL1の各画素を順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を他の撮影画像PL2ないしPL7のそれぞれから検出する。
撮影画像PL2ないしPL7それぞれから、注目画像PL1の注目画素に対応する対応画素を検出する方法としては、例えばステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。
ここで、注目画像PL1の注目画素に対する、撮影画像PL#iの対応画素の位置ずれを表すベクトルをディスパリティベクトルv#i,1ということとする。
視差情報生成部３１は、撮影画像PL2ないしPL7のそれぞれについてディスパリティベクトルv2,1ないしv7,1を求める。そして、視差情報生成部３１は、例えばディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを注目画素（の位置）のディスパリティの大きさとして求める。
ここで、撮影装置１１において、図２で説明したように、注目画像PL1を撮影する基準カメラ２１1と撮影画像PL2ないしPL7を撮影する周辺カメラ２１2ないし２１7それぞれとの距離が、同一の距離Bになっている場合に、注目画像PL1の注目画素に映る実空間点が、撮影画像PL2ないしPL7にも映っているときには、ディスパリティベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。
すなわち、この場合、ディスパリティベクトルv2,1ないしv7,1は、注目画像PL1の視点vp1に対する他の撮影画像PL2ないしPL7の視点vp2ないしvp7の方向と逆方向の、大きさが等しいベクトルになる。
但し、撮影画像PL2ないしPL7の中には、オクルージョンが生じている画像、すなわち、注目画像PL1の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。
注目画像PL1の注目画素に映る実空間点が映っていない撮影画像（以下、オクルージョン画像ともいう）PL#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
そのため、オクルージョン画像PL#iについては、注目画像PL1の注目画素に映る実空間点が映っている撮影画像PL#jのディスパリティベクトルv#j,1とは、大きさが異なるディスパリティベクトルv#i,1が求められる。
撮影画像PL2ないしPL7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部３１は、上述のように、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを注目画素のディスパリティの大きさとして求める。
図７では、ディスパリティベクトルv2,1ないしv7,1の中で、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、ディスパリティベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しいディスパリティベクトルが存在しない。
そのため、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが、注目画素のディスパリティの大きさとして求められる。
なお、注目画像PL1の注目画素の、任意の撮影画像PL#iとの間のディスパリティの方向は、注目画像PL1の視点vp1（カメラ２１1の位置）と撮影画像PL#iの視点vp#i（カメラ２１iの位置）との位置関係（視点vp1から視点vp#iへの方向等）から認識することができる。
視差情報生成部３１は、注目画像PL1の各画素を順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部３１は、注目画像PL1の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップをディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置とその画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。
他の撮影画像PL#iの視点vp#iのディスパリティマップも、視点vp#1のディスパリティマップと同様に生成することができる。
但し、視点vp#1以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、撮影画像PL#iの視点vp#iとその撮影画像PL#i以外の撮影画像PL#jの視点vp#jとの位置関係（カメラ２１iと２１jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。
すなわち、例えば図２の撮影装置１１について、撮影画像PL5を注目画像PL5として、ディスパリティマップを生成する場合、注目画像PL5と撮影画像PL2との間で得られるディスパリティベクトルは、注目画像PL5と撮影画像PL1との間で得られるディスパリティベクトルの２倍の大きさになる。
これは、注目画像PL5を撮影するカメラ２１5と撮影画像PL1を撮影するカメラ２１1との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像PL5を撮影するカメラ２１5と撮影画像PL2を撮影するカメラ２１2との基線長が、距離2Bになっているためである。
そこで、いま、例えば基準カメラ２１1と他のカメラ２１iとの基線長である距離Bをディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。
すなわち、例えば注目画像PL5を撮影するカメラ２１5と撮影画像PL1を撮影する基準カメラ２１1との基線長Bは、基準基線長Bに等しいので、注目画像PL5と撮影画像PL1との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。
また、例えば注目画像PL5を撮影するカメラ２１5と撮影画像PL2を撮影するカメラ２１2との基線長2Bは、基準基線長Bの２倍に等しいので、注目画像PL5と撮影画像PL2との間で得られるディスパリティベクトルは、その大きさが1/2倍（基準基線長Bと、カメラ２１5とカメラ２１2との基線長2Bとの比の値倍）に調整される。
注目画像PL5と他の撮影画像PL#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。
そして、大きさの調整後のディスパリティベクトルを用いてディスパリティベクトルの多数決が行われる。
なお、視差情報生成部３１において、撮影画像PL#i（の各画素）のディスパリティは、例えば撮影装置１１で撮影される撮影画像の画素の精度で求めることができる。また、撮影画像PL#iのディスパリティは、例えばその撮影画像PL#iの画素より細かい精度である画素以下精度（例えば1/4画素等のサブピクセルの精度）で求めることができる。
ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティをそのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、基準画像PL1の各画素の、基準画像PL1の左隣の視点の撮影画像PL5との間のディスパリティ（基準画像PL1の画素から、その画素に対応する撮影画像PL5の対応画素までの画素ずれを表すベクトル）のx成分に等しい。
＜集光処理によるリフォーカス＞
図８は、図４の集光処理部３３で行われる集光処理によるリフォーカスの概要を説明する図である。
なお、図８では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、基準画像PL1、基準画像PL1の右隣の視点の撮影画像PL2、及び、基準画像PL1の左隣の視点の撮影画像PL5の３枚の画像を用いることとする。
図８において、撮影画像PL1，PL2、及び、PL5には、２つの物体obj1及びobj2が映っている。例えば物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。
いま、例えば物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、基準画像PL1の基準視点から見た画像を得ることとする。
ここで、撮影画像PL1の物体obj1が映る画素との間の、処理結果画像の視点、すなわち、ここでは、基準視点（の基準画像PL1の対応画素）のディスパリティをDP1と表す。また、撮影画像PL2の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティをDP2と表すとともに、撮影画像PL5の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティをDP5と表すこととする。
なお、図８では、処理結果画像の視点は、撮影画像PL1の基準視点に等しいので、撮影画像PL1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP1は、(0,0)になる。
撮影画像PL1，PL2、及び、PL5については、撮影画像PL1，PL2、及び、PL5をディスパリティDP1，DP2、及び、DP5に応じて、それぞれ画素シフトし、その画素シフト後の撮影画像PL1，PL2、及び、PL5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
すなわち、撮影画像PL1，PL2、及び、PL5を、ディスパリティDP1，DP2、及び、DP5をキャンセルするように（ディスパリティDP1，DP2、及び、DP5の逆方向に）、それぞれ画素シフトすることで、画素シフト後の撮影画像PL1，PL2、及び、PL5では、物体obj1が映る画素の位置が一致する。
したがって、画素シフト後の撮影画像PL1，PL2、及び、PL5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
なお、画素シフト後の撮影画像PL1，PL2、及び、PL5においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。
また、ここでは、上述したように、処理結果画像の視点は、基準視点であり、ディスパリティDP1は(0,0)であるため、撮影画像PL1については、実質的に、画素シフトを行う必要はない。
集光処理部３３の集光処理では、例えば以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理対象画像の視点（ここでは、基準視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像を処理結果画像として求める。
＜ディスパリティ変換＞
図９は、ディスパリティ変換の例を説明する図である。
図７で説明したように、ディスパリティマップに登録される登録ディスパリティは、基準画像PL1の左隣の視点の撮影画像PL5の各画素との間の、基準画像PL1の画素のディスパリティのx成分に等しい。
リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。
いま、ある視点を注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば基準視点の基準画像PL1の合焦対象画素のディスパリティが必要となる。
注目視点の視点画像との間の、基準画像PL1の合焦対象画素のディスパリティは、基準画像PL1の合焦対象画素（処理結果画像の合焦対象画素に対応する基準画像PLの対応画素）の登録ディスパリティから、基準視点（処理対象画素の視点）から注目視点の方向を加味して求めることができる。
いま、基準視点から注目視点の方向をx軸を0[radian]とする反時計回りの角度で表すこととする。
例えばカメラ２１2は、基準基線長Bだけ+x方向に離れた位置にあり、基準視点からカメラ２１2の視点の方向は、0[radian]である。この場合、カメラ２１2の視点の視点画像（撮影画像PL2）との間の、基準画像PL1の合焦対象画素のディスパリティDP2（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、カメラ２１2の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。
また、例えばカメラ２１3は、基準基線長Bだけπ/3の方向に離れた位置にあり、基準視点からカメラ２１2の視点の方向は、π/3[radian]である。この場合、カメラ２１3の視点の視点画像（撮影画像PL3）との間の、基準画像PL1の合焦対象画素のディスパリティDP3は、その合焦対象画素の登録ディスパリティRDから、カメラ２１3の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。
ここで、補間部３２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なカメラで撮影された画像であるとみなすことができる。この仮想的なカメラの視点vpが、基準視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なカメラで撮影された画像）との間の、基準画像PL1の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。
以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、基準画像PL1の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、基準画像PL1（処理結果画像）の画素のディスパリティに変換することをディスパリティ変換ともいう。
リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、基準画像PL1の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。
リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を合焦シフト量ともいう。
ここで、以下、補間部３２で得られる複数の視点の視点画像のうちの、ｉ番目の視点画像の視点を視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を合焦シフト量DP#iとも記載する。
視点vp#iの視点画像の合焦シフト量DP#iは、合焦対象画素の登録ディスパリティRDから、基準視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。
ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。
したがって、ディスパリティ変換は、例えば登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。
ここでは、例えばディスパリティ変換を登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。
この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。
合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。
なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、撮影画像PL2との間の、合焦対象画素のディスパリティのx成分に等しい。
＜集光処理＞
図１０は、集光処理によるリフォーカスの概要を説明する図である。
いま、合焦点（フォーカスが合う、実空間内の実空間点）の集まりで構成される面を合焦面ということとする。
集光処理では、例えば実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成されることで、リフォーカスが行われる。
図１０では、複数の視点の視点画像の手前と中程のそれぞれに、１人の人が映っている。そして、中程の人の位置を通る、奥行き方向の距離が一定の平面を合焦面として、複数の視点の視点画像から、合焦面上の被写体、すなわち、例えば中程の人に合焦した処理結果画像が得られている。
なお、合焦面としては、例えば実空間内の奥行き方向の距離が変化する平面や曲面を採用することができる。また、合焦面としては、奥行き方向の距離が異なる複数の平面等を採用することができる。
図１１は、集光処理部３３が行う集光処理の例を説明するフローチャートである。
すなわち、図１１は、画像全体にぼけを付与しない場合の集光処理の例を示すフローチャートである。
ステップＳ３１において、集光処理部３３は、パラメータ設定部３４から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理はステップＳ３２に進む。
すなわち、例えばカメラ２１1ないし２１7で撮影された撮影画像PL1ないしPL7のうちの、基準画像PL1等が、表示装置１３に表示され、ユーザが、その基準画像PL1上の１つの位置を指定すると、パラメータ設定部３４は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を集光パラメータとして、集光処理部３３に供給する。
ステップＳ３１では、集光処理部３３は、以上のようにして、パラメータ設定部３４から供給される合焦対象画素を取得する。
ステップＳ３２では、集光処理部３３は、視差情報生成部３１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部３３は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば合焦対象画素の登録ディスパリティRDの-1倍を基準シフト量BVに設定し、処理はステップＳ３２からステップＳ３３に進む。
ステップＳ３３では、集光処理部３３は、補間部３２からの複数の視点の視点画像のうちの１つの画像である、例えば基準画像に対応する画像、すなわち、基準画像の視点から見た、基準画像と同一サイズの画像であって、画素値が初期値としての0の画像を処理結果画像に設定する。さらに、集光処理部３３は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を注目画素に決定し、処理はステップＳ３３からステップＳ３４に進む。
ステップＳ３４では、集光処理部３３は、補間部３２からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理はステップＳ３５に進む。
ステップＳ３５では、集光処理部３３は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量DP#iを求める。
すなわち、集光処理部３３は、基準シフト量BVを、基準視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を注目視点vp#iの視点画像の各画素の合焦シフト量DP#iとして取得する。
その後、処理はステップＳ３５からステップＳ３６に進み、集光処理部３３は、注目視点vp#iの視点画像の各画素を合焦シフト量DP#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を注目画素の画素値に積算する。
すなわち、集光処理部３３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量DP#iに対応するベクトル（ここでは、例えば合焦シフト量DP#iの-1倍）だけ離れた画素の画素値を注目画素の画素値に積算する。
そして、処理はステップＳ３６からステップＳ３７に進み、集光処理部３３は、補間部３２からの視点画像のすべての視点を注目視点としたかどうかを判定する。
ステップＳ３７において、まだ、補間部３２からの視点画像のすべての視点を注目視点としていないと判定された場合、処理はステップＳ３４に戻り、以下、同様の処理が繰り返される。
また、ステップＳ３７において、補間部３２からの視点画像のすべての視点を注目視点としたと判定された場合、処理はステップＳ３８に進む。
ステップＳ３８では、集光処理部３３は、処理結果画像の画素のすべてを注目画素としたかどうかを判定する。
ステップＳ３８において、まだ、処理結果画像の画素のすべてを注目画素としていないと判定された場合、処理はステップＳ３３に戻り、集光処理部３３は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を注目画素に新たに決定し、以下、同様の処理を繰り返す。
また、ステップＳ３８において、処理結果画像の画素のすべてを注目画素としたと判定された場合、集光処理部３３は、処理結果画像を出力して、集光処理を終了する。
なお、図１１の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。
また、合焦シフト量DP#iは、注目視点vp#i及び基準シフト量BVによって変化するが、単純リフォーカスモードでは、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量DP#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量DP#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
図１１において、合焦シフト量DP#iを求めるステップＳ３５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量DP#iを繰り返し算出するループ（ステップＳ３３ないしステップＳ３８のループ）を構成しているが、上述のように、合焦シフト量DP#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
したがって、図１１において、合焦シフト量DP#iを求めるステップＳ３５の処理は、１視点に対して１回だけ行えば良い。
図１１の集光処理では、図１０で説明したように、奥行き方向の距離が一定の平面を合焦面とするため、合焦対象画素を合焦させるのに必要な視点画像の基準シフト量BVは、奥行き方向の距離が一定の合焦面上の空間点が映る合焦対象画素、すなわち、ディスパリティが合焦面までの距離に対応する値の合焦対象画素のディスパリティをキャンセルするような１つの値になる。
したがって、図１１の集光処理では、基準シフト量BVは、処理結果画像の画素（注目画素）や、画素値を積算する視点画像の視点（注目視点）に依存しないので、処理結果画像の画素ごとや、視点画像の視点ごとに設定する必要はない（基準シフト量BVを処理結果画像の画素ごとや、視点画像の視点ごとに設定しても、基準シフト量BVは、同一の値に設定されるので、実質的に、処理結果画像の画素ごとや、視点画像の視点ごとに設定することにはならない）。
なお、図１１では、処理結果画像の画素ごとに視点画像の画素の画素シフト及び積算を行うこととしたが、集光処理において、視点画像の画素の画素シフト及び積算は、処理結果画像の画素ごとの他、処理結果画像の画素を細かく分割したサブピクセルごとに行うことができる。
また、図１１の集光処理では、注目画素のループ（ステップＳ３３ないしステップＳ３８のループ）が、外側にあり、注目視点のループ（ステップＳ３４ないしステップＳ３７のループ）が、内側にあるが、注目視点のループを外側のループにするとともに、注目画素のループを内側のループにすることができる。
＜補正係数＞
図１２は、視点ごとの補正係数の例を示す図である。
ここで、実際の一眼カメラ等で撮影する場合に、レンズの前に装着して使用されるソフト（フォーカス）フィルタによれば、ピントを残したまま、画像の全体に、軽いぼけ（光が滲んでいるようなソフトなぼけ）を付与することができる。
視点ごとの補正係数によれば、ソフトフィルタで実現されるぼけと同様のぼけが付与されたリフォーカスを実現することができる。
図１２は、ソフトフィルタのフィルタ効果を生じさせる視点ごとの補正係数の例を示している。
いま、補間部３２で得られる視点画像の視点の総数が、横×縦がM×M＝５×５視点のM2＝２５個であることとする。
M×M視点の視点ごとの補正係数は、例えばM×Mに配列された係数として構成することができる。
この場合、M×Mに配列された係数のうちの、左からx番目で下からy番目（以下、(x,y)番目ともいう）の係数は、補間部３２で得られる視点画像の視点のうちの、(x,y)番目の視点の補正係数とすることができる。
ソフトフィルタには、例えば溝（凹凸）が形成されており、補正係数は、所望のフィルタ効果を期待するソフトフィルタの溝に応じて、視点ごとに設定することができる。
図１２では、同心円状に溝が形成されているソフトフィルタのフィルタ効果を生じさせるために、M×M視点のうちの、ソフトフィルタの溝の位置に対応する位置の、略（同心）円状の視点の補正係数（斜線を付してある部分）に、所望のぼけ量に相当する値（(0,0)以外の値）が設定されている。また、他の視点の補正係数には、ぼけがないこと（ぼけ量が０であること）に相当する(0,0)が設定されている。
図１２において、ある視点vp#iの補正係数(p,q)は、合焦シフト量DP#iとしてのベクトルを補正する補正量になっている。合焦シフト量DP#iとしてのベクトルを(sx,sy)と表すこととすると、補正係数(p,q)によって合焦シフト量DP#iを補正した、補正後の合焦シフト量DP#iとしてのベクトルは、例えば(sx+p,sy+q)で表される。
図１２の視点ごとの補正係数によって補正された補正後の合焦シフト量DP#iによれば、同心円状の視点の視点画像の画素については、集光処理において、元の合焦シフト量DP#iに応じた画素シフトよりも、a画素分だけ（距離が）短い画素シフトが行われる。
いま、補正係数が(0,0)の視点をゼロ視点というとともに、補正係数が(0,0)以外の値の視点を非ゼロ視点ということとする。
図１２では、視点の総数が、M×M＝５×５視点と少ないため、非ゼロ視点が、１つの円状に配列されているだけであるが、視点の総数が、例えば図４で説明したように、２１×２１視点である場合には、非ゼロ視点が、複数の円（同心円）状になるように、補正係数を設定することができる。
ここで、水平方向及び垂直方向に隣接する視点どうしの距離を1/2とするとともに、基準視点（図１２では、(3,3)番目の視点）からの距離をrで表すこととする。図１２では、基準視点から距離rの非ゼロ視点の補正係数は、その非ゼロ視点から、基準視点（図１２では、(3,3)番目の視点）に向かう方向の、大きさがarのベクトルになっている。
非ゼロ視点の補正係数としてのベクトルの大きさarのうちのaは、いわば、補正係数の基準ということができる。そこで、非ゼロ視点の補正係数としてのベクトルの大きさarのうちのaを基準係数ということとすると、補正係数によって合焦シフト量DP#iを補正することにより、処理結果画像に付与されるぼけ量（ぼけの拡がり）は、基準係数に比例するような値となる。
したがって、基準係数aの調整によって、ユーザが所望するぼけ量のぼけを付与することができる。
なお、ここでは、図１２の視点vp#iに応じて設定された補正係数を視点vp#iの合焦シフト量DP#iに加算することで、視点vp#iの合焦シフト量DP#iを補正することとしたが、同様の補正は、基準係数aによる基準シフト量BVの補正によっても行うことができる。
すなわち、視点が、ゼロ視点であるか、非ゼロ視点であるかによって、ゼロ視点には、基準係数として、0を設定するとともに、非ゼロ視点には、基準係数として、0でない値aを設定し、そのように、視点に応じて設定された基準係数（0又はa）を基準シフト量BVに加算又は減算（本実施の形態では、減算）することで、基準シフト量BVを補正することにより、実質的に、図１２の視点vp#iに応じて設定された補正係数による、視点vp#iの合焦シフト量DP#iの補正を行うことができる。
これは、視点に応じて設定された基準係数（0又はa）によって基準シフト量BVを補正した補正後の基準シフト量BVをディスパリティ変換した場合、そのディスパリティ変換の結果は、図１２の視点vp#iに応じて設定された補正係数によって視点vp#iの合焦シフト量DP#iを補正した補正後の合焦シフト量DP#iに一致するからである。
以上から、図１２の視点vp#iに応じて設定された補正係数は、合焦シフト量DP#i用の補正係数であるということができ、視点に応じて設定された基準係数（0又はa）は、基準シフト量BV用の補正係数であるということができる。
なお、補正係数としては、例えば任意の円の円周上の非ゼロ視点について、合焦シフト量DP#iとしてのベクトルを同一のベクトル（大きさがaのベクトル）だけ補正するような係数を採用することができる。また、補正係数としては、異なる非ゼロ視点について、合焦シフト量DP#iとしてのベクトルを異なるベクトルだけ補正する係数を採用することができる。
例えばある円の円周上の非ゼロ視点と他の円の円周上の非ゼロ視点とで、合焦シフト量DP#iとしてのベクトルを異なる大きさだけ補正するような係数を補正係数として採用することができる。
以下、説明を簡単にするため、合焦シフト量DP#i用の補正係数、及び、基準シフト量BV用の補正係数のうちの、合焦シフト量DP#i用の補正係数を例に説明を行う。
図１３は、合焦シフト量DP#iを補正しない場合の、合焦対象画素に集光する光線の強度の分布の例を模式的に示す図である。
図１３において（後述する図１４及び図１５でも同様）、横軸は、画素の位置を表し、縦軸は、集光処理において、仮想レンズを通過し、仮想センサで受光される光線の強度（に相当する値）を表す。
ここで、合焦シフト量DP#iを補正しない場合に、合焦対象画素に集光する光線を合焦対象画素に集光するはずの光線ともいう。
いま、合焦対象画素に集光するはずの光線の強度を1.0とする。
合焦シフト量DP#iを補正しない場合、合焦対象画素に集光するはずの光線は、すべて、合焦対象画素としての１画素（の領域）内に集光し、合焦対象画素に集光する光線の強度は、1.0になる。
いま、視点の総数が、M×M視点であるとすると、合焦対象画素に集光するはずの光線は、M×M視点の光線、すなわち、M×M視点の視点画像の、合焦対象画素に対応する対応画素の画素値に対応する光線である。
図１４は、合焦シフト量DP#iを補正する場合の、合焦対象画素に集光するはずの光線の強度の分布の例を模式的に示す図である。
いま、視点の総数が、M×M視点であり、そのうちのN視点が、非ゼロ視点であるとする。
N視点の非ゼロ視点の合焦シフト量DP#iが補正される場合、合焦対象画素に集光するはずのM×M視点の光線のうちの、M×M−N視点のゼロ視点の光線は、合焦対象画素内に集光し、N視点の非ゼロ視点の光線は、合焦シフト量DP#iの補正により、合焦対象画素の範囲外に集光する。
ここで、合焦対象画素内に集光するM×M−N視点のゼロ視点の光線は、ピント（フォーカス）が合っている状態に寄与するので、ピント成分ともいう。また、合焦対象画素の範囲外に集光するN視点の非ゼロ視点の光線は、ぼけに寄与するので、ぼけ成分ともいう。
図１４のＡは、ピント成分の強度の分布を示しており、図１４のＢは、ぼけ成分の強度の分布を示している。
ピント成分は、図１４のＡに示すように、合焦対象画素内に集光し、その強度は、ピント成分としての光線の数M×M−Nと合焦対象画素に集光するはずの光線の数M×Mとの比の値((M×M−N)/(M×M))になる。
ぼけ成分は、図１４のＢに示すように、合焦対象画素の周囲に集光し、ぼけ成分の強度体積（ぼけ成分の強度をそのぼけ成分の分布範囲で積分した体積）は、ぼけ成分の光線の数Nと合焦対象画素に集光するはずの光線の数M×Mとの比の値(N/M×M)になる。
ぼけ成分は、合焦対象画素の位置を中心とする、図１２で説明した基準係数aに応じた広さの範囲に分布する。すなわち、ぼけ成分は、基準係数aに応じて広がる。
したがって、ぼけ量（ぼけの拡がり）は、基準係数aによって調整することができる。
また、ピント成分の強度、及び、ぼけ成分の強度（体積）は、非ゼロ視点の数Nによって調整することができる。ピント成分の強度、及び、ぼけ成分の強度の調整は、ソフトフィルタの強弱の調整に相当する。
図１５は、合焦シフト量DP#iを補正する場合の、合焦対象画素に集光するはずの光線の強度の分布の例を模式的に示す図である。
図１５の分布は、図１４のＡのピント成分の強度の分布と図１４のＢのぼけ成分の強度の分布とを合成した分布になっている。
なお、例えば図１２に示したような、視点ごとの補正係数を表す２次元平面を規定する２次元座標系として、水平方向及び垂直方向をそれぞれ、x軸及びy軸とするとともに、基準視点を原点とする２次元座標系を採用することとすると、その２次元座標系の第１象限ないし第４象限のうちの１つの象限である、例えば第１象限を除く第２象限ないし第４象限の３つの象限の視点ごとの補正係数は、第１象限の視点ごとの補正係数を設定した後に、その補正係数と対称となるように設定することができる。
すなわち、第２象限の視点ごとの補正係数は、第１象限の視点ごとの補正係数とy軸に対して、線対称になるように設定することができる。第３象限の視点ごとの補正係数は、第１象限の視点ごとの補正係数と原点に対して、点対称になるように設定することができ、第４象限の視点ごとの補正係数は、第１象限の視点ごとの補正係数とx軸に対して、線対称になるように設定することができる。
以上のように、１の象限を除く３つの象限の視点ごとの補正係数を１の象限の視点ごとの補正係数と対称となるように設定することにより、補正係数による合焦シフト量DP#iの補正で生じるぼけの形状を均一化することができる。この場合、図１４のＢに示したぼけ成分の強度が、合焦対象画素の位置を中心に対称に分布し、ぼけ成分の強度の分布が偏ることを防止することができる。
図１６は、集光処理部３３が行う集光処理の他の例を説明するフローチャートである。
すなわち、図１６は、ソフトフィルタを用いて撮影したかのようなぼけを付与する場合の集光処理の例を示すフローチャートである。
ステップＳ５１において、集光処理部３３は、図１１のステップＳ３１と同様に、パラメータ設定部３４から、集光パラメータとしての合焦対象画素（の情報）を取得する。さらに、集光処理部３３は、パラメータ設定部３４から集光パラメータとしての視点ごとの補正係数を取得し、処理はステップＳ５１からステップＳ５２に進む。
ステップＳ５２ないしＳ５５では、図１１のステップＳ３２ないしＳ３５とそれぞれ同様の処理が行われる。
そして、ステップＳ５５において、基準シフト量BVから、注目視点vp#iの視点画像の各画素の合焦シフト量DP#iが求められた後、処理はステップＳ５６に進み、集光処理部３３は、注目視点vp#i（の視点画像の各画素）の合焦シフト量DP#iを補正する。
すなわち、集光処理部３３は、注目視点vp#iの合焦シフト量DP#iを集光パラメータとしての視点ごとの補正係数のうちの、注目視点vp#iの補正係数に従って補正することにより、補正後の合焦シフト量DP#iである補正シフト量MDP#iを求める。
その後、処理はステップＳ５６からステップＳ５７に進み、集光処理部３３は、注目視点vp#iの視点画像の各画素を補正シフト量MDP#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を注目画素の画素値に積算する。
すなわち、集光処理部３３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から補正シフト量MDP#iに対応するベクトル（ここでは、例えば補正シフト量MDP#iの-1倍）だけ離れた画素の画素値を注目画素の画素値に積算する。
そして、処理はステップＳ５７からステップＳ５８に進み、以下、ステップＳ５８及びＳ５９において、図１１のステップＳ３７及びＳ３８とそれぞれ同様の処理が行われる。
なお、図１６では、視点に応じて設定された補正係数によって、合焦シフト量DP#iを直接補正することとしたが、図１２で説明したように、視点に応じて設定された補正係数によって、基準シフト量BVを補正することによっても、ソフトフィルタのフィルタ効果としてのぼけが付与されたリフォーカスを行うことができる。
また、図１１のぼけを付与しない集光処理を行うか、図１６のぼけを付与する集光処理を行うかは、例えば図１１のぼけを付与しない集光処理を行うモードと図１６のぼけを付与する集光処理を行うモードとのモード切替をユーザの操作等に応じて行うことで選択することができる。但し、図１６のぼけを付与する集光処理を行うモードであっても、視点ごとの補正係数をすべて(0,0)に設定することにより、実質的に、合焦シフト量DP#iの補正が行われなくなり、図１１のぼけを付与しない集光処理を行うことができる。
さらに、本実施の形態では、処理結果画像の視点として、基準視点を採用することとしたが、処理結果画像の視点としては、基準視点以外の点、すなわち、例えば仮想レンズの合成開口内の任意の点等を採用することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した画像処理装置１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えばフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えばダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムをRAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を必要に応じて、例えば入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
複数の視点の画像を取得する取得部と、
前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
を備え、
前記集光処理部は、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする
画像処理装置。
＜２＞
前記集光処理部は、
前記視点に応じた前記補正係数により前記シフト量を補正し、
補正後の前記シフト量に応じて前記視点の画像の画素をシフトする
＜１＞に記載の画像処理装置。
＜３＞
前記補正係数は、ぼけを付与するソフトフィルタの溝に応じて前記視点ごとに設定される
＜１＞又は＜２＞に記載の画像処理装置。
＜４＞
前記視点ごとの前記補正係数を表す２次元平面において、１つの象限を除く３つの象限の前記視点ごとの補正係数は、前記１つの象限の前記視点ごとの補正係数と対称になるように設定される
＜１＞ないし＜３＞のいずれかに記載の画像処理装置。
＜５＞
前記複数の視点の画像は、複数のカメラで撮影された複数の撮影画像を含む
＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
＜６＞
前記複数の視点の画像は、前記複数の撮影画像と前記撮影画像を用いた補間により生成される複数の補間画像とを含む
＜５＞に記載の画像処理装置。
＜７＞
前記複数の撮影画像の視差情報を生成する視差情報生成部と、
前記撮影画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
をさらに備える
＜６＞に記載の画像処理装置。
＜８＞
複数の視点の画像を取得することと、
前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行うことと
を含み、
前記集光処理では、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする
画像処理方法。
＜９＞
複数の視点の画像を取得する取得部と、
前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
して、コンピュータを機能させるためのプログラムであり、
前記集光処理部は、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする
プログラム。
＜Ａ１＞
複数の視点の画像の画素をシフトするシフト量を設定し、
前記シフト量に応じて、前記複数の視点の画像の画素をシフトして画素値を積算する ことにより、所定の距離に合焦した処理結果画像を生成する集光処理での、前記複数の視点の画像の画素のシフトを、前記視点に応じて設定された、前記シフト量を補正する補正係数によって補正された補正後の前記シフト量に応じて行う集光処理部を備える
画像処理装置。
１１ 撮影装置， １２ 画像処理装置， １３ 表示装置， ２１1ないし２１7，２１11ないし２１19 カメラユニット， ３１ 視差情報生成部， ３２ 補間部， ３３ 集光処理部， ３４ パラメータ設定部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (9)

  1. 複数の視点の画像を取得する取得部と、
    前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
    を備え、
    前記集光処理部は、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする
    画像処理装置。
  2. 前記集光処理部は、
    前記視点に応じた前記補正係数により前記シフト量を補正し、
    補正後の前記シフト量に応じて前記視点の画像の画素をシフトする
    請求項１に記載の画像処理装置。
  3. 前記補正係数は、ぼけを付与するソフトフィルタの溝に応じて前記視点ごとに設定される
    請求項１に記載の画像処理装置。
  4. 前記視点ごとの前記補正係数を表す２次元平面において、１つの象限を除く３つの象限の前記視点ごとの補正係数は、前記１つの象限の前記視点ごとの補正係数と対称になるように設定される
    請求項１に記載の画像処理装置。
  5. 前記複数の視点の画像は、複数のカメラで撮影された複数の撮影画像を含む
    請求項１に記載の画像処理装置。
  6. 前記複数の視点の画像は、前記複数の撮影画像と前記撮影画像を用いた補間により生成される複数の補間画像とを含む
    請求項５に記載の画像処理装置。
  7. 前記複数の撮影画像の視差情報を生成する視差情報生成部と、
    前記撮影画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
    をさらに備える
    請求項６に記載の画像処理装置。
  8. 複数の視点の画像を取得することと、
    前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行うことと
    を含み、
    前記集光処理では、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする
    画像処理方法。
  9. 複数の視点の画像を取得する取得部と、
    前記複数の視点の画像の画素をシフトするシフト量を設定し、前記シフト量に応じて前記複数の視点の画像の画素をシフトして画素値を積算することにより、所定の距離に合焦した処理結果画像を生成する集光処理を行う集光処理部と
    して、コンピュータを機能させるためのプログラムであり、
    前記集光処理部は、前記視点ごとの補正係数により前記シフト量を補正した補正後のシフト量に応じて前記画素をシフトする
    プログラム。
JP2018550128A 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム Active JP7014175B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016217764 2016-11-08
JP2016217764 2016-11-08
PCT/JP2017/038470 WO2018088212A1 (ja) 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2018088212A1 true JPWO2018088212A1 (ja) 2019-09-26
JP7014175B2 JP7014175B2 (ja) 2022-02-15

Family

ID=62109292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550128A Active JP7014175B2 (ja) 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US10965861B2 (ja)
JP (1) JP7014175B2 (ja)
CN (1) CN109923854B (ja)
WO (1) WO2018088212A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7019895B2 (ja) * 2020-04-07 2022-02-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 装置、撮像装置、撮像システム、移動体、方法、及びプログラム
JP7253001B2 (ja) * 2021-03-30 2023-04-05 本田技研工業株式会社 情報処理装置及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121050A (ja) * 2011-12-07 2013-06-17 Canon Inc 画像撮影方法および画像撮影装置、プログラム
JP2014225102A (ja) * 2013-05-15 2014-12-04 日本放送協会 画像処理装置、及びプログラム
JP2015201722A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663227B1 (ko) * 2010-09-13 2016-10-06 삼성전자주식회사 영상 처리 방법 및 장치
JP5725975B2 (ja) * 2011-05-27 2015-05-27 キヤノン株式会社 撮像装置及び撮像方法
WO2014005123A1 (en) * 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP6047025B2 (ja) * 2013-02-01 2016-12-21 キヤノン株式会社 撮像装置及びその制御方法
JP6230239B2 (ja) * 2013-02-14 2017-11-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10122993B2 (en) * 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP6016180B2 (ja) * 2013-03-21 2016-10-26 パナソニックＩｐマネジメント株式会社 画像処理方法及び画像処理装置
US9508173B2 (en) * 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
JP6463900B2 (ja) * 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3094076A1 (en) * 2015-05-13 2016-11-16 Thomson Licensing Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
US10674139B2 (en) * 2015-06-03 2020-06-02 University Of Connecticut Methods and systems for human action recognition using 3D integral imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121050A (ja) * 2011-12-07 2013-06-17 Canon Inc 画像撮影方法および画像撮影装置、プログラム
JP2014225102A (ja) * 2013-05-15 2014-12-04 日本放送協会 画像処理装置、及びプログラム
JP2015201722A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Also Published As

Publication number Publication date
CN109923854B (zh) 2022-01-04
JP7014175B2 (ja) 2022-02-15
WO2018088212A1 (ja) 2018-05-17
US10965861B2 (en) 2021-03-30
CN109923854A (zh) 2019-06-21
US20190268546A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
US9535193B2 (en) Image processing apparatus, image processing method, and storage medium
JP6003578B2 (ja) 画像生成方法及び装置
WO2011065738A2 (en) Image processing apparatus and method
JP2014150498A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
US11282176B2 (en) Image refocusing
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
WO2016175044A1 (ja) 画像処理装置及び画像処理方法
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2018088212A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP6598473B2 (ja) 撮像装置および画像処理装置
WO2018088211A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4523538B2 (ja) 立体映像撮影表示装置
JP6330955B2 (ja) 撮像装置及び撮像方法
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JPWO2016175045A1 (ja) 画像処理装置及び画像処理方法
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
JP4695557B2 (ja) 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム
De Villiers Real-time photogrammetric stitching of high resolution video on COTS hardware
WO2016175046A1 (ja) 画像処理装置及び画像処理方法
JP2015008484A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103

R151 Written notification of patent or utility model registration

Ref document number: 7014175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151