JP6771954B2 - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Description

本発明は、複数の視差画像を用いてリフォーカス処理を実行する画像処理装置、画像処理装置の制御方法及びプログラムに関する。

撮像装置による撮影時の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。例えば、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を備える撮像装置が提案されている（特許文献１参照）。また、複数に分割された光電変換部で受光した視差信号を加算することによって撮像信号を生成する撮像装置が提案されている（特許文献２参照）。これらの撮像装置で撮影された画像に関する複数の視差信号は、光強度の空間分布と角度分布の情報を有する。よって、複数の視差信号を有する画像データを用いて、撮像面とは異なる仮想結像面における画像を合成する画像処理、すなわち、リフォーカス処理を行うことができる。

米国特許第４４１０８０４号明細書 特許第３７７４５９７号公報

上記特許文献１，２に記載された撮像装置において、複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。そして、複数に分割された光電変換部でそれぞれ受光した視差信号から像ずれ量を求めることにより、位相差方式の焦点検出を行うことができる。

しかし、各画素部に形成された直径が数マイクロメートルのマイクロレンズと複数に分割された光電変換部とに瞳分割を行う構成は、光の回折限界の影響を受ける。つまり、焦点検出に用いられる画素（焦点検出画素）が受光する光束と、撮影画像の取得に用いる撮像画素（撮影用画素）が受光する光束が異なってしまう。具体的には、撮影レンズの各収差（球面収差、非点収差、コマ収差等）による焦点検出信号への影響と撮像信号への影響が異なる。そのため、焦点検出信号から算出される焦点位置（検出合焦位置）と撮像信号の最良合焦位置との間に差が生じる可能性がある。

そこで、撮影画像である視差画像の焦点精度を高めるために、撮影後に、複数に分割された光電変換部の出力からそれぞれ取得される視差画像の画像データを修正するリフォーカス処理を行うことが望ましい。リフォーカス処理では、複数の画像データから異なる瞳領域毎に複数の視差画像データを生成し、生成した複数の視差画像の画素毎に、複数の視差画像間の差を拡大して視差を強調する変換処理を行う。この変換処理によって焦点精度を高めた画像を得ることができるが、得られた画像では解像感が変わってしまうという問題がある。

本発明は、複数の視差画像に対するリフォーカス処理の実行によって解像感が変化した場合に、リフォーカス状態を保持しながら速やかに解像感の調整を行うことが可能な画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、画像処理によるリフォーカス処理に係る強調処理の強さを指定するための第１のアイテムと、画像のシャープネスの強さを指定するための第２のアイテムと、を同時に表示手段に表示するよう制御する表示制御手段と、前記第１のアイテムにより指定された前記強調処理の強さに基づき、前記リフォーカス処理を実行するリフォーカス処理手段と、前記第２のアイテムにより指定されたシャープネスの強さに基づき、画像のシャープネスを調整する処理を実行するシャープネス調整手段と、を備え、前記表示制御手段は、前記リフォーカス処理手段あるいは前記シャープネス調整手段により生成された画像を前記表示手段に表示するよう表示制御を行うことを特徴とする。

本発明によれば、リフォーカス処理の実行によって解像感が変化した場合に、リフォーカス状態を保持しながら速やかに解像感の調整を行うことができ、これにより所望の解像感の画像を得ることができる。

本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。 修正視差画像での瞳分割方向のリフォーカス処理の概要を説明する図である。 図１の画像処理装置で視差画像に対してリフォーカス編集処理を行うための第１の編集画面の構成を示す図である。 図３の第１の編集画面の操作により視差画像に対して実行されるリフォーカス編集処理の流れを説明するフローチャートである。 図１の画像処理装置で視差画像に対してリフォーカス編集処理を行うための第２の編集画面の構成を示す図である。 図１の画像処理装置で視差画像に対してリフォーカス編集処理を行うための第３の編集画面の構成を示す図である。 図１の画像処理装置で視差画像に対してリフォーカス編集処理を行うための第４の編集画面の構成を示す図である。 図７の第４の編集画面の操作により視差画像に対して実行されるリフォーカス編集処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る画像処理装置１００の概略構成を示すブロック図である。画像処理装置１００は、演算部（ＣＰＵ）１０１、信号処理部１０２、一次記憶装置１０３、二次記憶装置１０４、ＲＯＭ１０５、操作部１０６及び表示部１０７を有し、これらはバス１０８により相互に通信可能に接続されている。

演算部１０１は、ＣＰＵを有し、ＲＯＭ１０５に格納された各種のプログラムを一次記憶装置１０３に展開し、画像処理装置１００の各部の動作を制御することにより、画像処理装置１００の全体的な制御を行う。信号処理部１０２は、撮影画像の復号化、視差画像に対するリフォーカス処理のための視差強調処理、リフォーカス処理後の画像（以下「リフォーカス画像」という）に対する解像感の調整処理等の各種処理を行う。一次記憶装置１０３は、例えば、ＤＲＡＭであり、演算部１０１が実行するプログラムの展開領域を有し、また、演算部１０１が算出する各種の演算データ等を記憶する。二次記憶装置１０４は、例えば、フラッシュメモリ等の不揮発性メモリであり、演算部１０１の動作に必要な各種のパラメータ等を記憶する。ＲＯＭ１０５は、演算部１０１が実行する制御プログラムやアプリケーションプログラム等の各種のプログラムを格納する。操作部１０６は、例えば、マウスやキーボード等を含み、ユーザによる操作に応じてユーザが所望する処理の実行を演算部１０１に対して指示する。表示部１０７は、例えば、液晶ディスプレイ（ＬＣＤ）等であり、画像データやグラフィカルユーザインターフェース（ＧＵＩ）を表示する。表示部１０７での表示制御は、演算部１０１によって行われる。バス１０８は、アドレスバス、データバス及びコントロールバスを含み、各部間の通信を可能とする。

画像処理装置１００は、視差画像に対するリフォーカス処理を効率的に行うために、リフォーカス処理を視差強調処理とシフト処理の２段階で行う。リフォーカス処理は、演算部１０１の制御下において信号処理部１０２が実行する。

まず、リフォーカス処理における視差強調処理について説明する。視差強調処理では、第１の視差画像と第２の視差画像の２つの視差画像の間の差を画素毎に拡大して視差を強調し、これにより、第１の修正視差画像と第２の修正視差画像を生成する。視差画像の画像データは、視差画像を撮影した撮像素子の画素配列と対応させることができる。そこで、以下の説明では、“ｊ”，“ｉ”を整数として、撮像素子の行方向のｊ番目、列方向のｉ番目の位置を［ｊ，ｉ］とし、位置［ｊ，ｉ］での画素の第１の視差画像の画像データをＡ０［ｊ，ｉ］、第２の視差画像の画像データをＢ０［ｊ，ｉ］と表記する。すると、位置［ｊ，ｉ］での撮影画像の画像データをＩ［ｊ，ｉ］とすると、“Ｉ［ｊ，ｉ］＝Ａ０［ｊ，ｉ］＋Ｂ０［ｊ，ｉ］”の関係が成り立つ。

第１の視差画像の画像データＡ０［ｊ，ｉ］と第２の視差画像の画像データＢ０［ｊ，ｉ］に対して、下記式１乃至６を用いて視差画像間の差を拡大して視差強調する変換処理を行う。第１の修正視差画像の画像データＡ［ｊ，ｉ］は、下記式１により求められ、第２の修正視差画像の画像データＢ［ｊ，ｉ］は、下記式２により求められる。ここで、係数ｋを“０≦ｋ≦１”の関係を満たす実数とし、係数αを“０≦α≦１”の関係を満たす実数として、ｋ_１、ｋ_２、Ａ_１［ｊ，ｉ］及びＢ_１［ｊ，ｉ］は、下記式３〜６で定義される変数である。複数の視差画像毎に複数の視差画像間の差を拡大して視差を強調する変換処理を行うことにより、複数の修正視差画像を生成する。その際、係数ｋの値を変えることにより、視差画像間の差を調整することができる。

次に、リフォーカス処理におけるシフト処理について説明する。図２は、第１の修正視差画像と第２の修正視差画像を例にして、瞳分割方向（水平方向）のリフォーカス処理の概要を説明する図である。図２では、“ｉ”を整数として、撮像面２００に配置された撮像素子の列方向におけるｉ番目の画素の第１の修正視差画像をＡ_ｉ、第２の修正視差画像をＢ_ｉとして模式的に表わしている。また、図２では、第１の修正視差画像及び第２の修正視差画像の結像位置を、撮像面２００から撮影レンズの光軸方向にシフトした仮想結像面２１０へ変更（リフォーカス）させる例を示す。第１の修正視差画像Ａ_ｉの信号は、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。一方、第２の修正視差画像Ｂ_ｉの信号は、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。よって、第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉは、光強度分布情報だけでなく、入射角度情報をも有している。

したがって、以下に説明する平行移動処理と加算処理により、仮想結像面２１０でのリフォーカス信号を生成することができる。すなわち、平行移動処理では、第１の修正視差画像Ａ_ｉを主光線角度θａに沿って仮想結像面２１０まで平行移動させ、第２の修正視差画像Ｂ_ｉを主光線角度θｂに沿って仮想結像面２１０まで平行移動させる。また、加算処理では、平行移動処理により平行移動させた第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉを加算する。

第１の修正視差画像Ａ_ｉを主光線角度θａに沿って仮想結像面２１０まで平行移動させることは、第１の修正視差画像Ａ_ｉを列方向へ＋０．５画素分だけシフトさせることに対応する。また、第２の修正視差画像Ｂ_ｉを主光線角度θｂに沿って仮想結像面２１０まで平行移動させることは、第２の修正視差画像Ａ_ｉを列方向へ−０．５画素分だけシフトさせることに対応する。逆に言えば、主光線角度θａや主光線角度θｂに基づき、上記平行移動の結果、第１の修正視差画像Ａ_ｉが列方向へ＋０．５画素分だけシフトし、且つ第２の修正視差画像Ａ_ｉを列方向へ−０．５画素分だけシフトする位置に仮想結像面２１０を設定する。このとき、仮想結像面２１０では、第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉが相対的に＋１画素分シフトされ、第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉ＋１とが加算される。これにより、仮想結像面２１０でのリフォーカス信号を生成することができる。同様に、整数の画素分だけシフトされた第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉとが加算される位置に仮想結像面を設定することにより、各仮想結像面で整数シフト量に対応したシフト加算信号（リフォーカス信号）を生成することができる。このとき、仮想結像面は整数シフト量に応じて撮影レンズの光軸方向にシフトするため、整数シフト量を指定することにより、リフォーカスの位置を撮影レンズの光軸方向に関して移動させることができる。こうして、本実施形態では、複数の視差画像から、結像光学系の各仮想結像面に応じたリフォーカス画像を生成することができる。

次に、視差画像から上述したリフォーカス処理によりリフォーカス処理後画像を生成し、更にリフォーカス処理後画像の解像感を調整するためのＧＵＩについて説明する。なお、以下の説明において、「リフォーカス編集処理」は、リフォーカス処理と、リフォーカス画像に対してシャープネスの強さを調整する処理（以下「シャープネス調整処理」という）とを含むものとする。また、「リフォーカス編集画像」は、シャープネス調整処理後の画像を指すものとする。

図３は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うためのＧＵＩの一例である第１の編集画面３００を示す図である。第１の編集画面３００には、リフォーカスの強さを指定するための第１のスライダバー３０１（第１のアイテム）及びシャープネスの強さを指定するための第２のスライダバー３０２（第２のアイテム）が表示されている。また、第１の編集画面３００には、リフォーカスの位置を調整するための第３のスライダバー３１０（第３のアイテム）、画像表示ウィンドウ３０３、終了ボタン３０４及び保存ボタン３０５が表示されている。ユーザは、第１のスライダバー３０１を操作することにより、リフォーカス処理での視差強調処理において視差を強調するレベル（つまり、係数ｋの値）を指定することができる。また、ユーザは、第２のスライダバー３０２を操作することにより、リフォーカス画像のシャープネスの強さを指定することができる。さらに、ユーザは、第３のスライダバー３１０を操作することにより、視差画像がリフォーカスされる仮想結像面２１０の位置（リフォーカス位置）を調整することができる。すなわち、ユーザは、第３のスライダバー３１０を操作することにより、仮想結像面２１０の位置を奥行き方向である撮影レンズの光軸方向へシフトさせることができる。なお、第３のスライダバー３１０において「手前」は「奥」よりも撮像面２００からの距離が短いことを示す。第１の編集画面３００において、ユーザは、まず、第３のスライダバー３１０を操作してリフォーカス位置を調整した後、第１のスライダバー３０１を操作してリフォーカスの強さを指定することにより、リフォーカス調整を行う。本実施形態では、リフォーカス調整の際に指定されたリフォーカスの強さ及び調整されたリフォーカス位置に基づき、視差画像に対するリフォーカス処理が実行されてリフォーカス画像が生成される。また、本実施形態において、シャープネスの強さとは、リフォーカス画像のエッジを強調するレベルを指し、よって、シャープネス調整処理とは、リフォーカス画像のエッジを強調するエッジ強調処理を指し、エッジ強調により解像感を調整する。画像表示ウィンドウ３０３には、第１のスライダバー３０１や第３のスライダバー３１０の操作に応じたリフォーカス処理後のリフォーカス画像や、第２のスライダバー３０２の操作に応じたシャープネス調整処理後のリフォーカス編集画像が表示される。

このように、第１の編集画面３００には、リフォーカスの強さを指定する第１のスライダバー３０１、リフォーカス位置を調整する第３のスライダバー３１０及びシャープネスの強さを指定する第２のスライダバー３０２が同時に表示される。そのため、ユーザは、リフォーカス処理後に速やかにリフォーカス画像の解像感を調整して、その結果（リフォーカス編集画像）を確認することができる。逆に、ユーザは、リフォーカス編集画像の解像感を確認しながら、リフォーカス処理を行うことができる。なお、リフォーカス処理が実行される前には、第１のスライダバー３０１及び第３のスライダバー３１０を、第２のスライダバー３０２よりも強調して表示するように、第１の編集画面３００での表示を制御するようにしてもよい。この場合、リフォーカス処理が実行された後には、第２のスライダバー３０２を、第１のスライダバー３０１及び第３のスライダバー３１０よりも強調して表示することが望ましい。この強調表示の方法には特に制限はなく、例えば、操作すべきスライダバーについて、表示色を変える、描画線の太さを変える、点滅させる等の方法が挙げられる。

保存ボタン３０５が押される（選択される）と、その時点での画像処理後（リフォーカス画像、リフォーカス編集画像）の画像データが二次記憶装置１０４に記憶される。終了ボタン３０４が押されると、リフォーカス編集処理は終了となり、第１の編集画面３００は閉じられる。なお、第１の編集画面３００では、リフォーカスの強さ及びシャープネスの強さの指定手段、並びにリフォーカス位置の調整手段としてスライダバーが用いられている。しかしながら、これらの指定手段はスライダバーに限定されるものではなく、ボタン等の他のアイテムを用いても構わない。

続いて、画像処理装置１００による視差画像に対するリフォーカス編集処理の流れについて説明する。図４は、第１の編集画面３００の操作により視差画像に対して実行されるリフォーカス編集処理の流れを説明するフローチャートである。図４のフローチャートに示される各処理は、演算部１０１がＲＯＭ１０５に記憶された所定のプログラム等を一次記憶装置１０３に展開することにより、演算部１０１が画像処理装置１００を構成する各部の動作を制御することにより実現される。

ステップＳ４０１の開始前において、図３に示した第１の編集画面３００が表示部１０７に表示されており、画像表示ウィンドウ３０３には、リフォーカス編集処理の対象となる視差画像が表示されている（画像データが読み出されている）ものとする。ステップＳ４０１において演算部１０１は、第１のスライダバー３０１が操作されたことによってリフォーカスの強さが変更されたか（強さが新たに指定されたか）否かを判定する。具体的には、ステップＳ４０１では、上述した視差強調処理において、視差をどの程度強調するのかの設定（上記式３，４の係数ｋに設定される値）が変更されたか否かが判定される。演算部１０１は、リフォーカスの強さが変更された場合（Ｓ４０１でＹＥＳ）、処理をステップＳ４０２へ進め、リフォーカスの強さが変更されていない場合（Ｓ４０１でＮＯ）、処理をステップＳ４０４へ進める。

ステップＳ４０２では、演算部１０１の制御下において信号処理部１０２が、視差画像の画像データに対してリフォーカス処理を行う。信号処理部１０２は、変更されたリフォーカスの強さで視差画像の画像データに対して視差強調処理を行い、更にシフト処理を行う。なお、リフォーカス処理では、第３のスライダバー３１０を用いて調整されたリフォーカス位置（仮想結像面２１０の位置）で各修正視差画像を加算（結像）させる。続くステップＳ４０３において演算部１０１は、リフォーカス画像を画像表示ウィンドウ３０３に表示する。その後、ステップＳ４０４において演算部１０１は、第２のスライダバー３０２が操作されたことによってシャープネスの強さが変更されたか否かを判定する。演算部１０１は、シャープネスの強さが変更された場合（Ｓ４０４でＹＥＳ）、処理をステップＳ４０５へ進め、リフォーカスの強さが変更されていない場合（Ｓ４０５でＮＯ）、処理をステップＳ４０７へ進める。

ステップＳ４０２のリフォーカス処理の視差強調処理によって、リフォーカス画像のエッジが強調される。そこでステップＳ４０５では、演算部１０１の制御下で信号処理部１０２が、リフォーカス画像に対してシャープネスの強さを調整する。なお、上述したように、シャープネスの強さ調整する処理とはエッジ強調処理を指し、エッジ強調処理には周知の画像処理方法を用いることができる。例えば、元画像とラプラシアンフィルタの出力画像との差分を求める方法を用いることができるが、これに限定されるものではない。シャープネスをより強くするように第２のスライダバー３０２が操作されると、エッジがより強調されるように画像処理が行われ、逆に、シャープネスをより弱くするように第２のスライダバー３０２が操作されると、エッジをぼかすように画像処理が行われる。こうして、リフォーカス画像の解像感をユーザの所望の通りに調整することができる。

続いて、ステップＳ４０６において演算部１０１は、リフォーカス編集画像（シャープネス調整処理後の画像）を画像表示ウィンドウ３０３に表示する。これにより、ユーザはリフォーカス編集画像の解像感を確認することができる。続くステップＳ４０７において演算部１０１は、保存ボタン３０５が押されたか否かを判定する。演算部１０１は、保存ボタン３０５が押された場合（Ｓ４０７でＹＥＳ）、処理をステップＳ４０８へ進め、保存ボタン３０５が押されていない場合（Ｓ４０７でＮＯ）、処理をステップＳ４０９へ進める。

ステップＳ４０８において演算部１０１は、リフォーカス編集画像を二次記憶装置１０４に記憶する。そして、ステップＳ４０９において演算部１０１は、終了ボタン３０４が押されたか否かを判定する。演算部１０１は、終了ボタン３０４が押された場合（Ｓ４０９でＹＥＳ）、本処理を終了させ、終了ボタン３０４が押されていない場合（Ｓ４０９でＮＯ）、処理をステップＳ４０１へ戻す。

以上の説明の通り、本実施形態によれば、視差画像に対するリフォーカス処理によってユーザが意図しない解像感になったときでも、リフォーカスされた状態を維持しつつ、速やかにリフォーカス画像のシャープネス（解像感）を調整することができる。よって、ユーザは、所望の解像感の画像（リフォーカス編集画像）を簡単に生成することができる。

次に、視差画像に対してリフォーカス編集処理を行うための編集画面の別の例について説明する。図５は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うための第２の編集画面５００を示す図である。なお、第２の編集画面５００において図３に示した第１の編集画面３００と同じアイテムについては、同じ符号を付して、説明を省略する。

図３に示した第１の編集画面３００では、第１のスライダバー３０１及び第３のスライダバー３１０と、第２のスライダバー３０２とを同じ画面に配置した。これに対して、第２の編集画面５００には、第１のスライダバー３０１及び第３のスライダバー３１０と、第２のスライダバー３０２とを切り替えて表示するための２つのタブ５０１，５０２が表示されている。図５（ａ）は、タブ５０１が選択されて、第１のスライダバー３０１及び第３のスライダバー３１０が表示された画面を示している。図５（ｂ）は、タブ５０２が選択されて、第２のスライダバー３０２が表示された画面を示している。なお、第１のスライダバー３０１及び第３のスライダバー３１０と、第２のスライダバー３０２との表示切り替え手段は、タブ５０１，５０２に限定されるものではなく、他の手段（方法）を用いてもよい。

図６は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うための第３の編集画面６００を示す図である。なお、第３の編集画面６００において図３に示した第１の編集画面３００と同じ構成要素については、同じ符号を付して、説明を省略する。第３の編集画面６００は、リフォーカス調整画面６１０とシャープネス調整画面６２０の２つの画面からなる。リフォーカス調整画面６１０は、第１のスライダバー３０１及び第３のスライダバー３１０を含み、シャープネス調整画面６２０は、第２のスライダバー３０２を含む。リフォーカス画像は画像表示ウィンドウ６１１に表示され、リフォーカス編集画像は画像表示ウィンドウ６２１に表示される。

リフォーカス調整画面６１０とシャープネス調整画面６２０は、同時に表示部１０７に表示されている。そのため、ユーザは、リフォーカスの強さの変更に応じてリフォーカス画像の解像感が変わっても、シャープネス調整画面６２０でシャープネスの強さを変更してリフォーカス画像の解像感を調整し、リフォーカス編集画像で解像感を確認することができる。なお、図６では、リフォーカス調整画面６１０とシャープネス調整画面６２０が左右に並べて表示されているが、この際にどちらの画面を右側としてもよい。また、リフォーカス調整画面６１０とシャープネス調整画面６２０は、上下に並べて表示されてもよく、その際にどちらの画面を上側としてもよい。更に、リフォーカス調整画面６１０とシャープネス調整画面６２０を並べて表示したときに、画像表示ウィンドウ６１１と画像表示ウィンドウ６２１とが近接するように、画面内レイアウトを調整してもよく、これにより画像比較が容易となる。

上述した第１の編集画面３００、第２の編集画面５００及び第３の編集画面６００では、リフォーカスの強さとシャープネスの強さの指定手段を同時に編集画面に表示して、ユーザがリフォーカス画像の解像感を確認することができる構成となっている。換言すれば、これらの編集画面は、リフォーカス処理とシャープネス調整処理の順序を問わない構成とも言える。これに対して、以下に、リフォーカス処理後にシャープネス調整処理を行うことによってリフォーカス画像の解像感を確認する構成について説明する。

図７は、画像処理装置１００で視差画像に対してリフォーカス編集処理を行うための第４の編集画面７００を示す図である。図７（ａ）は、リフォーカス処理の段階で表示されるリフォーカス調整画面であり、図７（ｂ）は、リフォーカス画像の解像感を調整する段階で表示されるシャープネス調整画面である。なお、第４の編集画面７００において図３に示した第１の編集画面３００と同じ構成要素については、同じ符号を付して、説明を省略する。

第４の編集画面７００におけるリフォーカス調整画面（図７（ａ））には、第１のスライダバー３０１及び第３のスライダバー３１０と、リフォーカスの強さ及びリフォーカス位置を指定するためのＯＫボタン７０１とが表示されている。また、リフォーカス調整画面では、第２のスライダバー３０２は操作無効となり、第１のスライダバー３０１を用いてリフォーカスの強さを調整する操作や第３のスライダバー３１０を用いてリフォーカス位置を調整する操作がユーザに対して求められる。ユーザがリフォーカスの強さを第１のスライダバー３０１により指定してＯＫボタン７０１を押すと、指定されたリフォーカスの強さのリフォーカス処理が行われ、シャープネス調整画面（図７（ｂ））に遷移する。

第４の編集画面７００におけるシャープネス調整画面では、第２のスライダバー３０２は有効となっているが、第１のスライダバー３０１及び第３のスライダバー３１０は操作無効となっている。よって、ユーザは、第２のスライダバー３０２を操作することによってリフォーカス画像のシャープネス（解像感）を調整することができる。なお、シャープネス調整画面にはリセットボタン７０２が表示されており、リセットボタン７０２が押されると、シャープネス調整画面はリフォーカス調整画面（図７（ａ））へ遷移する。

ユーザは、第４の編集画面７００を起動した場合、リフォーカス調整画面でリフォーカスの強さを調整した後に、シャープネス調整画面でリフォーカス画像のシャープネスを調整する。つまり、ユーザは、視差画像に対するリフォーカス処理が行われた後に、リフォーカス画像の解像感を調整するためのシャープネス調整処理を行い、その結果を確認することができる。

図８は、第４の編集画面７００の操作により視差画像に対して実行されるリフォーカス編集処理の流れを説明するフローチャートである。図８のフローチャートに示される各処理は、演算部１０１がＲＯＭ１０５に記憶された所定のプログラム等を一次記憶装置１０３に展開することにより、演算部１０１が画像処理装置１００を構成する各部の動作を制御することにより実現される。

ステップＳ８０１の開始前において、図７に示した第４の編集画面７００が表示部１０７に表示されており、画像表示ウィンドウ３０３には、リフォーカス編集処理対象となる視差画像が表示されている（画像データが読み出されている）ものとする。ステップＳ８０１において演算部１０１は、リフォーカス調整画面において第２のスライダバー３０２の操作を無効にする。演算部１０１は、例えば、第４の編集画面７００を起動する際に、予め第２のスライダバー３０２の操作を無効にした状態で、リフォーカス調整画面を表示部１０７に表示する。ステップＳ８０２〜Ｓ８０４の処理内容は、図４のフローチャートのステップＳ４０１〜Ｓ４０３の処理内容と同じであるので、ここでの説明を省略する。

ステップＳ８０５において演算部１０１は、第１のスライダバー３０１及び第３のスライダバー３１０の操作を無効にする。続いて、ステップＳ８０６において演算部１０１は、第２のスライダバー３０２の操作を有効にする。ステップＳ８０５，Ｓ８０６により、リフォーカス調整画面からシャープネス調整画面への遷移が完了する。ステップＳ８０７〜Ｓ８０９の処理内容は、図４のフローチャートのステップＳ４０４〜Ｓ４０６の処理内容と同じであるので、ここでの説明を省略する。

続くステップＳ８１０において演算部１０１は、リフォーカスの強さの指定をキャンセルするリセットボタン７０２が押されたか否かを判定する。演算部１０１は、リセットボタン７０２が押された場合（Ｓ８１０でＹＥＳ）、処理をステップＳ８１１へ進め、リセットボタン７０２が押されていない場合（Ｓ８１０でＮＯ）、処理をステップＳ８１３へ進める。ステップＳ８１１において演算部１０１は、第１のスライダバー３０１及び第３のスライダバー３１０の操作を有効にする。続くステップＳ８１２において演算部１０１は、第２のスライダバー３０２の操作を無効にする。これにより、シャープネス調整画面からリフォーカス調整画面への遷移が完了する。

続いて、ステップＳ８１３において演算部１０１は、終了ボタン３０４が押されたか否かを判定する。演算部１０１は、終了ボタン３０４が押された場合（Ｓ８１３でＹＥＳ）、本処理を終了させ、終了ボタン３０４が押されていない場合（Ｓ８１３でＮＯ）、処理をステップＳ８０１へ戻す。

なお、ステップＳ８０５とステップＳ８０６の順序は逆であってもよい。同様に、ステップＳ８１１とステップＳ８１２の順序は逆であってもよい。また、図８のフローチャートでは、保存ボタン３０５が押されたときの処理を省略している。保存ボタン３０５の操作は、リフォーカス調整画面とシャープネス調整画面のどの画面が表示された状態でも可能であり、各画面での処理後画像の画像データを保存することできる。更に、図８のフローチャートでは、ステップＳ８１０〜Ｓ８１３により、リフォーカス調整画面にした状態で処理の終了を判定する構成にした。これに限らず、ステップＳ８０９の終了後のシャープネス調整画面が表示された状態で、終了ボタン３０４が押されたか否かを判定する構成にしてもよい。一方、ステップＳ８１０〜Ｓ８１３の処理を必須とする構成の場合、シャープネス調整画面では終了ボタン３０４は不要となるため、シャープネス調整画面に終了ボタン３０４が表示されない構成としてもよい。

以上の説明の通り、第４の編集画面７００の操作によれば、視差画像がリフォーカスされた結果に基づいてシャープネスを変更することにより、解像感を調整することができる。よって、ユーザは、所望の解像感の画像を簡単に生成することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 演算部（ＣＰＵ）
１０２ 信号処理部
１０３ 一次記憶装置
１０４ 二次記憶装置
１０５ ＲＯＭ
１０６ 操作部
１０７ 表示部
３００ 第１の編集画面

Claims (14)

1. 画像処理によるリフォーカス処理に係る強調処理の強さを指定するための第１のアイテムと、画像のシャープネスの強さを指定するための第２のアイテムと、を同時に表示手段に表示するよう制御する表示制御手段と、
   前記第１のアイテムにより指定された前記強調処理の強さに基づき、前記リフォーカス処理を実行するリフォーカス処理手段と、
   前記第２のアイテムにより指定された前記シャープネスの強さに基づき、画像のシャープネスを調整する処理を実行するシャープネス調整手段と、を備え、
   前記表示制御手段は、前記リフォーカス処理手段あるいは前記シャープネス調整手段により生成された画像を前記表示手段に表示するよう表示制御を行うことを特徴とする画像処理装置。
2. 前記第１のアイテムと前記第２のアイテムは、前記表示手段に同時に表示された状態で、それぞれ、前記強調処理の強さ、前記シャープネスの強さを変更可能であることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記リフォーカス処理が実行される前には、前記第２のアイテムに対する操作が無効となるように前記表示手段での表示を制御することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示制御手段は、前記リフォーカス処理が実行された後には、前記第２のアイテムに対する操作が有効となり、前記第１のアイテムに対する操作が無効となるように前記表示手段での表示を制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、前記リフォーカス処理が実行される前には、前記第１のアイテムを前記第２のアイテムよりも強調して表示するように前記表示手段での表示を制御することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記表示制御手段は、前記リフォーカス処理が実行された後には、前記第２のアイテムを前記第１のアイテムよりも強調して表示するように前記表示手段での表示を制御することを特徴とする請求項５に記載の画像処理装置。
7. 前記表示制御手段は、前記リフォーカス処理手段による前記リフォーカス処理において、仮想結像面の位置を調整するための第３のアイテムを、前記第１のアイテム及び前記第２のアイテムと同時に前記表示手段に表示するように制御し、
   前記リフォーカス処理手段は、前記指定されたリフォーカスの強さ及び前記調整された仮想結像面の位置に基づき、視差画像に対するリフォーカス処理を実行することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記リフォーカス処理手段による前記リフォーカス処理は、前記表示手段に表示されている画像に対応する複数の視差画像を用いて仮想結像面における画像を生成する処理を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記リフォーカス処理手段による前記強調処理は、前記表示手段に表示されている画像に対応する複数の視差画像間の視差を強調する処理であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記シャープネスの強さとは、画像のエッジを強調するレベルであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像処理によるリフォーカス処理に係る強調処理の強さを指定する第１の指定手段と、 前記第１の指定手段により指定された前記強調処理の強さに基づき、前記リフォーカス処理を行うリフォーカス処理手段と、
    前記リフォーカス処理手段により生成された画像に対するシャープネスの強さを指定する第２の指定手段と、
    前記第２の指定手段により指定された前記シャープネスの強さに基づき、画像のシャープネスを調整する処理を実行するシャープネス調整手段と、
    前記リフォーカス処理手段により生成された画像、前記シャープネス調整手段により生成された画像を、前記リフォーカス処理手段と前記シャープネス調整手段によりそれぞれ実行された処理に応じて表示手段に表示する表示制御手段と、を備えることを特徴とする画像処理装置。
12. 画像処理によるリフォーカス処理に係る強調処理の強さを指定するための第１のアイテムと、画像のシャープネスの強さを指定するための第２のアイテムと、を同時に表示手段に表示するステップと、
    前記第１のアイテムにより指定された前記強調処理の強さに基づき、前記リフォーカス処理を実行するステップと、
    前記第２のアイテムにより指定された前記シャープネスの強さに基づき、画像のシャープネスを調整する処理を実行するステップと、
    前記リフォーカス処理により生成された画像、あるいは前記シャープネスが調整された画像を前記表示手段に表示するステップと、を有することを特徴とする画像処理装置の制御方法。
13. 画像処理によるリフォーカス処理に係る強調処理の強さを指定する第１の指定ステップと、
    前記第１の指定ステップにより指定された前記強調処理の強さに基づき、前記リフォーカス処理を行うリフォーカス処理ステップと、
    前記リフォーカス処理ステップにより生成された画像に対するシャープネスの強さを指定する第２の指定ステップと、
    前記第２の指定ステップにより指定された前記シャープネスの強さに基づき、画像のシャープネスを調整する処理を実行するシャープネス調整ステップと、
    前記リフォーカス処理ステップにより生成された画像、前記シャープネス調整ステップにより生成された画像を、前記リフォーカス処理ステップと前記シャープネス調整ステップによりそれぞれ実行された処理に応じて表示手段に表示する表示制御ステップと、を有することを特徴とする画像処理装置の制御方法。
14. コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。