JP6282103B2 - 画像処理装置、画像処理方法およびプログラム。 - Google Patents

Description

本発明は、リフォーカス処理のためのパラメータを設定する技術に関する。

撮像装置を用いて撮影した画像に画像処理を施し、画像の合焦状態を調整する技術が知られている。

多眼カメラなどを用いて複数の視点から同一のシーンを撮像して得られた複数の画像をシフト合成することで、画像の撮影後にピント調整処理（リフォーカス処理）を行う技術がある（特許文献１）。特許文献１では、リフォーカス処理によって合焦させる位置などをユーザが設定することが記載されている。

特開２０１１−２２７９６号公報

しかしながら、特許文献１の技術では、合焦位置や被写界深度などのリフォーカス画像のパラメータを、一度に一種類しかユーザが設定することができなかった。そのため、リフォーカス処理において、ユーザの細かい要求を満たす画像を得ることができないという課題があった。

そこで本発明は、リフォーカス処理において、ユーザの細かい要求を満たす画像が得られるようにすることを目的とする。

上記課題を解決するために、本発明の画像処理装置は、シーンを複数の視点から撮像して得られた複数の撮像画像を表す画像データを取得する取得手段と、ユーザ指示を入力する入力手段と、前記画像データから、前記画像の合焦状態が調整されたリフォーカス画像を生成する第一の生成手段と、前記第一の生成手段により生成されたリフォーカス画像を含む表示画像を生成する第二の生成手段を有し、前記第二の生成手段は、前記シーンに含まれる全ての被写体に合焦位置を合わせたパンフォーカス画像と、前記パンフォーカス画像に対してユーザに合焦位置の指定を促すための画像を含む第一の表示画像を生成し、前記入力手段により合焦位置を指示する第一のユーザ指示が入力された場合、前記第一の生成手段により前記第一のユーザ指示に基づいて生成されたリフォーカス画像と、ユーザが前記リフォーカス画像の被写界深度の調整可能な画像とを含む第二の表示画像を生成することを特徴とする。

リフォーカス処理において、ユーザの細かい要求を満たす画像が得られる。

画像処理装置の構成を示すブロック図。 第一の実施例における処理を示すフローチャート。 第一の実施例における表示画像の一例を示す図。 第二の実施例における処理を示すフローチャート。 第二の実施例における表示画像の一例を示す図。 第三の実施例における処理を示すフローチャート。 第三の実施例における表示画像の一例を示す図。

＜第一の実施例＞
本実施例では、ユーザにより合焦位置が設定されたリフォーカス画像を見ながら、その合焦位置を中心とした被写界深度を、直感的なユーザインタフェース（ＵＩ）によりユーザが設定する例を説明する。これにより、ユーザは複数のリフォーカスパラメータを直感的に設定することができる。

以下、本実施例について説明する。図１は、本実施例に適用される画像処理装置の構成を示すブロック図である。

記憶部１０１は、本実施例の画像処理装置内で用いられる種々の情報を記憶する記憶部である。記憶部１０１は、多眼カメラにより取得された画像データや、画像処理装置で処理された画像データを記憶するＲＯＭと、後述の制御部１０３のワークエリアとして機能するＲＡＭを含んでいる。

通信部１０２は、ネットワークを介して通信を行い、記憶部１０１に保存したデータをネットワーク上にアップロードしたり、ネットワーク上からデータをダウンロードする通信モジュールである。本実施例においては、有線接続によりネットワークと接続されているが、Ｗｉ−Ｆｉなどの無線接続を用いてもよい。

制御部１０３は、画像処理装置全体の動作を統括するＣＰＵである。本実施例の画像処理装置は、記憶部１０１に格納されたプログラムを制御部１０３が実行することで、後述する種々の処理を実行する。

操作部１０４は、ユーザが画像処理装置に様々な指示を入力するために操作を行う操作部である。本実施例では、表示部１０８に備えられたタッチパネルを操作部１０４として用いているが、マウスやキーボード、ジョイスティックやダイヤルなどの他のハードウェアを操作部１０４として用いてもよい。

ＵＩ制御部１０５は、操作部１０４からの入力によって入力されたユーザ指示を、命令信号に変換する処理回路である。

表示画像生成部１０６は、表示部１０８に表示するための表示画像を生成する処理回路である。表示画像としては、記憶部１０１に記憶された撮像画像データや、リフォーカス演算部１０７によって生成されたリフォーカス画像データに、ＵＩ表示を付加したものなどが生成される。

リフォーカス演算部１０７は、記憶部１０１に保存された画像データを用いて、合焦状態が調整されたリフォーカス画像を生成する処理回路である。本実施例において、リフォーカス画像は同一のシーンを複数の視点から撮像して得られた複数の画像をシフト合成することによって得られる。この時のシフト量は、カメラからピントを合わせる点までの距離と、各視点間の基線長によって決定される。ピントを合わせる１点までの距離に基づいて画像全体のシフト量を一律に決定すると、合焦位置からの距離に応じて自然なボケが付加された画像を得ることができる。一方、画像中の点ごとに距離に応じてシフト量を変化させると、複数の被写体に合焦した、被写界深度の深い画像を得ることができる。

表示部１０８は、表示画像生成部１０６によって生成された表示画像を表示するディスプレイである。本実施例において、表示部１０８には、操作部１０４としてタッチパネルが重畳されている。

画像処理部１０９は、画像データに輝度補正や色補正などの補正処理を行う処理回路である。

システムバス１１０は、画像処理装置の各構成部を相互に接続するインタフェースである。各構成部の間の画像データや命令信号のやり取りは、このシステムバス１１０を介して行われる。

以上が本実施例における画像処理装置の構成である。以下、本実施例の画像処理装置にて行われる処理について、図２に示すフローチャートを参照して説明する。本実施例の画像処理装置は、記憶部１０１に記憶された図２のフローチャートに示すプログラムを、制御部１０３が実行することにより、図２のフローチャートに示す処理が行われる。

まず、ステップＳ２０１では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザによる画像再生要求がなされたかどうかを判定する。ユーザによる画像再生要求がなされていないと判定された場合は、ユーザによる画像再生要求がなされるまで待つ。ユーザによる画像再生要求がなされたと判定された場合は、ステップＳ２０２に進む。

ステップＳ２０２では、ＵＩ制御部１０５が、ステップＳ２０１で入力されたユーザ指示に基づいて、リフォーカス演算部１０７に画像再生要求を示す命令信号を出力する。

ステップＳ２０３では、リフォーカス演算部１０７が、記憶部１０１に保存された画像データを読み込む。ここで読み込まれる画像データは、多眼カメラの撮像により得られた、同一のシーンを複数の視点から撮像した複数の画像を示す画像データである。なお、この画像データは、画像データに含まれる画像の各画素位置における被写体の距離情報を示す距離マップおよび、各画像を撮像したカメラの焦点距離や視点位置を示す撮像パラメータを含むものとする。また、画像データは記憶部１０１に保存されたもの以外に、通信部１０２を介してダウンロードしたものを読み込んでもよい。

ステップＳ２０４では、リフォーカス演算部１０７が、読み込んだ画像データから、全ての被写体にピントが合ったパンフォーカス画像を生成し、表示画像生成部１０６に出力する。パンフォーカス画像とは、画像データに含まれる各視点の画像を、領域ごとにずらし量を変えてシフト合成した画像である。なお、必ずしもパンフォーカス画像を生成する必要はなく、画像データに含まれる複数の画像のうち、代表視点の画像をパンフォーカス画像としてもよい。

ステップＳ２０５では、表示画像生成部１０６が、ステップＳ２０４で生成されたパンフォーカス画像に、ユーザ指示を促すためのＵＩ表示を付加した表示画像を、表示部１０８に出力する。図３（ａ）にその表示の例を示す。左上にはステップＳ２０４で生成されたパンフォーカス画像が表示されている。パンフォーカス画像には、近距離に人物３０１および動物３０２が、中距離にビル３０３が、遠距離に山３０４がそれぞれ主要な被写体として含まれている。そして、パンフォーカス画像の下部には、リフォーカス画像での合焦位置の指定を促す表示が付加されている。

ステップＳ２０６では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザによる合焦位置の指定が行われたかどうかを判定する。ユーザによる合焦位置の指定が行われたと判定された場合、ステップＳ２０７に進む。ユーザによる合焦位置の指定が行われていないと判定された場合、ユーザによる合焦位置の指定が行われるまで待つ。なお、合焦位置の指定は、表示部１０８に表示されたパンフォーカス画像上の、合焦させたい位置をタッチすることにより行われる。なお、合焦位置の指定方法はこれに限られず、例えば合焦距離を変化させることのできるスライドバー等を用いてもよい。

ステップＳ２０７では、ＵＩ制御部１０５が、ユーザにより指定された画素位置をリフォーカス演算部１０７に出力する。そして、リフォーカス演算部１０７は、画像データに含まれる距離マップおよび撮像パラメータを用いて、ユーザにより指定された画素位置にピントが合ったリフォーカス画像を生成し、表示画像生成部１０６に出力する。なお、ここで行われるリフォーカス処理は必ずしもこの方法でなくてもよく、例えば、各画像間でブロックマッチングを行って対応点を求め、各対応点がユーザにより指定された画素位置に重なるように各画像をシフト合成するようにしてもよい。

ステップＳ２０８では、表示画像生成部１０６が、表示画像中のパンフォーカス画像をステップＳ２０７で生成されたリフォーカス画像に置き換えた表示画像を生成し、表示部１０８に出力する。この時の表示例を図３（ｂ）に示す。ステップＳ２０７で生成されたリフォーカス画像に加え、ＯＫボタン３１１、戻るボタン３１２、そして被写界深度調整バー３１３が表示されている。ユーザは被写界深度調整バー３１３を操作することにより、ここで表示されているリフォーカス画像の被写界深度を調整することができる。被写界深度調整バー３１３の両端には、制御可能な被写界深度の範囲（制御範囲）を示すＦ値が表示されている。このＦ値はリフォーカス画像に対応する仮想的な絞りの大きさを示す値であり、初期状態ではＦ値４．５相当の被写界深度を持つリフォーカス画像が生成されるようになっているが、この数値に限るものではない。

ステップＳ２０９では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザによる被写界深度の指定が行われたかどうかを判定する。ユーザによる合焦位置の指定が行われたと判定された場合、ステップＳ２１０に進む。ユーザによる合焦位置の指定が行われていないと判定された場合、ステップＳ２１２に進む。

ステップＳ２１０では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザによって指定された被写界深度を示す信号をリフォーカス演算部１０７に出力する。そして、リフォーカス演算部１０７が、ユーザによって指定された被写界深度に基づいて、新たなリフォーカス画像を生成し、表示画像生成部１０６に出力する。

ステップＳ２１１では、表示画像中のリフォーカス画像を、ステップＳ２１０で生成されたリフォーカス画像に置き換え、被写界深度調整バー３１３の表示も、そのリフォーカス画像に対応する被写界深度を示す表示に変更する。図３（ｃ）および（ｄ）にその表示例を示す。図３（ｃ）はＦ値１．０相当のリフォーカス画像を含んでおり、図３（ｄ）はＦ値８．０相当のリフォーカス画像を含んでいる。表示の変更が終了したら、またステップＳ２０９に戻り、ＵＩ制御部１０５が、被写界深度の再指定がされたかどうかを判定する。

ステップＳ２１２では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザにより戻るボタン３１２が押されたかどうかを判定する。ユーザにより戻るボタン３１２が押されたと判定された場合、ステップＳ２０５に戻り、再び合焦位置の指定を促す表示画像を生成する。ユーザにより戻るボタン３１２が押されていないと判定された場合はステップＳ２１３に進む。

ステップＳ２１３では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザによりＯＫボタン３１１が押されたかどうかを判定する。ユーザによりＯＫボタン３１１が押されたと判定された場合、ステップＳ２１４に進む。ユーザによりＯＫボタン３１１が押されていないと判定された場合は、ステップＳ２０９に戻る。

ステップＳ２１４では、ＵＩ制御部１０５が、ＯＫボタンが押されたことを示す信号を画像処理部１０９に出力し、ＯＫボタンが押された時点のリフォーカス画像をリフォーカス演算部１０７から取得して、色補正や輝度補正などの補正処理を行う。

ステップＳ２１５では、画像処理部１０９が、補正処理済みの画像を記憶部１０１に出力して記憶部１０１に保存し、処理を終了する。

以上が本実施例の画像処理装置によって行われる処理である。なお、本実施例において、リフォーカス演算部１０７は、画像を表わす画像データを取得する取得手段として機能する。また、操作部１０４は、ユーザ指示を入力する入力手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第一のユーザ指示に基づいて、前記リフォーカス画像における合焦位置を示す情報を取得する合焦取得手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第二のユーザ指示に基づいて、前記リフォーカス画像における被写界深度を示す情報を取得する深度取得手段としても機能する。また、リフォーカス演算部１０７は、前記合焦位置を示す情報と、前記被写界深度を示す情報とに基づいて、前記画像データからリフォーカス画像を生成する第一の生成手段としても機能する。また、表示画像生成部１０６は、前記画像データを用いて、表示手段に表示するための表示画像を生成する第二の生成手段として機能する。

上記の処理によると、ユーザが所望の合焦位置と被写界深度を直感的に設定することができ、容易に所望のリフォーカス画像を得ることができる。

＜第二の実施例＞
本実施例では、被写界深度の調整をより細かく行う場合について説明する。本実施例における画像処理装置の構成は第一の実施例におけるものと同じである。以下、本実施例における画像処理装置で行われる処理について、図４に示すフローチャートを参照して説明する。なお、本実施例の記憶部１０１には図４のフローチャートに示すプログラムが記憶されており、制御部１０３がそれを実行することで、以下の処理を実行する。なお、第一の実施例と同じ処理に関しては同じ符号を付し、説明を省略する。

ステップＳ４０１では、第一の実施例のステップＳ２０８と同様に、表示画像生成部１０６が表示画像を生成し、表示部１０８に出力する。ステップＳ２０８と異なる点として、このステップで生成される表示画像には、図５（ａ）に示すように、被写界深度調整用の−ボタン５０１、＋ボタン５０２、および調整モード変更ボタン５０３が付加されている。ユーザは、−ボタン５０１および＋ボタン５０２を操作することにより、被写界深度の調整を行うことができる。本実施例では、−ボタン５０１を押すとリフォーカス画像のＦ値が１．０小さくなり、＋ボタン５０２を押すとリフォーカス画像のＦ値が１．０大きくなる。つまり、−ボタン５０１および＋ボタン５０２を操作することで、被写界深度の制御範囲の中で離散的に設定された被写界深度の間を遷移し、設定する被写界深度を選択することができる。また、調整モード変更ボタン５０３を押すと、被写界深度調整の精度、つまり、離散的に設定された被写界深度の設定のスケールを変更することができる。その詳細については後述する。

ステップＳ４０２では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザにより調整モード変更ボタン５０３が押されたかどうかを判定する。ユーザにより調整モード変更ボタンが押されたと判定された場合は、ステップＳ４０３に進む。ユーザにより調整モード変更ボタンが押されていないと判定された場合は、ステップ２１２に進む。

ステップＳ４０３では、ＵＩ制御部１０５が、調整モードの変更が行われたことを示す信号をリフォーカス演算部１０７に出力し、リフォーカス演算部１０７は、−ボタン５０１および＋ボタン５０２の操作により変更される被写界深度のスケールを変更する。本実施例では、Ｆ値の変化の単位を１．０から０．１に変更する。

なお、Ｆ値変更のスケールはこれに限られず、他の様々なスケールを用いることが可能である。また、図５（ｂ）に示すように、被写界深度微調整モードにおいてはボタンではなくスライドバー５１０を用いて被写界深度を調整するようにしてもよい。この時、スライドバー５１０の両端のＦ値は、モード変更時の被写界深度を表わすＦ値の±１のＦ値とする。この値も、他の基準で決定するようにしてもよい。

以上が本実施例の画像処理装置で行われる処理である。なお、本実施例において、リフォーカス演算部１０７は、画像を表わす画像データを取得する取得手段として機能する。また、操作部１０４は、ユーザ指示を入力する入力手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第一のユーザ指示に基づいて、前記リフォーカス画像における合焦位置を示す情報を取得する合焦取得手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第二のユーザ指示に基づいて、前記リフォーカス画像における被写界深度を示す情報を取得する深度取得手段としても機能する。また、リフォーカス演算部１０７は、前記合焦位置を示す情報と、前記被写界深度を示す情報とに基づいて、前記画像データからリフォーカス画像を生成する第一の生成手段としても機能する。また、表示画像生成部１０６は、前記画像データを用いて、表示手段に表示するための表示画像を生成する第二の生成手段として機能する。また、リフォーカス演算部１０７は、離散的に設定された複数の被写界深度の、設定のスケールを変更する変更手段としても機能する。以上の処理によると、ユーザがより高精度に被写界深度を設定できるようになる。

＜第三の実施例＞
本実施例では、ユーザがリフォーカス画像の画角を更に設定する場合について説明する。

本実施例の画像処理装置の構成は第一の実施例におけるものと同じである。以下、本実施例の画像処理装置で行われる処理について、図６のフローチャートを参照して説明する。なお、本実施例の記憶部１０１には図６のフローチャートに示すプログラムが記憶されており、制御部１０３がそれを実行することで、以下の処理を実行する。第一の実施例と同様の処理については同じ符号を付し、説明を省略する。

ステップＳ６０１では、第一の実施例のステップＳ２０８と同様に、表示画像生成部１０６が表示画像を生成し、表示部１０８に出力する。ステップＳ２０８と異なる点として、このステップで生成される表示画像には、図７（ａ）に示すように、画像のフレーミング範囲の設定を促す表示が付加されている。さらに、フレーミング範囲の確定を行うためのＯＫボタン３１１が付加されている。ここで、フレーミング範囲とは、画像における画角を定める範囲のことを意味する。本実施例において、ユーザは画面に表示されたパンフォーカス画像の上でピンチイン／ピンチアウト操作を行うことで画角の変更を行うことができる。変更により所望の画角を新たに設定することができたら、ユーザはＯＫボタン３１１を押すことにより、画角の確定を行う。

ステップＳ６０２では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザにより画角の設定指示がなされたかどうかを判定する。ユーザにより画角の設定指示がなされたと判定された場合は、ステップＳ６０３に進む。ユーザにより画角の設定指示がなされていないと判定された場合は、ステップＳ６０５に進む。

ステップＳ６０３では、ＵＩ制御部１０５が、ユーザにより設定された画角を示す信号を表示画像生成部１０６に出力し、表示画像生成部１０６は、表示されているリフォーカス画像のトリミングを行う。

ステップＳ６０４では、ステップＳ６０３でトリミングしたリフォーカス画像を元に新たな表示画像を生成して表示部１０８に出力し、ステップＳ６０２に戻る。

ステップＳ６０５では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザによりＯＫボタン３１１が押されたかどうかを判定する。ＯＫボタン３１１が押されたと判定された場合は、ステップＳ６０６に進む。ＯＫボタン３１１が押されていないと判定された場合はステップＳ６０２に戻る。

ステップＳ６０６では、ＵＩ制御部１０５が、ＯＫボタン３１１が押されたことを示す信号を表示画像生成部１０６に出力し、表示画像生成部１０６が表示画像を更新して表示部１０８に出力する。ここでの表示例を図７（ｂ）に示す。画角の設定を促す表示が合焦位置の指定を促す表示に変更され、ＯＫボタン３１１が削除され、戻るボタン３１２が追加されている。ユーザは戻るボタン３１２を押すことで、また画角の変更を行うことができるようになる。

ステップＳ６０７では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザにより合焦位置の指定が行われたかどうかを判定する。ユーザにより合焦位置の指定が行われたと判定された場合は、ステップＳ２０７に進む。ユーザにより合焦位置の指定が行われていないと判定された場合は、ステップＳ６０８に進む。

ステップＳ６０８では、ＵＩ制御部１０５が、操作部１０４からの入力に基づいて、ユーザにより戻るボタン３１２が押されたかどうかを判定する。戻るボタン３１２が押されたと判定された場合はステップＳ６０２に戻る。戻るボタン３１２が押されていないと判定された場合は、ステップＳ６０７に戻る。

ステップＳ２０７以降の処理はトリミングされた画像を用いる以外は第一の実施例と同様であるので、説明を省略する。なお、被写界深度調整時の画像は、図７（ｃ）に示すように表示される。

以上が本実施例の画像処理装置で行われる処理である。なお、本実施例において、リフォーカス演算部１０７は、画像を表わす画像データを取得する取得手段として機能する。また、操作部１０４は、ユーザ指示を入力する入力手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第一のユーザ指示に基づいて、前記リフォーカス画像における合焦位置を示す情報を取得する合焦取得手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第二のユーザ指示に基づいて、前記リフォーカス画像における被写界深度を示す情報を取得する深度取得手段としても機能する。また、リフォーカス演算部１０７は、前記合焦位置を示す情報と、前記被写界深度を示す情報とに基づいて、前記画像データからリフォーカス画像を生成する第一の生成手段としても機能する。また、表示画像生成部１０６は、前記画像データを用いて、表示手段に表示するための表示画像を生成する第二の生成手段として機能する。また、ＵＩ制御部１０５は、前記入力手段により入力された第三のユーザ指示に基づいて、リフォーカス画像における画角を示す情報を取得する画角取得手段としても機能する。

以上の処理によれば、ユーザにより画角の変更が行われる場合も、直感的にリフォーカス画像のパラメータを設定することができる。

＜その他の実施例＞
本発明の実施形態は、上記の実施例に限られるものではない。例えば、上記の実施例を組み合わせたものであってもよい。例えば、第二の実施例と第三の実施例とを組み合わせて、画角の変更と被写界深度の設定スケールの変更の両方をできるようにしてもよい。

なお、上記の実施例では、複数の撮像部を備えた多眼カメラによって撮像された画像を示す画像データをもとにリフォーカス処理を行ったが、別の形態で撮像された画像を示す画像データを用いてもよい。例えば、それぞれが独立した複数のカメラによって撮像された画像を用いてもよい。また、１枚のセンサの出力から複数視点の画像を抽出できる、Ｐｌｅｎｏｐｔｉｃ撮像系を備えたカメラにより撮像された画像を示す画像データを用いてもよい。

また、リフォーカス処理の方法は、複数の視点から撮像された画像のシフト合成に限られず、他の方法を用いてもよい。例えば、仮想的なセンサ位置や絞り系を想定し、その際の光線の光路を考慮して、各視点の画像の画素を抜き出して組み合わせることで、リフォーカス画像を生成してもよい。また、単一の視点から撮像された画像に、被写体の距離に基づいてボケフィルタを適用し、擬似的に被写界深度を小さくすることによってリフォーカス画像を生成してもよい。

また、実施例は一つの画像処理装置に限られず上記実施例に示される画像処理装置の機能を、複数の画像処理装置で分担する画像処理システムであってもよい。例えば、ユーザ指示によるリフォーカスパラメータの設定と、リフォーカス画像の生成処理をそれぞれ別の装置で行ってもよい。

また、本発明の画像処理装置の構成は上記実施例に示したものに限られず、各ブロックの機能を複数のブロックに分けたり、複数のブロックの機能を持つブロックを含むような構成にしてもよい。また、上記実施例では、制御部１０３が、記憶部１０１に記憶されたプログラムを実行して各処理回路を動作させることで処理を行ったが、全ての処理を制御部１０３だけで行うようにしてもよい。また、制御部１０３を用いずに、全ての処理を１つの処理回路で行うようにしてもよい。

なお、本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。

また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。

１０１ 記憶部
１０２ 通信部
１０３ 制御部（ＣＰＵ）
１０４ 操作部
１０５ ＵＩ制御部
１０６ 表示画像生成部
１０７ リフォーカス演算部
１０８ 表示部
１０９ 画像処理部
１１０ システムバス
３０１ 人物
３０２ 動物
３０３ ビル
３０４ 山

Claims (14)

1. シーンを複数の視点から撮像して得られた複数の撮像画像を表す画像データを取得する取得手段と、
   ユーザ指示を入力する入力手段と、
   前記画像データから、前記画像の合焦状態が調整されたリフォーカス画像を生成する第一の生成手段と、
   前記第一の生成手段により生成されたリフォーカス画像を含む表示画像を生成する第二の生成手段を有し、
   前記第二の生成手段は、
   前記シーンに含まれる全ての被写体に合焦位置を合わせたパンフォーカス画像と、前記パンフォーカス画像に対してユーザに合焦位置の指定を促すための画像を含む第一の表示画像を生成し、
   前記入力手段により合焦位置を指示する第一のユーザ指示が入力された場合、前記第一の生成手段により前記第一のユーザ指示に基づいて生成されたリフォーカス画像と、ユーザが前記リフォーカス画像の被写界深度の調整可能な画像とを含む第二の表示画像を生成することを特徴とする画像処理装置。
2. 前記第一の生成手段は、前記複数の撮像画像を合成することで、前記リフォーカス画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. さらに前記入力手段により入力された前記第一のユーザ指示に基づいて、リフォーカス画像における合焦位置を示す情報を取得する合焦取得手段と、
   前記入力手段により入力された第二のユーザ指示に基づいて、リフォーカス画像における被写界深度を示す情報を取得する深度取得手段と、を有し、
   前記第一の生成手段は、前記合焦位置を示す情報と前記被写界深度を示す情報とに基づいて、前記合焦位置を示す情報によって示される合焦位置を基準として、前記被写界深度を示す情報によって示される被写界深度が設定されたリフォーカス画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記深度取得手段は、前記第一の表示画像が表示手段に表示されている間に入力された第二のユーザ指示に基づいて、前記被写界深度を示す情報を取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記第二の表示画像は、リフォーカス画像における被写界深度の制御範囲を示すスライドバーを含むことを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記第二の表示画像は、リフォーカス画像の被写界深度の遷移を示すボタンを含むことを特徴とする請求項３に記載の画像処理装置。
7. 前記深度取得手段は、前記第二の表示画像に対するユーザ指示に基づいて、リフォーカス画像における被写界深度の制御範囲のうち、あらかじめ離散的に設定された複数の被写界深度のうちから一つを選択して、前記リフォーカス画像における被写界深度を示す情報を取得することを特徴とする請求項３に記載の画像処理装置。
8. 前記離散的に設定された複数の被写界深度の、設定のスケールを変更する変更手段を更に有することを特徴とする請求項７に記載の画像処理装置。
9. 前記入力手段により入力された第三のユーザ指示に基づいて、リフォーカス画像における画角を示す情報を取得する画角取得手段を更に有し、
   前記第二の生成手段は、前記第三のユーザ指示に基づく画角を示すリフォーカス画像を含む第三の表示画像を生成することを特徴とする請求項３乃至８のいずれか一項に記載の画像処理装置。
10. 前記入力手段により入力された第三のユーザ指示に基づいて、リフォーカス画像における画角を示す情報を取得する画角取得手段を更に有し、
    前記第二の生成手段は、前記第三のユーザ指示に基づく画角を示すリフォーカス画像を含む第三の表示画像を生成し、
    前記合焦取得手段は、前記第三の表示画像が前記表示手段に表示されている間に入力された前記第一のユーザ指示に基づいて、前記合焦位置を示す情報を取得することを特徴とする請求項４に記載の画像処理装置。
11. シーンを複数の視点から撮像して得られた複数の撮像画像に基づいて生成された画像を表示する表示装置であって、
    表示用の画像を表す画像データを取得する取得手段と、
    前記画像データを表示する表示手段を有し、
    前記表示手段は、
    前記シーンに含まれる全ての被写体に合焦位置を合わせるように前記複数の撮像画像に基づいて生成されたパンフォーカス画像と、前記パンフォーカス画像に対してユーザに合焦位置の指定を促すための画像をともに表示し、
    前記シーンに含まれる何れかの被写体に合焦位置を合わせるように前記複数の撮像画像に基づいて生成されたリフォーカス画像と、ユーザが前記リフォーカス画像の被写界深度の調整可能な画像をともに表示することを特徴する表示装置。
12. シーンを複数の視点から撮像して得られた複数の撮像画像を表す画像データを取得するステップと、
    ユーザ指示を入力するステップと、
    前記画像データから、前記画像の合焦状態が調整されたリフォーカス画像を生成するステップと、
    前記シーンに含まれる全ての被写体に合焦位置を合わせたパンフォーカス画像と、前記パンフォーカス画像に対してユーザに合焦位置の指定を促すための画像を含む第一の表示画像を生成し、
    合焦位置を指示する第一のユーザ指示が入力された場合、前記第一のユーザ指示に基づいて生成されたリフォーカス画像と、ユーザが前記リフォーカス画像の被写界深度の調整可能な画像とを含む第二の表示画像を生成するステップとを含むことを特徴とする画像処理方法。
13. シーンを複数の視点から撮像して得られた複数の撮像画像に基づいて生成された画像を表示する表示方法であって、
    表示用の画像を表す画像データを取得するステップと、
    前記画像データを表示する表示するステップを有し、
    前記表示するステップは、
    前記シーンに含まれる全ての被写体に合焦位置を合わせるように前記複数の撮像画像に基づいて生成されたパンフォーカス画像と、前記パンフォーカス画像に対してユーザに合焦位置の指定を促すための画像をともに表示し、
    前記シーンに含まれる何れかの被写体に合焦位置を合わせるように前記複数の撮像画像に基づいて生成されたリフォーカス画像と、ユーザが前記リフォーカス画像の被写界深度の調整可能な画像をともに表示することを特徴する表示方法。
14. コンピュータを請求項１乃至１０のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。

Images