JP6170725B2 - 画像処理装置、及びプログラム - Google Patents

Description

本発明は、画像処理装置、及びプログラムに関する。

カメラ（撮像装置）で画像を撮影する場合、撮影の時点でその画像のボケの量が決まってしまう。また、ＣＧ（Computer Graphics）による画像を生成する場合、演算処理でその画像にボケを付加することが可能である。ただし、レイトレーシングのようなリアリティのあるレンダリング手法を用いる場合には、ボケの量を変更するたびに膨大な計算を繰り返し行わねばならない。
上記と異なり、撮影した後に被写界深度を制御して所望のボケのある画像を得る技術がある（例えば、特許文献１、２参照）。
例えば、特許文献１に、カメラで画像を撮影した後に被写界深度ボケを複数の多視点画像データをもとに生成することが示されている（同文献の段落００２３以降）。被写界深度ボケの量の調整方法は、同文献の図１Ｂに示されるように複数の工程を介して所望の画像を生成するものである。上記の各工程における演算処理には、行列演算や積分演算などの演算が含まれる。
また、特許文献２に、対象の画像を複数の領域に分割し、分割した領域に含まれる被写体までの距離を抽出し、抽出した被写体までの距離情報を基準にして、その距離にある被写体にピントが合うように合成することが示されている。

特表２００９−５１８８７７号公報 特開２０１３−９２７４号公報

上記の何れの文献の技術も、画像を生成する前工程と、生成した画像からボケのある画像を得る後工程を含むものである。しかしながら、上記の何れの文献の技術も、前工程で生成した画像を、ポストプロダクション(ポスプロ、Post-production)工程などの後工程でボケを修正することが困難であるという問題を有している。
本発明は、上記問題を解決すべくなされたもので、所望のボケのある画像を生成する調整作業（プロセス）の負荷を低減することができる画像処理装置、及びプログラムを提供するものである。

［１］この発明は上述した課題を解決するためになされたものであり、本発明の一態様による画像処理装置は、多視点カメラによる画像を原画像にして、前記原画像に含まれる複数の要素画像のうちから、指示された位置にある基準要素画像を選択する基準要素画像選択処理部と、前記複数の要素画像のうち前記基準要素画像を基準に定められる範囲であって、指示された絞り値に応じた大きさの範囲に含まれる要素画像を選択して選択要素画像とする選択要素画像抽出処理部と、前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて、前記移動量だけ移動させ、移動後の前記選択要素画像に基づいて合成画像を生成する合成要素画像生成部とを備えることを特徴とする。

本態様によれば、基準要素画像選択処理部は、多視点カメラによる画像を原画像にして、前記原画像に含まれる複数の要素画像のうちから、指示された位置にある基準要素画像を選択する。選択要素画像抽出処理部は、前記複数の要素画像のうち前記基準要素画像を基準に定められる範囲であって、指示された絞り値に応じた大きさの範囲に含まれる要素画像を選択して選択要素画像とする。合成要素画像生成部は、前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて、前記移動量だけ移動させ、移動後の前記選択要素画像に基づいて合成画像を生成する。
これにより、合成要素画像生成部は、前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて前記移動量だけ移動させ、移動後の前記選択要素画像に基づいて合成画像を生成することができる。このことから、画像処理装置は、所望のボケのある画像を生成する調整作業の負荷を低減することができる。

［２］本発明の一態様による画像処理装置において、前記指示された焦点距離に応じて単調に変化する前記係数を出力する焦点距離入力処理部をさらに備え、前記合成要素画像生成部は、前記選択要素画像を当該選択要素画像の位置から前記合成基準点の位置に向けて移動させる移動量を、前記出力された係数と当該選択要素画像の位置から前記合成基準点の位置までの距離とに基づいて算出することを特徴とする。

本態様によれば、焦点距離入力処理部は、指示された焦点距離に応じて単調に変化する係数を出力する。合成要素画像生成部は、前記選択要素画像を当該選択要素画像の位置から前記合成基準点の位置に向けて移動させる移動量を、前記出力された係数と当該選択要素画像の位置から前記合成基準点の位置までの距離とに基づいて算出する。
これにより、合成要素画像生成部は、前記選択要素画像を当該選択要素画像の位置から前記合成基準点の位置に向けて移動させる移動量を、指示された焦点距離に応じて単調に変化する係数と当該選択要素画像の位置から前記合成基準点の位置までの距離とに基づいて算出することができる。このことから、画像処理装置は、指示された焦点距離に応じて単調に変化する係数を乗じた距離を移動させた選択要素画像を用いて、所望のボケのある画像を生成する調整作業の負荷を低減することができる。

［３］本発明の一態様による画像処理装置において、前記原画像に含まれる要素画像を整形するフィルタ特性により、前記原画像に対するフィルタ処理を施した要素画像を生成するフィルタ処理部と、前記フィルタ処理された要素画像をもとに前記生成された合成画像の明るさを前記フィルタ処理部のフィルタ特性に応じて規格化する規格化処理部とをさらに備え、前記基準要素画像選択処理部は、前記指示された位置にある基準要素画像を、前記フィルタ処理された要素画像から選択し、前記選択要素画像抽出処理部は、前記指示された絞り値に応じた範囲に含まれる要素画像を、前記フィルタ処理された要素画像から選択する、ことを特徴とする。

本態様によれば、フィルタ処理部は、前記原画像に含まれる像の歪を低減するフィルタ特性により、前記原画像に対するフィルタ処理を施した要素画像を生成する。規格化処理部は、前記フィルタ処理された要素画像をもとに前記生成された合成画像の明るさを前記フィルタ処理部のフィルタ特性に応じて規格化する。基準要素画像選択処理部は、前記指示された位置にある基準要素画像を、前記フィルタ処理された要素画像から選択する。選択要素画像抽出処理部は、前記指示された絞り値に応じた範囲に含まれる要素画像を、前記フィルタ処理された要素画像から選択する。
これにより、フィルタ処理部は、前記原画像に含まれる像の歪を低減するフィルタ特性により、前記原画像に対するフィルタ処理を施した要素画像を生成し、規格化処理部が、前記フィルタ処理された要素画像をもとに前記生成された合成画像の明るさを前記フィルタ処理部のフィルタ特性に応じて規格化することができる。このことから、画像処理装置は、規格化処理部が、前記フィルタ処理された要素画像をもとに前記生成された合成画像の明るさを、当該合成画像の基準の明るさが揃うように前記フィルタ処理部のフィルタ特性に応じて規格化した出力画像を生成することにより、所望のボケのある画像を生成する演算処理の負荷を低減することができる。

［４］本発明の一態様による画像処理装置において、前記合成画像を表示する表示部と、前記表示部に表示される合成画像を視認可能な範囲にいる観察者の位置を、前記表示部に対する相対位置として検出し、前記検出した相対位置に応じて、前記基準要素画像を選択する位置を指示する観察者検出部と、をさらに備え、前記基準要素画像選択処理部は、前記観察者検出部によって指示された位置にある基準要素画像を選択することを特徴とする。

本態様によれば、観察者検出部は、前記表示部に表示される合成画像を視認可能な範囲にいる観察者の位置を、前記表示部に対する相対位置として検出し、前記検出した相対位置に応じて、前記基準要素画像を選択する位置を指示することができる。
これにより、観察者検出部は、観察者の位置を前記表示部に対する相対位置として検出し、前記検出した相対位置に応じて、前記基準要素画像を選択する位置を指示することにより、観察者が自ら基準要素画像を選択する位置を指示することなく基準要素画像を選択できる。このことから、画像処理装置は、観察者の操作に委ねることなく所望の基準要素画像を選択することにより、選択された所望の基準要素画像において、所望のボケのある画像を生成する演算処理の負荷を低減することができる。

［５］本発明の一態様によるプログラムは、多視点カメラによる画像を原画像にして、前記原画像を入力して処理する画像処理装置としてコンピュータを機能させるプログラムであって、前記コンピュータに、前記原画像に含まれる複数の要素画像のうちから、指示された位置にある基準要素画像を選択するステップと、前記複数の要素画像のうち前記基準要素画像を基準に定められる範囲であって、指示された絞り値に応じた大きさの範囲に含まれる要素画像を選択して選択要素画像とするステップと、前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて前記移動量だけ移動させ、移動後の前記選択要素画像に基づいて合成画像を生成するステップとを実行させるためのプログラムである。

本態様によれば、本プログラムは、多視点カメラによる画像を原画像にして、前記原画像を処理対象として入力する画像処理装置が備えるコンピュータが、多視点カメラによる原画像に含まれる複数の要素画像のうちから、指示された位置にある基準要素画像を選択する。また、本プログラムによってコンピュータが、前記複数の要素画像のうち前記基準要素画像を基準に定められる範囲であって、指示された絞り値に応じた大きさの範囲に含まれる要素画像を選択して選択要素画像とする。そして、また、本プログラムによってコンピュータが、前記選択要素画像の位置から予め定められた合成基準点までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて前記移動量だけ移動させ、移動後の係数を乗じた距離を移動させた前記選択要素画像に基づいて合成画像を生成する。
これにより、本プログラムによってコンピュータが、前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて前記移動量だけ移動させ、移動後の前記選択要素画像に基づいて合成画像を生成することができる。このことから、画像処理装置が備えるコンピュータは、所望のボケのある画像を生成する演算処理の負荷を低減することができる。

この発明によれば、所望のボケのある画像を生成する調整作業（プロセス）の負荷を低減することができる画像処理装置、及びプログラムを提供することができる。

本発明の第１実施形態における画像処理装置の概要を示す構成図である。 多視点カメラの画像を示す説明図である。 本実施形態における画像処理装置の機能構成の概要を示すブロック図である。 本実施形態における画像処理装置が実施する処理の手順を示すフローチャートである。 絞り値に応じた合成画像の生成時に用いる原画像と合成処理の対象とする要素画像の範囲とを示す平面図である。 観察者から異なる距離に配された被写体との位置関係を示す俯瞰図である。 異なる位置から被写体を撮像した画像を示す説明図である。 異なる位置で撮像した画像から合成される合成画像を模式化して示す説明図である。 異なる位置から被写体を撮像した画像をシフトさせるシフト量を加減して合成画像を生成する方法を模式化して示す説明図である。 図９において合成される合成画像を模式化して示す説明図である。 歪量が比較的大きな領域をマスクするフィルタ特性ｆ（ｒ）を示す説明図である。 合成画像を生成する処理の原理を示す説明図である。 要素画像をシフトさせて合成した合成画像ＰＩＣＳを生成する処理の手順を示すフローチャートである。 基準画像をシフトさせて合成した合成基準画像ＰＩＣ０Ｓを生成する処理の手順を示すフローチャートである。 本実施形態における出力画像の表示の例を示す説明図である。 第２実施形態における画像処理装置の概要を示す平面図である。 本実施形態における画像処理装置を示すブロック図である。 第３実施形態における画像処理装置の概要を示すブロック図である。 本実施形態における要素画像の解像度を示す説明図である。 本実施形態における３次元ＣＡＤデータを多視点カメラの画像への変換処理を示す説明図である。 第１実施形態の変形例において、異なる位置で撮像した画像をシフトさせるシフト量を加減して合成画像を生成する方法を模式化して示す説明図である。 図２１において合成される合成画像を模式化して示す説明図である。

以下、図面を参照して、本発明の実施の形態について説明する。

［第１実施形態］
（画像処理装置の概要）
図１は、画像処理装置の概要を示す構成図である。
同図に示される画像処理装置１は、画像供給装置２から供給される多視点カメラによる画像を原画像にして、その原画像をもとにして、ボケの量を適宜調整した合成画像を生成する。
例えば、多視点カメラは上記の原画像を撮像する。多視点カメラは、予め定められた配置規則に従って配置された複数の光学系を備える。多視点カメラは、複数の光学系を用いて各光学系の位置におけるライトフィールドを取得して、それぞれ取得したライトフィールドを各光学系に対応する要素画像として撮像する。撮像された多視点カメラによる画像には、複数の要素画像が含まれる。上記の複数の要素画像は、被写体の３次元空間の情報を含み、それらを組み合わせることにより３次元画像の合成を可能とする。なお、多視点カメラによる画像における各要素画像の位置は、上記複数の光学系に対応させて予め定められる。

画像供給装置２は、上記の多視点カメラの画像を生成して、生成した画像を出力する。画像供給装置２は、撮像素子３とレンズアレイ５とを備えた上記の多視点カメラである。撮像素子３の受光面４には、多視点カメラの画像を撮像するためのレンズアレイ５が設けられている。撮像素子３は、レンズアレイ５を介して受光面４まで到達した光を変換して、多視点カメラの画像を生成する。画像供給装置２は、撮像素子３が生成した画像を多視点カメラによって撮像された画像として画像処理装置１に供給する。

画像処理装置１における画像処理部２０は、画像供給装置２から供給された画像に対して、観察者が指定する量のボケを生成する画像処理を実施して合成画像を生成する。表示部７０は、生成された合成画像を表示する。このようにして生成された合成画像は、観察者の操作に応じた所望の量のボケのある画像が生成されており、そのボケの量を観察者が適宜調整することができる。
このようにして生成された合成画像を観察者が観察することにより、所望の距離にある被写体のボケの量を制限して、その他の距離にある被写体にボケを付加して表示することができる。

（多視点カメラの画像について）
次に、多視点カメラの画像について説明する。図２は、多視点カメラの画像を示す説明図である。同図における多視点カメラの画像は、直交するＸ−Ｙ軸を基準にする９行９列の格子状に配された複数の要素画像を含む。複数の要素画像のそれぞれが略円形を成している。その略円形の領域の内側には、レンズアレイ５の各レンズの位置に応じた像がそれぞれ示されている。各要素画像は、レンズアレイ５の各レンズに対応し、レンズごとに生成された画像である。このような多視点カメラの画像は、多眼方式の画像といわれることがある。
レンズアレイ５の各レンズの位置（レンズ光軸と交差する面内の被写体側開口部の位置）を基準に特定の被写体の方向を比較すると、特定の被写体の方向はレンズごとに異なる。これにより、それぞれの要素画像に形成される被写体の像が個々のレンズの位置に応じて異なるものになる。例えば、個々のレンズの光軸の方向に対する被写体の方向を、異なる位置に配されたレンズについて対比すると、遠くの被写体ほど当該被写体の方向の差が少なく、近くの被写体ほど当該被写体の方向の差が大きくなる。
同図に示された９個の要素画像を実線で囲む枠６０９と２５個の要素画像を点線で囲む枠６２５のそれぞれは、画像処理装置１が画像処理の対象とする範囲を示す。また、画像処理の詳細については後述する。また、符号６０１は、後述する画像処理の基準にする合成基準点である。合成基準点６０１は、多視点カメラの画像を原画像にして、その原画像の中心に配されている。
多視点カメラの画像には、レンズアレイ５を用いて光学的に生成されたレンズアレイ画像や３次元ＣＡＤデータに基づいて生成されるＣＧ（Computer Graphics）による画像がある。レンズアレイ５の各レンズには、ガラスやプラスチックなどの材質を用いて形成されたレンズの他、ピンホールレンズを適用できる。
なお、以下の説明において、「視点の位置」は、観察者の眼の位置を示し、表示された画像上に観察者の視線が注がれる点（注視点）と区別する。また、「注視点の位置」を注視点位置という場合がある。

（画像処理装置の構成）
図３は、画像処理装置１の機能構成の概要を示すブロック図である。同図において、画像処理装置１は、原画像取得部１１、原画像記憶部１２、画像処理部２０、指定情報生成部５０、操作画面情報生成部６０及び表示部７０を備える。

原画像取得部１１は、画像供給装置２から原画像を取得して原画像記憶部１２に書き込む。画像供給装置２から取得する原画像は、前述のとおり多視点カメラの画像である。原画像記憶部１２は、画像供給装置２から取得した原画像を記憶する。

画像処理部２０は、フィルタ処理部２１、要素画像記憶部２２、基準要素画像選択処理部２３、選択要素画像抽出処理部２４、合成要素画像生成部２５、合成画像記憶部２６、規格化処理部２７、出力画像記憶部２８、画像出力処理部２９、基準画像記憶部３２、基準画像選択処理部３３、選択基準画像抽出処理部３４、合成基準画像生成部３５、及び、合成基準画像記憶部３６を備える。

フィルタ処理部２１は、原画像に含まれる像の歪を低減するフィルタ特性を有しており、同フィルタ特性によるフィルタ処理を原画像に施して、後段の処理の対象とする要素画像を生成する。上記の像の歪の影響を低減させるフィルタ処理とは、例えば、像の歪の量が比較的少ない領域の画像を抽出する処理である。この後段の処理の対象とする要素画像は、原画像に含まれる要素画像にフィルタ処理を施した要素画像である。
原画像が撮像装置によって撮像された画像の場合、撮像する際に用いられたレンズの光学特性に起因する像の歪がその原画像の要素画像に含まれる。要素画像においては、その外周部付近の領域における像の歪の量が大きくなる。フィルタ処理部２１は、要素画像の外周部を後段の処理の対象から除外して、外周部が除かれた内部の領域を後段の処理の対象にする。フィルタ処理部２１は、このような後段の処理の対象とする要素画像の範囲を制限するフィルタ特性のフィルタ処理により、要素画像の対象範囲を整形する。フィルタ処理部２１は、原画像から生成した要素画像を要素画像記憶部２２に書き込む。また、フィルタ処理部２１は、上記のフィルタ特性を示す基準画像を基準画像記憶部３２に書き込む。要素画像記憶部２２は、フィルタ処理が施された要素画像を記憶する。

基準要素画像選択処理部２３は、要素画像記憶部２２を参照して、フィルタ処理が施された複数の要素画像のうちから、指示された位置に対応する要素画像（基準要素画像）を選択する。以下の説明において、要素画像を直交する格子に配されたものとして、要素画像の位置を（ｓ、ｔ）と記し、上記の位置（ｓ、ｔ）に対応する要素画像を基準要素画像Ｐ（ｓ、ｔ）と記す。
選択要素画像抽出処理部２４は、複数の要素画像のうちから、基準要素画像Ｐ（ｓ、ｔ）を基準に定められる範囲であって、指示された絞り値Ｆに応じた範囲情報を示す変数ｎの値の大きさによって定められる範囲に含まれる要素画像（選択要素画像）を選択する。ここでいう「絞り値Ｆ」とは、ボケの量を定めるための入力値のことであり、例えば、その値は一般のカメラのレンズに設けられた絞り部の絞りの開度を指定する値に対応させる。なお、ここで抽出される選択要素画像には、選択の基準とした基準要素画像が含まれる。

合成要素画像生成部２５は、選択要素画像抽出処理部２４によって選択された選択要素画像の位置から合成基準点の位置までの距離に、指示された焦点距離に応じて変化する０以上１以下の係数を乗じて移動量を求める。例えば、合成基準点の位置は、画像供給装置２から供給される多視点カメラの原画像の中心の位置にする。合成要素画像生成部２５は、選択された選択要素画像を合成基準点の位置に向けて前記移動量だけ移動させ、移動後の選択要素画像に基づいて合成画像を生成する。例えば、合成要素画像生成部２５は、選択要素画像を当該選択要素画像の位置から合成基準点の位置に向けて移動させる移動量を、焦点距離入力処理部５５から出力された係数ｍと当該選択要素画像の位置から合成基準点の位置までの距離とに基づいて算出する。合成要素画像生成部２５は、生成した合成画像を合成画像記憶部２６に書き込む。合成画像記憶部２６は、合成要素画像生成部２５から出力された合成画像を記憶する。

規格化処理部２７は、フィルタ処理された要素画像をもとに生成された合成画像の基準の明るさを揃えるように、フィルタ処理部２１のフィルタ特性に応じて、上記の合成画像の明るさを規格化する。ここでいう「規格化」とは、要素画像を重ね合わせる数が多いほど、合成後の明るさが大きくなる作用を解消する処理である。例えば、基準画像記憶部３２、基準画像選択処理部３３、選択基準画像抽出処理部３４、合成基準画像生成部３５、及び、合成基準画像記憶部３６が、フィルタ処理部２１のフィルタ特性をモデル化して、規格化処理部２７における規格化処理の基準情報を生成する。規格化処理における基準情報の生成については、後述する。規格化処理部２７は、規格化した出力画像を生成し、出力画像記憶部２８に書き込む。出力画像記憶部２８は、規格化処理部２７によって規格化された出力画像を記憶する。画像出力処理部２９は、出力画像記憶部２８を参照して、規格化された出力画像を表示部７０に出力する。

指定情報生成部５０は、画像処理部２０の処理を指定する指定情報を生成する。例えば、指定情報生成部５０は、視点位置入力処理部５１、絞り値入力処理部５３、及び、焦点距離入力処理部５５を備える。視点位置入力処理部５１は、観察者の視点の位置を指定する操作を検出して、検出した操作に応じて選択される基準要素画像を指定する位置（ｓ、ｔ）を示す情報を出力する。絞り値入力処理部５３は、観察者が絞り値を指定する操作を検出して、観察者によって指定された絞り値Ｆに応じた範囲情報を示す変数ｎと絞り値Ｆを出力する。焦点距離入力処理部５５は、観察者が焦点距離Ｌを指示する操作を検出して、指示された焦点距離Ｌに応じた係数ｍと焦点距離Ｌとを出力する。ここでいう「焦点距離Ｌ」とは、合成後の画像においてボケが生じない被写体の位置を指定するための入力値のことであり、例えば、その値は、一般のカメラのレンズの焦点距離を示す値に対応させる。ここで、係数ｍは、焦点距離Ｌの変化に応じて単調増加又は単調減少し、焦点距離Ｌを定めることによって定まる。

操作画面情報生成部６０は、指定情報生成部５０によって生成された情報に基づいて表示部７０に表示する操作画面を生成して出力する。
表示部７０は、合成画像を表示する表示パネルを備える。例えば、表示パネルは液晶表示パネルであってもよい。表示部７０は、画像出力処理部２９から出力される規格化された出力画像と、操作画面情報生成部６０によって生成された操作画面とを合成して表示する。

（画像処理装置における処理の概要）
次に画像処理装置における処理の概要を下記に整理する。
図４は、画像処理装置が実施する処理の手順を示すフローチャートである。

まず、原画像取得部１１は、表示対象の画像（原画像）を取得して、原画像記憶部１２に書き込む。例えば、複数の要素画像にて構成される原画像を原画像記憶部１２にキャプチャする。本実施形態おける原画像とは、多視点カメラを構成するレンズアレイ５を介して撮影（撮像）された画像である。レンズアレイ５は、例えば格子に対応して配置された個々のレンズを組み合わせて構成されている。原画像は、レンズアレイ５を構成する個々のレンズを介して撮影（撮像）された個々の画像（要素画像）を複数組み合わせたものである。この段階の原画像、即ち、個々の要素画像としてキャプチャされる画像は、ボケの量が比較的少なく、被写界深度が比較的深い画像（例えば、全焦点画像）である（ステップＳ１１）。

次に、観察者の操作に応じて、画像処理装置１は、表示部７０に表示する原画像ＰＩＣを選択する（ステップＳ１２）。

次に、フィルタ処理部２１は、原画像に含まれる要素画像を整形するフィルタ特性ｆ（ｒ）に応じて、原画像ＰＩＣに含まれる各要素画像ＰＩＣ（ｉ，ｊ）に対するフィルタ処理を施し、フィルタ処理された要素画像ＰＩＣｆ（ｉ，ｊ）を生成する（ステップＳ１３）。

次に、視点位置入力処理部５１は、指定された位置（ｓ、ｔ）に応じた基準要素画像Ｐ（ｓ、ｔ）を設定する。例えば、指定の位置（ｓ，ｔ）は、観察者の視点の位置に応じた注視点位置である（ステップＳ１４）。

次に、生成する画像の出来栄えを指定する絞り／焦点距離を定める絞り値Ｆと焦点距離Ｌを順に設定する。まず、絞り値入力処理部５３は、指定された絞り値Ｆを設定する。例えば、観察者は、画像処理装置１に設けた指定情報生成部５０に設けられた操作部（スライダー等）を操作して、絞り値Ｆを指定し（ステップＳ１５）、設定された絞り値Ｆに対する範囲ｎを設定する（ステップＳ１６）。
また、焦点距離入力処理部５５は、指定された焦点距離Ｌを設定する。例えば、観察者は、画像処理装置１に設けた指定情報生成部５０に設けられた操作部（スライダー等）を操作して、焦点距離Ｌを指定する（ステップＳ１７）。

次に、合成要素画像生成部２５は、焦点距離Ｌに応じて要素画像ＰＩＣｆ（ｉ，ｊ）を合成基準点の方向にシフトさせる際のシフト係数ｍを算出する（ステップＳ１８）。

次に、合成要素画像生成部２５は、合成基準点と基準要素画像Ｐ（ｓ、ｔ）とを基準に、要素画像ＰＩＣｆ（ｉ，ｊ）をシフトさせて合成した合成画像ＰＩＣＳを生成する（ステップＳ２０）。

次に、合成要素画像生成部２５は、合成基準点と基準要素画像Ｐ（ｓ、ｔ）とを基準に、基準画像をシフトさせて合成した合成基準画像ＰＩＣ０Ｓを生成する（ステップＳ３０）。

次に、規格化処理部２７は、合成画像ＰＩＣＳの合成後に画像の明るさが大きくなる作用を解消させる。規格化処理部２７は、合成基準画像ＰＩＣ０Ｓをもとにして、合成画像ＰＩＣＳの基準の明るさを揃えるように、合成画像ＰＩＣＳの明るさを調整する（ステップＳ４１）。画像出力処理部２９は、規格化された合成画像を出力する（ステップＳ４２）。指定情報生成部５０は、表示条件を変更するか否かを判定する（ステップＳ４３）。ステップＳ４３における判定により、表示条件を変更すると判定した場合（ステップＳ４３：Ｙｅｓ）には、ステップＳ１４に進む。一方、ステップＳ４３における判定により、表示条件を変更しないと判定した場合（ステップＳ４３：Ｎｏ）には、指定情報生成部５０は、表示する画像を変更するか否かを判定する（ステップＳ４４）。ステップＳ４４における判定により、表示する画像を変更すると判定した場合（ステップＳ４４：Ｙｅｓ）には、ステップＳ１２に進む。一方、ステップＳ４４における判定により、表示する画像を変更しないと判定した場合（ステップＳ４４：Ｎｏ）には、処理を終える。

〔ボケのある合成画像の合成処理〕
次に、図５から図１０を参照して、ボケのある合成画像の合成処理について説明する。ボケのある合成画像の合成処理は、上記のステップ２０に示した基準要素画像Ｐ（ｓ、ｔ）を基準に、要素画像をシフトさせて合成した合成画像ＰＩＣＳを生成する処理に対応する。以下、合成画像の合成処理について順に説明する。

（絞り値に応じた合成画像の生成について）
図５は、絞り値に応じた合成画像の生成時に用いる原画像と合成処理の対象とする要素画像の範囲とを示す平面図である。同図に示される原画像は、例えば前述の図２に示す画像に相当するものであり、合成処理の対象範囲が枠６０９によって示されている。枠６０９には、合成処理の対象である９個の選択要素画像が示されている。また、同図の記載において、合成処理の対象範囲（枠６０９）に含まれない要素画像の記載を省略している。
枠６０９の大きさ、即ち、合成画像を生成する基となる要素画像を選択する範囲を定める変数ｎは、絞り値Ｆに相当する。変数ｎは離散的な値をとり、その値を自然数と定める。同図に示すように変数ｎの値を２にした場合には、最少のボケの量を生成する。なお、変数ｎの値を１にした場合には、ボケを生成しない。

画像処理装置１は、変数ｎの値を３にして定めた範囲に含まれる要素画像、即ち、基準要素画像と基準要素画像を基準にして選択した８個の要素画像とを含む９個の選択要素画像を重ね合わせて加算（積分）する。
９個の選択要素画像に撮像されている対象物（被写体）の像の位置は、それぞれの要素画像の位置に応じて、わずかながらずれている。９個の選択要素画像を加算（積分）することにより、対象物の像の輪郭部の位置がずれたまま加算される。その結果、加算されて生成される画像において、対象物の輪郭部にボケが生成される。
この変数ｎの値を大きくするにつれ、要素画像を選択する範囲が広くなり、重ね合わせる要素画像の数が変数ｎの二乗（ｎ^２）に比例して多くなる。各要素画像における対象物の位置がそれぞれ異なることから、対象物の輪郭部のずれ幅は変数ｎの値の増加に伴って大きくなる。その結果、より大きな変数ｎの場合には、ｎ^２個以下の要素画像を重ね合わせることになり、対象物の輪郭部のずれ幅が大きくなるとともに分散するようになり、生成された画像のボケの量が多くなる。
このように、この変数ｎがレンズの絞り値Ｆに応じて定められ、画像処理装置１は、絞り値Ｆに応じて定まる被写界深度の深さを変数ｎに応じて制御する。以上に示すように、画像処理装置１は、ボケの量を制御した画像を生成することができる。

（焦点距離に応じた合成画像の生成について）
次に、焦点距離に応じた合成画像の生成について説明する。焦点距離に応じた合成画像の生成は、選択要素画像のシフト方向と、焦点距離Ｌに応じたシフト量とに応じて実施される。

（焦点距離に応じた合成画像の生成における選択要素画像のシフト方向の算出）
前述の図５を参照して選択要素画像のシフト方向について説明する。図５には、変数ｎ（ｎ＝３）によって定められる範囲に含まれるｎ^２個（９個）の要素画像が示されている。上記の要素画像は、前述の図２の枠６０９で示す範囲の要素画像に対応する。ｎ^２個（９個）の要素画像の中心を基準要素画像Ｐ（ｓ、ｔ）とし、基準要素画像Ｐ（ｓ、ｔ）を基準にして基準要素画像Ｐ（ｓ、ｔ）以外の要素画像のうちから一部の要素画像を抽出する。基準要素画像Ｐ（ｓ、ｔ）と抽出された要素画像とを併せて選択要素画像とする。選択要素画像に含まれる要素画像の数は、ｎ^２個以下になる。
各選択要素画像を合成基準点６０１の位置（ｘｃ、ｙｃ）に向けてシフトさせて合成画像を生成する。各選択要素画像のシフト方向は、当該選択要素画像の位置から合成基準点６０１の位置（ｘｃ、ｙｃ）に向けた方向とする。例えば、合成基準点６０１の位置（ｘｃ、ｙｃ）と、合成基準点６０１を含む要素画像の中心とが一致している場合、それぞれの当該選択要素画像の中心の位置から合成基準点６０１の位置（ｘｃ、ｙｃ）に向けて各選択要素画像をシフトさせる。
或いは、合成基準点６０１の位置（ｘｃ、ｙｃ）と、合成基準点６０１を含む要素画像の中心とが一致していない場合、合成基準点６０１を含む要素画像における要素画像に対する合成基準点６０１の相対位置を基準にして、各選択要素画像内で上記鵜の相対位置によって示される点を定める。定めた点の位置から合成基準点６０１の位置（ｘｃ、ｙｃ）に向けて、当該選択要素画像をシフトさせてもよい。
上記の何れかの方法に従って、それぞれの当該選択要素画像の位置から合成基準点６０１の位置（ｘｃ、ｙｃ）に向けて各選択要素画像をシフトさせる。なお、以下の説明においては、合成基準点６０１の位置（ｘｃ、ｙｃ）と、合成基準点６０１を含む要素画像の中心とが一致している場合を例示して説明する。

（焦点距離に応じた合成画像の生成における焦点距離に応じたシフト量の算出）
次に、図６から図１０を参照して選択要素画像のシフト量について説明する。各選択要素画像をシフトさせるシフト量は、指定された焦点距離Ｌに応じて定められる。ここで、距離が異なるように配された被写体を含む複数の要素画像（選択要素画像）を例示して、選択要素画像をシフトさせるシフト量について説明する。

図６は、観察者から異なる距離に配された被写体との位置関係を示す俯瞰図である。同図には、観察者と観察者の前方に配された２つの立方体が示されている。２つの立方体は、観察者からの距離が異なる位置にそれぞれ配されている。このように配された２つの立方体を同じ方向に見込む観察者が、位置Ｏから２つの立方体を見る注視点を維持して、位置Ｏにおける観察者が立方体を見る視線の方向に直交する方向に位置Ｏから移動した場合、２つの立方体の見え方が観察者の位置に応じて異なる。

図７は、異なる位置から被写体を撮像した画像を示す説明図である。同図において、位置Ｏを基準に観察者の左方向と右方向にそれぞれ同じ距離を隔てた位置をそれぞれ、位置ＵＬと位置ＵＲで示す。同図に示される画像ＭＬ、画像ＭＯ、画像ＭＲは、位置ＵＬと原点Ｏと位置ＵＲとのそれぞれの位置から撮影した２つの立方体の画像である。画像ＭＬ、画像ＭＯ、画像ＭＲは、等しいピッチ（間隔Ｔ）で配置されている。ここで、画像ＭＬと画像ＭＲは、画像ＭＯの方向に、間隔Ｔの距離だけそれぞれシフトされる。なお、本実施形態の合成処理における移動方向は、前述の説明によるシフト方向（移動方向）に従って実施されるが、ここでは移動距離（シフト量）についての説明を行うため、移動方向については下記のように模式化して説明する。

図８は、異なる位置で撮像した画像から合成される合成画像を模式化して示す説明図である。同図は、前述の図７に示した画像ＭＬと画像ＭＲを画像ＭＯの方向に、間隔Ｔの距離だけそれぞれ移動させた結果を示す。この場合、画像ＭＬと画像ＭＲは画像ＭＯの位置に重なり、同図のようになる。同図に示されるように、２つの立方体のうち観察者から遠方に配されている立方体の輪郭部のずれ幅が比較的少ないのに対して、観察者に近い方に配された立方体の輪郭部のずれ幅は比較的多いことが分かる。観察者から比較的遠い被写体のボケの量が少なくなり、比較的近い被写体のボケの量が多くなった画像が合成されている。合成された画像は、被写界深度が浅いレンズによって、比較的遠い被写体に焦点距離を合せて撮影して得られる画像と同等の画像になる。上記の合成方法によって、あたかも比較的遠い被写体に焦点距離を合せて撮影したかのような画像を得ることができる。

図９は、異なる位置から被写体を撮像した画像をシフトさせるシフト量を加減して合成画像を生成する方法を模式化して示す説明図である。同図に示すように、画像ＭＬと画像ＭＲは、画像ＭＯの方向に矢印の長さで示された距離だけそれぞれ移動される。矢印の長さは、上記の間隔Ｔに係数ｍを乗じた距離、即ちｍＴである。ここで、係数ｍは０以上１以下の値をとる。その結果、画像ＭＬと画像ＭＲは、画像ＭＯからずれた位置にシフトされて、互いにずれた状態で重ね合わされて合成される。

図１０は、図９において合成される合成画像を模式化して示す説明図である。同図に示されるように、２つの立方体のうち観察者から遠方に配されている立方体の輪郭部のずれ幅が比較的大きくなっているのに対して、観察者に近い方に配された立方体の輪郭部のずれ幅は比較的小さくなっていることが分かる。画像ＭＬと画像ＭＲのシフト量を加減したことにより、観察者から比較的遠い被写体のボケの量が多くなり、比較的近い被写体のボケの量が少なくなった画像が合成されている。合成された画像は、被写界深度が浅いレンズによって、比較的近い被写体に焦点距離を合せて撮影して得られる画像と同等の画像になる。上記のように、異なる位置から被写体を撮像した画像をシフトさせるシフト量を加減した上記の合成方法によって、あたかも比較的近い被写体に焦点距離を合せて撮影したかのような画像を得ることができる。
以上に示す方法で、画像処理装置１は、焦点距離に応じてボケの量を加減した合成画像を生成する。

（フィルタ処理について）
上記のように合成画像を生成するため、原画像に含まれる要素画像には、レンズアレイ５の光学特性に応じた歪が画像の周辺部に含まれる場合がある。そこで、歪の少ない範囲の画像を用いて合成画像を生成するため、歪の影響を低減した要素画像を合成画像生成のもととする。例えば、歪の影響を低減した要素画像を生成するために以下に示す何れかの処理を摘要することができる。

第１の処理は、原画像において歪量が比較的大きな領域をマスクするフィルタ処理である。この処理を施すためのフィルタ特性は、透過させる領域とマスク（遮断）する領域とが定められた、一部の領域を遮断させる遮断型の特性を含む。遮断する領域を歪量が比較的大きな領域に定めることにより、歪量が比較的大きな領域をマスクすることが可能になる。歪量が比較的大きな領域をマスクするフィルタ特性を、原画像に含まれる像の歪を低減するフィルタ特性に適用する。この第１の処理によって、原画像に含まれる像の歪を低減した要素画像を得ることが可能になる。つまり、フィルタ処理部２１は、原画像に含まれる像の歪を低減するフィルタ特性により、原画像に対するフィルタ処理を施した要素画像を生成する。

第２の処理は、歪量が比較的大きな領域の歪量を低減するように補正するフィルタ処理である。この処理を施すためのフィルタ特性は、歪量が比較的少ない領域を透過させる領域にして、比較的大きな領域の歪量を低減する特性にする。歪量を低減する特性とは、生じた歪を打ち消す逆の特性のことである。このフィルタ特性に基づいて、補正する領域の光学特性を演算処理によって補正する。この第２の処理によって、歪量を低減した要素画像を得ることが可能になる。つまり、フィルタ処理部２１は、原画像に含まれる像の歪を低減するフィルタ特性により、原画像に対するフィルタ処理を施した要素画像を生成する。

以下、上記の第１の処理を例示して、原画像に含まれる要素画像に対するフィルタ処理について説明する。

図１１は、歪量が比較的大きな領域をマスクするフィルタ特性ｆ（ｒ）を示す説明図である。同図に示されるグラフの横軸が光軸からの距離ｒ、縦軸が光軸からの距離に応じた透過率を示す。レンズの中心（光軸）から予め定められた長さの半径ｒ０の円の内側の領域の透過率を１にして、同領域外の透過率を０にする。このような特性をフィルタ特性ｆ（ｒ）として定め、式（１）に示す。

ｆ（ｒ）＝１ ：０≦｜ｒ｜≦ｒ０
ｆ（ｒ）＝０ ：ｒ０＜｜ｒ｜ ・・・（１）

上記の式（１）におけるｒ０を半径とする円の中心を、要素画像における光軸の位置にして、半径ｒ０の円の内側の領域の画像が比較的歪が少なくなるように半径ｒ０を定める。上記のようにｒ０を定めることにより、歪の影響が比較的少ない領域の像のデータを利用することが可能になる。

（合成画像を生成する処理について）
次に、図１２と図１３を参照して、合成画像を生成する処理について説明する。図１２は、合成画像を生成する処理の原理を示す説明図である。同図には、合成画像ＰＩＣＳを生成する処理と、合成画像ＰＩＣＳを生成する際に要素画像を重ね合わせた個所の正規化処理とが示されている。

合成画像ＰＩＣＳを生成する処理について説明する。合成画像を生成する処理の対象となる各要素画像に対するフィルタ処理を実施する。この図に示される各要素画像は、基準要素画像ＰＩＣ（ｓ、ｔ）をもとにして選択された選択要素画像ＰＩＣＳｔ（１、１）、ＰＩＣＳｔ（２、１）、・・・、ＰＩＣＳｔ（ｋ、ｋ）、・・・、ＰＩＣＳｔ（ｎ、ｎ）が示されている。上記のＰＩＣＳｔ（ｋ、ｋ）は、選択要素画像の中心を示し、上記の基準要素画像ＰＩＣ（ｓ、ｔ）に対応する。
ここで、選択要素画像ＰＩＣＳｔ（１、１）、ＰＩＣＳｔ（２、１）、・・・、ＰＩＣＳｔ（ｋ、ｋ）、・・・、ＰＩＣＳｔ（ｎ、ｎ）に、それぞれフィルタ特性ｆ（ｒ）のフィルタ処理を施す。処理が施された選択要素画像を選択要素画像ＰＩＣｆｓｔ（１、１）、ＰＩＣｆｓｔ（２、１）、・・・、ＰＩＣｆｓｔ（ｋ、ｋ）、・・・、ＰＩＣｆｓｔ（ｎ、ｎ）として示す。

合成要素画像生成部２５が合成画像ＰＩＣＳを生成するにあたり、選択要素画像ＰＩＣｆｓｔ（１、１）、ＰＩＣｆｓｔ（２、１）、・・・、ＰＩＣｆｓｔ（ｋ、ｋ）、・・・、ＰＩＣｆｓｔ（ｎ、ｎ）を、それぞれのシフト量に応じて、合成基準点の位置に向けてシフトする。例えば、選択要素画像ＰＩＣｆｓｔ（１、１）は、係数ｍを距離（１、１）に乗じて求められたシフト量だけ合成基準点の位置に向けてシフトされた位置に配される。選択要素画像ＰＩＣｆｓｔ（２、１）、・・・、ＰＩＣｆｓｔ（ｎ、ｎ）についても同様に、係数ｍを距離（２、１）、・・・、（ｎ，ｎ）にそれぞれ乗じて求められたシフト量だけ合成基準点の位置に向けてシフトされた位置に配される。上記の場合、シフトされた後の各選択要素画像ＰＩＣｆｓｔの位置は、シフト前の位置と合成基準点の位置との間になる。

上記のように、求められたシフト量だけシフトされた位置に配された後の選択要素画像ＰＩＣｆｓｔ（１、１）、ＰＩＣｆｓｔ（２、１）、・・・、ＰＩＣｆｓｔ（ｋ、ｋ）、・・・、ＰＩＣｆｓｔ（ｎ、ｎ）の明るさをそれぞれの位置に応じて加算して、合成画像ＰＩＣＳを算出する。算出された合成画像ＰＩＣＳは、シフトされた後の選択要素画像ＰＩＣｆｓｔ（ｋ、ｋ）の位置に形成される。また、算出された合成画像ＰＩＣＳから選択要素画像ＰＩＣｆｓｔ（ｋ、ｋ）の範囲を切り出すことにより、選択要素画像ＰＩＣｆｓｔ（ｋ、ｋ）の大きさと同じの大きさの画像を得るようにしてもよい。

以上の合成画像を生成する処理の手順を整理すると、以下のような手順で実施可能である。

（合成画像ＰＩＣＳを生成する処理手順について）
図１３を参照し、要素画像をシフトさせて合成した合成画像ＰＩＣＳを生成する処理（ステップＳ２０）について説明する。図１３は、要素画像をシフトさせて合成した合成画像ＰＩＣＳを生成する処理の手順を示すフローチャートである。以下の処理を合成要素画像生成部２５が実施する。まず、基準要素画像Ｐ（ｓ、ｔ）を基準に絞り値Ｆに応じて定められる範囲指定する変数ｎの値に応じた大きさに含まれるフィルタ処理された要素画像ＰＩＣｆを抽出する。フィルタ処理された要素画像ＰＩＣｆを、合成基準点の位置の方向に、係数ｍを乗じて求められたシフト量に応じて、シフト（移動）させる（ステップＳ２１）。次に、シフトさせた各要素画像の明るさを、シフト後の要素画像の位置で加算した合成画像ＰＩＣＳを生成する（ステップＳ２３）。
以上に示す手順に従って、画像処理装置１は、合成画像ＰＩＣＳを生成する処理を実施する。

（合成画像ＰＩＣＳを生成する際に要素画像を重ね合わせた個所の正規化処理について）
図１２に戻り、合成画像ＰＩＣＳを生成する際に要素画像を重ね合わせた個所の正規化処理について説明する。合成画像ＰＩＣＳを生成する際に要素画像を重ね合わせた個所の明るさを正規化する正規化処理は、次の２つのステップに分けて処理される。
第１のステップは、複数の要素画像を重ね合せて加算処理することによる明るさの変化を検出するステップである。この処理を行うことにより、例えば、白１００％の明るさを基準とする画像を所定の枚数重ね合わせた場合に、それぞれの位置の基準とする明るさが変化する。このステップにおいて、変化した基準とする明るさを算出する。
第２のステップは、合成された合成画像ＰＩＣＳの明るさを、第１のステップで算出した基準の明るさに応じて、基準の明るさが揃うように規格化する処理である。
選択要素画像のシフト量が異なることにより、基準要素画像に重ね合される画像の枚数は、それぞれの位置で異なる。上記の２つのステップの処理を行うことにより、重ね合わせた要素画像の枚数に影響されることなく画像の明るさを規格化することを可能にする。

上記第１のステップの一態様について説明する。基準画像記憶部３２は、フィルタ処理部２１によって書き込まれたフィルタ特性ｆ（ｒ）として基準画像ＰＩＣ０ｆを記憶する。基準画像ＰＩＣ０ｆは、例えば白１００％の明るさを示す画像であり、フィルタ特性ｆ（ｒ）に応じて成形されたものとする。基準画像選択処理部３３は、基準画像記憶部３２を参照し、複数の基準画像ＰＩＣ０ｆのうちから、指示された位置（ｓ、ｔ）にある基準画像ＰＩＣ０ｆ（ｓ、ｔ）を選択する。選択基準画像抽出処理部３４は、複数の基準画像ＰＩＣ０ｆのうち基準要素画像Ｐ（ｓ、ｔ）を基準に定められる範囲であって、指示された絞り値に応じた範囲を示す変数ｎの大きさによって定められる範囲に含まれる基準画像ＰＩＣ０ｆ（ｓ、ｔ）を選択する。選択された基準画像ＰＩＣ０ｆ（ｓ、ｔ）を選択基準画像ＰＩＣ０ｆｓｔと記す。選択基準画像ＰＩＣ０ｆｓｔには、例えば、選択基準画像ＰＩＣ０ｆｓｔ（１、１）、ＰＩＣ０ｆｓｔ（２、１）、・・・、ＰＩＣ０ｆｓｔ（ｋ、ｋ）、・・・、ＰＩＣ０ｆｓｔ（ｎ、ｎ）が含まれる。

合成基準画像生成部３５は、選択基準画像抽出処理部３４によって選択された選択基準画像ＰＩＣ０ｆｓｔの位置から合成基準点の位置に向けて、係数ｍを乗じた距離だけ移動させた選択基準画像ＰＩＣ０ｆｓｔ（１、１）、ＰＩＣ０ｆｓｔ（２、１）、・・・、ＰＩＣ０ｆｓｔ（ｋ、ｋ）、・・・、ＰＩＣ０ｆｓｔ（ｎ、ｎ）に基づいて合成画像を生成する。例えば、合成基準画像生成部３５は、選択基準画像ＰＩＣ０ｆｓｔ（１、１）、ＰＩＣ０ｆｓｔ（２、１）、・・・、ＰＩＣ０ｆｓｔ（ｋ、ｋ）、・・・、ＰＩＣ０ｆｓｔ（ｎ、ｎ）を当該選択基準画像の位置から合成基準点の位置に向けて移動させる移動量を、当該選択基準画像の位置から合成基準点の位置までの距離に前述の係数ｍを乗じて算出する。合成基準画像生成部３５は、生成した合成基準画像を合成基準画像記憶部３６（図３）に書き込む。合成基準画像記憶部３６は、合成基準画像生成部３５から出力された合成基準画像を記憶する。

次に、上記の第１のステップの基準画像をシフトさせて合成した合成基準画像ＰＩＣ０Ｓを生成する処理 （ステップＳ３０）について説明する。図１４は、基準画像をシフトさせて合成した合成基準画像ＰＩＣ０Ｓを生成する処理の手順を示すフローチャートである。以下の処理を合成基準画像生成部３５が実施する。

まず、基準要素画像Ｐ（ｓ、ｔ）に対応する基準画像ＰＩＣ０（ｓ、ｔ）と、絞り値Ｆに対応する範囲指定値ｎに応じた大きさの範囲に含まれる選択要素画像ＰＩＣｆｓｔ（ｉ，ｊ）に対応する選択基準画像ＰＩＣ０ｓｔ（ｉ，ｊ）とを定める。基準画像ＰＩＣ０（ｓ、ｔ）と選択基準画像ＰＩＣ０ｓｔの明るさを、例えば白１００％の明るさとする。基準画像ＰＩＣに施したフィルタ特性ｆ（ｒ）と同じフィルタ特性ｆ（ｒ）で、選択基準画像ＰＩＣ０ｓｔ（ｉ，ｊ）にフィルタ処理を施して、選択基準画像ＰＩＣ０ｓｔ（ｉ，ｊ）を生成する（ステップＳ３１）。次に、基準要素画像Ｐ（ｓ、ｔ）に対応する基準画像ＰＩＣ０ｆ（ｓ、ｔ）を基準にして、絞り値Ｆに対応する範囲指定を示す変数ｎの値に応じた大きさの範囲に含まれる選択基準画像ＰＩＣ０ｆｓｔ（ｉ，ｊ）を抽出する。選択基準画像ＰＩＣ０ｆｓｔ（ｉ，ｊ）は選択要素画像ＰＩＣｆｓｔ（ｉ，ｊ）に対応する。抽出された選択基準画像ＰＩＣ０ｆｓｔ（ｉ，ｊ）を合成基準点の位置の方向に、選択要素画像ＰＩＣｆｓｔ（ｉ，ｊ）に対応させて定められたシフト量に応じてシフト（移動）させる（ステップＳ３２）。次に、シフトさせた各基準画像の明るさを、シフト後の基準画像の位置で加算した合成基準画像ＰＩＣ０Ｓを生成する（ステップＳ３３）。
以上に示す処理により、基準画像をシフトさせて合成した合成基準画像ＰＩＣ０Ｓを生成できる。

次に、前述の図１２を参照して上記第２のステップの一態様について説明する。規格化処理部２７は、フィルタ処理された要素画像をもとに生成された合成画像の明るさを、フィルタ処理部２１のフィルタ特性ｆ（ｒ）に応じて規格化する。合成画像ＰＩＣＳと合成基準画像ＰＩＣ０Ｓとにおいて、合成画像ＰＩＣＳと合成基準画像ＰＩＣ０Ｓを構成する画素のうち、互いに対応する位置の画素の明るさのデータに基づいて、出力画像ＰＩＣｏｕｔを生成する。規格化処理部２７は、合成画像ＰＩＣＳの画素の明るさを示すデータの値を、対応する合成基準画像ＰＩＣ０Ｓの画素の明るさのデータの値で除算して、その商を出力画像ＰＩＣｏｕｔにおける当該位置の画素の明るさを示すデータにする。規格化処理部２７は、生成した出力画像ＰＩＣｏｕｔを出力する。このような処理を各画素に施すことにより、基準の明るさが揃うようになり、出力画像ＰＩＣｏｕｔを表示可能な画像に変換することができる。
なお、図１２中の除算の式を換言して次の式（２）のように定義してもよい。

（フィルタ処理が施された各要素画像の画素ごとに総和をとった明るさ情報の積算値）÷（当該画素においてレンズ要素画像を加算した枚数（回数）×基準とする明るさ（白１００％）） ・・・（２）

次に、出力画像の表示の例を説明する。
図１５は、出力画像の表示の例を示す説明図である。同図に示される符号７００は、表示部７０に表示される表示画面の全領域を示す。表示領域７００のうち画像表示領域７１０には、画像処理装置１によって生成された出力画像が表示されている。ここでは、画像表示領域７１０に示されるように、出力画像として表示されている画像には、所望の量のボケを有する画像が表示されている。また、出力画像として表示されている画像には、観察者の操作に応じた距離にある被写体の像のボケを低減させて、あたかもピントを合わせたかのように表示させることができる。このように、合成後の画像においてボケが生じない被写体の位置を指定する操作（ピントを合わせる操作）は、スライダー７２６の操作に応じて定めることができる。
表示領域７００のうち操作表示領域７２０には、画像処理装置１によって生成された画像処理装置１の処理を指定する操作入力を行うための画面が画像処理装置１によって生成されて表示されている。操作表示領域７２０において、要素画像を指定する要素画像選択入力操作領域７２１、スライダー７２５、スライダー７２６が示されている。要素画像選択入力操作領域７２１には、選択された要素画像の位置を示す基準要素画像選択位置表示７２２と、絞り値Ｆに応じた大きさの範囲に含まれる選択要素画像の選択範囲表示７２３とが表示されている。選択範囲表示７２３に示されるように、選択要素画像は基準要素画像選択位置表示７２２を基準に定められた領域から抽出されたことが示されている。選択要素画像を抽出する領域の範囲は、広くなるほど、当該領域の角を丸くするように調整してもよい。
スライダー７２５には、指定する絞り値Ｆを指定するノブが設けられており、このノブの位置が、観察者が指定する絞り値を示す。このスライダーには、Ｆ１．０からＦ２２までの目盛が示されている。スライダー７２６には、指定する焦点距離Ｌを指定するノブが設けられており、このノブの位置が、観察者が指定する焦点距離Ｌの値を示す。このスライダーには、ＮＥＡＲ（近端）からＦＡＲ（遠端）までの目盛が示されている。例えば、このスライダーには、ＮＥＡＲ（近端）からＦＡＲ（遠端）までの間でＮＥＡＲ（近端）を基準にノブの位置を移動させる距離に応じて、前述の係数ｍの値が単調増加するように定める。より具体的には、スライダーがＮＥＡＲ（近端）に位置する場合の係数ｍの値を０にして、スライダーがＮＥＡＲ（近端）の位置から離れるに従って増加させて、ＦＡＲ（遠端）の位置に達した場合の係数ｍの値を１にするようにしてもよい。
このように、合成画像と操作のための表示画面を同じ表部７０に表示することにより、合成画面において生じさせたボケの加減を確認しながら設定を変更することが容易となる。

以上に示すように、画像処理装置１は、要素画像の平行移動（シフト）と、平行移動によって重なった領域の画素の明るさを加算することとによりボケのある合成画像を生成する。また、画像処理装置１は、合成画像の明るさを重なった要素画像の数に応じて規格化することにより、重なった要素画像の枚数のばらつきを補正する。このような処理を実施する画像処理装置１は、所望のボケのある画像を生成する調整作業の負荷を低減することができる。

［第２実施形態］
次に、図１６と図１７を参照して画像処理装置について説明する。図１６は、画像処理装置の概要を示す平面図である。同図には、画像処理装置１Ａが備える表示部７０と視点位置入力処理部（観察者検出部）５１Ａとが示されている。また、表示部７０の表示パネル面７０Ｓから所定の距離を隔てた距離には、観察者が表示部７０に顔を向けている状態が示されている。さらに、表示部７０の表示パネル面７０Ｓ側であって、表示部７０の近傍には、視点位置入力処理部（観察者検出部）５１Ａが配されている。視点位置入力処理部（観察者検出部）５１Ａは、観察者の位置を検出する。

図１７は、画像処理装置１Ａを示すブロック図である。同図に示される画像処理装置１Ａは、原画像取得部１１、原画像記憶部１２、画像処理部２０、指定情報生成部５０Ａ、操作画面情報生成部６０及び表示部７０を備える。

指定情報生成部５０Ａは、画像処理部２０の処理を指定する指定情報を生成する。例えば、指定情報生成部５０Ａは、視点位置入力処理部５１Ａ、絞り値入力処理部５３、及び、焦点距離入力処理部５５を備える。視点位置入力処理部５１Ａは、表示部７０（又は、視点位置入力処理部５１Ａ）に対する観察者の相対位置を検出して、基準要素画像を指定する位置（ｓ、ｔ）を示す情報を出力する。例えば、視点位置入力処理部５１Ａは、表示部７０に表示される合成画像を視認可能な範囲にいる観察者の位置を、観察者の眼の位置を検出することにより特定する。視点位置入力処理部５１Ａは、検出した観察者の眼の位置を表示部７０に対する相対位置として検出する。視点位置入力処理部５１Ａは、観察者の表示部７０に対する相対位置に応じて、観察者の視点の位置を推定して画像処理部２０を制御する。このように視点位置入力処理部５１Ａは、観察者の視点の位置を推定し、観察者の表示部７０に対する相対位置で示す。視点位置入力処理部５１Ａは、推定した視点の位置に応じて、位置（ｓ、ｔ）を示す情報を出力する。なお、視点位置入力処理部５１Ａは、虹彩又は瞳孔の何れかを検出し、検出した虹彩又は瞳孔の何れかの位置を観察者の眼の位置とする。
以上に示すように、画像処理装置１Ａは、観察者の位置に応じて表示する要素画像を選択するようにした場合において、画像処理装置１と同様に所望のボケのある画像を生成する調整作業の負荷を低減することができる。

［第３実施形態］
次に、図１８から図２０を参照して画像処理装置について説明する。図１８は、画像処理装置１Ｂの概要を示すブロック図である。同図に示される画像処理装置１Ｂは、画像供給装置２Ｂから供給される３次元ＣＡＤデータに基づいて、ボケの量を適宜調整した合成画像を生成する。画像処理装置１Ｂは、画像供給装置２Ｂから供給される３次元ＣＡＤデータを変換して多視点カメラの画像のような原画像にして、同原画像をもとにボケの量を適宜調整した合成画像を生成する。
同図に示される画像処理装置１Ｂは、原画像取得部１１Ｂ、原画像記憶部１２、画像処理部２０、指定情報生成部５０、操作画面情報生成部６０及び表示部７０を備える。

図１９は、要素画像の解像度を示す説明図である。同図に示される要素画像の解像度は、４８０画素ｘ４８０画素の解像度である。

図２０は、３次元ＣＡＤデータを多視点カメラの画像への変換処理を示す説明図である。同図に示される原画像取得部１１Ｂは、画像供給装置２Ｂから供給される３次元ＣＡＤデータを取得して、３次元ＣＡＤデータに基づいて３次元モデルを仮想的に形成する。例えば、３次元ＣＡＤデータによって示される３次元モデルの大きさ（高さ）が３０ｃｍ程度の物体とする。同物体を６０ｃｍほど離れた位置から仮想的なカメラ（仮想的な撮像装置）を所定の間隔で定められる位置から仮想的に撮像する。換言すれば、３次元ＣＧ空間内を仮想的なカメラを所定の間隔（ピッチ）で移動させて、それぞれの位置においてレンダリングする。このように複数の位置でレンダリングして得られた画像をそれぞれの位置の要素画像にすることにより、３次元ＣＧ空間内を仮想的なカメラを移動させて撮影するのと同様の要素画像を取得することができる。
このようにして取得した複数の要素画像を１つに纏めて、多視点カメラの画像のような原画像にする。

以上の処理を、原画像取得部１１Ｂが実施する。原画像取得部１１Ｂは、３次元ＣＡＤデータを取得して、合成処理の対称とする原画像を原画像記憶部１２に書き込む。このように、画像供給装置２Ｂから取得する情報は、３次元ＣＡＤデータであるが、原画像取得部１１Ｂが、３次元ＣＡＤデータからのレンダリングを行うことにより、原画像を前述のとおり多視点カメラの画像にすることができる。

以上に示すように、画像処理装置１Ｂは、３次元ＣＡＤデータのレンダリングを原画像の取得時に実施する。このレンダリング処理において、仮想的なカメラの位置に応じた複数の要素画像を生成する。生成された複数の要素画像を纏めて多視点カメラの画像にすることにより、ボケの量（加減）を調整する場合においても改めてレンダリングの処理を実施する必要がない。このようにＣＧなどの３次元データに基づいた処理においても、前述の画像処理装置１と同様に所望のボケのある画像を生成する演算処理の負荷を低減することができる。これにより、画像処理装置１Ｂは、所望のボケのある画像を生成する調整作業の負荷を低減することができる。なお、本実施形態の場合には、被写体を実写する場合と異なり、要素画像が３次元ＣＡＤデータから生成されているため、レンズの歪に影響されることなく全焦点の画像群を得ることができることから、フィルタ処理と規格化処理を省略してもよい。

［第３実施形態の変形例］
なお、原画像取得部１１が行う、３次元ＣＡＤデータのレンダリングに基づいて多視点カメラの画像を生成する処理を画像処理装置１Ｂの外部で行うようにして、画像処理装置１Ｂが多視点カメラの画像を原画像として取得するようにしてもよい。

［第１実施形態の変形例］
次に、図２１と図２２及び図１から図１５を参照して第１実施形態の変形例にあたる画像処理装置について説明する。前述の図１に示す画像処理装置１において、原画像における要素画像の位置を保持したまま、各要素画像内の像を鏡像に変えた場合について例示する。例えば、原画像取得部１１は、画像供給装置２から原画像を取得して、取得した原画像に含まれる要素画像を鏡像に変換して、変換後の各要素画像を原画像記憶部１２に書き込む。原画像記憶部１２に書き込まれた各要素画像は、原画像の要素画像に対して鏡像化されたものになる。
上記のように鏡像化された画像に対する合成処理においては、合成画像記憶部２６におけるシフト量を第１実施形態から変更する。つまり、焦点距離Ｌに応じて定めた係数ｍの生成方法を変更する。
図２１は、第１実施形態の変形例において、異なる位置で撮像した画像をシフトさせるシフト量を加減して合成画像を生成する方法を模式化して示す説明図である。同図は、前述の図９に対応する。同図に示す画像ＭＬｍと画像ＭＲｍは、図９に示す画像ＭＬと画像ＭＲの鏡像である。同図に示すように、画像ＭＬｍと画像ＭＲｍは、画像ＭＯの方向に、矢印の長さで示された距離だけそれぞれシフトされる。矢印の長さは、上記の間隔Ｔに係数ｍを乗じた距離、即ちｍＴである。ここで、係数ｍは１以上２以下の値をとる。その結果、画像ＭＬｍと画像ＭＲｍは、画像ＭＯからずれた位置にシフトされて、互いにずれた状態で重ね合わされて合成される。
図２２は、図２１において合成される合成画像を模式化して示す説明図である。同図に示されるように、２つの立方体のうち観察者から遠方に配されている立方体の輪郭部のずれ幅が比較的大きくなっているのに対して、観察者に近い方に配された立方体の輪郭部のずれ幅は比較的小さくなっていることが分かる。上記のように要素画像の像を鏡像にした場合においても、観察者から比較的遠い被写体のボケの量が多くなり、比較的近い被写体ボケの量が少なくなった画像が合成されている。合成された画像は、被写界深度が浅いレンズによって、比較的近い被写体に焦点距離を合せて撮影して得られる画像と同等の画像になる。上記のように、異なる位置から被写体を撮像した画像をシフトさせるシフト量を加減した上記の合成方法によって、あたかも比較的近い被写体に焦点距離を合せて撮影したかのような画像を得ることができる。
以上に示すように、変形例として示した画像処理装置１における合成要素画像生成部２５は、選択要素画像抽出処理部２４によって選択された選択要素画像の位置から合成基準点の位置までの距離に、指示された焦点距離に応じて変化する１以上２以下の係数を乗じて移動量を求める。以降の処理を第１実施形態と同様に施すことにより、画像処理装置１は、焦点距離に応じた合成画像を生成することができる。
なお、上記のように係数ｍを定めた場合、シフトされた後の各選択要素画像ＰＩＣｆｓｔの位置は、シフト前の位置に対し合成基準点の位置を挟む位置になる。

前述の図１５に示される出力画像の表示の例におけるスライダーを用いて焦点距離Ｌを定める場合には、ＮＥＡＲ（近端）からＦＡＲ（遠端）までの間でＮＥＡＲ（近端）を基準にノブの位置を移動させる距離に応じて、前述の係数ｍの値が単調減少するように定める。より具体的な例では、スライダーがＮＥＡＲ（近端）に位置する場合の係数ｍの値を２にして、スライダーがＮＥＡＲ（近端）の位置から離れるに従って減少させて、ＦＡＲ（遠端）の位置に達した場合の係数ｍの値を１にする。本変形例の場合においても、前述の図１５と同様の操作方法で操作することができる。
このように、合成画像と操作のための表示画面を同じ表示部７０に表示することにより、合成画面において生じさせたボケの加減を確認しながら設定を変更することが容易となる。

以上に示すように、変形例として示す画像処理装置１は、指定された焦点距離Ｌに応じて単調に変化する係数ｍを用いた要素画像の平行移動（シフト）と、平行移動によって重なった領域の画素の明るさを加算することとによりボケのある合成画像を生成する。このような処理を実施する変形例として示す画像処理装置１は、所望のボケのある画像を生成する調整作業の負荷を低減することができる。

なお、画像処理装置１（１Ａ，１Ｂ）は、基準要素画像選択処理部２３は、多視点カメラによる画像を原画像にして、前記原画像に含まれる複数の要素画像のうちから、指示された位置にある基準要素画像を選択する。選択要素画像抽出処理部２４は、前記複数の要素画像のうち前記基準要素画像を基準に定められる範囲であって、指示された絞り値に応じた大きさの範囲に含まれる要素画像（選択要素画像）を選択する。合成要素画像生成部２５は、前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて前記移動量だけ移動させ、移動後の選択要素画像に基づいて合成画像を生成する。これにより、合成要素画像生成部２５は、前記選択要素画像の位置から前記合成基準点の位置までの距離に指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて前記移動量だけ移動させ、移動後の前記選択要素画像と前記基準要素画像とに基づいて合成画像を生成することができる。このことから、画像処理装置は、所望のボケのある画像を生成する調整作業（プロセス）の負荷を低減することができる。

また、以上に示した画像処理装置１（１Ａ，１Ｂ）は、映像表現を伴うコンテンツ制作などの現場で有用である。また、画像処理装置１（１Ａ，１Ｂ）は、インテグラル立体テレビのようにレンズアレイを搭載するテレビの設計において、視聴時の表示部の表示特性をシミュレーションすることを可能にする。

なお、３次元空間にある物体を立体視する時の要因として、（１）両眼視差、（２）焦点の調整、（３）単眼の運動視差があげられる。画像処理装置１（１Ａ，１Ｂ）では、（２）焦点の調整、（３）単眼の運動視差の評価が可能である。さらに、画像処理装置１（１Ａ，１Ｂ）がシャッターグラスを備えて、左右の眼で異なる画像を視認できるようにして、立体画像を表示する場合には、シャッターグラスを利用することにより、（１）両眼視差についても制御することが可能となる。

なお、本発明の実施の形態は、上述の例に限るものではなく、本発明の範囲内で様々な形態をとることができる。

なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりメッセージの表示制御を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、画像処理装置１（１Ａ，１Ｂ）で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて画像処理装置１（１Ａ，１Ｂ）で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に画像処理装置１（１Ａ，１Ｂ）で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１Ａ、１Ｂ 画像処理装置
２０ 画像処理部（画像処理装置）、
２１ フィルタ処理部、２２ 要素画像記憶部、２３ 基準要素画像選択処理部、
２４ 選択要素画像抽出処理部、２５ 合成要素画像生成部、２６ 合成画像記憶部、
２７ 規格化処理部、２８ 出力画像記憶部、２９ 画像出力処理部、
３２ 基準画像記憶部、３３ 基準画像選択処理部、３４ 選択基準画像抽出処理部、
３５ 合成基準画像生成部、３６ 合成基準画像記憶部、
１１、１１Ｂ 原画像取得部、
５０、５０Ａ 指定情報生成部、５１、５１Ａ 指定情報生成部、７０ 表示部

Claims (4)

1. 多視点カメラによる画像を原画像にして、前記原画像に含まれる複数の要素画像のうちから、指示された位置にある基準要素画像を選択する基準要素画像選択処理部と、
   前記複数の要素画像のうち前記基準要素画像を基準に定められる範囲であって、指示された絞り値に応じた大きさの範囲に含まれる要素画像を選択して選択要素画像とする選択要素画像抽出処理部と、
   前記選択要素画像の位置から予め定められた合成基準点の位置までの距離に、指示された焦点距離に応じて変化する係数を乗じて移動量を求め、前記選択要素画像を前記合成基準点の位置に向けて、前記移動量だけ移動させ、移動後の前記選択要素画像に基づいて合成画像を生成する合成要素画像生成部と、
   前記原画像に含まれる像の歪を低減するフィルタ特性により、前記原画像に対するフィルタ処理を施した要素画像を生成するフィルタ処理部と、
   前記フィルタ処理された要素画像をもとに前記生成された合成画像の明るさを前記フィルタ処理部のフィルタ特性に応じて規格化する規格化処理部と、
   を備え、
   前記基準要素画像選択処理部は、前記指示された位置にある基準要素画像を、前記フィルタ処理された要素画像から選択し、
   前記選択要素画像抽出処理部は、前記指示された絞り値に応じた範囲に含まれる要素画像を、前記フィルタ処理された要素画像から選択する、
   ことを特徴とする画像処理装置。
2. 前記指示された焦点距離に応じて単調に変化する前記係数を出力する焦点距離入力処理部をさらに備え、
   前記合成要素画像生成部は、前記選択要素画像を当該選択要素画像の位置から前記合成基準点の位置に向けて移動させる移動量を、前記出力された係数と当該選択要素画像の位置から前記合成基準点の位置までの距離とに基づいて算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成画像を表示する表示部と、
   前記表示部に表示される合成画像を視認可能な範囲にいる観察者の位置を、前記表示部に対する相対位置として検出し、前記検出した相対位置に応じて、前記基準要素画像を選択する位置を指示する観察者検出部と、
   をさらに備え、
   前記基準要素画像選択処理部は、前記観察者検出部によって指示された位置にある基準要素画像を選択する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. コンピュータを、
   請求項１から３までのいずれか１項に記載の画像処理装置、
   として機能させるためのプログラム。