JP4089912B2 - デジタルカメラシステム - Google Patents

Description

本発明は、デジタルカメラシステムに関する。

人間の目は、奥行きのある対象物でも、ピンぼけを感じることはない。また、眼鏡をかけた場合、網膜に射影される画像は大きく歪んでいるにもかかわず、人間はすぐにこれを補正して知覚するようになる。さらに、人間の知覚は、鮮明な画像が得られているのは視野の中心付近のみであるにもかかわらず、知覚視野としては広い範囲にわたって鮮明な画像を認識している。

このような人間の知覚画像と、従来のカメラにより撮影された画像との主要な相違点は次の３点に要約できる。
（１）知覚画像には画像の奥行き（３次元）情報が存在するが、１枚の写真画像にはこれがない。
（２）１回の（１枚の）画像として知覚される視野は、写真画像に比べ飛躍的に広い。
（３）知覚画像はパンフォーカスである（ピンぼけでない）。

デジタルカメラシステムの分野において、上に述べたような人間の視覚の持つ機能の実現は未開拓である。僅かにパンフォーカスに関して、ピント位置を少しずつずらして撮影された複数の画像から、最もシャープな画像の画素を選び、パンフォーカス画像を合成する手法が提案されている程度である（非特許文献１）。
児玉ほか；"複数の異なる焦点画像からの全焦点画像の再構成"，１９９５年テレビジョン学会年次大会，P.１４９

本発明の目的は、前述の人間の知覚画像に近い画像を獲得するためのデジタルカメラシステムを提供することにある。

特に、本発明は、人間の知覚する画像と同様にピンぼけのないパンフォーカス画像が得られるデジタルカメラシステムを提供することにある。

本発明の骨子は、デジタルカメラシステムに、同一の被写体を異なった焦点距離で撮影した複数の画像を保存する手段と、この保存された複数の画像の各画素に濃度勾配に相関の高い変数を利用して重み付けをした複数の画像よりパンフォーカス画像を作成する手段とを具備せしめることである。パンフォーカス画像作成の詳細については後述する。

本発明によれば、デジタルカメラシステムにおいて、人間の知覚する画像と同様にピンぼけのないパンフォーカス画像を得ることができる。

以下、本発明の実施の形態を、図面を用いて説明する。

本発明の第１の実施例によれば、撮影した画像に、被写体の奥行き情報を付加することができる。まず、奥行き情報の獲得方法について説明する。

被写体の奥行きを撮影した画像だけから見つけるためには、複数の画像が必要である。人間は奥行きの認識に両眼の視差を利用している。視差だけでは十分な精度が得られない場合は、人間自身が左右に動いて、より大きな視差を故意に作っている。これと同じことをカメラで行うには、撮影者が動き、異なる場所で同一の被写体を撮影すればよい。こうすることによって、２枚の画像に視差が生じる。

以上のことを図１により説明する。図１に示すように、カメラのレンズ１と撮像板２の距離をＦo、レンズ１と被写体Ｏiの距離をＲo(i)とした場合に、撮影者がカメラを持ったまま、被写体の方向に対し垂直な方向に距離Ｌだけ動くと、つまり、レンズ１及び撮像板２がそれぞれ１（１）及び２（１）の位置から１（２）及び２（２）の位置まで移動すると、被写体Ｏiの像は、撮像板１の上をＦo×Ｌ／Ｒo(i)だけ移動する。Ｆoが一定で、かつＲo>>Ｆoであれば、撮像板２上の像の移動量は、距離Ｒo(i)にほぼ反比例する。したがって、人がカメラを持って移動する間に、個々の画像要素（画素）がどれだけ移動したかを記憶しておけば、被写体の奥行き情報を復元できる。

図２は、このような原理に基づく本発明の第１実施例によるデジタルカメラシステムの概略構成図である。図３は、本実施例のデジタルカメラシステムを用い、撮影画像に被写体の奥行き情報を付加する手順を示すフローチャートである。

図２において、１００はレンズ、撮像板（ＣＣＤ等）、焦点調整や絞り調整、シャッター等の機構を含む撮像部である。１０２は撮像系１００により撮影された画像のデータ等を記憶するための記憶部、１０４は奥行き情報を抽出するための奥行き情報抽出部、１０６は撮影者がシャッター操作や撮影モードの切り替え等の操作をするための操作部、１０８は外部コンピュータ等とのデータの授受のための外部インターフェイス部、１１０は各部の制御のための制御部である。

撮影画像に被写体の奥行き情報を付加する場合、まず、静止画像撮影モードで、被写体を１枚撮影する（図３、ステップＳ１）。撮影された静止画像フレームは記憶部１０２に記憶される。

次に、動画撮影モードに切り替え、静止画像を撮影した時の光軸方向に直交する方向に移動しながら同じ被写体を連続撮影する（ステップＳ２）。撮影された一連の動画フレームは記憶部１０２に記憶される。ただし、動画フレームの記憶域と静止画像フレームの記憶域とは別個の物理メモリであってもよい。なお、動画フレームは奥行き情報の抽出のために利用されるものであるので、奥行き情報の抽出が済んだ段階で消去される。

必要数の動画フレームが撮影されると、撮影動作を終了し、奥行き情報の抽出処理が奥行き情報抽出部１０４によって実行される（ステップＳ３）。奥行き情報抽出部１０４は、まず、最初の動画フレームと、それに続く各動画フレームとを順次比較し、比較した両画像の差分がゼロになる面積が最大になる位置（基準位置）を探す。具体的には、比較する２フレームを相対的に微小量ずつ並行移動させながら、画素単位又は小領域単位の差分を算出し、この差分値のフレーム当たりの合計が最小になった相対的位置を探す。次に、最初の動画フレームをｍ×ｎの長方形ブロックに分割し、このブロック単位で、最初の動画フレームと後続の各動画フレームを比較する。比較の初期位置は上記基準位置である。この比較により、各ブロック単位に、その周辺で最大の類似度を有する動画領域を探す（探索の範囲は予め定めておく）。そして、各ブロックの最大類似度を示す動画領域までの相対的距離（Ｉ，Ｊ）を求め、これを奥行き情報として記憶部１０２に格納する。

図４は、奥行き情報抽出の説明図である。１２０（１）は最初の動画フレーム、１２０（２），１２０（３），・・・，１２０（ｎ）は後続の動画フレームである。動画フレーム１２０（１）と次の動画フレーム１２０（２）を比較すると、三角形の像の部分が相対的に水平方向に移動していることが分かる。この移動した部分が差分フレーム１２１に網点領域として図示されている。このような像の水平、垂直方向の相対的移動量（Ｉ，Ｊ）をブロック単位に抽出するわけである。

抽出される奥行き情報の例を図５に示す。図５において、（０，０）は移動の観測されなかった領域を意味し、（０，-1）と（０，-3）は１方向のみ移動した領域を意味する。移動量が均一な領域は、カメラからほぼ等距離にある被写体を表す。領域間の移動量の差が両者の見かけの距離になる。この例では、（０，０）の領域と（０，-3）の領域が見かけ上、最も離れている。なお、上記処理における画素の座標値は、正確には、レンズ中心からの角度で表現すべき値であるが、近似的に撮像板の画素アドレスを利用することも可能である。

このようにして、連続した動画フレームを用いて被写体の奥行き情報が抽出され、これが静止画像フレームに付加された形で記憶される。奥行き情報を静止画像フレームとともに外部のコンピュータ等に取り込むことにより、撮影画像の３次元化等の編集が可能になる。

本発明の第２の実施例によれば、デジタルカメラシステムにおいて、視野の飛躍的な拡大を実現できる。前述のように、人間に知覚される視野は、写真にくらべ遥かに広い。言い換えれば、人間の知覚する画像１枚のサイズは、通常のカメラの撮影画像より遥かに大きい。このことをさらに考察すれば、人間はしばしば一地点で観察される画像を１群の画像として認識していることが多い。記憶の中の風景は通常、パノラマ画像である。つまり、一地点から見えるすべての画像を広角画像としても、個別の狭角の画像としても認識している。理想的には、個別の狭角画像が切れめなしに連続して、あらゆる方位をカバーする。これをカメラ画像で実現するためには、同一地点から撮影さた一連の画像がメモリに記憶されなければならないが、その個々の画像は、歪曲収差が除去される必要があり、また、一連の画像の一部であること及びその光軸方位が分かるようなタグが付加されている必要がある。

図６は、そのような原理に基づき視野拡大を実現する、本発明の第２実施例によるデジタルカメラシステムの概略構成図である。図６において、２００はレンズ、撮像板（ＣＣＤ等）、焦点調整や絞り調整、シャッター等の機構を含む撮像部である。２０２は撮像系２００により撮影された画像のデータ等を記憶するための記憶部、２０４は画像の歪曲収差の除去を行う歪曲収差補正部、２０５は平面座標と球面座標の変換を行う座標変換部、２０６は複数の画像より１枚の大きな表示画像を合成する処理を実行する画像合成部である。２０８は撮影者がシャッター操作等のカメラ操作をするための操作部、２１０は外部コンピュータ等とのデータの授受のための外部インターフェイス部、２１２は各部の制御のための制御部である。

広角の画像を得るためには、まず、同一地点より少しずつ方位を変えながら撮影する操作を連続的に行い、撮影した画像のファイルは記憶部２０２に保管する必要がある。この画像ファイルの保管方法として、平面状の格子点の画像として保管する方法（方法１）と、画素の方位角度に対応させて保管する方法（方法２）のいずれを採用してもよい。ただし、いずれの保管方法を採用するにしても、歪曲収差補正部２０４によって、画像の歪曲収差を予め除去しておく。なお、この歪曲収差の除去には、例えば本出願人による特願平８−２７３２９４号又は特願平８−２９６０２５号特許出願に添付の明細書に記載の方法等を利用すればよいので、ここでは説明を省略する。

保管方法１では、撮像板に撮像した画像をそのままの形で保管する。各画素は、カメラへの入射光１本に対応するが、画像の滑らかな合成を可能にするためには、各画素への入射光の方位角度を再現可能にするためのパラメータを保持しておく必要がある。

図７において、カメラの２つの異なった方位が光軸Ｌ１，Ｌ３で示されている。１１（１）と１１（２）はそれぞれの方位の時のレンズ１１の位置を示し、１２（１）と１２（２）はそれぞれの方位の時の撮像板１２（ＣＣＤ等）の位置を示している。任意の光線Ｌ２は、撮像板１２が１２（１）の位置にある時にも１２（２）の位置にある時にも撮影されるが、両方の位置で撮影された画像を光線Ｌ２の位置でつながあわせても、１枚の画像を合成することはできない。なぜなら、その２つの画像平面は異なった平面であり、つなぎ合わせた部分で画像は滑らかな形状変換をしないからである。画像を滑らかに合成できるようにするためには、個々の画像の元の入射光線の方位角度を再現可能にする必要があり、そのために保持しておく必要のある重要なパラメータ次のとおりである。
＊画像のファイル名称
＊画像の光軸方位を示すタグ
＊レンズと撮像板との距離
＊撮像板の画素ピッチ（水平方法及び垂直方向）
＊基準画像（通常、一連の画像中の最初に撮影された画像）に対する各画像の相対方位角度
このようなパラメータの付加、保存及び画像の保存は制御部２１２により管理される。

保管方法２では、画像の各画素を、その入射光の方位角度に対応させて保管する。画像の合成を容易にするため、方法１と違って、平面の撮像板に撮影された画素を、球面の座標（方位角度）上で等間隔になるように座標変換部２０５で予め変換を施して保存する方法である。

図８は、この座標変換の様子を示しており、２１はレンズ、２２は撮像板である。光軸Ｌ１以外の入射光Ｌ２，Ｌ２’が撮像板２２上につくる等ピッチの画素ｐ１，ｐ２の座標ではなく、これに対応する球面２３上の位置ｑ１，ｑ２の座標に変換する。このような変換を全画素について施したものを保存する。ただし、図８から分かるように、単純な変換を施したのでは、球面２３上では光軸から離れるほど画素ピッチは小さくなりメモリ管理に都合が悪く、また後述の合成処理にも不都合であるので、補間によって等間隔な球面上画素に変換する。方法２の場合に保持する必要のある重要なパラメータは次のとおりである。
＊画像のファイル名称
＊画像の光軸方位を示すタグ
＊画像の画素間角度ピッチ（水平方向及び垂直方向：通常の撮像板では、方位角度は画素位置に依存するが、前述のように一定角度ピッチになるよう予め変換される）
＊基準画像（通常、一連の画像中の最初に撮影された画像）に対する各画像の相対方位角度
このようなパラメータの付加、保存及び画像の保存は制御部２１２により管理される。

以上のようにして一連の画像と関連したパラメータが記憶部２０２内に準備されると、画像合成部２０６において視野の拡大された画像の合成が可能である。図９は、この画像合成処理の流れを示すフローチャートである。図１０及び図１１は、この画像合成の説明のための図である。

図１０は、異なる方位（光軸方向）Ｐ１，Ｐ２を撮影した画像３１，３２の関係を示しており、カメラのレンズ中心Ｏは不動であり、被写体は無限遠にあるとする。画像３１の座標系は（ｘ１，ｙ１，ｚ１）で、画像３２の座標系は（ｘ２，ｙ２，ｚ２）で表されている。ξは両座標系の（ｘ，ｙ）平面の共通軸を表し、αはｘ１軸と共通軸ξのなす角度、βはｘ２軸と共通軸ξのなす角度、γはｚ１軸とｚ２軸のなす角度である。画像３１を基準画像とすれば、図示のα，β，γはそのまま画像３２の基準画像に対する相対角度を表す角度パラメータとして用いることができる。

画像合成処理の内容は次のとおりである。最初のステップＳ１１において、見ようとする方位（Φ，Ψ）と画像のサイズ（Ｗ）を指定する。これを（Φ，Ψ，Ｗ，α，β，γ）と置く。

次のステップＳ１２において、先に指定された方位（Φ，Ψ）に最も近い光軸方位を持つ画像（Φ'，Ψ'，Ｗ'，α'，β'，γ'）を記憶部２０２より取り出す。

次のステップＳ１３において、方位（Φ'，Ψ'）の方向の球面を定義し、この球面上に画像（Φ'，Ψ'，Ｗ'，α'，β'，γ'）を射影する。前記方法１によって画像が保管されている場合、画像の各画素は方位（Φ'，Ψ'）に垂直な平面上の１点に対応するので、定義した球面上の１点に変換し、そこに画素値を出力する必要がある。この手続きは図８におけるｐ１，ｐ２からｑ１，ｑ２への変換に相当し、座標変換部２０５を利用して実行される。前記保管方法２が利用されている場合には、この変換手続きは不要である。

次のステップＳ１４において、前ステップで球面に定義された画素を、方位（Φ，Ψ）に垂直な目的平面Ｐ0に投影する（図１１を参照）。目的平面Ｐ0 上の画素位置（ｉ，ｊ）は
（Ｆ0 tan(θ)）^2 ＝ (ｉ ｐx)^2＋(ｊ ｐy）^2
で表すことができる。ここでｐx,ｐyは平面Ｐ0上の水平，垂直方向の画素ピッチであり、Ｆ0はレンズと撮像板（撮像平面）との距離（図１１では球の半径）、θは光軸と画素（ｉ，ｊ）への入射光のなす角度である。

次のステップＳ１５において、（Φ'，Ψ'）に最も近い方位の未使用の画像（Φ1，Ψ1，Ｗ1，α1，β1，γ1）を記憶部２０２より取り出し、その画像に関しステップＳ１３からの処理を続ける。処理が終了するのは、未使用の画像がなくなったか、又は、目的平面Ｐ0が覆い尽くされたとステップＳ１６又はＳ１７で判断された時である。

このようにして、目的の平面Ｐ0上に複数の画像による広角の合成画像が作成され、記憶部２０２に保存される。この合成画像データは、外部インターフェイス部２１０を介して外部のコンピュータ等へ転送し、そのまま画面に表示させることができる。

なお、同一地点から撮影された複数の画像と、それに関するタグ及びパラメータを記憶部２０２に保存し、それらのデータを外部のコンピュータ等へ転送し、必要な処理は外部のコンピュータ等で実行させることも可能である。

さて、前述のように、人間に知覚される画像の特徴の一つはパンフォーカスであることである。人間は、眼の焦点位置を絶えず動かしながら対象物を観察しており、これら個々の異なるピント位置の画像を脳の中で再構成していると考えられている。現在の技術では、唯１枚の画像をもとにしたパンフォーカス画像は得られていないが、その代替技術として、ピント位置を少しずつずらした複数の画像から、最もシャープな画像の画素を選ぶことによってパンフォーカス画像を合成する方法が知られていることは前述のとおりである。

本発明の第３の実施例によれば、デジタルカメラシステムにおいて、パンフォーカス画像を得ることができる。これが本発明の主題である。図１２は、そのようなデジタルカメラシステムの概略構成図であり、図１３はその説明図である。

図１２において、３００は撮像部である。この撮像部３００は、レンズ位置をずらしながら多数の画像を撮影し、撮影した一連の画像を出力する機構を備える。この機構としては、例えば、レンズを撮像板に近い位置から順次せり出しながら（又は、その逆に遠い位置から撮像板に近い位置に順次移動させながら）撮影し、最もシャープな画像（空間周波数が最大となった画像）が得られるレンズ位置を合焦点位置として検出する、公知のオートフォーカス機構を利用できる。ただし、オートフォーカスの目的では、合焦点の１枚の画像だけが保存され、他の画像は捨てられるが、本発明のデジタルカメラシステムでは、撮影されたすべての画像が記憶部３０１に保存され、パンフォーカス画像の合成に利用される。

３０２は、パンフォーカス画像の合成処理等を実行する演算処理部、３０３は操作部、３０４は記憶部３０１内のデータの外部転送等のための外部インターフェイス部、３０５は各部を制御する制御部である。なお、パンフォーカス画像を合成するための処理は演算量が大きいため、内部の演算処理部３０２の能力が不足する場合等には、外部の汎用コンピュータ等の高性能演算処理装置３０６へ画像とその関連データを転送し、必要な演算を実行させることも可能である。

さて、撮像部３００により撮影された一連の画像はすべて、それぞれの撮影時のレンズ位置（レンズと撮像板の距離）の情報とともに記憶部３０１に格納される。この一連の画像には、同一のファイル名称が付与されるとともに、各画像に撮影順にシリアル番号が付けられる。例えば、図１３に示す一連の画像３１０のそれぞれに付けられた風景１−１，風景１−２，．．．等の「風景１」がファィル名称であり、ハイフンの後の数字はシリアル番号である。また、シリアル番号の後のＦ0，Ｆ1，Ｆ2，．．．はレンズ位置を表すが、Ｆ0はレンズの焦点距離（無限遠像に対応）とし、Ｆ1，Ｆ2，．．．はＦ0 より順次遠いレンズ位置とする。

本発明によれば、一連の画像の各画素に、濃度勾配に相関の高い変数、例えば微分値もしくは高次微分値を利用して重み付けをした複数の画像より、ピンぼけを補正したパンフォーカス画像を作成する。以下、図１３を参照し、パンフォーカス画像の合成処理の具体例を説明する。

まず、一連の画像３１０中の「風景１−ｋ」画像のfk（ｉ，ｊ）画素とその周辺（４近傍）画素を読み出し、次のラプラシアンを計算する。
Δfk（I(k),J(k)）
＝｜fk(i(k),j(k)）−fk（i(k)-1，j(k)）｜
＋｜fk（i(k),j(k)）−fk（i(k),j(k)-1）｜
＋｜fk（i(k),j(k)）−fj（i(k),j(k)+1）｜
＋｜fk（i(k),j(k)）−fk（i(k)+1,j(k)）｜
ただし、Ｉ(k)＝ｉ×（F0／Fk），J(k)＝ｊ×（Fo／Fk）
と定義する。

このΔfk(I,J)のＷ乗、｛Δfk(I,J)｝^W、を第１のフレームメモリ（重みテーブル）３１２の番地(I,J)に記憶する。ここで、Ｗはある定数である。

重みの加算値Σk｛Δfk（I,J）｝^Wが計算され、これが第２のフレームメモリ（重み総和テーブル）３１４の番地（Ｉ，Ｊ）に記憶される（実際には前に書き込んだ値を読み出して、新しい値を加算して再度記憶する）。

異なるレンズ位置の画像の演算
Ｓｆ(I,J)＝Σk｛fk（I(k),J(k)）^W×Δfk（I,J）｝
が行われ、その演算結果が第３のフレームメモリ３１６の番地（Ｉ，Ｊ）に記憶される。この計算の意味するところは、２次微分値に対応した重みで画素輝度（濃度）を積算することである。

ここで、Ｉ(k)、Ｊ(k)は一般に整数ではないが、非整数の場合は、最も近い整数値を採用するか、又は隣接整数値を持つ、fk（[I(k)],[J(k)])，fk（[I(k)]+1,[J(k)])，fk（［I(k)],[J(k)]+1)，fk（[I(k)]+1,[J(k)]+1）から補間する。

レンズ位置に対応して取り込まれたＳf(I,J)を第１のフレームメモリ３１２の値で除した値、すなわち
Ｓf(I,J)／Σk｛Δfk（I,J）｝^W
が求められる。これが、ピンぼけの補正されたパンフォーカス画像である。この画像のデータは、内部の演算処理部３０２によって生成された場合には記憶部３０１に記憶され、必要に応じて外部インターフェイス部３０４を介し外部のコンピュータ等に転送される。なお、パンフォーカス画像が得られたならば、元の一連の画像は不要となるので廃棄してよい。

カメラを移動した時の撮像板上の像の移動量と被写体の奥行きとの関連を説明するための図である。 本発明の第１の実施例によるデジタルカメラシステムの概略構成図である。 奥行き情報を抽出するための手順を示すフローチャートである。 奥行き情報の抽出の説明図である。 抽出される奥行き情報の例を示す図である。 本発明の第２の実施例によるデジタルカメラシステムの概略構成図である。 異方位の画像のつなぎ合わせに関する説明図である。 平面から球面への座標変換に関する説明図である。 広角画像の合成処理の流れを示すフローチャートである。 広角画像の合成を説明するための図である。 広角画像の合成を説明するための図である。 本発明の第３の実施例によるデジタルカメラシステムの概略構成図である。 パンフォーカス画像の合成処理の説明のための図である。

符号の説明

１，１１，２１ レンズ
２，１２，２２ 撮像板
１００ 撮像部
１０２ 記憶部
１０４ 奥行き情報抽出部
１０６ 操作部
１０８ 外部インターフェイス部
１１０ 制御部
２００ 撮像部
２０２ 記憶部
２０４ 歪曲収差補正部
２０５ 座標変換部
２０６ 画像合成部
２０８ 操作部
２１０ 外部インターフェイス部
２１２ 制御部
３００ 撮像部
３０１ 記憶部
３０２ 演算処理部
３０３ 操作部
３０４ 外部インターフェイス部
３０５ 制御部
３０６ 外部の演算処理装置

Claims (1)

1. 同一の被写体を異なった焦点距離（F0,F1,…,Fk,…）で撮影した複数の画像（0,1,…,k…）を保存する手段と、
   前記保存された複数の画像の各画素に濃度勾配に相関の高い変数を利用して重み付けをした複数の画像よりパンフォーカス画像を作成する手段とを有し、
   前記パンフォーカス画像を作成する手段は、
   画像ｋの画素ｆk（i,j）とその周辺画素に基づいてラプラシアンΔｆk（I(k),J(k)）を計算し（ただし、Ｉ(k)＝ｉ×(F0/Fk)，Ｊ(k)＝ｊ×(F0/Fk)）、重み｛Δｆk(I,J)｝ ^W を求め（Ｗは定数）、該重みの総和Σk｛Δｆk(I,J)｝ ^W を計算し、
   異なる焦点位置の画像の演算Ｓf(I,J)＝Σk｛fk(I(k),J(k)) ^W ×Δｆk(I,J)｝を行い、
   前記Ｓf(I,J)を前記重みの総和で除した値Ｓf(I,J)／Σk｛Δｆk(I,J)｝ ^W をパンフォーカス画像とすることを特徴とするデジタルカメラシステム。

Images