JP6230161B2 - ライトフィールド取得装置及びライトフィールド取得方法 - Google Patents

Description

本発明は、ライトフィールド取得装置及びライトフィールド取得方法に関する。

通常の２次元画像を取得するとき、光線はレンズにより集光されることで、その角度情報が失われてしまうため、撮像後に焦点を変えたり撮像視点を移動したりすることはできない。しかし、光線の位置と向きを４次元で表現するライトフィールドデータとしてシーンを記録することができれば、撮像後のリフォーカスや視点移動といったアプリケーションが可能となる。ライトフィールドデータを取得する代表的な手法として、マイクロレンズアレイを利用したプレノプティックカメラ（例えば、非特許文献１参照）と、符号化開口を取り付けたカメラ（例えば、非特許文献２参照）を利用する２つの方法が提案されている。これらのカメラを使用すれば、撮像後のリフォーカスや視点移動を行うことが可能なライトフィールドデータを取得することが可能となる。

Ng, Ren, et al. "Light field photography with a hand-held plenoptic camera." Computer Science Technical Report CSTR 2.11 (2005). Levin, Anat, et al. "Image and depth from a conventional camera with a coded aperture." ACM Transactions on Graphics (TOG). Vol. 26. No. 3. ACM, 2007.

しかしながら、非特許文献１、２に記載のカメラにあっては、いずれの手法においても、シーンを記録するデータ量は、カメラが備える画像素子の素子数に依存してしまうため、あるシーンのライトフィールドを記録するデータを高解像度で記録することが難しいという問題がある。

本発明は、このような事情に鑑みてなされたもので、画像素子の画素数よりも少ないデータ量のシーンであっても高解像度のライトフィールドデータを取得することができるライトフィールド取得装置及びライトフィールド取得方法を提供することを目的とする。

本発明は、光学系を透過した光の光路を制御する符号化開口部を透過した光を受光する撮像部で撮像した画像信号からライトフィールドデータを取得するライトフィールド取得装置であって、前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定部と、符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得部と、前記信号取得部により取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元部とを備えることを特徴とする。

本発明は、前記符号化開口設定部を制御して、前記参照ライトフィールドデータを取得する参照ライトフィールドデータ取得部をさらに備えることを特徴とする。

本発明は、前記参照ライトフィールドデータ取得部は、前記参照ライトフィールドを取得するために所定の符号化開口形状に前記符号化開口部を制御することを特徴とする。

本発明は、前記画像信号を記録する画像信号記録部をさらに備えることを特徴とする。

本発明は、光学系を透過した光の光路を制御する符号化開口部を透過した光を受光する撮像部で撮像した画像信号からライトフィールドデータを取得するライトフィールド取得装置が行うライトフィールド取得方法であって、前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定ステップと、符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得ステップと、前記信号取得ステップにより取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元ステップとを有することを特徴とする。

本発明によれば、画像素子の画素数よりも少ないデータ量のシーンであっても高解像度のライトフィールドデータを取得することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示すライトフィールド取得装置４の処理動作を示すフローチャートである。 光線の透過の状態を示す説明図である。 選択された画素の信号値のみを有効にする方法を示す説明図である。 選択された画素の信号値のみを有効にする方法を示す説明図である。 デジタル回路を用いて、ハードウェア的に加算された画素値を直接観測例を示す図である。 理想信号、観測行列、観測信号の関係を示す図である。 角度解像度、空間解像度を示す説明図である。

以下、図面を参照して、本発明の一実施形態によるライトフィールド取得装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、画像を結像するレンズで構成する光学系であり、複数のレンズで構成されていてもよい。光学系１に接するように配置され、格子状の複数の窓の透過率を変化させることができる符号化開口部である。

符号３は、光学系１、符号化開口部２を透過した光を撮像する撮像部であり、２次元アレイの画像素子を備えている。符号４は、コンピュータ装置等で構成するライトフィールド取得装置であり、符号化開口部２、撮像部３と接続されている。符号５は、符号化開口部２の窓の開口状態を設定する符号化開口設定部である。符号６は、撮像部３において得られた画像信号を取得する信号取得部である。

次に、図２を参照して、図１に示すライトフィールド取得装置４の処理動作を説明する。図２は、図１に示すライトフィールド取得装置４の処理動作を示すフローチャートである。図１に示すライトフィールド取得装置４では、符号化開口により光学系１を構成するメインレンズの一部を通過する光線の一部を足し合せた信号を観測する。

まず、符号化開口設定部５は、符号化開口部２の符号化開口の形状を設定する（ステップＳ１）。これを受けて、信号取得部６は、撮像部３における加算画素の設定を行う（ステップＳ２）。

次に、符号化開口を通過した複数の光線を撮像部に集光し、撮像部３は、その集光した光の画素値を出力する。信号取得部６は、その画素値を取得する（ステップＳ３）。そして、信号取得部６は、設定画素値の加算を行い（ステップＳ４）、その加算値を記録する（ステップＳ５）。

ここで、図３を参照して、光線の透過の状態について説明する。図３は、光線の透過の状態を示す説明図である。光学系１を構成するメインレンズ１１を透過した光は、符号化開口部２を構成するマスク２０に到達する。マスク２０は、平面形状をしており、格子状の窓毎に透過率を制御することが可能である。図３に示す窓２１、２４は透過率が最大（ほぼ１００％）であり、メインレンズから到達した光は全て撮像部３内に備える画像素子３１に到達する。また、窓２２は、透過率が最小（０％）であり、メインレンズ１１から到達した光を透過しない。さらに、窓２３は、透過率が半分程度（５０％）になっており、メインレンズから到達した光を弱めて画像素子３１に到達する。マスク２０の各窓（開口）は、透過率を０〜１００％まで任意の値に制御可能である。

次に、信号取得部６は、複数の符号化開口形状での撮像を行うため、規定回数以上記録したかを判定する（ステップＳ６）。この判定の結果、さらに撮像が必要である場合にはステップＳ１へ戻り処理を繰り返す。そして、十分な撮像が完了し別の符号化開口形状に変更する必要が無ければ、次に進む。

次に、符号化開口設定部５は、取得した複数の画素値からライトフィールドの復元を行う（ステップＳ７）。この際、参照となる符号化開口形状を用いて取得した画素値から参照ライトフィールドを併せて復元する。

次に、符号化開口設定部５は、復元したライトフィールドと、参照ライトフィールドを比較し、復元ライトフィードの評価値を算出する（ステップＳ８）。そして、符号化開口設定部５は、復元ライトフィールドの評価値は十分か否かを判定する（ステップＳ９）。この判定の結果、評価値が十分であれば、処理を終了し、不十分であれば符号化開口データセットを更新し（ステップＳ１０）、ステップＳ１へ戻る。

次に、図３等を参照して、図２に示す主要なステップについて詳細に説明する。始めに、図１に示す符号化開口設定部５が行う符号化開口の設定（ステップＳ１）について説明する。

メインレンズ１１に接する位置にマスク２０を設置することで、符号化開口を実現する。マスクパタンを変えながら撮像を複数回行うため、電子的にマスクパタンの形状を変化させることのできる液晶パネルを用いるか、または、電子的に制御できない紙やプラスチック等のマスクを複数種類用意して差し替えることで、符号化開口を変化させてもよい。また、マスクの値は１ｂｉｔではなくとも、連続値を持たせてもよい。

また、複数の符号化開口形状をあらかじめ用意しておき、その形状を格納した符号化開口形状データセットを設けておき、このデータセットから読みだすことで符号化開口の設定を行うようにしてもよい。データセットに含まれる符号化開口形状は、ランダムに設定したもの、任意に設定したもの、もしくは自動的に生成される形状であってもよい。

本実施形態の特徴として、このデータセットの中に、いくつかの参照ライトフィールドを取得するための符号化開口形状を含ませておくことが望ましい。参照ライトフィールドをとるための符号化開口形状とは、マスク２０の中の任意の１点（１つの窓）のみが開いている形状を指す。これを符号化開口形状データセットに含ませておくことで、最終的な復元ライトフィールドの復元精度を評価するために用いられる参照ライトフィールドを取得することが可能となる。

次に、図１に示す信号取得部６が行う複数の光線を加算した信号値の観測方法について説明する。まず、どの画素値を加算するのかを決定する。どの画素値を加算するかは、符号化開口形状に従い任意に定めてもよいし、ランダムに定めてもよい。続いて、画像素子３１により撮像を行う。この撮像自体は通常の撮像と変わりがないので、詳細動作の説明は省略する。次に、先に決定した足し合せる画素の画素値を、合算し、記録する。ここで、合算した値のみを記録し、それ以外の画素値は破棄することにより記録されるデータ量を削減することができる。

選択された画素の信号値のみを有効にする方法として、図４および図５に示す二つの方法が適用できる。図４のＬＣＤ方式では、画像素子３１の前（マスク２０と画像素子３１の間）にＬＣＤ（Liquid Crystal Display）を設置することにより、選択された画素の前だけの光を透過させ、それ以外の画素に入射する光線を遮断することができる。図４に示すＬＣＤ３２においては、黒い部分が光線を遮断する部分であり、白い部分が光線を透過させる部分である。

一方、図５に示すスイッチ方式では、画像素子３１のすべての画素と接続したスイッチ３３を用意し、選択された画素の信号値のみを通過させ、それ以外の画素値を無効にすることで、実現することができる。

実際に加算した信号値を取得するためには、画素値を一旦観測してからソフトウェア上で加算する方法の他にも、図６のようにデジタル回路を用いて、ハードウェア的に加算された画素値を直接観測してもよい。図６は、デジタル回路を用いて、ハードウェア的に加算された画素値を直接観測例を示す図である。

例えば、画像素子と接続したマルチプレクサ３４を用いる方法が適用できる。具体的には、画像素子３１の各画素からの出力値が、マルチプレクサ３４への入力となり、マルチプレクサ３４内ではすべての画素値を加算し、出力することで実現することができる。

この方法は、画素値を加算するために、一旦全ての画素値を読み込む必要が無く、処理を大幅に短縮でき、処理の高速化を図ることが可能となる。

次に、図２に示すステップＳ６については、規定回数を定めておくことで、規定回数以上取得したら終了することで実現できる。

次に、図２に示すステップＳ７においてライトフィールドを復元する動作について説明する。前述した動作によって取得された複合光線の画素値を用いて、ライトフィールドを復元することができる。その復元方法について、詳細に説明する。

復号されるライトフィールド信号（理想信号）は、光学系１と符号化開口部２を透過し合算される光線の観測行列と、複数種類の符号化開口パターンにより観測された合算の信号値である観測信号から求めることができる。理想信号、観測行列、観測信号の関係は図７に示す通りである。図７において、各□（四角形）は、行列の値を示している。例えば、黒は透過（値＝１）を表し、白は遮断（値＝０）、灰は中間の任意の値（０より大きく１より小さい値）を示している。Ｎは、撮像した符号化開口形状の数、Ｗは角度解像度、Ｐは空間解像度である。図８は、角度解像度、空間解像度を示す説明図である。ここでは通常の画像ではなくライトフィールド画像であるので、図８に示すような画像が理想信号として定義されている。理想信号と、観測信号は、図８に示す画像をスパース行列（縦×横の画素列を、縦１列に並べ替えて表現する）で表現している。

観測行列は、ある観測信号を観測した際に用いた符号化開口の形状と、合算した光線の組み合わせにより一意に決定されるものである。この式を解くことにより、理想信号を求めることができる。解き方として、Ｌ１ノルム最小化法等が適用できる。

次に、図２に示すステップＳ８において復元ライトフィールドの評価について説明する。復元したライトフィールドと、参照ライトフィールドの、各光線の輝度もしくは画素値を、すべて比較して得られる差分値を、全て積算することで、復元したライトフィールドの精度を測定することができる。単純な差分値の加算でなくとも、これに類する信号値の比較手法を用いてもよい。

次に、図２に示すステップＳ９において復元ライトフィールドの評価値が十分であるか否かを判定する動作について説明する。復元ライトフィールドの評価値を、あらかじめ定めておいた閾値と比較し、閾値以上の評価値であるか否かを判断することで、本処理は実現することができる。閾値による判断以外にも、これに類する手法を用いてもよい。

以上説明したように、光学系を構成するメインレンズの配下の符号化開口を変化させながら、開口を通過した光線の画素値の合算値を計測し記録することにより、画像素子の画素数よりも少ないデータ量であるシーンの高解像度のライトフィールドを取得することができる。

前述した実施形態におけるライトフィールド取得装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像素子の画素数よりも少ないデータ量であるシーンのライトフィールドを高解像度で取得することが不可欠な用途にも適用できる。

１・・・光学系、２・・・符号化開口部、３・・・撮像部、４・・・ライトフィールド取得装置、５・・・符号化開口設定部、６・・・信号取得部

Claims (5)

1. 光学系を透過した光の光路を制御する符号化開口部を透過した光を受光する撮像部で撮像した画像信号からライトフィールドデータを取得するライトフィールド取得装置であって、
   前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定部と、
   符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得部と、
   前記信号取得部により取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元部と
   を備えることを特徴とするライトフィールド取得装置。
2. 前記符号化開口設定部を制御して、前記参照ライトフィールドデータを取得する参照ライトフィールドデータ取得部をさらに備えることを特徴とする請求項１に記載のライトフィールド取得装置。
3. 前記参照ライトフィールドデータ取得部は、前記参照ライトフィールドデータを取得するために所定の符号化開口形状に前記符号化開口部を制御することを特徴とする請求項２に記載のライトフィールド取得装置。
4. 前記画像信号を記録する画像信号記録部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載のライトフィールド取得装置。
5. 光学系を透過した光の光路を制御する符号化開口部を透過した光を受光する撮像部で撮像した画像信号からライトフィールドデータを取得するライトフィールド取得装置が行うライトフィールド取得方法であって、
   前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定ステップと、
   符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得ステップと、
   前記信号取得ステップにより取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元ステップと
   を有することを特徴とするライトフィールド取得方法。