JP5686517B2 - 可変モジュレーターを利用した光フィールドデータの獲得装置及びその方法 - Google Patents

Description

本発明の一態様による技術分野は、映像処理に係り、より詳細には、可変モジュレーターを利用した光フィールドデータ（ｌｉｇｈｔ ｆｉｅｌｄ ｄａｔａ）の獲得装置及びその方法に関する。

光の進行方向と同一な方向に位置したレンズ及びセンサー通じて得られる映像データを光フィールドデータ（ｌｉｇｈｔ ｆｉｅｌｄ ｄａｔａ）と言い、光の進行方向と異なる方向に位置したレンズ及びセンサーを通じて得られる映像データを暗領域データ（ｄａｒｋ ｆｉｅｌｄ ｄａｔａ）と言う。

そして、レンズ及びセンサーを備えた映像撮影装置を用いて光フィールドデータを獲得するに当たって、一般的に一回撮影時に一つの焦点を有して撮影する。すなわち、近くに位置した物体に焦点を合わせて遠い物体や背景を濁して撮影するか、遠く位置した物体に焦点を合わせてこれを鮮かに撮影し、近くに位置した物体は薄暗く撮影することもできる。

一方、光フィールドデータを獲得する過程で、レンズとセンサーとの間に一定の変調パターンを有するマスクとして光モジュレーターを位置させ、４Ｄ光フィールドデータ（４Ｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄａｔａ）が得られる。すなわち、一回の撮影でも複数個の焦点を有する多数の映像を作ることができる４Ｄ光フィールドデータが得られる。したがって、得られた４Ｄ光フィールドデータを処理すれば、多様な焦点での多数の映像が得られるので、誤って焦点が合わずに撮影された映像も容易に復旧が可能である。

しかし、従来の４Ｄ光フィールドデータの獲得方法によれば、４Ｄ光フィールドデータを得るためのモジュレーターの変調特性やモジュレーターの設置位置が固定されており、物体の特性や焦点距離の変化に適応的に対処しにくかった。

本発明の一態様によって、レンズとセンサーとの間に位置したモジュレーターを撮影対象や周辺環境によって適応的に可変して、多重視野光フィールドデータを獲得する装置及びその方法を提供することである。

本発明の一態様による多重視野光フィールドデータの獲得装置は、光学系を通じて入力された映像をその変調特性によって出力するモジュレーターと、前記出力された映像をセンシングして解析する映像解析部と、前記解析結果によって、前記モジュレーターの位置を移動させるか、その変調特性を調整する制御部と、を含む。

また、本発明の他の態様による多重視野光フィールドデータの獲得方法は、光学系を通じて入力された映像が、モジュレーターを通過した光フィールドデータを獲得する段階と、前記獲得された映像を解析して、その解析結果によって、前記モジュレーターの位置または変調パターンを調整するモジュレーター制御段階と、前記調整されたモジュレーターを通じて光フィールドデータを再び獲得する段階と、を含む。

また、本発明のまた他の態様による映像獲得装置は、光学系を通じて入力された映像を変調するモジュレーターと、前記モジュレーターから出力された映像を解析する映像解析部と、前記解析結果によって、前記モジュレーターの位置を移動させるか、その変調特性を調整するか、モジュレーターを回転させるか、モジュレーターをティルティングさせるもののうち少なくとも何れか一つを調整する制御部と、を含む。

本発明の一実施形態によれば、モジュレーターの位置と特性とを可変させ、映像や焦点距離に適応的に対処することで、既存４Ｄカメラでの空間的解像度（ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）の低下を防止することができる。言い換えれば、映像を獲得しようとする物体または焦点距離の変化によって最適化された４Ｄ光フィールドデータが得られる。

また、モジュレーターを可変することで、本発明の一実施形態による光フィールドデータの獲得装置を有して４Ｄ光フィールドデータだけではなく、２Ｄ一般映像データも得られる。

本発明の一実施形態による多重視野光フィールドデータの獲得装置の構成図である。 本発明の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。 本発明の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。 モジュレーター１２０の位置移動による光フィールドデータの獲得装置の構成図である。 本発明の他の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。 本発明の他の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。 モジュレーター１２０のマスクパターンを可変した光フィールドデータの獲得装置の構成図である。 本発明のまた他の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。 本発明のまた他の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。 モジュレーター１２０のマスクパターンが全透過性を有する場合の光フィールドデータの獲得装置の構成図である。 全透過性を有するモジュレーターのマスクパターン及びそのモジュレーター通過映像パターンを示した図である。 全透過性を有するモジュレーターのマスクパターン及びそのモジュレーター通過映像パターンを示した図である。 モジュレーター１２０のマスクパターンを経時的にオン／オフさせる場合の光フィールドデータの獲得装置の構成図である。 経時的にオン／オフ特性を有するモジュレーターのマスクパターン及びそのモジュレーター通過映像パターンを示した図である。 経時的にオン／オフ特性を有するモジュレーターのマスクパターン及びそのモジュレーター通過映像パターンを示した図である。 本発明の一実施形態による映像獲得方法のフローチャートである。 本発明の他の一実施形態による多重視野光フィールドデータの獲得装置の構成図である。

以下、添付図面を参照して、本発明の望ましい実施形態を詳しく説明する。本発明を説明するに当たって、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書全般に亘った内容に基づいて下さなければならない。

図１は、本発明の一実施形態による多重視野光フィールドデータの獲得装置の構成図である。光フィールドデータの獲得装置は、レンズ１１０、モジュレーター１２０、センサー１３０、映像解析部１４０及び制御部１５０を含む。

物体１００に対する光フィールドデータを得るためにレンズ１１０のような光学装置を通過した物体１００の像（ｉｍａｇｅ）は、モジュレーター１２０を経てセンサー１３０から検出される。モジュレーター１２０は、一種のマスクであって、レンズ１１０を通じて入力された像の変調特性（ｍｏｄｕｌａｔｉｏｎ ｐａｔｔｅｒｎ）を調節して物体の映像を通過させる。一例として、モジュレーター１２０は、図２Ａに示されたようなマスクパターンを有しうる。モジュレーター１２０が、図２Ａに示されたようなマスクパターンである場合、モジュレーター１２０を通過した像のフーリエ周波数像は、図２Ｂのようである。

センサー１３０は、モジュレーター１２０を経由した物体１００の像を検出してデジタルデータに変換する。映像解析部１４０は、レンズ１１０のような光学装置からの光学関連情報を参照して物体１００の像を解析し、その結果を制御部１５０に伝送する。次いで、制御部１５０は、映像解析部１４０の解析結果によってモジュレーター１２０の位置を調整するか、透過性を調整する。例えば、映像解析部１４０で解析された物体１００の像が鮮かではないか、そのサイズが小さいかする場合には、これを補うようにモジュレーター１２０の位置や変調特性を調整する。モジュレーター１２０の位置や変調特性を調整して得られた物体１００の像データは、映像解析部１４０から出力されて次の段階のプロセッシングに利用されうる。

一例として、制御部１５０は、モジュレーター１２０が変調されずに全透過性を有するように調整して、モジュレーター１２０を通過した物体の像が一般映像になるようにモジュレーター１２０を制御することもできる。そして、モジュレーター１２０の変調特性を経時的にオン／オフ制御して像をすべて透過するか、またはすべて不透過するように順次に制御して、動く物体の像を獲得するように制御することもできる。モジュレーター１２０の変調特性及びその設置位置調整のさまざまな一例は、図３ないし図１０を参照して後述する。

図２Ａ及び図２Ｂは、本発明の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。

本発明の一例による２次元マスクではない１次元キャリア信号として特定のキャリア周波数（ｃａｒｒｉｅｒ ｆｒｅｑｕｅｎｃｙ）を有する３個の信号を使う場合を例とすれば、７ｘ７個の視野（ｖｉｅｗ）での映像が得られ、一つの視野映像は、３４０ｘ２５０の解像度（ｒｅｓｏｌｕｔｉｏｎ）が得られる。

これと同様に、２次元マスクでモジュレーターを使う場合には、図２Ａ及び図２Ｂを参照するに、一定の解像度を有する多数の視野映像が得られるということが分かる。視野の個数や解像度のサイズ調整は、モジュレーター１２０の位置や変調パターンによって変わりうる。

図３は、モジュレーター１２０の位置移動による光フィールドデータの獲得装置の構成図である。図３を参照するに、モジュレーター１２０の位置は、制御部１５０の制御によってレンズ１１０の方向に前進／後進して移動し、モジュレーター１２０が、レンズ１１０側に移動して視野の数を増加させうるということが分かる。例えば、図３に示されたように、モジュレーター１２０が、レンズ１１０側に移動した場合、モジュレーター１２０の変調パターンは、図４Ａに示されたように、格子縞のサイズが大きくなる。レンズ１１０とモジュレーター１２０との距離が近くなったので、モジュレーター１２０は、図４Ａに示されたように、格子縞のサイズが大きくなったマスクパターンになり得る。

図４Ａ及び図４Ｂは、本発明の他の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。

１次元キャリア信号として特定のキャリア周波数を有する４個の信号を使う場合を例とすれば、９ｘ９個の視野での映像が得られ、一つの視野映像は、２４０ｘ１８０の解像度が得られる。言い換えれば、キャリア信号が多くなれば、空間的解像度は低くなるが、視野の個数は多くなるということが分かる。

これと同様に、２次元マスクを有するモジュレーター１２０の位置をレンズ１１０側に移動させれば、図３Ａに示されたようなマスクパターンが、図４Ａに示されたようなマスクパターンとして見られ、これにより、図４Ｂに示されたような多数の視野映像が得られるということが分かる。

図３ないし図４Ｂを参照して説明した実施形態によれば、ズームインまたはズームアウトのような焦点距離の変化時にも、能動的に適応して４Ｄ光フィールドデータが得られる。

図５は、モジュレーター１２０のマスクパターンを可変した光フィールドデータの獲得装置の構成図である。図５を参照するに、モジュレーター１２０のマスクパターンが変更された場合、センサー１３０を通じて得られる映像が変わるということが分かる。変わったマスクパターンとそれによる映像は、図６Ａ及び図６Ｂを参照して説明する。

図６Ａ及び図６Ｂは、本発明のまた他の一実施形態によるモジュレーターのマスクパターン及びそのモジュレーター通過映像のフーリエ周波数像を示した図である。

前述した例とは異なって、１次元キャリア信号として非ハーモニック（ｎｏｎ−ｈａｒｍｏｎｉｃ）特性を有する４個の信号をキャリア周波数として使う場合を例とすれば、９ｘ９個の視野での映像が得られる。視野の個数は、ハーモニック（ｈａｒｍｏｎｉｃ）特性を有する信号をキャリア周波数として使う場合と同一であるが、非ハーモニック特性を有する信号を使う場合には、それぞれの視野映像のサイズが相異なりうる。２次元マスクの場合にも、同一な効果を得るためにモジュレーターの変調パターンを異ならせることができる。２次元マスクの変調パターンを図６Ａに示したように設定すれば、図６Ｂに示したように、中心に行くほど大きな視野映像が得られ、中心から遠ざかるほど視野映像のサイズが次第に小さくなるということが分かる。

図５ないし図６Ｂを参照して説明した実施形態によれば、所望の視野での映像のサイズを大きくすることができる。

再び図１を参照するに、モジュレーター１２０のマストパターンまたは変調パターンは、制御部１５０の制御信号によって変更されうる。例えば、制御部１５０は、モジュレーター１２０を除去するか置き換えずに、映像解析部１４０の解析結果によってモジュレーター１２０の変調特性を調整することができる。

図７は、モジュレーター１２０のマスクパターンが全透過性を有する場合の光フィールドデータの獲得装置の構成図である。図７を参照するに、モジュレーター１２０が、全透過性を有するように制御部１５０がモジュレーター１２０を制御して４Ｄ光フィールドデータではない２Ｄ一般映像が得られるということが分かる。言い換えれば、モジュレーター１２０が、物体の像をそのまま通過するように制御すれば、２Ｄ一般映像が得られる。

図８Ａ及び図８Ｂは、全透過性を有するモジュレーターのマスクパターン及びそのモジュレーター通過映像パターンを示した図である。

すなわち、図８Ａに示されたように、全透過性のマスクパターンである場合には、モジュレーター１２０のない場合と同一であるので、図８Ｂに示されたような２Ｄ一般映像が得られるということが分かる。

図７ないし図８Ｂを参照して説明した実施形態によれば、４Ｄ光フィールドデータの獲得装置の構造変更なしでも、モジュレーターのパターン特性のみを可変させることによって、一般２Ｄ映像が得られる。

図９は、モジュレーター１２０のマスクパターンを経時的にオン／オフさせる場合の光フィールドデータの獲得装置の構成図である。図９を参照するに、モジュレーター１２０の透過性を経時的に順次にオン／オフさせることで、動く物体に対する４Ｄ光フィールドデータが得られるということが分かる。この際、モジュレーター１２０の透過特性は、経時的に全透過及び不透過に設定され、全透過及び不透過の持続時間は可変されうる。この場合、モジュレーター１２０の位置は、レンズ１１０に非常に近接して位置することができる。

図１０Ａ及び図１０Ｂは、経時的にオン／オフ特性を有するモジュレーターのマスクパターン及びそのモジュレーター通過映像パターンを示した図である。

すなわち、図１０Ａに示されたような形態にモジュレーターの透過性をオン／オフさせれば、図１０Ｂの左側の絵のような映像が得られ、これを処理すれば、右側の絵のように動く物体に対する４Ｄ光フィールドデータの映像も鮮かに獲得することができる。

図９ないし図１０Ｂを参照して説明した実施形態によれば、４Ｄ光フィールドデータの獲得装置の構造変化なしでも、モジュレーターのパターン特性のみを可変させることによって、動く物体に対しても、鮮やかな映像が得られる。

図１１は、本発明の一実施形態による映像獲得方法のフローチャートである。まず、レンズのような光学系を通じて入力された映像に対する光フィールドデータを獲得する（Ｓ１１１０）。該獲得された光フィールドデータは、４Ｄ光フィールドデータまたは２Ｄ光フィールドデータになり得る。次いで、このように獲得された映像を解析して（Ｓ１１２０）、その解析結果によってモジュレーターの位置または変調パターンを調整する（Ｓ１１３０）。そして、調整されたモジュレーターを通じて物体の光フィールドデータを再び獲得する（Ｓ１１４０）。

図１２は、本発明の他の一実施形態による多重視野光フィールドデータの獲得装置の構成図である。図１２を参照するに、光フィールドデータ獲得装置は、レンズ１１０、モジュレーター１２０、センサー１３０、映像解析部１４０及び制御部１５０を含むことが分かる。
モジュレーター１２０とセンサー１３０は、図１に示したように、一直線上に位置しても良いが、図１２に示したように、モジュレーター１２０は、反射型モジュレーターになることもある。この場合、モジュレーター１２０は移動だけではなく、回転も可能である。したがって、制御部１５０は、モジュレーター１２０の変調特性だけではなく、その位置の移動や回転を制御する。モジュレーター１２０の位置や変調特性を調整して得られた物体１００の像データは、映像解析部１４０から出力されて次の段階のプロセッシングに利用されうる。例えば、映像プロセッサ（図示せず）は、映像解析部１４０から出力される像データを処理してディスプレイ装置（図示せず）を通じてディスプレイすることができる。映像プロセッサは、映像解析部１４０の代わりにセンサー１３０から直接像を受信することもできる。また、映像解析部１４０と映像プロセッサは、別途の構成または一つのチップセット（ｃｈｉｐｓｅｔ）として具現することが可能である。一方、反射型モジュレーターを使う場合、光の効率が高くなる。

また、映像解析部１４０は、レンズのような光学装置からの光学関連情報を使って、モジュレーター１２０からの像（ｉｍａｇｅ）を解析する。一例として、光学関連情報は、レンズ１１０に対するデータ、例えば、レンズ１１０の焦点距離、色収差（ａｂｅｒｒａｔｉｏｎ）、広角（ｏｐｔｉｃ ａｎｇｌｅ）などになりうる。

本発明の一例によれば、光フィールドデータ獲得装置は、レンズとセンサーとの間に位置したモジュレーターの変調パターンまたは位置を変更することで多重視野（ｍｕｌｔｉ−ｖｉｅｗ）光フィールドデータを獲得することができる。変調パターンや位置の変更は、物体または周辺環境によって変わりうる。また、変調パターンの変更は、減衰パターン（ａｔｔｅｎｕａｔｉｏｎ ｐａｔｔｅｒｎ）の調整を含みうる。

以上、本発明の望ましい実施形態を中心に説明した。当業者は、本発明が、本発明の本質的な特性から外れない範囲で変形された形態として具現可能であるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく、説明的な観点で考慮されなければならない。本発明の範囲は、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものと解析されなければならない。

本発明は、可変モジュレーターを利用した光フィールドデータの獲得装置及びその方法に関連の技術分野に適用可能である。

１１０ レンズ
１２０ モジュレーター
１３０ センサー
１４０ 映像解析部
１５０ 制御部
１００ 物体

Claims (16)

1. 光学系を通じて入力された映像をその変調特性によって出力する反射型モジュレーターと、
   前記出力された映像をセンシングして解析する映像解析部と、
   前記映像解析部の解析結果によって、前記モジュレーターの位置を調整し、かつ、その変調特性を調整する制御部と、
   を含み、
   前記モジュレーターの位置を調整することは、
   前記モジュレーターを移動させるか、回転させるか、またはティルティングさせるもののうち何れか一つを含む、
   ことを特徴とする多重視野光フィールドデータの獲得装置。
2. 前記制御部は、
   前記モジュレーターの変調特性が、全透過性及び不透過性を有するように順次に制御することを特徴とする請求項１に記載の多重視野光フィールドデータの獲得装置。
3. 前記映像解析部は、
   前記モジュレーターで反射されて得られた映像を処理して多数の視野での４Ｄ光フィールドデータを抽出することを特徴とする請求項１または請求項２に記載の多重視野光フィールドデータの獲得装置。
4. 前記制御部は、
   前記モジュレーターの変調特性が、全透過性を有するように調整して２Ｄ一般映像が得られるように、前記モジュレーターを制御することを特徴とする請求項１に記載の多重視野光フィールドデータの獲得装置。
5. 光学系を通じて入力された映像が、反射型モジュレーターで反射された光フィールドデータを獲得する段階と、
   前記獲得された映像を解析して、その解析結果によって、前記モジュレーターの位置を調整し、かつ、変調パターンを調整するモジュレーター制御段階と、
   前記調整されたモジュレーターを通じて光フィールドデータを再び獲得する段階と、
   を含み、
   前記モジュレーターの位置を調整することは、
   前記モジュレーターを移動させるか、回転させるか、またはティルティングさせるもののうち何れか一つを含む、
   ことを特徴とする多重視野光フィールドデータの獲得方法。
6. 前記モジュレーター制御段階は、
   前記モジュレーターの変調特性が、全透過性及び不透過性を有するように順次に制御することを特徴とする請求項５に記載の多重視野光フィールドデータの獲得方法。
7. 前記モジュレーター制御段階は、
   前記モジュレーターの変調特性が、全透過性を有するように調整して２Ｄ一般映像が得られるように、前記モジュレーターを制御することを特徴とする請求項５に記載の多重視野光フィールドデータの獲得方法。
8. 光学系を通じて入力された映像を変調する反射型モジュレーターと、
   前記モジュレーターから出力された映像を解析する映像解析部と、
   前記映像解析部の解析結果によって、前記モジュレーターの位置を調整し、かつ、その変調特性を調整する制御部と、
   を含み、
   前記モジュレーターの位置を調整することは、
   前記モジュレーターを移動させるか、回転させるか、またはティルティングさせるもののうち何れか一つを含む、
   ことを特徴とする映像獲得装置。
9. 前記制御部は、
   前記モジュレーターが光フィールドデータを獲得するように調整することを特徴とする請求項８に記載の映像獲得装置。
10. 前記光フィールドデータは、多重視野光フィールドデータであり、前記制御部は、前記光学系の方向に前記モジュレーターを移動させ、前記多重視野光フィールドデータに含まれた映像の数を増加させることを特徴とする請求項９に記載の映像獲得装置。
11. 前記映像解析部は、
    前記モジュレーターから多重視野４Ｄ光フィールドデータを抽出することを特徴とする請求項９に記載の映像獲得装置。
12. 前記制御部は、
    前記モジュレーターの変調特性が、全透過性を有するように調整して２Ｄ映像を獲得させることを特徴とする請求項８に記載の映像獲得装置。
13. 前記制御部は、
    前記モジュレーターの変調特性をオン／オフ制御して、動く物体の映像を獲得させることを特徴とする請求項８に記載の映像獲得装置。
14. 前記制御部は、
    前記モジュレーターの変調特性が変更されるように調整して、相異なるサイズのビュー映像を獲得するように制御することを特徴とする請求項８に記載の映像獲得装置。
15. 前記モジュレーターから出力された映像を検出してデジタルデータに変えるセンサーをさらに含み、前記映像解析部は、前記光学系の光学関連情報を有して前記デジタルデータを解析することを特徴とする請求項８に記載の映像獲得装置。
16. 物体の像を受信する光学系と、
    前記モジュレーターから出力される物体の像を検出するセンサーと、
    前記センサーから検出された物体の像を処理する映像プロセッサと、
    前記映像プロセッサで処理された映像をディスプレイするディスプレイ装置と、
    をさらに含むことを特徴とする請求項８に記載の映像獲得装置。