JP5757592B2 - 超解像画像を生成する方法，装置，コンピュータプログラム製品 - Google Patents

Description

多くの実装形態が、一般的に、超解像イメージを生成する方法，装置，コンピュータプログラム製品に関する。

背景

カメラや携帯電話などの様々な電子機器が、景色を撮影して画像を得るために用いられている。以前からあるカメラにおいては、画像の解像度はカメラに搭載されているセンサの画像と同じである。従って、高解像度の画像を得るには、対応する解像度のセンサが必要である。他に、ライトフィールドカメラというものも存在し、これは、１回の操作で景色の画像を複数撮影する。このカメラは、撮影後において、画像の中のオブジェクトに焦点合わせを行うことができる。しかし、このようなカメラは、撮影された画像の解像度が貧弱であるという制限を有している。これは、画像の細かい部分を記録するセンサが、複数の画像により共有されているからである。多くの例示的なシナリオにおいて、ライトフィールドカメラにより撮影された画像の解像度が、"超解像"技術によって改良される。

いくつかの実施形態の摘要

例示的実施形態の多くの捉え方が、請求項に提示されている。

第１の側面によれば、ライトフィールド画像の受け取りを支援することと；前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；前記ライトフィールド画像から複数の画像を生成することと；前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定することと；前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことと；を含む、方法が提供される。

第１の側面によれば、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：ライトフィールド画像の受け取りを支援することと；前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；前記ライトフィールド画像から複数の画像を生成することと；前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定することと；前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことと；を行わせるように構成される、装置が提供される。

第３の側面によれば、少なくとも一つのコンピュータ読み取り可能な記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ読み取り可能な記憶媒体が、一つ又は複数のプロセッサにより実行される時に、装置に少なくとも：ライトフィールド画像の受け取りを支援することと；前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；前記ライトフィールド画像から複数の画像を生成することと；前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定することと；前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことと；を実行させる命令セットを備える、コンピュータプログラム製品が提供される。

第４の側面によれば、ライトフィールド画像の受け取りを支援する手段と；前記ライトフィールド画像の一つ又は複数の深度レベルを決定する手段と；前記ライトフィールド画像から複数の画像を生成する手段と；前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定する手段と；前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行う手段と；を備える装置が提供される。

第５の側面によれば、装置により実行されると該装置に、ライトフィールド画像の受け取りを支援することと；前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；前記ライトフィールド画像から複数の画像を生成することと；前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定することと；前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことと；を実行させるように構成される、コンピュータプログラムが提供される。

添付の図面には、多くの実施形態が例示されている。これらは例示を目的とするものであって、限定の目的のためのものではない。
ある例示的実施形態に従うデバイスを描いたものである。 ある例示的実施形態に従う、超解像画像を生成する装置を描いたものである。 ある例示的実施形態に従うライトフィールド画像を表したものである。 ある実施形態に従う深度マップ（ｄｅｐｔｈ ｍａｐ）の例示的な表現であり、ライトフィールド画像中の深度（ｄｅｐｔｈ）のレベルを表現している。 図５Ａ−Ｃはそれぞれ、ある例示的実施形態に従い、ライトフィールド画像から生成された複数の画像を例示的に表したものである。 ある例示的実施形態に従って、超解像画像を例示的に表したものである。 ある例示的実施形態に従う、超解像画像を生成する例示的方法のフローチャートを描いたものである。 別の例示的実施形態に従う、超解像画像を生成する例示的方法のフローチャートを描いたものである。

詳細な説明

図１−８を参照することにより、例示的実施形態及びそれらが秘める効果を理解することができるだろう。

図１は、ある例示的実施形態に従うデバイス１００を描いたものである。ただ、この図に描かれ以下に説明されるデバイス１００は、様々な実施形態から利益を受けうるデバイスの一つのタイプを単に例示するに過ぎず、従って、実施形態の範囲を限定するもの捉えてはならない。また、デバイス１００に関連して以下に説明される要素のうち少なくともいずれかは任意的要素であり、従って、例示的実施形態によっては、図１の例示的実施形態に関連して説明されている要素よりも多くの要素を有する場合や少ない要素しか有さない場合、異なる要素を有する場合がある。デバイス１００は多くのタイプの携帯電子機器であることができる。例えばＰＤＡやポケットベル、携帯テレビ、ゲーム機器、携帯電話、例えばラップトップコンピュータや携帯型コンピュータ、デスクトップコンピュータなど全てのタイプのコンピュータ、カメラ、音楽／ビデオプレーヤー、ラジオ、ＧＰＳデバイス、メディアプレーヤー、携帯型デジタル支援装置、これらいずれかの組み合わせ、その他のタイプの通信機器であることができる。

デバイス１００は、送信機１０４及び受信機１０６と協働するアンテナ（または複数のアンテナ）１０２を備えてもよい。デバイス１００はさらに、送信機１０４及び受信機１０６との間で信号を提供したり信号を受信したりするような、コントローラ１０８のような装置を備えてもよい。この信号は、利用可能なセルラシステムの無線インタフェース規格に従うシグナリング情報を含んでいてもよく、及び／又は、ユーザの音声や受信したデータ、ユーザが生成したデータなどを含んでいてもよい。これに関してデバイス１００は、一つ又は複数の無線インタフェース規格や通信プロトコル、変調タイプ、アクセスタイプによって動作する能力を有していてもよい。例ではあるが、デバイス１００は、第一世代、第２世代、第３世代、第４世代、及び同様の通信プロトコルのうちいずれか一つ以上で動作することが可能であってもよい。例えばデバイス１００は、第２世代（２Ｇ）の無線通信プロトコルであるＩＳ−１３６（時分割多重アクセス（ＴＤＭＡ）やＧＳＭ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＳ−９５（符号分割多重アクセス（ＣＤＭＡ）に従って動作する能力を有していてもよく、第３世代（３Ｇ）の通信プロトコルであるＥ−ＵＴＲＡＮ（）やＣＤＭＡ２０００、ＷＣＤＭＡ、ＴＤ−ＳＣＤＭＡに従って動作する能力を有していてもよく、３．９Ｇの無線通信プロトコルであるＥ−ＵＴＲＡＮ（ｅｖｏｌｖｅｄ− ｕｎｉｖｅｒｓａｌ ｔｅｒｒｅｓｔｒｉａｌ ｒａｄｉｏ ａｃｃｅｓｓ ｎｅｔｗｏｒｋ）や第４世代（４Ｇ）の無線通信プロトコルなどのような規格に従って動作する能力を有していてもよい。代替的に又は追加的に、デバイス１００はセルラ方式ではない通信メカニズムに従って動作する能力を有していてもよい。例えば、インターネットやローカルエリアネットワーク、ワイドエリアネットワークのようなコンピュータネットワークや、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークやＺｉｇＢｅｅ（登録商標）ネットワーク、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ｘネットワークのような金りょり無線通信ネットワーク、公衆交換電話網（ＰＳＴＮ）のような有線電話ネットワークのような通信メカニズムに従って動作する能力を有していてもよい。

コントローラ１０８は、とりわけ、デバイス１００の音声や論理機能を実装する回路を有していてもよいことは理解されたい。例えばコントローラ１０８は、１つ又は複数のデジタルシグナルプロセッサ装置、１つ又は複数のマイクロプロセッサ装置、１つ又は複数のデジタルシグナルプロセッサを有する１つ又は複数のプロセッサ、デジタルシグナルプロセッサを有さない１つ又は複数のプロセッサ、１つ又は複数の特定目的コンピュータチップ、１つ又は複数のＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、１つ又は複数のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、１つ又は複数のコンピュータ、様々なＡ／ＤコンバータやＤ／Ａコンバータ、及び／又はその他のサポート回路を備えていてもよい。デバイス１００の信号及び情報処理機能は、それぞれの能力に従って、これらのデバイスの中に割り当てられている。コントローラ１０８は、変調及び送信を行う前に、畳み込み的な符号化や、メッセージおよびデータのインタリーブを行う機能を有していてもよい。コントローラ１０８は、さらに音声符号器やデータモデムを内蔵していてもよい。さらに、コントローラ１０８は、メモリに記録されていてもよい一つ又は複数のソフトウェアプログラムを実行する能力を含んでいてもよい。例えばコントローラ１０８は、標準的に用いられているＷｅｂブラウザのような通信プログラムを実行する能力を有していてもよい。そのような通信プログラムは、デバイス１００がＷｅｂコンテンツを送受信することを可能とする。そのようなＷｅｂコンテンツには、ＷＡＰ（Ｗｉｒｅｌｅｓｓ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ ）位置ベースのコンテンツなどに従う位置ベースのコンテンツやその他のＷｅｂページコンテンツなどがある。ある例示的実施形態において、コントローラ１０８は、デュアルコアプロセッサのようなマルチコアプロセッサとして具現化されてもよい。コントローラ１０８にはいくつのプロセッサが含まれていてもよい。
デバイス１００はまた、出力デバイスであるリンガ１１０や、イヤホン又はスピーカ１１２や、マイクロホン１１４、ディスプレイ１１６、および、ユーザ入力インタフェースを備えていてもよく、これら全てはコントローラ１０８に接続されていてもよい。ユーザ入力インタフェースはデバイス１００がデータを受信することを可能にし、またデバイス１００がデータを受信することを可能にするデバイスをいくつ備えていてもよい。そのようなデバイスには、例えばキーパッド１１８やタッチディスプレイ、マイクロホン、またその他の入力デバイスが存在する。キーパッド１１８を含む実施形態において、キーパッド１１８は、０−９の数字キーや関連するキー（＃，＊）、その他デバイス１００を操作するためのハードキーやソフトキーを有していてもよい。代替的又は追加的に、キーパッド１１８は、一般的なＱＷＥＲＴＹ配列のキーパッドを備えていてもよい。キーパッド１１８はまた、それぞれ機能に関連付けられた多くのソフトキーを備えていてもよい。それに加えて、又は代替的に、デバイス１００は、ジョイスティックまたはユーザ入力インタフェースのようなインタフェースデバイスを備えてもよい。さらにデバイス１００は、デバイス１００を動作させるために使用される様々な回路に電源を供給し、また検知可能な出力としての機械的な振動を提供する、振動バッテリパックのようなバッテリ１２０を備えてもよい。

ある例示的実施形態において、デバイス１００は、カメラモジュールやビデオモジュール、及び／又はオーディオモジュールのようなメディアキャプチャ要素を備えてもよい。メディアキャプチャ要素はコントローラ１０８と通信する。メディアキャプチャ要素は、画像や動画及び／又は音声をキャプチャして格納したり表示したり送信したりする如何なる手段であってもよい。メディアキャプチャ要素がカメラモジュール１２２である例示的実施形態では、カメラモジュール１２２は、キャプチャしたイメージからデジタル画像ファイルを形成しうるデジタルカメラを備えてもよい。カメラモジュール１２２は、レンズその他の光学部品のような全てのハードウェアや、キャプチャしたイメージからデジタル画像ファイルを作成するソフトウェアを含む。別の例では、カメラモジュール１２２は画像を取得するために必要なハードウェアを備えるが、デバイス１００の記憶装置が、コントローラ１０８によって実行されることにより、キャプチャしたイメージからデジタル画像ファイルを作成するための命令を、ソフトウェアの形態として格納する。ある例示的実施形態においては、カメラモジュール１２２はさらに、コントローラ１０８が画像データを処理することを支援するコプロセッサのような処理要素や、画像データを圧縮したり伸張したりするエンコーダーやデコーダーを備えていてもよい。エンコーダーやデコーダーは、ＪＰＥＧ標準やその他のフォーマットに従ってエンコードやデコードを行ってもよい。動画に関しては、エンコーダーやデコーダーは、例えばH.261, H.262/MPEG-2, H.263, H.264, H.264/MPEG-4, MPEG-4のような標準規格をいくつ利用することができてもよい。ある場合では、カメラモジュール１２２はライブイメージをディスプレイ１１６に供給することができてもよい。さらに、実施形態によっては、ディスプレイ１１６はデバイス１００の一方の側面に搭載され、カメラモジュール１２２はそれとは反対側に設けられるレンズを備えていてもよい。それによって、カメラモジュール１２２がデバイス１００の一方の側で画像を撮影し、そのイメージを、デバイス１００の別の側に位置しているユーザに表示することができてもよい。

デバイス１００はユーザ識別モジュール（ＵＩＭ）１２４を備えていてもよい。ＵＩＭ１２４は、プロセッサを内蔵するメモリデバイスである。ＵＩＭ１２４には、例えば、加入者識別モジュール（ＳＩＭ）や、ＵＩＣＣカード、ＵＳＩＭ、Ｒ−ＵＩＭ、及びその他のタイプのスマートカードが含まれる。ＵＩＭ１２４は通常、加入者に関する情報要素を格納する。ＵＩＭ１２４に加えてデバイス１００はメモリを備えていてもよい。例えばデバイス１００は、データの一時的な保管のためのキャッシュ領域を備えるランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ１２６を備えてもよい。デバイス１００は、内蔵の及び／又は着脱可能な不揮発性メモリ１２８を備えていてもよい。不揮発性メモリ１２８には、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリ、ハードディスクドライブのようなものも含まれる。これらのメモリは、デバイス１００の機能を実装するためにデバイス１００に使用されるいかなる数の情報片やプログラム、データを格納してもよい。

図２は、例示的実施形態に従って、ライトフィールドカメラでキャプチャしたイメージから、一つ又は複数の超解像画像を生成する装置２００を描いたものである。装置２００は、例えば、図１のデバイス１００によって採用されることができる。しかし、装置２００は、携帯式又は固定式に関わらず、その他の様々なデバイスによって採用されることができてもよいことは注意されたい。従って、実施形態は、図１のデバイス１００のようなデバイスへの応用に限られないことに注意されたい。場合によっては、実施形態は、複数のデバイスの組み合わせによって利用されうる。そのような複数のデバイスには、例えば上にリストされたものが含まれる。多くの実施形態が、（例えばデバイス１００やデバイスの組み合わせのような）単一のデバイスとして具現化される。さらに、以下に記述されるデバイスや要素は必ず必要であるというものではなくともよく、従って実施形態によっては、これらのうちいくつかが省略されてもよい。

装置２００は少なくとも一つのプロセッサ２０２及び少なくとも一つのメモリ２０４を備える。又はこれらと通信できるようにされている。少なくとも一つのメモリ２０４は、これらに限られるわけではないが、揮発性メモリ及び／又は不揮発性メモリを含む。揮発性メモリの例には、ランダムアクセスメモリやダイナミック・ランダムアクセスメモリ、スタティック・ランダムアクセスメモリのようなものが含まれる。また、これらに限定されない。不揮発性メモリの例には、ハードディスクや磁気テープ、光ディスク、プログラム可能なリードオンリーメモリ、プログラムを消去可能なリードオンリーメモリ、電気的に消去可能なプログラム可能リードオンリーメモリ、フラッシュメモリのようなものがある。様々な例示的実施形態に従う多くの機能を装置２００が実行することを可能にするべく、メモリ２０４は、情報やデータ、ファイル、アプリケーション、命令および同様のものを格納するように構成されてもよい。例えばメモリ２０４は、プロセッサ２０２によって処理するために、メディアコンテンツを含む入力データをバッファするように構成されてもよい。さらに又は代替的に、メモリ２０４は、プロセッサ２０２により実行される命令を格納するように構成されてもよい。

プロセッサ２０２の例には、コントローラ１０８が含まれてもよい。プロセッサ２０２は非常に多くの方法で具現化されることができる。プロセッサ２０２は、マルチコアプロセッサやシングルコアプロセッサ、これらの組み合わせとして具現化されてもよい。例えばプロセッサ２０２は、一つ又は複数の様々な処理手段として具現化されてもよい。そのような処理手段には例えば、コプロセッサやマイクロプロセッサ、コントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、ＤＳＰ搭載型又は非搭載型の処理回路、その他様々な処理デバイスが含まれる。また、そのような処理デバイスには、例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field programmable gate array）、マイクロコントローラーユニット（ＭＣＵ）、ハードウェアアクセラレータ、特定目的コンピュータチップなどが存在する。ある例示的実施形態において、マルチコアプロセッサは、メモリ２０４に格納された命令を実行するように構成されてもよい。またはプロセッサは、自身がアクセス可能な命令を実行するように構成されてもよい。代替的又は追加的に、プロセッサ２０２は、ハードコードされた機能を実行するように構成されていてもよい。このように、ハードウェアにより構成されるかソフトウェアによる手法により構成されるか、またはこれらの組み合わせにより構成されるかに関わらず、プロセッサ２０２は、様々な実施形態に従う処理を遂行する能力を有する要素を表す。たとえば、そのような処理を遂行する能力を有するように、回路中に物理的に具現化された要素を表す。例えば、プロセッサ２０２が２つまたはそれ以上のＡＳＩＣやＦＰＧＡのようなものにより具現化されるとき、プロセッサ２０２は、本明細書により説明される処理を遂行するために特別に構成されたハードウェアと考えられうる。または、別の実施形態では、プロセッサ２０２はソフトウェア命令を実行する実行機器として具現化される。そのような命令は、実行されることにより、プロセッサ２０２を、本明細書に記載されるアルゴリズム又は処理を遂行するように構成しうる。しかし、ある場合では、プロセッサ２０２は、たとえば移動端末やネットワークデバイス等の特定の装置のプロセッサである場合もある。その場合、そのような装置は、本明細書に記載されるアルゴリズム又は処理を実行するための命令によりプロセッサ２０２を構成することにより、実施形態を取り入れるように構成される。プロセッサ２０２はとりわけ、その動作をサポートするクロックや算術演算ユニット（ＡＬＵ）、ロジックゲートを備える。

ユーザインタフェース２０６は、プロセッサ２０２と通信する。ユーザインタフェース２０６は、それに限られるわけではないが、入力インタフェース及び／又は出力ユーザインタフェースを含む。入力インタフェースはユーザ入力を表す情報を受け取るように構成される。出力ユーザインタフェースは音声や視覚、メカニカル、その他の出力及び／又はフィードバックをユーザに提供する。入力インタフェースの例は、これらに限られるわけではないが、例えばキーボードやマウス、ジョイスティック、キーパッド、タッチスクリーン、ソフトキー等を含んでもよい。出力インタフェースの例は、これらに限られるわけではないが、例えばＬＥＤディスプレイやＴＦＴディスプレイのような表示装置、液晶ディスプレイ、ＡＭＯＬＥＤディスプレイ、マイクロホン、スピーカー、リンガ、バイブレータを含んでもよい。ある例示的実施形態において、ユーザインタフェース２０６は、他のデバイスや要素もさることながら、特に、スピーカー、マイクロホン、ディスプレイ、キーボード、タッチスクリーンのようなもののいずれか又は全てを含んでもよい。これに関してプロセッサ２０２は、例えば、スピーカーやリンガ、ディスプレイ等の一つ又は複数のユーザインタフェース２０６の要素の少なくともいずれかを制御するように構成されるユーザインタフェース回路を備えていてもよい。プロセッサ２０２及び／又はプロセッサ２０２を含むユーザインタフェース回路は、コンピュータプログラム命令を通じて、ユーザインタフェース２０６の一つ又は複数の要素の一つ又は複数の機能を制御するように構成されてもよい。そのようなコンピュータプログラム命令は、例えば、例えば少なくとも一つのメモリ２０４など、プロセッサ２０２がアクセス可能なメモリに格納される、ソフトウェアやファームウェアであることができる。

装置２００の例には電子機器が含まれてもよい。電子機器の例には、通信機器や、通信機能を有するメディアキャプチャデバイス、コンピュータデバイス等がある。電子機器の例には、携帯電話やＰＤＡ等も含まれる。電子機器の例には、ラップトップコンピュータやパーソナルコンピュータ等も含まれる。ある実施形態において、かかる電子機器は、例えばＵＩ２０６のようなユーザインタフェースやユーザインタフェースソフトウェアを有していてもよい。ユーザインタフェースはユーザインタフェース回路を備えていることができる。またユーザインタフェースソフトウェアは、電子機器の少なくとも一つの機能をユーザがディスプレイを使って制御することを支援するように構成されたり、ユーザ入力に応答するように構成されたりすることができる。ある例示的実施形態において、上記電子機器は、電子機器のユーザインタフェースの少なくとも一部分を表示するように構成される表示回路を備えていてもよい。ディスプレイ及び表示回路は、上記電子機器の少なくとも一つの機能をユーザが制御することを支援するように構成されてもよい。

ある例示的実施形態において、上記電子機器は送受信機を含めるように具現化されてもよい。この送受信機はソフトウェアに従って動作する如何なるデバイスや回路であってもよく、又は、ハードウェアとして実装されてもよく、又はハードウェア及びソフトウェアの組み合わせとして実装されてもよい。例えば、ソフトウェアの制御の下で動作するプロセッサ２０２や、本明細書で説明される処理を実行するように特に構成されたＡＳＩＣやＦＰＧＡとして具現化されるプロセッサ２０２、またはこれらの組み合わせなど、装置又は回路に送受信機の機能を実行させるように作られる如何なる構成でもよい。送受信機はメディアコンテンツを受信するように構成されてもよい。メディアコンテンツの例としては、オーディオコンテンツやビデオコンテンツ、及びこれらの組み合わせなどがある。

ある例示的実施形態において、上記電子機器は、イメージセンサ２０８などのイメージセンサを備えていてもよい。イメージセンサ２０８は．プロセッサ２０２や装置２００のその他の要素と共に動作してもよい。イメージセンサ２０８は、画像処理回路や画像処理ソフトウェアとともに動作してもよく、デジタル画像をキャプチャしたり、ビデオなどのグラフィックメディアファイルを作成するように構成されたりしてもよい。イメージセンサ２０８及びその他の回路は、一緒になって、デバイス１００のカメラモジュール１２２の例とされてもよい。イメージセンサ２０８は、その他の要素と共に、ライトフィールド画像をキャプチャするように構成されてもよい。

これらの要素（２０２−２０８）は、超解像画像生成するために、集中型回路システム（centralized circuit system）２１０を介して互いに通信してもよい。集中型回路システム２１０は、とりわけ、装置２００の要素２０２−２０８が互いに通信できるように構成される様々なデバイスであってもよい。ある実施形態では、上記集中型回路システム２１０は、マザーボードやメインボード、システムボード、ロジックボードのような、集中型のプリント基板（ＰＣＢ）であってもよい。集中型回路システム２１０はまた、その他のプリント基板アセンブリ（ＰＣＡ）や通信チャンネルメディアを含んでいてもよい。

ある例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツと共に、及び場合によっては本明細書に説明されるその他の要素と共に、ライトフィールド画像を受け取ることを装置２００に支援させるように構成される。ある例示的実施形態において、装置２００はライトフィールド画像をキャプチャするように構成されてもよい。別の例示的実施形態においては、ライトフィールド画像はあらかじめ記録されて装置２００に格納されていてもよく、又は、装置２００が外部のソースから受信するものであってもよい。ある例示的実施形態において、装置２００は、ＤＶＤやコンパクトディスク（ＣＤ）、フラッシュドライブ、メモリーカードのような外部ストレージメディアからライトフィールド画像を受け取るようにされてもよく、又は、インターネットやBluetooth（登録商標）のような外部の記憶場所からそれを受け取るようにされてもよい。様々な例示的実施形態において、「ライトフィールド画像」との語句は、同一のシーンについての複数のビューの情報を含む撮影画像を表す。撮影されたライトフィールド画像からは、それぞれ視差（パララックス）が少しずつ異なる複数の画像が生成されてもよい。例えば、ライトフィールド画像は、シーンの広い角度範囲（様々な視点）をカバーする。ある例示的なシナリオによれば、ライトフィールド画像から生成される様々な画像は、低解像度の入力画像となってもよく、このような入力画像の解像度が超解像処理によって改善されてもよい。ある例において、ライトフィールド画像はライトフィールドカメラによって撮影されてもよい。ライトフィールドカメラの例には、シーンについての四次元ライトフィールド情報を撮影するためにマイクロレンズ・アレイを用いるPlenopticカメラやマスクカメラ（mask based camera）が存在する。なおこの例は網羅的なものではない。ある例示的実施形態において、装置２００は、ライトフィールドカメラを備えるメディアキャプチャデバイスの例であってもよい。または、装置２００は、ライトフィールドカメラと、ライトフィールド画像を撮影するためのその他の要素とを備えていてもよい。

ある例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツと共に、及び場合によっては本明細書に説明されるその他の要素と共に、ライトフィールド画像の一つ又は複数の深度レベルを装置２００に決定させるように構成される。ある例示的実施形態において、装置２００は、ライトフィールド画像の一つ又は複数の深度レベルに関する深度マップを決定するようにされる。ある例において、ライトフィールド画像は、一つ又は複数のオブジェクトに対応する一つ又は複数の深度レベルを有していてもよい。例えば、現実のシーンにおいて、オブジェクトＡ，Ｂ，Ｃが異なる深度にあり、これらのオブジェクトがPlenopticカメラによってライトフィールド画像を生成すべく撮影されるとする。ある例示的実施形態では、ライトフィールド画像に対応する現実のシーンにおける深度レベルに基づいて、オブジェクトＡ，Ｂ，Ｃのために深度マップが生成されてもよい。

ある例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツと共に、及び場合によっては本明細書に説明されるその他の要素と共に、装置２００に、ライトフィールド画像から複数の画像を生成させるように構成される。ある例示的実施形態において、単一のライトフィールド画像から複数の画像を生成することは、それぞれ少しずつ異なる視差によって撮影された画像を表すような複数の画像を生成することであってもよい。例えば、単一のライトフィールド画像（Ｉ）から、複数の画像（Ｉ１，Ｉ２，...Ｉｎ）が生成されてもよい。

ある例示的実施形態において、プロセッサ２００は、メモリ２０４のコンテンツと共に、及び場合によっては本明細書に説明されるその他の要素と共に、上記複数の画像のうちのあるものと、残りの一つ又は複数の画像との間の一つ又は複数の深度レベルに対応する、一つ又は複数のレジストレーション・マトリクスを装置２００に決定させるように構成されてもよい。ある例においては、深度レベルごとに、２つの画像の間に、対応するレジストレーション・マトリクスが生成されてもよい。例えば、ライトフィールド画像（Ｉ）の深度マップに３つの深度レベル（ｄ１，ｄ２，ｄ３）がある場合、深度レベル（ｄ１，ｄ２，ｄ３）に対応して、画像（Ｉ１，Ｉ２，...Ｉｎ）の全ての組み合わせに対して、３つのレジストレーション・マトリクスが生成されてもよい。例えば、画像Ｉ１とＩ２との間には、深度レベルｄ１に対応してレジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２）が生成され、深度レベルｄ２に対応してレジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ２）が生成され、深度レベルｄ３に対応してレジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ２）が生成されてもよい。

ある例示的実施形態においては、全ての画像に対して、当該画像と残りの画像との間に、一つ又は複数の深度レベルに対応してレジストレーション・マトリクスが決定されてもよい。ある例では、装置２００は、ある画像（例えばＩ２）と、それ以外の画像（例えば残りの画像Ｉ１，Ｉ３，...ＩｎのうちＩ３）その間に深度レベル（例えばｄ１）に対応してレジストレーション・マトリクスを決定するようにされるが、それは、画像（Ｉ２）中の当該深度レベルに関連する領域及びその他の画像（Ｉ３）中の当該深度レベルに関連する領域を選択することによりなされてもよい。例えば、深度レベルｄ１に対応して、画像（Ｉ２）からは領域ｒ（Ｉ２，ｄ１）が選択され、画像（Ｉ３）からは領域ｒ（Ｉ３，ｄ１）が選択されてもよい。

ある例示的実施形態において、装置２００は、選択された領域ｒ（Ｉ２，ｄ１）やｒ（Ｉ３，ｄ１）の中で、複数の特徴点を決定するようにされる。この画像特徴点の例には、コーナー（角部；corner）、フレーム中の一つ又は複数のオブジェクトのエッジ、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、画像の背景や前景のようなＲＯＩが含まれる。また、これら以外の特徴点も存在する。ある例示的実施形態において、装置２００は、特定の深度レベルに関連してある画像（Ｉ２）から選択された領域の特徴点と、当該深度レベルに関連して残りの別の画像（Ｉ３）から選択された領域の特徴点との間の一致の度合いに基づいて、当該深度レベルのためのレジストレーション・マトリクスを計算するようにされる。例えば、ある例示的実施形態においては、深度レベルｄ１に関する領域ｒ（Ｉ２，ｄ１）中の特徴点と領域ｒ（Ｉ３，ｄ１）中の特徴点との間の一致の度合いが計算されてもよい。ある例示的実施形態では、この一致の度合いに基づいて、レジストレーション・マトリクスＲｄ１（Ｉ２，Ｉ３）が計算されてもよい。ある例示的実施形態では、深度レベルｄ２に関連して領域ｒ（Ｉ２，ｄ２）及びｒ（Ｉ３，ｄ２）中の特徴点間の一致度が計算され、また、深度レベルｄ３に関連して領域ｒ（Ｉ２，ｄ３）及びｒ（Ｉ３，ｄ３）中の特徴点間の一致度が計算されてもよい。ある例示的実施形態では、領域ｒ（Ｉ２，ｄ２）及びｒ（Ｉ３，ｄ２）中の特徴点間の一致度に基づいてレジストレーション・マトリクスＲｄ２（Ｉ２，Ｉ３）が計算され、領域ｒ（Ｉ２，ｄ３）及びｒ（Ｉ３，ｄ３）中の特徴点間の一致度に基づいてレジストレーション・マトリクスＲｄ３（Ｉ２，Ｉ３）が計算されてもよい。

ある例示的実施形態において、装置２００は、ある画像の超解像画像を生成すべく、一つ又は複数のレジストレーション・マトリクスに基づいて、当該画像及び一つ又は複数の残りの画像の超解像化を行うようにされる。例えば、複数の深度レベルに対応して複数のレジストレーション・マトリクスが生成される。ある例示的実施形態において、一つ又は複数の残りの画像を使った特定の画像の超解像化は、当該画像と一つ又は複数の残りの画像との間の複数の深度レベルに関して決定された複数のレジストレーション・マトリクスに基づいて、実行される。例えば、ある例示的実施形態において、特定の画像Ｉ１の超解像画像は、特定の深度レベルに対応するレジストレーション・マトリクスに基づき、画像Ｉ１の当該深度レベルに関する領域および残りの画像の当該深度レベルに関する領域の超解像化を実行することに基づいて、生成されてもよい。ある例示的実施形態では、各深度レベルについて、ある画像の当該深度レベル対応する領域および残りの画像の当該深度レベルに対応する領域に対して、超解像化が実行される。ある例示的実施形態では、ある画像の超解像画像は、当該画像に関連する各深度レベルについて超解像化を行うことに基づいて生成される。

超解像画像の生成に関するいくつかの実施形態を、図３−６を参照してさらに説明する。なお、図３−６は例示的実施形態を一つ又は複数示すだけであり、様々な例示的実施形態の範囲を限定するものと受けとってはならない。
図３は、ある例示的実施形態に従うライトフィールド画像３００を表したものである。ある例示的実施形態において、ライトフィールド画像３００は、装置２００のような装置によって撮影されたものであってもよい。例えば、装置２００は、ライトフィールド画像を撮影することのできるメディアキャプチャデバイスを備えていてもよい。代替的に又は追加的に、ライトフィールド画像３００は、あらかじめ記録されて装置２００に格納されていてもよく、又は、装置２００が外部のソースから受信するものであってもよい。図２を参照して説明したように、ライトフィールド画像３００は、同一のシーンについての複数のビューの情報を含む撮影画像であってもよい。

ある例示的実施形態においては、処理手段は、ライトフィールド画像の受信を支援するように構成されてもよい。処理手段の例にはプロセッサ２０２が含まれてもよい。プロセッサ２０２は、コントローラ１０８の例であってもよい。ある実施形態において、処理手段は、ライトフィールド画像を撮影する能力を有するメディアキャプチャデバイスに通信可能に組み合わされてもよい。

図４は、ある実施形態に従う深度マップ（ｄｅｐｔｈ ｍａｐ）の例示的な表現であり、ライトフィールド画像中の深度（ｄｅｐｔｈ）のレベルを表現している。図４には深度マップ４００が示されている。この深度マップはライトフィールド画像３００から生成されたものである。例示的な表現において、深度マップ４００は、一つ又は複数の深度レベルに対応した領域を含む。例えば、深度マップ４００は、ＡＢＣＤＥＡで囲まれた領域４１０、ＥＦＧＥで囲まれた領域４２０、ＧＨＩＣＤＥＦＧで囲まれた領域４３０を有する。これらはそれぞれ、深度レベルｄ１、ｄ２、ｄ３に対応する。ある例では、ライトフィールド画像３００に関係するシーンにおいて、領域４１０に存在する一つ又は複数のオブジェクトは、領域４２０又は４３０に存在する一つ又は複数のオブジェクトとは、異なる深度レベルを有している。

ある例示的実施形態において、装置２００のような装置は、ライトフィールド画像３００から深度マップ４００を決定するようにされる。ある例示的実施形態においては、処理手段か、ライトフィールド画像３００から深度マップ４００を決定するようにされる。処理手段の例にはプロセッサ２０２が含まれてもよい。プロセッサ２０２は、コントローラ１０８の例であってもよい。

図５Ａ−Ｃは、ある例示的実施形態に従い、ライトフィールド画像から生成された複数の画像を表したものである。例えば、図５Ａ−Ｃは、それぞれ、ライトフィールド画像３００から生成された画像５１０、５２０、５３０を表している。様々な例示的実施形態において、装置２００は、画像５１０、５２０、５３０を、これらがそれぞれ同じシーンの異なるビューを表すように生成するようにされる。例えば、画像５１０、５２０、５３０は、それぞれ、同じシーンの少しずつ異なるビューを表す。ある例において、画像５１０、５２０、５３０の間には、少しずつ異なる視差（パララックス）が存在していてもよい。この視差は、画像５１０、５２０、５３０を、それぞれ異なった位置（あるいは異なった角度）から撮影したもののように見せている。ある例示的実施形態において、ライトフィールド画像３００から生成されたこれらの画像５１０、５２０、５３０は、低い解像度しか有していない。これらの画像の解像度は、超解像化処理によって改善されてもよく、それによって対応する超解像画像が生成されてもよい。

ある例において、画像５１０の超解像画像は、画像５２０及び５３０を用いた画像５１０の超解像化によって生成されてもよい。ここで、それぞれ異なる深度レベルに対応する画像５１０の各領域についての超解像化は、画像５２０及び５３０の対応する領域と共に行われる。例えば、図５の例において、画像５１０は、ＡＢＣＤＥＡで囲まれた領域５１２、ＥＦＧＥで囲まれた領域５２４、ＧＨＩＣＤＥＦＧで囲まれた領域５１６を有し、これらはそれぞれ深度レベルｄ１、ｄ２、ｄ３に対応している。画像５２０は、Ａ'Ｂ'Ｃ'Ｄ'Ｅ'Ａ'で囲まれた領域５２２、Ｅ'Ｆ'Ｇ'Ｅ'で囲まれた領域５２４、Ｇ'Ｈ'Ｉ'Ｃ'Ｄ'Ｅ'Ｆ'Ｇ'で囲まれた領域５２６を有し、これらはそれぞれ深度レベルｄ１、ｄ２、ｄ３に対応している。画像５３０は、Ａ"Ｂ"Ｃ"Ｄ"Ｅ"Ａ"で囲まれた領域５３２、Ｅ"Ｆ"Ｇ"Ｅ"で囲まれた領域５３４、Ｇ"Ｈ"Ｉ"Ｃ"Ｄ"Ｅ"Ｆ"Ｇ"で囲まれた領域５３６を有し、これらはそれぞれ深度レベルｄ１、ｄ２、ｄ３に対応している。

ある例示的実施形態において、装置２００は、深度レベルｄ１、ｄ２、ｄ３に対応して、画像５１０，画像５２０，画像５３０との間のレジストレーション・マトリクスを個別に決定することにより、画像を５１０の超解像画像を生成するようにされる。ある例示的実施形態において、装置２００は、領域５１２と５２２との間のレジストレーション・マトリクスと、領域５１２と５１３との間のレジストレーション・マトリクスとに基づいて、領域５２２及び５３２を使って領域５１２の超解像化を行うことにより、画像５１０の超解像画像を生成するようにされる。

ある例示的実施形態において、２つの画像（例えば画像５１０及び５２０）の間の深度レベルに対応するレジストレーション・マトリクスは、当該深度レベルに関連して両方の画像から選択された領域から複数の特徴点を決定し、これらの画像の間の特徴点の一致度を探ることにより、決定されてもよい。ある例示的実施形態において、選択された領域の特徴点は、Ｈａｒｒｉｓのコーナー検出法、ＳＵＳＡＮ（Ｓｍａｌｌｅｓｔ Ｕｎｉｖａｌｕｅ Ｓｅｇｍｅｎｔ Ａｓｓｙｍｉｌａｔｉｎｇ Ｎｕｃｌｅｕｓ）オペレータ、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）、ＷａｎｇとＢｒａｄｙによるＨａｒｒｉｓのコーナー検出法のようなオペレータ（手法）によって、選択されてもよい。なおここに挙げた手法は例に過ぎず、手法を限定するものではない。ある例示的実施形態において、特徴点の間の一致度は、ＲＡＮＳＡＣ（Random Sample Consensus）法のようなスキームにより決定されてもよい。なおＲＡＮＳＡＣ法は例に過ぎず、手法を限定するものではない。例えば、ＲＡＮＳＡＣのレジストレーション・アルゴリズムは、両方の画像の選択された領域の特徴点について適用され、これら両方の画像の領域間のレジストレーション・マトリクスを決定するために用いられてもよい。ある例示的実施形態において、ＲＡＮＳＡＣアルゴリズムから得られるレジストレーション・マトリクスは、ホモグラフィ（Homography）またはその他の変換行列であってもよい。

図６は、ある例示的実施形態に従って、超解像画像を例示的に表したものである。例えば、図６は、図５に示される画像５１０の超解像画像である画像６００を示している。ある例において、画像６００の領域６１０は、領域５２２及び５３２を用いた領域５１２の超解像化により生成された超解像領域である。ここで領域５２２及び５３２は、領域５１２に対応する画像以外の画像において同じ深度レベル（ｄ１）に対応する領域である。なお領域６１０は、深度レベルｄ１の対応するレジストレーション・マトリクスを用いて、領域５２２及び５３２の一方又は両方を用いて領域５１２を超解像化することにより生成されてもよい。例えば、領域６１０は、領域５１２と５２２の間のレジストレーション・マトリクスを用いて領域５１２及び５２２の超解像化を実行することと、領域５１２と５３２の間のレジストレーション・マトリクスを用いて領域５１２及び５３２の超解像化を実行することと、の一方又は両方から構築されてもよい。ある例において、領域６２０は、領域５１４と５２４の間のレジストレーション・マトリクスを用いて領域５１４及び５２４の超解像化を実行することと、領域５１４と５３４の間のレジストレーション・マトリクスを用いて領域５１４及び５３４の超解像化を実行することと、の一方又は両方から構築されてもよい。ある例において、領域６３０は、領域５１６と５２６の間のレジストレーション・マトリクスを用いて領域５１６及び５２６の超解像化を実行することと、領域５１６と５３６の間のレジストレーション・マトリクスを用いて領域５１６及び５３６の超解像化を実行することと、の一方又は両方から構築されてもよい。なお、図３−６の例示的実施形態において、超解像画像６００は、画像５１０、５２０、５３０の３つのみから生成されるように示されているが、このような表し方は、簡単な説明を提供するためのものに過ぎない。多くの例示的実施形態の実際の実装例においては、ライトフィールド画像から生成される複数の画像のうちの１つの超解像画像は、その画像を残りの画像の３つ以上と共に超解像化を行うことにより、作成されてもよい。例えば、一つのライトフィールド画像から、各々異なるビューを持つ画像が全部で２０個生成されるとき、そのうちの一つの画像の超解像画像は、各深度レベルに対応する複数のレジストレーション・マトリクスに基づいて、当該画像を残りの１９個と共に超解像化することにより、生成されてもよい。

ある例示的実施形態において、異なる画像の領域の超解像化は、その領域の解像度を改善するために適当な如何なる超解像化技術を用いて実行してもよい。ある例示的実施形態において、２つの領域間の超解像化は、ＳＲ（Super Resolving）再構成法に基づいて行われてもよい。ＳＲ再構成法の例は、等間隔補間法（uniform interpolation method）や不等間隔補間法（non-uniform interpolation method）、逆投影法（Back Projection Method）などを含む。なお、これは例を網羅的に示したものではない。図３−６を比較すると、画像３００に比べて画像６００はよく解像しており、解像度がかなり改善されていることがわかる。

ある例における、ある画像とその超解像画像のピーク信号対雑音比（ＰＳＮＲ）及び構造的類似性指標（Structural Similarity Measure；ＳＳＩＭ）が、ケース１とケース２の２つの場合について、表１に示されている。

表１において、ケース１のＰＳＮＲおよびＳＳＩＭは、少なくとも一つの例示的実施形態に対応する値を示し、ケース２のＰＳＮＲおよびＳＳＩＭは、画像の超解像化を行わない技術に対応する値、すなわち画像中の深度レベルに対応するレジストレーション・マトリクスに基づく超解像化を行わない技術に対応する値を示している。この例において、（例えば、少なくとも一つの実施例である）ケース１は、（深度レベルに基づいてレジストレーション・マトリクスが決定されなかった）ケース２に比べて、ＰＳＮＲおよびＳＳＩＭが良いことがわかる。

図７は、別の例示的実施形態に従い、ライトフィールド画像から超解像画像を生成する例示的方法７００のフローチャートを描いたものである。ライトフィールド画像の例は、同一のシーンについての複数のビューの情報を含む画像のような撮影画像を含む。この例は網羅的なものではない。この画像からは、それぞれ視差（パララックス）が少しずつ異なる複数の画像が生成されてもよい。フローチャートに描かれる方法７００は、例えば、図２の装置２００によって実行されてもよい。

方法７００のブロック７０５はライトフィールド画像の受け取りを進めることを含む。図２を参照して説明したように、ライトフィールド画像は、ライトフィールドカメラを有するメディアキャプチャデバイスから取り込まれてもよいし、ＤＶＤやコンパクトディスク（ＣＤ）、フラッシュドライブ、メモリーカードのような外部ソースから取り込まれてもよいし、インターネットやBluetooth（登録商標）のような外部の保存場所から受信してもよい。

ブロック７１０において、方法７００は、ライトフィールド画像の一つ又は複数の深度レベルを決定することを含む。例えば、ライトフィールド画像が３つのオブジェクトを含み、これらのうち一つ又は複数のオブジェクトは、ライトフィールド画像に対応する現実のシーンにおいて、他のオブジェクトに比して異なる深度を有してもよい。ある例示的実施形態において、ライトフィールド画像の一つ又は複数の深度レベルに対応する深度マップが決定されてもよい。ブロック７１５において、方法７００は、ライトフィールド画像から複数の画像を生成することを含む。ある例示的実施形態において、これら複数の画像の各々は、それぞれライトフィールド画像により撮影されているシーンの少しずつ異なるビューを表してもよい。

７２０において、方法７００は、上記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定することを含む。例えば、ライトフィールド画像に３つの深度レベルが存在する場合、すなわち上記複数の画像のうちの２つの画像のペアには、ペアによって３つの深度レベルが存在する場合、これら３つの深度レベルに対応して３つのレジストレーション・マトリクスが生成されてもよい。７２５において、方法７００は、ある画像の超解像画像を生成すべく、一つ又は複数のレジストレーション・マトリクスに基づいて、当該画像及び一つ又は複数の残りの画像の超解像化を行うことを含む。図２を参照して説明したように、ある画像の超解像化を残りの画像と共に行うことは、その画像と残りの画像との間の深度レベルについて決定されたレジストレーション・マトリクスを用いて行われる。ある例示的実施形態において、ある画像の超解像化は、残りの画像のいくつかまたは全てと共に行われてもよい。

図８は、別の例示的実施形態に従う、超解像画像を生成する例示的方法８００のフローチャートを描いたものである。これらのフローチャートに描かれる方法は、例えば、図２の装置２００によって実行されてもよい。フローチャートの処理及びフローチャートの処理の組み合わせは様々な手段によって実施されることに留意されたい。そのような手段には、例えばハードウェアやファームウェア、プロセッサ、回路網、及び／又はソフトウェアの実行に関連付けられるデバイスが含まれる。また当該ソフトウェアは一つ又は複数のコンピュータプログラム命令を含む。例えば、様々な実施形態に関して説明された一つ又は複数の処理は、コンピュータプログラム命令によって具現化されてもよい。ある例示的実施形態では、多くの実施形態で説明された上記の処理を具現化するコンピュータプログラム命令は、装置の少なくとも一つのメモリデバイスに格納されてもよく、装置の少なくとも一つのプロセッサにより実行されてもよい。このようなコンピュータプログラム命令は、コンピュータや、プログラム可能な装置（例えばハードウェア）にロードされて機械を構成する。すなわち、命令がロードされたコンピュータ又はプログラム可能な装置は、一つ又は複数のフローチャートにより特定される機能を実装するための手段を具現化する。これらのコンピュータプログラム命令はコンピュータ読み取り可能な記憶メモリ（すなわち搬送波や電磁波信号のような送信媒体ではない媒体））に格納されてもよく、固有の方法でコンピュータ又はその他のプログラム可能な装置を機能させるべく命令してもよい。すなわち、コンピュータ読み取り可能なメモリに格納される命令は、実行されることにより、一つ又は複数のフローチャートのブロックにより特定される機能を実装する製品を形成する。コンピュータプログラム命令はコンピュータ又はその他のプログラム可能な装置にロードされ、一連の動作を前記コンピュータ又はその他のプログラム可能な装置で実行させることにより、コンピュータ実装プロセスを生成する。すなわち、コンピュータ又はその他のプログラム可能な装置で命令が実行されることにより、フローチャートで特定される処理を提供する。方法に関する処理は装置２００の助けを借りて説明される。しかし、方法に関する処理は、他の如何なる装置を用いて説明されたり実施されたりしてもよい。

方法８００のブロック８０５はライトフィールド画像の受け取りを進めることを含む。ブロック８１０において、方法８００は、ライトフィールド画像の一つ又は複数の深度レベルを決定することを含む。例えば、ライトフィールド画像が３つのオブジェクトを含み、これらのうち一つ又は複数のオブジェクトは、ライトフィールド画像に対応する現実のシーンにおいて、他のオブジェクトに比して異なる深度を有してもよい。ある例示的実施形態において、ライトフィールド画像の一つ又は複数の深度レベルに対応する深度マップが決定されてもよい。ブロック８１５において、方法８００は、ライトフィールド画像から複数の画像を生成することを含む。ある例示的実施形態において、これら複数の画像の各々は、それぞれライトフィールド画像により撮影されているシーンの少しずつ異なるビューを表してもよい。ある例示的実施形態において、ブロック８１０及び８１５は如何なる順序で実行されてもよい。例えばブロック８１５は、ブロック８１０と同時的に実行されてもよいし、その前に又は後に実行されてもよい。

８２０において、方法８００は、複数の画像のうちの一つを選択することを含む。例えば、画像Ｉ１、Ｉ２、Ｉ３のうちから画像Ｉ１が選択される。ある例示的実施形態においては、超解像画像が生成されるべき画像が選択される。８２５において、ライトフィールド画像に含まれる一つ又は複数の深度レベルのうちの一つが選択される。例えば、深度レベルｄ１、ｄ２、ｄ３のうちから深度レベルｄ１が選択される。

８３０において、方法８００は、ある画像からその深度レベルに関連する領域を選択すると共に、一つ又は複数の残りの画像からも、その深度レベルに関連する領域を選択することを含む。例えば、画像Ｉ１から深度レベルｄ１に関連する領域（例えばｒ（Ｉ１，ｄ１）が選択され、画像Ｉ２からも深度レベルｄ１に関連する領域（例えばｒ（Ｉ２，ｄ１）が選択され、画像Ｉ３からも深度レベルｄ１に関連する領域（例えばｒ（Ｉ３，ｄ１）が選択される。８３５において、方法８００は、ある画像中の選択された領域内で複数の特徴点を決定すると共に、一つ又は複数の残りの画像の選択された領域内でも複数の特徴点を決定することを含む。例えば、画像Ｉ１中の選択された領域内で複数の特徴点を決定すると共に、画像Ｉ２，Ｉ３の選択された領域内でも複数の特徴点を決定する。

８４０において、選択された深度レベルｄ１に関して、ある画像から選択された領域内の複数の特徴点と、一つ又は複数の残りの画像から選択された領域内の複数の特徴との間の一致度に基づいて、レジストレーション・マトリクスが計算される。例えば、選択された深度レベルｄ１について、画像Ｉ１とＩ２とからレジストレーション・マトリクス（例えばＲｄ１（Ｉ１，Ｉ２））が計算される。ある例示的実施形態において、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２）は、領域ｒ（Ｉ１，ｄ１）と領域ｒ（Ｉ２，ｄ１）との特徴点の一致度に基づいて計算される。この例において、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ３））は、選択された深度レベルｄ１についての画像Ｉ１とＩ２の特徴点の一致度に基づいて計算される。ある例示的実施形態において、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ３）は、領域ｒ（Ｉ１，ｄ１）と領域ｒ（Ｉ３，ｄ１）との特徴点の一致度に基づいて計算される。

８４５において、全ての深度レベルが選択されたかどうかがチェックされる。例えば、全ての深度レベルが選択されていなかったとしたら、ブロック８２５の処理が実行され、次の深度レベルが選択される。例えば、次の深度レベルｄ２が選択され、ブロック８３０−８４０の処理が実行されることにより、深度レベルｄ２について画像Ｉ１とＩ２との間にレジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ２）が計算され、深度レベルｄ２について画像Ｉ１とＩ３との間にレジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ３）が計算される。ある例示的実施形態において、ステップ８４５におけるチェックに基づいて、ブロック８２５の処理が実行され、次の深度レベルが選択される。例えば、次の深度レベルｄ３が選択され、ブロック８３０−８４０の処理が実行されることにより、深度レベルｄ３について画像Ｉ１とＩ２との間にレジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ２）が計算され、深度レベルｄ３について画像Ｉ１とＩ３との間にレジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ３）が計算される。ある例において、全てのレジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２），Ｒｄ１（Ｉ１，Ｉ３），Ｒｄ２（Ｉ１，Ｉ２），Ｒｄ２（Ｉ１，Ｉ３），Ｒｄ３（Ｉ１，Ｉ２），Ｒｄ３（Ｉ１，Ｉ３）のうちのいくつかが計算される。

８４５において、全ての深度レベルが選択されたことがチェックされる。例えば、深度レベルｄ１、ｄ２、ｄ３についてのレジストレーション・マトリクスが計算されると、方法はブロック８５０に進む。なお、実施形態によっては、いくつかの深度レベルについてレジストレーション・マトリクスが計算されていなくても、方法８００はブロック８５０に進む場合もある。

８５０において、方法８００は、ある画像中の各深度レベルに関連する各領域と、一つ又は複数の残りの画像中の各深度レベルに関連する各領域との超解像化を、深度レベルに対応するレジストレーション・マトリクスに基づいて実行する。例えば、領域ｒ（Ｉ１，ｄ１）の超解像化は領域ｒ（Ｉ２，ｄ１）及びｒ（Ｉ３，ｄ３）と共に行われ、領域ｒ（Ｉ１，ｄ２）の超解像化は領域ｒ（Ｉ２，ｄ２）及びｒ（Ｉ３，ｄ２）と共に行われ、領域ｒ（Ｉ１，ｄ３）の超解像化は領域ｒ（Ｉ２，ｄ３）及びｒ（Ｉ３，ｄ３）と共に行われる。ここで、領域ｒ（Ｉ２，ｄ１）及びｒ（Ｉ３，ｄ３）と共に行われる領域ｒ（Ｉ１，ｄ１）の超解像化は、レジストレーション・マトリクスＲｄ１（Ｉ１，Ｉ２）およびＲｄ１（Ｉ１，Ｉ３）に基づいて行われることに注意されたい。同様に、領域ｒ（Ｉ２，ｄ２）及びｒ（Ｉ３，ｄ２）と共に行われる領域ｒ（Ｉ１，ｄ２）の超解像化は、レジストレーション・マトリクスＲｄ２（Ｉ１，Ｉ２）およびＲｄ２（Ｉ１，Ｉ３）にそれぞれ基づいて行われ、領域ｒ（Ｉ２，ｄ３）及びｒ（Ｉ３，ｄ３）と共に行われる領域ｒ（Ｉ１，ｄ３）の超解像化は、レジストレーション・マトリクスＲｄ３（Ｉ１，Ｉ２）およびＲｄ３（Ｉ１，Ｉ３）にそれぞれ基づいて行われる。ある例示的実施形態において、２つの領域間の超解像化は、ＳＲ（Super Resolving）再構成アルゴリズムに基づいて行われてもよい。

８５５において、方法８００は、画像の超解像画像を生成する。この超解像画像は、当該画像の全ての深度レベルに関連する領域を、一つ又は複数の残りの画像と共に超解像化することに基づいて生成される。例えば、領域ｒ（Ｉ１，ｄ１）、ｒ（Ｉ１，ｄ２）、ｒ（Ｉ１，ｄ３）の超解像化は、残りの画像Ｉ２、Ｉ３の対応する領域を用いて（ステップ８５０で）行われるので、画像Ｉ１の超解像画像は、領域ｒ（Ｉ１，ｄ１）、ｒ（Ｉ１，ｄ２）、ｒ（Ｉ１，ｄ３）の超解像化に基づいて生成される。方法８００の処理を実行することにより、例えば、ブロック８２０で画像Ｉ２を選択することにより、画像Ｉ２の超解像画像が生成されてもよいことも注意されたい。同様に、ブロック８２０で画像Ｉ３を選択することにより、画像Ｉ３の超解像画像が生成されてもよい。

図８の方法８００の説明を容易にするために、いくつかの処理は、他のステップとは区別可能なステップとして、特定の処理順序を有するものとして説明されてきた。しかし、このような実装形態は単に例に過ぎず、実装形態を限定するものではない。いくつかの処理は統合されて単一の処理として実行されてもよく、また、いくつかの処理は本明細書に例示された順序とは異なる順序で実行されうる。さらに、方法８００のいくつかの処理は、自動的に実行される。そのような処理には実質的にユーザは関わらない。方法８００の別の処理は、マニュアル又は半自動的に実行されてもよい。そのような処理には、一つ又は複数のユーザインタフェースを介してユーザが操作ことを含む。

本明細書で開示された一つ又は複数の例示的実施形態の技術的効果は、ライトフィールド画像から超解像画像を生成することである。ただしこのことは、請求項に係る発明の範囲や解釈、応用をいかようにも限定するものではない。様々な具現化形態が、深度を考慮した画像の超解像化の方法を提供している。ここでは、異なる深度レベルに対して様々なレジストレーション・マトリクスが用いられる。様々な具現化形態において、各深度レベルの領域の超解像化を個別に行うために、深度レベルに応じたレジストレーション・マトリクスが用いられる。このような画像の超解像化は、エラーに見えるようなジャギーや空間ボケ（ｓｐａｔｉａｌ ｂｌｕｒ）を減らしうる。このようなジャギーや空間ボケは、２つの低解像度の画像の間のレジストレーション・マトリクスであって、画像中のオブジェクトの深度レベルを考慮しないで計算されるレジストレーション・マトリクスを１つだけしか用いない場合には、見えてしまうものである。

上述の様々な実施形態は、ソフトウェアやハードウェア、アプリケーションロジック、又はこれらの結合として実装されうる。ソフトウェアやアプリケーションロジック、ハードウェアは、少なくとも一つのメモリ、少なくとも一つのプロセッサ、装置、コンピュータプログラムを用いた製品に存在していてもよい。ある例示的実施形態においては、アプリケーションロジック、ソフトウェア、または命令セットは、コンピュータ読み取り可能な標準的な媒体のいずれかに保持される。本明細書の文脈において"コンピュータ読み取り可能なメディア"は触ることが可能なメディアや手段であって、命令を実行するコンピュータのようなシステムや装置、デバイスによって又はそれと共に使用される命令を、含むことや格納すること、通信すること、伝達すること、送信することのいずれかが可能な如何なるメディアや手段であってもよい。上記コンピュータの例には、図１及び／又は図２に関連して説明され描かれている装置がある。コンピュータ読み取り可能なメディアはコンピュータ読み取り可能な記憶媒体を備えてもよい。それは、コンピュータのような、命令を実行するシステムや装置、デバイスによってまたはそれと共に使用される命令を含むか格納しうる、如何なるメディアや手段であってもよい。

それが望ましい場合は、本明細書で説明された様々な機能の少なくとも一部は、異なる順番で実行されてもよいし、同時に実行されてもよい。さらに、それが望ましい場合は、上述の一つ又は複数の機能はオプションであってもよいし、または統合されてもよい。

具現化形態の様々な側面が独立請求項に提示されているが、その他の側面には、請求項に明示的に提示されている組み合わせ以外にも、説明された実施形態及び／又は従属請求項に含まれる特徴を、独立請求項の特徴と組み合わせたものも含まれる。

本発明のいくつかの例示的実施形態を説明してきたが、これらの説明は限定的な意味に捉えられるべきではないことは注意されたい。それよりも、添付の特許請求の範囲に定義される開示の範囲を逸脱することなしに、様々な変形や修正が存在する。

Claims (24)

1. ライトフィールド画像の受け取りを支援することと；
   前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；
   前記ライトフィールド画像から複数の画像を生成することと；
   前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定すること、ただし、前記一つ又は複数のレジストレーション・マトリクスを決定することは、前記ある画像中から前記深度レベルに関連する第１の領域を選択すると共に、前記一つ又は複数の残りの画像の前記いずれかからも、該深度レベルに関連する第２の領域を選択することであって、前記第１の領域及び第２の領域は多角形形状を有する、前記第１の領域及び第２の領域を選択することを含み、前記レジストレーション・マトリクスは、前記第１の領域及び第２の領域の間の変換を含む、前記決定することと；
   前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を前記深度レベルに応じて行うことと；
   を含む、方法。
2. 前記ある画像と、前記一つ又は複数の残りの画像のうちのいずれかとの間の一つ又は複数の深度レベルのいずれかに対応して、前記一つ又は複数のレジストレーション・マトリクスのいずれかを決定することは：
   前記第１の領域内で複数の第１の特徴点を決定すると共に、前記第２の領域内で複数の第２の特徴点を決定することと；
   前記複数の第１の特徴点と前記複数の第２の特徴点との一致度に基づいて、前記レジストレーション・マトリクスを計算することと；
   を含む、請求項１に記載の方法。
3. 前記ある画像の超解像化を行うことは：
   前記ある画像の一つ又は複数の深度レベルに関する領域及び前記一つ又は複数の残りの画像の前記一つ又は複数の深度レベルに関する領域の超解像化を、前記一つ又は複数の深度レベルに対応する前記レジストレーション・マトリクスに基づいて行うことと；
   前記ある画像の前記一つ又は複数の深度レベルに関する前記領域の超解像化を前記一つ又は複数の残りの画像の対応する領域と共に行うことに基づいて、前記超解像画像を生成することと；
   を含む、請求項１又は２に記載の方法。
4. 前記超解像化はＳＲ再構成アルゴリズムに基づいて行われる、請求項１又は３に記載の方法。
5. 前記ライトフィールド画像の前記一つ又は複数の深度レベルに関する深度マップを決定することを含む、請求項１に記載の方法。
6. 前記一つ又は複数のレジストレーション・マトリクスは、ＲＡＮＳＡＣアルゴリズムによって決定される、請求項１から３のいずれかに記載の方法。
7. 前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことは、不等間隔補間法を実行することを含む、請求項１又は３に記載の方法。
8. 前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことは、逆投影法を実行することを含む、請求項１又は３に記載の方法。
9. 前記超解像画像は前記ある画像よりも高い解像度を有する、請求項１から８のいずれかに記載の方法。
10. 少なくとも一つのプロセッサと；
    コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも：
    ライトフィールド画像の受け取りを支援することと；
    前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；
    前記ライトフィールド画像から複数の画像を生成することと；
    前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定すること、ただし、前記一つ又は複数のレジストレーション・マトリクスを決定することは、前記ある画像中から前記深度レベルに関連する第１の領域を選択すると共に、前記一つ又は複数の残りの画像の前記いずれかからも、該深度レベルに関連する第２の領域を選択することであって、前記第１の領域及び第２の領域は多角形形状を有する、前記第１の領域及び第２の領域を選択することを含み、前記レジストレーション・マトリクスは、前記第１の領域及び第２の領域の間の変換を含む、前記決定することと；
    前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を前記深度レベルに応じて行うことと；
    を行わせるように構成される、装置。
11. 請求項１０に記載の装置であって、前記ある画像と、前記一つ又は複数の残りの画像のうちのいずれかとの間の一つ又は複数の深度レベルのいずれかに対応して、前記一つ又は複数のレジストレーション・マトリクスのいずれかを決定することのために、前記装置は少なくとも部分的に：
    前記第１の領域内で複数の第１の特徴点を決定すると共に、前記第２の領域内で複数の第２の特徴点を決定することと；
    前記複数の第１の特徴点と、前記複数の第２の特徴点との一致度に基づいて、前記レジストレーション・マトリクスを計算することと；
    を行うようにされる、装置。
12. 請求項１０又は１１に記載の装置であって、前記ある画像の超解像化を行うために、該装置は少なくとも部分的に：
    前記ある画像の一つ又は複数の深度レベルに関する領域及び前記一つ又は複数の残りの画像の前記一つ又は複数の深度レベルに関する領域の超解像化を、前記一つ又は複数の深度レベルに対応する前記レジストレーション・マトリクスに基づいて行うことと；
    前記ある画像の前記一つ又は複数の深度レベルに関する前記領域の超解像化を前記一つ又は複数の残りの画像の対応する領域と共に行うことに基づいて、前記超解像画像を生成することと；
    を行うようにされる、装置。
13. 前記超解像化はＳＲ再構成アルゴリズムに基づいて行われる、請求項１０又は１２に記載の装置。
14. 前記ライトフィールド画像の前記一つ又は複数の深度レベルに関する深度マップを決定することを少なくとも部分的に行うようにされる、請求項１０に記載の装置。
15. 前記一つ又は複数のレジストレーション・マトリクスは、ＲＡＮＳＡＣアルゴリズムによって決定される、請求項１０から１２のいずれかに記載の装置。
16. 前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことために、不等間隔補間法を少なくとも部分的に実行するようにされる、請求項１０又は１２に記載の装置。
17. 前記ある画像及び前記一つ又は複数の残りの画像の超解像化を行うことために、逆投影法を少なくとも部分的に実行するようにされる、請求項１０又は１２に記載の装置。
18. 前記超解像画像は前記ある画像よりも高い解像度を有する、請求項１０から１７のいずれかに記載の装置。
19. 電子機器として構成される請求項１０に記載の装置であって：
    前記電子機器の少なくとも一つの機能をディスプレイを通じてユーザが制御することを容易にするように、かつユーザ入力に応答するように構成される、ユーザインタフェース回路およびユーザインタフェースソフトウェアと；
    前記電子機器のユーザインタフェースの少なくとも一部を表示するよう構成される表示回路と；を備え、前記ディスプレイ及び前記表示回路は、上記電子機器の少なくとも一つの機能をユーザが制御することを支援するように構成される、装置。
20. 前記ライトフィールド画像をキャプチャするように構成される少なくとも一つのイメージセンサを備える、請求項１９に記載の装置。
21. 前記電子機器が携帯電話として構成される、請求項１９に記載の装置。
22. 少なくとも一つのコンピュータ読み取り可能な記憶媒体を備える製品であって、前記コンピュータ読み取り可能な記憶媒体が、一つ又は複数のプロセッサにより実行される時に、装置に少なくとも：
    ライトフィールド画像の受け取りを支援することと；
    前記ライトフィールド画像の一つ又は複数の深度レベルを決定することと；
    前記ライトフィールド画像から複数の画像を生成することと；
    前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定すること、ただし、前記一つ又は複数のレジストレーション・マトリクスを決定することは、前記ある画像中から前記深度レベルに関連する第１の領域を選択すると共に、前記一つ又は複数の残りの画像の前記いずれかからも、該深度レベルに関連する第２の領域を選択することであって、前記第１の領域及び第２の領域は多角形形状を有する、前記第１の領域及び第２の領域を選択することを含み、前記レジストレーション・マトリクスは、前記第１の領域及び第２の領域の間の変換を含む、前記決定することと；
    前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を前記深度レベルに応じて行うことと；
    を実行させる命令セットを備える、製品。
23. ライトフィールド画像の受け取りを支援する手段と；
    前記ライトフィールド画像の一つ又は複数の深度レベルを決定する手段と；
    前記ライトフィールド画像から複数の画像を生成する手段と；
    前記複数の画像のある画像と一つ又は複数の残りの画像との間の一つ又は複数の深度レベルに対応して一つ又は複数のレジストレーション・マトリクスを決定する手段、ただし、前記一つ又は複数のレジストレーション・マトリクスを決定する手段は、前記ある画像中から前記深度レベルに関連する第１の領域を選択すると共に、前記一つ又は複数の残りの画像の前記いずれかからも、該深度レベルに関連する第２の領域を選択することであって、前記第１の領域及び第２の領域は多角形形状を有する、前記第１の領域及び第２の領域を選択することを含み、前記レジストレーション・マトリクスは、前記第１の領域及び第２の領域の間の変換を含む、前記決定する手段と；
    前記ある画像の超解像画像を生成すべく、前記一つ又は複数のレジストレーション・マトリクスに基づいて、前記ある画像及び前記一つ又は複数の残りの画像の超解像化を前記深度レベルに応じて行う手段と；
    を備える装置。
24. 装置の処理手段により実行されると、前記装置に請求項１から９のいずれかに記載の方法を実行させるように構成されるプログラム命令を備える、コンピュータプログラム。