JP5370606B2 - 撮像装置、画像表示方法、及びプログラム - Google Patents
撮像装置、画像表示方法、及びプログラム Download PDFInfo
- Publication number
- JP5370606B2 JP5370606B2 JP2013059384A JP2013059384A JP5370606B2 JP 5370606 B2 JP5370606 B2 JP 5370606B2 JP 2013059384 A JP2013059384 A JP 2013059384A JP 2013059384 A JP2013059384 A JP 2013059384A JP 5370606 B2 JP5370606 B2 JP 5370606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- unit
- images
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
プレノプティックカメラの光学系においては、従来の撮像レンズ(以下、「メインレンズ」と呼ぶ)と撮像素子との間に、極小のレンズ(以下、「マイクロレンズ」と呼ぶ)を繰り返し配置した複眼状レンズ(以下、「マイクロレンズアレイ」と呼ぶ)が挿入されている。
即ち、各マイクロレンズによって撮像素子に集光された像を、以下「サブ画像」と呼ぶならば、複数のサブ画像の集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像を、以下、「ライトフィールド画像」と呼ぶ。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像(以下、「再構成画像」と呼ぶ)のデータを自在に作り出すことができる。
複数の視点から得た複数の副画像が整列した多視点画像を撮像する撮像部と、
画像を表示する表示部と、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を切り出す切出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置する配置部と、
撮影準備状態において表示するための第1の再構成画像を、前記切出部と前記配置部とを用いた第1の画像生成処理で生成する第1の生成部と、
撮影後の再生表示のための第2の再構成画像を、前記切出部と前記配置部とを用いた、画質向上のため前記第1の画像生成処理より計算量が大きい第2の画像生成処理で生成する第2の生成部と、
前記表示部に、前記撮影準備状態では前記第1の再構成画像を表示させ、前記撮影後の再生表示では前記第2の再構成画像を表示させる制御部と、
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像における位置と、の位置のズレを示す画像ズレ係数を取得する画像ズレ取得部と、
を備えることを特徴とする。
本発明に係る撮像装置の一実施例としてのデジタルカメラ1の外観を、図1を参照して説明する。図1(a)は正面から、図1(b)は背面の外観を示す。デジタルカメラ1は、図1(a)に示すように正面側に撮像レンズ(レンズ群)12を有している。また、デジタルカメラ1の背面には図1(b)に示すように、表示装置としての液晶モニタ画面13と、モードダイアル、カーソルキー、SETキー、ズームボタン(Wボタン、Tボタン)、メニューキー等からなる操作部14と、が設けられている。また、上面にはシャッターキー10、電源ボタン11が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ(以下、パソコン)やモデム等の外部装置とUSBケーブルに接続する場合に用いるUSB端子接続部が設けられている。
記憶部34は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、CPU21から伝達された、あるいは他機器から入力された、後述するライトフィールド画像や再構成画像等、各種画像のデータ、各種設定情報を記憶する。
通信部36は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
マイクロレンズアレイ312においては、N×M個(N、Mは2以上の任意の整数値)のマイクロレンズ312−1乃至マイクロレンズ312−N×Mの各々が配置されている。図3には横一列(N個)のマイクロレンズが図示されている。以下、各マイクロレンズ312−i(iは、1乃至N×Mの範囲内の整数値)が同じ大きさの径をもち、マイクロレンズアレイ312に同じ間隔で格子状に配列されているとして説明する。
即ち、撮像素子313においては、複数のマイクロレンズ312−1乃至マイクロレンズ312−N×Mの各々により複数のサブ画像が結像され、これらの複数のサブ画像の集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブ画像に記録される。言い換えると被写体を同時に複数の視点から見た複数のサブ画像が整列した画像が得られる。
このライトフィールド画像(LFI)は、格子状に配置されたN×M個のマイクロレンズ312−iのそれぞれに対応する画像(副画像、サブ画像S11〜SMN)から構成されている。例えば、左上のサブ画像S11は、被写体OBを左上から撮影した画像に相当し、右下のサブ画像SMNは被写体OBを右下から撮影した画像に相当する。
なお、本実施形態では各サブ画像Sはグレースケール画像であり、サブ画像を構成する各画素は画素値(スカラー値)を持つ。
ライブビュー画像生成部620は、再構成画像のうちライブビュー用の画像(ライブビュー画像)を生成する。ライブビュー画像を生成する処理を「ライブビュー画像生成処理」と呼ぶ。ライブビューでは撮影時の準備・撮影状況をユーザに表示するため、被写体の画像を高速に切り替えて表示することが望まれる。そのため、本実施形態ではライブビュー画像生成処理は必要な計算量が少なく設定されている。ライブビュー画像生成部620は、生成したライブビュー画像を表示部70に出力する。ライブビュー画像生成部620は第1の生成部とも言う。
また、記憶部80は伝達された本画像を記憶する。なお、記憶部80は本画像を対応する確認画像と共に記憶しても良い。
デジタルカメラ1は、電源を投入され、入力部50が撮影を準備する操作を受け取ると、図6に示す画像出力処理1を開始する。
画素を配置する処理の具体的な内容については後述する。
出力部715は、こうして生成された第1再構成画像を外部(表示部70)に出力する。
ライブビュー画像生成部620(第1再構成画像生成部710)は、画像出力処理1(図6)のステップS103に至ると、図8に示す画像生成処理1を開始する。
ステップS201からステップS204までの処理について、具体例を用いて図9を参照して説明する。
S11の対応領域は図9(c)の座標(1,1)〜(4,4)の正方形の部分であり、S23の対応領域は座標(9,5)〜(12,8)の正方形の部分である。
図9の例では、S11の部分領域の画素(1,1)は、第1再構成画像の座標(4,4)に配置される。また、S11の部分領域の画素(1,3)が第1再構成画像の座標(3,4)に配置される。以下同様に一つおきに画素を部分領域から抽出して配置し、部分領域の画素(7,7)が第1再構成画像の座標(1,1)に配置される。
また、部分領域が11×11画素、対応領域が4×4画素である場合等、等間隔で抽出できない場合は、1番目の画素と、4番目の画素と、7番目の画素と、11番目の画素と、を抽出するといった、等間隔に近い抽出方法で画素を抽出する。あるいは、部分領域(11×11画素)を補間しながら対応領域(4×4画素)にリサイズしても良い。
そして、入力部50が撮像操作(シャッターキー10を押し込む操作)を検出したか否か判別する(ステップS105)。撮像操作を検出していないと判別すると(ステップS105;NO)、デジタルカメラ1はステップS101に戻ってライブビュー画像を表示するための処理を繰り返す。
設計上定められた注目サブ画像の中心の所定領域(例えば中心の10×10の領域)を中心領域とし、中心サブ画像に対応する部分が右隣(無い場合は左隣、この場合は以下左右逆)のサブ画像のどこにあるか求める。これは、ある画像部位が他の画像のどこにあるか決定する任意の既知の方法を用いる事が出来るが、本実施形態では次の方法を用いる。
まず、右隣の中心の10×10の領域を算出対象部位とする。そして、中心部位と算出対象部位の各画素値の差分絶対値和を取る。次に右に1画素ずらした領域について同様に差分絶対値和を取る。これを起こりうる視差の範囲について繰り返す。得られた絶対差分値和が最小である位置ズレを画像ズレ係数とする。
領域定義テーブルは、図10(b)に示すように、画像ズレ係数の範囲と、領域の大きさを示す値と、を対応づけて記録する。例えば、画像ズレ係数が8である場合、部分領域は注目サブ画像の中心6×6画素の領域である。部分領域定義部723は、定義した部分領域を示す情報を配置画像生成部724に伝達する。
領域の大きさを求める方法はこれに限らず、画像ズレ係数が大きくなると部分領域の大きさ(自然数)が所定範囲で大きくなるような任意のテーブルまたは算出式を用いて算出して良い。
出力部726は、こうして生成された第2再構成画像を外部(表示部70)に出力する。
確認画像生成部630(第2再構成画像生成部720)は、画像出力処理1(図6)のステップS106に至ると、図11に示す画像生成処理2を開始する。
う。
ステップS301からステップS305までの処理の具体例を、図12を参照して説明する。
本例では図12(b)に示すように、S11の中心部の10×10画素の正方形の部分をS11の部分領域として、S23の中心部の3×3画素の正方形の部分をS23の部分領域として、それぞれ定義している。
また、配置画像を、部分領域をリサイズして生成したが、部分領域の画素を対応領域の大きさに合わせて抽出して配置画像を生成しても良い。
そして、入力部50が記憶部34、入力部32等から本画像を生成するための再構成設定を取得する(ステップS108)。再構成設定には、メインレンズ311と再構成面との距離及び再構成画像が占める部位、フィルタの使用の有無及びフィルタ設定、再構成画像の画素数、等の情報が含まれる。
遠くにある被写体ほどマイクロレンズ毎の見込み角度の差が小さくなるためサブ画像内での移動も小さい。これに従い配置間隔を小さくする。逆に近くにある被写体ほどマイク_ロレンズ毎の見込み角度の差が大きくなるためサブ画像内での移動も大きい。これに従い配置間隔を大きくする。
配置間隔テーブルは、固定パラメータであるマイクロレンズアレイ312内のマイクロレンズ312−iの焦点距離と、撮像素子313の置かれた位置と、に応じて、画像ズレ係数と、再構成面までの距離と、メインレンズ311の焦点距離と、のそれぞれの値に対して実験により求めた好適な配置間隔の値を定義している。
なお、配置間隔は、上記パラメータを変数とするROM22に記憶された予め実験により定めた方程式により求めても良い。
注目画像のボケ強度は、注目サブ画像全体がどの程度再構成面からずれており、その部分をぼかして表示すべきかを定める係数である。ここでは、前述のズレ距離テーブルが定める画像ズレ係数のレベルと、再構成面までの距離のレベルと、の差をボケ強度とする。
サブ画像抽出部731〜画像配置部736は、LFIに含まれる全てのサブ画像について上記処理を実行して、第3再構成画像を生成する。
本画像生成部640(第3再構成画像生成部730)は、画像出力処理1(図6)のステップS109に至ると、図14に示す画像生成処理3を開始する。
計算量の増加と引き換えに縦方向と横方向と両方の位置ずれに基づいて画像ズレ係数を算出するので、図11のステップS302よりも正確にサブ画像の被写体距離を反映した画像ズレ係数となり、生成画像の画質が向上する。その他に画像ズレ係数の精度を向上する方法として、1方向についてより多いサブ画像について画像ズレ係数を計算することが考えられる。
なお、画像ズレ係数はステップS402で求めたサブ画像の各画素の画素ズレ係数を平均して求めてもよい。
図15(a)及び(b)の例では、S11とS12は画像ズレ係数が大きいので、部分領域が大きい。一方、S23は画像ズレ係数が小さく、部分領域が小さい。
そのため、ライブビューに使用するなど、通常の再構成画像生成処理(例えば特許文献1に例示されたような)には十分な計算量が確保できない場合でも、撮影準備のために使用できる再構成画像を特に高速に生成して表示することが出来る。また、サブ画像から一つずつ画素を抽出して並べた画像を使用する場合に比べて、画質が高い画像を生成できる。
また、第1〜第3再構成画像生成処理においてサブ画像毎に上下左右に反転して画像を配置することで、光学系の構成によりサブ画像毎に反転して撮影された像から、正しく配置した再構成画像を少ない計算量で生成することが出来る。
画像ズレ係数が大きいことは、注目サブ画像の被写体がメインレンズから近い位置にあり、隣のサブ画像では、対応するマイクロレンズの視差により見える位置が大きくずれていることを示す。ここでは中央部の被写体を、サブ画像を代表する被写体とする。
対応する被写体の位置がサブ画像間で大きくずれることは、隣接するサブ画像の部分領域をつなげて全体の画像を構成するに当たって情報の抜けを作らないために必要な部分領域の大きさが大きいことを意味する。そこで、本実施形態では画像ズレ係数が大きいほど部分領域を大きく取って生成画像の対応領域に配置して、生成画像に情報の抜けが生じないようにしている。また、画像ズレ係数が小さい画像については部分領域を小さくして、隣同士のサブ画像間に現れる情報の重複が、再構成画像上に過度に現れないようにしている。
本実施形態のデジタルカメラ1では、このような構成により高速に生成した再構成画像であっても、視差による位置ズレを考慮し、情報抜けや情報の重複の度合いを軽減することができる。
本発明の実施形態2について説明する。
本実施形態のデジタルカメラ1は、図2に示す物理構成を持つ。本実施形態のデジタルカメラ1は、実施形態1の対応する部位と比べて、CPU21がより高速であり、表示部35がより大きな解像度、例えばVGA(640×480画素)を持つ。その他の図2の各部は、実施形態1のデジタルカメラ1と同様である。
本実施形態のデジタルカメラ1では、表示部35が大きいので、実施形態1に記載した方法では画像の粗さが目立ってしまう。そこでCPU21が高速なことを利用して、より高精細で画質の高い、デジタルカメラ1の表示部35に表示するための再構成画像を作成する。
本実施形態では、ライブビュー画像生成部620は第2再構成画像生成部720であり、確認画像生成部630は第3再構成画像生成部730であり、本画像生成部640は第4再構成画像生成部である。その他の図5の各部は、実施形態1のデジタルカメラ1の対応する構成と同様である。
第4再構成画像生成部は、後述する再構成画像生成処理を実行してLFIから再構成画像を生成し、記憶部80に生成した画像を伝達する。
画像生成処理4は、ライトフィールド画像の画素値を、光線が通過してきたマイクロレンズ毎に重み付け加算することで画像再構成を行う。
(1)再構成したい画素からの光線がメインレンズの主点を通過してマイクロレンズアレイに到達した位置を特定する。
(2)特定された位置を中心に再構成面に対応する再焦点距離に基づいた半径のメインレンズブラー領域(再構成したい画素からの光線が到達するマイクロレンズアレイ上の領域)を計算する。
(3)マイクロレンズアレイに含まれるマイクロレンズの内、一部又は全てがメインレンズブラー領域に含まれるマイクロレンズを特定する。
(4)特定されたマイクロレンズの内の一つを選択する。
(5)選択されたマイクロレンズとメインレンズブラー領域とが重なっている面積を計算し、これをマイクロレンズの面積で割って重み付け係数とする。
(6)再構成したい画素からの光線が、選択されたマイクロレンズによって結像される位置にある、サブ画像上に画素値を取得する。
(7)この取得された画素値に先の重み付け係数をかけたものを補正画素値とする。
(8)一部又は全てがメインレンズブラー領域に含まれるマイクロレンズの全てにわたって補正画素値を計算し総和を取る。
(9)補正画素値の総和を、重なり面積の総和で除算して再構成したい画像の画素値とする。
この構成によれば、もっとも生成速度が速いことが望まれるライブビュー画像については実施形態1と同様の少ない計算量で生成できる一方、確認画像と本画像については実施形態1よりも高い画質の画像とすることができる。
なお、本実施形態の第4再構成画像生成部はLFIから再構成画像を生成する既知の任意の処理(例えば特許文献1に例示された処理)を用いて再構成画像を生成するとしてもよい。
本発明の実施形態3について説明する。
本実施形態のデジタルカメラ1は、図2に示す物理構成を持つ。本実施形態のデジタルカメラ1は、実施形態2の対応する部位と比べて、CPU21がより高速である。その他の図2の各部は、実施形態2のデジタルカメラ1と同様である。
本実施形態では、ライブビュー画像生成部620は、図18に示す第5再構成画像生成部740である。その他の図5の各部は、実施形態2のデジタルカメラ1の対応する構成と同様である。
画像生成処理5では、まず画像ズレ係数算出部734aが、LFIに含まれるサブ画像のうち、設定で定められた一部のサブ画像について画像ズレ係数を取得する(ステップS701)。ここで、「一部のサブ画像」から得られた画像ズレ係数が、LFI全体のずれ度合いを反映するように「一部」を設定する。具体的には、中央部の所定部位、角の4つのサブ画像、等が考えられる。
各サブ画像について画像ズレ係数を取得する方法は実施形態1に係る画像生成処理2(図11)のステップS302と同様である。
未処理のサブ画像が残っている場合には(ステップS707;NO)、k4をインクリメント(ステップS708)してステップS704から処理を繰り返す。
一方、全てのサブ画像について処理が終了していた場合には(ステップS707;YES)、生成した画像をライブビュー画像として出力し、画像生成処理5は終了する。
図17に戻って、ステップS604からステップS609までを、実施形態2での図16のステップS504からステップS509までと同様に実行して、処理を終了する。
また、ライブビュー画像の生成段階では画素ごとのズレ係数を算出する必要が無いため、ボケを付加するための必要計算量の増大が少ない。そのため、ボケを付加した画像を高速に生成することが出来る。
本発明の実施形態4について説明する。
本実施形態のデジタルカメラ1は、図2に示す物理構成を持つ。デジタルカメラ1の各部の機能は、実施形態1のデジタルカメラ1と同様である。
本実施形態では、ライブビュー画像生成部620は第6再構成画像生成部750(図20)であり、確認画像生成部630は図13に示す第3再構成画像生成部730である。また、本画像生成部640は、実施形態2で説明した第4再構成画像生成部である。その他の図5の各部は、実施形態1のデジタルカメラ1の対応する構成と同様である。
画像ズレ係数の算出方法は、実施形態1のズレ値算出部722と同様である。
なお、図25において、矢印が振り分け(加算)の方向を、矢印上の数値が振り分けられた数を、それぞれ示す。ここでは、算出画像の上下左右及び斜めに隣接する推定画像には算出画像の差の2/3を、その隣の推定画像に3/1を、それぞれ振り分けている。
その結果、計算処理に必要な電力も低減される。よって、デジタルカメラ1の駆動時間及び撮影枚数を増大させることが出来る。
例えば、その他の設計は同じで、メインレンズ結像面MAはマイクロレンズアレイより後ろにあってもよい。この場合、配置用画像を生成画像に配置する場合に、上下左右に反転せずそのまま配置する。
また、マイクロレンズの結像面が撮像素子よりマイクロレンズ側にある場合も考えられる。この場合は、そうでない場合を基礎として、さらに上下左右に反転させて配置画像を生成画像に配置することとなる。
例えば、ライブビュー画像生成処理と確認画像生成処理が上記画像生成処理1であって、本画像生成処理が画像生成処理3又は4であってもよい。さらに、ライブビュー画像生成処理と確認画像生成処理が画像生成処理2であり、本画像生成処理が画像生成処理3又は4という組み合わせも可能である。
あるいは、画像ズレ係数を計算するための領域を、確認画像生成処理についてはライブビュー生成処理よりも大きく取ることにより、画像ズレ係数の精度を向上させる構成も可能である。
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得部と、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成部と、
を備えたことを特徴とする画像処理装置。
前記生成部は、前記部分画像をそれぞれ点対象に反転して配置して前記再構成画像を生成する、
ことを特徴とする付記1に記載の画像処理装置。
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得するズレ取得部をさらに備え、
前記抽出部は、前記ズレ取得部が取得した画像ズレ係数が大きいほど、当該副画像のより大きい範囲から部分画像を抽出する、
ことを特徴とする付記1又は2に記載の画像処理装置。
前記ズレ取得部は、前記複数の副画像から選択した算出対象の副画像について前記画像ズレ係数を算出し、当該算出した画像ズレ係数に基づいて当該算出対象以外の副画像について前記画像ズレ係数を推定する、
ことを特徴とする付記3に記載の画像処理装置。
前記取得部は前記多視点画像を順次取得し、
前記ズレ取得部は、順次取得された前記多視点画像毎に、前記算出対象の副画像を巡回的に選択して、前記複数の副画像の画像ズレ係数を順次取得し、
前記生成部は、前記取得部が順次取得した多視点画像から、前記ズレ取得部が順次取得した画像ズレ係数を用いて前記再構成画像を順次生成する、
ことを特徴とする付記4に記載の画像処理装置。
前記生成部は、前記再構成画像を前記副画像の何れかに対応する複数の配置領域に分割し、前記抽出部が抽出した部分画像に含まれる画素から、当該部分画像の抽出元の副画像に対応する前記配置領域に合致する数だけ画素を抽出し、当該抽出した画素を当該対応する配置領域に配置する、
ことを特徴とする付記1乃至5の何れか1つに記載の画像処理装置。
前記生成部は、前記再構成画像を前記副画像の何れかに対応する複数の配置領域に分割し、前記抽出部が抽出した部分画像を、抽出元の副画像に対応する配置領域のそれぞれの大きさに合致するように縮小又は拡大して配置する、
ことを特徴とする付記1乃至5の何れか1つに記載の画像処理装置。
撮像部と、前記撮像部が撮像した多視点画像を取得する付記1乃至7の何れか1つに記載の画像処理装置と、前記画像処理装置が生成した再構成画像を表示する表示手段と、を備えたことを特徴とする撮像装置。
被写体を複数の視点から見た複数の副画像が整列した多視点画像を撮像する撮像部と、
画像を表示する表示部と、
撮影準備状態において表示するための第1の再構成画像を、前記多視点画像の複数の副画像を用いた第1の画像生成方法で生成する第1の生成部と、
撮影後の再生表示のための第2の再構成画像を、前記多視点画像の複数の副画像を用いた第2の画像生成方法で生成する第2の生成部と、
前記表示部に、撮影準備状態では前記第1の再構成画像を表示させ、撮影後の再生表示では前記第2の再構成画像を表示させる制御部と、
を備え、
前記第2の画像生成方法は、画質向上のため、前記第1の画像生成方法より計算量が大きい、
ことを特徴とする撮像装置。
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置する配置部と、
をさらに備え、
前記第1の画像生成方法は前記抽出部と前記配置部とを用いて前記第1の再構成画像を生成する方法であり、
前記第2の画像生成方法は前記抽出部と前記配置部とを用いて前記第2の再構成画像を生成する方法であり、
前記第2の画像生成方法は、前記第1の画像生成方法を基礎として、画質向上のための処理を追加し、又はより計算量が大きい代替の処理を実行する方法である、
ことを特徴とする付記9に記載の撮像装置。
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得する画像ズレ取得部をさらに備える、
ことを特徴とする付記10に記載の撮像装置。
前記画像ズレ取得部は、前記複数の副画像から選択した算出対象の副画像について前記画像ズレ係数を算出し、当該算出した画像ズレ係数に基づいて当該算出対象以外の副画像について前記画像ズレ係数を推定する、
ことを特徴とする付記11に記載の撮像装置。
前記撮像部は前記多視点画像を順次撮影し、
前記画像ズレ取得部は、順次撮影された前記多視点画像毎に、前記算出対象の副画像を巡回的に選択して、前記複数の副画像の画像ズレ係数を順次取得し、
前記第1の生成部は、前記撮像部が順次撮影した多視点画像から、前記画像ズレ取得部が順次取得した画像ズレ係数を用いて前記第1の再構成画像を順次生成する、
ことを特徴とする付記12に記載の撮像装置。
前記第1の生成部は、前記第1の画像生成方法の一環として、前記抽出部に前記副画像のそれぞれから同じ大きさの所定範囲から部分画像を抽出させ、
前記第2の生成部は、前記第2の画像生成方法の一環として、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記11又は12に記載の撮像装置。
前記副画像の画素のそれぞれについて、その画素が当該副画像に占める位置と、当該画素に現れる被写体が当該副画像から所定範囲にある他の副画像に表れる位置と、の位置のズレを示す画素ズレ係数を画素ごとに取得する画素ズレ取得部をさらに備え、
前記第1の生成部は、前記第1の画像生成方法の一環として、前記抽出部に前記副画像のそれぞれから同じ大きさの所定範囲から部分画像を抽出させ、
前記第2の生成部は、前記第2の画像生成方法の一環として、前記画素ズレ取得部が取得した画素ズレ係数の大きさに基づいて、前記副画像の画素にフィルタ処理を実行し、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記11又は12に記載の撮像装置。
前記第1の生成部は、前記第1の画像生成方法の一環として、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させ、
前記第2の生成部は、前記第2の画像生成方法の一環として、前記画像ズレ取得部に前記第1の画像生成方法よりも大きい部位について前記画像ズレ係数を取得させ、前記抽出部に当該画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記11乃至13の何れか1つに記載の撮像装置。
前記副画像の画素のそれぞれについて、その画素が当該副画像に占める位置と、当該画素に現れる被写体が当該副画像から所定範囲にある他の副画像に表れる位置と、の位置のズレを示す画素ズレ係数を画素ごとに取得する画素ズレ取得部をさらに備え、
前記第1の生成部は、前記第1の画像生成方法の一環として、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させ、
前記第2の生成部は、前記第2の画像生成方法の一環として、前記画素ズレ取得部が取得した画素ズレ係数の大きさに基づいて、前記副画像の画素にフィルタ処理を実行し、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記11乃至13の何れか1つに記載の撮像装置。
第3の再構成画像を、第3の画像生成方法で生成する第3の生成部と、
前記第3の生成部が生成した第3の再構成画像を記憶する記憶部と、
をさらに備え、
前記第3の画像生成方法は、画質向上のため、前記第2の画像生成方法より計算量が大きい、
ことを特徴とする付記9乃至17の何れか1つに記載の撮像装置。
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得ステップと、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出ステップと、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成ステップと、
を含む画像生成方法。
コンピュータに、
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得機能、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出機能、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成機能、
を実現させるためのプログラム。
Claims (12)
- 複数の視点から得た複数の副画像が整列した多視点画像を撮像する撮像部と、
画像を表示する表示部と、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を切り出す切出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置する配置部と、
撮影準備状態において表示するための第1の再構成画像を、前記切出部と前記配置部とを用いた第1の画像生成処理で生成する第1の生成部と、
撮影後の再生表示のための第2の再構成画像を、前記切出部と前記配置部とを用いた、画質向上のため前記第1の画像生成処理より計算量が大きい第2の画像生成処理で生成する第2の生成部と、
前記表示部に、前記撮影準備状態では前記第1の再構成画像を表示させ、前記撮影後の再生表示では前記第2の再構成画像を表示させる制御部と、
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像における位置と、の位置のズレを示す画像ズレ係数を取得する画像ズレ取得部と、
を備えることを特徴とする撮像装置。 - 前記画像ズレ取得部は、前記複数の副画像から選択した算出対象の副画像について前記画像ズレ係数を算出し、当該算出した画像ズレ係数に基づいて当該算出対象以外の副画像について前記画像ズレ係数を推定する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像部は、前記多視点画像を順次撮像し、
前記画像ズレ取得部は、順次撮像された前記多視点画像毎に、前記算出対象の副画像を巡回的に選択して、前記複数の副画像の画像ズレ係数を順次取得し、
前記第1の生成部は、前記撮像部が順次撮像した多視点画像から、前記画像ズレ取得部が順次取得した画像ズレ係数を用いて前記第1の再構成画像を順次生成する、
ことを特徴とする請求項2に記載の撮像装置。 - 前記部分画像の切り出しサイズを設定するサイズ設定部を更に備え、
前記第1の画像生成処理において、前記サイズ設定部は前記複数の副画像に同じ切り出しサイズを設定し、
前記第2の画像生成処理において、
前記第2の生成部は前記画像ズレ取得部に画像ズレ係数を取得させ、
前記サイズ設定部は、前記画像ズレ係数が大きい副画像には切り出しサイズを大きくし、小さい副画像には小さくする、
ことを特徴とする請求項1又は2に記載の撮像装置。 - 前記副画像の画素のボケ度合いを設定するボケ設定部を更に備える、
ことを特徴とする請求項1又は2に記載の撮像装置。 - 前記ボケ設定部は、前記副画像の画素のそれぞれについて、当該画素が当該副画像に占める位置と、当該画素に現れる被写体が当該副画像から所定範囲にある他の副画像に表れる位置と、の位置のズレを示す画素ズレ係数を求め、該画素ズレ係数に基づいて前記画素のボケ度合いを設定する、
ことを特徴とする請求項5に記載の撮像装置。 - 前記部分画像の切り出しサイズを設定するサイズ設定部を更に備え、
前記第1の画像生成処理において、前記サイズ設定部は前記複数の副画像に同じ切り出しサイズを設定し、
前記第2の画像生成処理において、
前記第2の生成部は、前記ボケ設定部にボケ度合いを設定させ、当該ボケ度合いに基づいてボケ付加処理を実行し、前記画像ズレ取得部に画像ズレ係数を取得させ、
前記サイズ設定部は、前記画像ズレ係数が大きい副画像には切り出しサイズを大きくし、小さい副画像には小さくする、
ことを特徴とする請求項5に記載の撮像装置。 - 前記部分画像の切り出しサイズを設定するサイズ設定部を更に備え、
前記第1の画像生成処理において、
前記第1の生成部は、前記画像ズレ取得部に画像ズレ係数を取得させ、
前記サイズ設定部は、前記画像ズレ係数が大きい副画像には切り出しサイズを大きくし、小さい副画像には小さくし、
前記第2の画像生成処理において、
前記第2の生成部は、前記画像ズレ取得部に前記第1の画像生成処理よりも大きい部位について画像ズレ係数を取得させ、
前記サイズ設定部は、前記画像ズレ係数が大きい副画像には切り出しサイズを大きくし、小さい副画像には小さくする、
ことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。 - 前記部分画像の切り出しサイズを設定するサイズ設定部を更に備え、
前記第1の画像生成処理において、
前記第1の生成部は、前記画像ズレ取得部に画像ズレ係数を取得させ、
前記サイズ設定部は、前記画像ズレ係数が大きい副画像には切り出しサイズを大きくし、小さい副画像には小さくし、
前記第2の画像生成処理において、
前記第2の生成部は、前記ボケ設定部にボケ度合いを設定させ、当該ボケ度合いに基づいてボケ付加処理を実行し、前記画像ズレ取得部に画像ズレ係数を取得させ、
前記サイズ設定部は、前記画像ズレ係数が大きい副画像には切り出しサイズを大きくし、小さい副画像には小さくする、
ことを特徴とする請求項5に記載の撮像装置。 - 第3の再構成画像を、第3の画像生成処理で生成する第3の生成部と、
前記第3の生成部が生成した第3の再構成画像を記憶する記憶部と、
をさらに備え、
前記第3の画像生成処理は、画質向上のため、前記第2の画像生成処理より計算量が大きい、
ことを特徴とする請求項1乃至9の何れか1項に記載の撮像装置。 - 複数の視点から得た複数の副画像が整列した多視点画像を撮像装置から取得するステップと、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を切り出すステップと、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置するステップと、
撮影準備状態において表示するための第1の再構成画像を、前記切り出すステップと前記配置するステップとによる第1の画像生成処理で生成するステップと、
撮影後の再生表示のための第2の再構成画像を、前記切り出すステップと前記配置するステップとによる、画質向上のため前記第1の画像生成処理より計算量が大きい第2の画像生成処理で生成するステップと、
表示装置に、前記撮影準備状態では前記第1の再構成画像を表示させ、前記撮影後の再生表示では前記第2の再構成画像を表示させるステップと、
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像における位置と、の位置のズレを示す画像ズレ係数を取得するステップと、
を含む画像表示方法。 - コンピュータに、
複数の視点から得た複数の副画像が整列した多視点画像を撮像装置から取得する機能、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を切り出す機能、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置する機能と、
撮影準備状態において表示するための第1の再構成画像を、前記切り出す機能と前記配置する機能とによる第1の画像生成処理で生成する機能、
撮影後の再生表示のための第2の再構成画像を、前記切り出す機能と前記配置する機能とによる、画質向上のため前記第1の画像生成処理より計算量が大きい第2の画像生成処理で生成する機能、
表示装置に、前記撮影準備状態では前記第1の再構成画像を表示させ、前記撮影後の再生表示では前記第2の再構成画像を表示させる機能、
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像における位置と、の位置のズレを示す画像ズレ係数を取得する機能、
を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013059384A JP5370606B2 (ja) | 2011-12-27 | 2013-03-22 | 撮像装置、画像表示方法、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011287041 | 2011-12-27 | ||
JP2011287041 | 2011-12-27 | ||
JP2013059384A JP5370606B2 (ja) | 2011-12-27 | 2013-03-22 | 撮像装置、画像表示方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012169655A Division JP5267708B2 (ja) | 2011-12-27 | 2012-07-31 | 画像処理装置、撮像装置、画像生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013176073A JP2013176073A (ja) | 2013-09-05 |
JP5370606B2 true JP5370606B2 (ja) | 2013-12-18 |
Family
ID=49049404
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012169655A Expired - Fee Related JP5267708B2 (ja) | 2011-12-27 | 2012-07-31 | 画像処理装置、撮像装置、画像生成方法、及びプログラム |
JP2013059384A Expired - Fee Related JP5370606B2 (ja) | 2011-12-27 | 2013-03-22 | 撮像装置、画像表示方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012169655A Expired - Fee Related JP5267708B2 (ja) | 2011-12-27 | 2012-07-31 | 画像処理装置、撮像装置、画像生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5267708B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6371568B2 (ja) * | 2014-04-09 | 2018-08-08 | キヤノン株式会社 | 焦点検出装置及び撮像装置、及び、焦点検出方法 |
US10660562B2 (en) | 2015-05-29 | 2020-05-26 | Conopco, Inc. | System and method for measuring hair diameter |
CN108351970B (zh) | 2015-10-30 | 2023-04-04 | 联合利华知识产权控股有限公司 | 毛发直径测量 |
CN108351969B (zh) | 2015-10-30 | 2022-07-29 | 联合利华知识产权控股有限公司 | 毛发卷曲测量 |
JP6815926B2 (ja) | 2017-04-27 | 2021-01-20 | キヤノン株式会社 | 撮像装置、撮像システム、移動体、チップ |
WO2019012658A1 (ja) * | 2017-07-13 | 2019-01-17 | オリンパス株式会社 | 画像処理装置およびライトフィールド撮像装置 |
JP6472864B1 (ja) * | 2017-11-29 | 2019-02-20 | 株式会社近江デジタルファブリケーションズ | 画像配信システム、及び配信画像生成方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8103111B2 (en) * | 2006-12-26 | 2012-01-24 | Olympus Imaging Corp. | Coding method, electronic camera, recording medium storing coded program, and decoding method |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
JP5325655B2 (ja) * | 2009-05-20 | 2013-10-23 | オリンパス株式会社 | 撮像装置 |
JP5490514B2 (ja) * | 2009-12-22 | 2014-05-14 | 三星電子株式会社 | 撮像装置及び撮像方法 |
-
2012
- 2012-07-31 JP JP2012169655A patent/JP5267708B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-22 JP JP2013059384A patent/JP5370606B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013153408A (ja) | 2013-08-08 |
JP5267708B2 (ja) | 2013-08-21 |
JP2013176073A (ja) | 2013-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5370606B2 (ja) | 撮像装置、画像表示方法、及びプログラム | |
US9749601B2 (en) | Imaging device, image display method, and storage medium for displaying reconstruction image | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
US9214013B2 (en) | Systems and methods for correcting user identified artifacts in light field images | |
JP5982751B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP4942221B2 (ja) | 高解像度仮想焦点面画像生成方法 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
TW201622403A (zh) | 數位重對焦方法 | |
JP6655379B2 (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
CN111108742A (zh) | 信息处理装置、信息处理方法、程序以及可互换透镜 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
CN105939439A (zh) | 图像处理装置、摄像装置及图像处理方法 | |
JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
JP5310890B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
JP2013242378A (ja) | 撮像装置、表示方法、およびプログラム | |
JP6439285B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5310895B2 (ja) | 画像生成装置、画像生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5370606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |