JP4969474B2 - 復号方法、復号装置、及び復号プログラム - Google Patents
復号方法、復号装置、及び復号プログラム Download PDFInfo
- Publication number
- JP4969474B2 JP4969474B2 JP2008025431A JP2008025431A JP4969474B2 JP 4969474 B2 JP4969474 B2 JP 4969474B2 JP 2008025431 A JP2008025431 A JP 2008025431A JP 2008025431 A JP2008025431 A JP 2008025431A JP 4969474 B2 JP4969474 B2 JP 4969474B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus value
- information
- decoding
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
通常のカメラの光学系がズーム光学系を含む場合や、複雑な光学系である場合には、フォーカスレンズ121は複数のレンズを含むレンズ群により構成される。この場合、フォーカス値121Aはこのようなレンズ群の、変更および制御可能な総体的な状態を表すものとなる。
実際には、ボケの許容範囲に応じた被写界深度121Gが存在し、物体平面121Jがベストな物体平面からこの被写界深度121G分ずれていても、実質的にピントが合った状態で光が撮像素子127に投射される。
<第1実施形態>
図1(A)及び図1(B)は、本発明の第1実施形態に係わるデジタルカメラ1の外観図である。図1(A)に示すように、デジタルカメラ1の前面には、被写体からの光が入射する光入射口4と、フラッシュ5とが配置されている。デジタルカメラ1は、着脱可能メモリ39が着脱可能に構成されている。また、デジタルカメラ1の上面には、静止画撮影を実行するためのレリーズスイッチ6が配置されている。
図1(B)に示すように、デジタルカメラ1の背面には、液晶等の表示部43と、操作部22とが配置されている。
AFE29、作業メモリ31、処理部32、メモリI/F33、メモリI/F37、ビデオメモリ41、外部I/F45、およびCPU48は、信号線21を介して電気的に接続されている。
広義の意味での光線情報とは、光線の情報である。一般的に、光線の情報を得るためには、その光線が自由空間で通る一点(x,y,z)と、その点を通過する際の角度(θ,φ)を得る必要がある。しかし、デジタルカメラ1の撮影等で想定している自由空間においては、放射輝度が光線上のどの点をとっても不変であるので、一般的な光線情報を4次元の光線情報として見なせる。すなわち、ここでの光線情報とは、光線が所定の2次元多様体を交差する点の位置とこの多様体に入射した角度との情報を含む情報である。この際、所定の多様体は、仮想的なものであり、任意である。所定の多様体は、例えば、平面、または球面である。また、多様体は、単一のものではなくてもよく、例えば2つの異なる平面から構成されてもよい。さらに、光線情報の用途によっては、4次元の光線情報ではなく、光線が所定の平面を交差する点の位置(2次元)とこの平面に入射した角度(2次元)のうち、平面上の一つの方向ベクトルとこの光線が成す角度(1次元)のみを考慮することによる、3次元の光線情報であってもよい。
先ず、ピクセルデータ生成部50について説明する。図6は、ピクセルデータ生成部50の処理を説明するためのフローチャートである。
ピクセルデータ生成部50は、例えば、作業メモリ31からRAW画像データを読み出す。
ピクセルデータ生成部50は、読み出したRAW画像データにデモザイク(de-mosaic)処理、ミスアライアンス補正処理、補間処理等を行う。デモザイク処理は、撮影時に各ピクセルに対してその周辺ピクセルから足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す処理である。例えば、多くのデジタルカメラが採用する単板式のカラーイメージセンサでは各ピクセルが単色の色情報しか持たないために、デモザイク処理が必要となる。3板式の場合には、デモザイク処理は不要である。ミスアライアンス補正処理は、例えば、RAW画像データが示す画像を回転させて、図4に示すマイクロレンズアレイ25のマイクロレンズML(s,t)の配列と、撮像部27のマイクロレンズブロックMLBの配列との横方向のミスアライアンスを補正する処理である。補間処理は、例えば、各マイクロレンズブロックMLBに所定数のピクセルデータを含ませるために行われる。
ピクセルデータ生成部50は、ステップS12で生成した1フレーム分のピクセルデータL(u,v,s,t)を被符号化画像データTEとして作業メモリ31等に書き込む。ピクセルデータL(u,v,s,t)が光線情報の一例である。
再生画像生成部68は、プレノプティック復号部67によって復号されて作業メモリ31等に記憶されたピクセルデータL(u,v,s,t)を基に、指定されたフォーカス値に対応した画像(再生画像)データを生成する。再生画像生成部68が生成する画像データのフォーカス値は、例えば、図1(B)に示すフォーカス値フォワードボタン820又はフォーカス値バックワードボタン821の操作信号を基に決定される。また、再生画像生成部68は、表示部43に再生画像が表示されている間に、図1(B)に示す十字操作部830のOKボタン831が押下されており、且つ上矢印ボタン832、下矢印ボタン833、右矢印ボタン834および左矢印ボタン835が操作されると、その操作に応じた描写角度の再生画像データを生成する。再生画像生成部68の処理については後に詳細に説明する。
[画像データ記録処理]
図12は、撮像部27の結像結果に応じた画像データを符号化して作業メモリ31に書き込む動作を説明するためのフローチャートである。
撮像部27は、操作部22のレリーズスイッチ6がオンされると、被写体からの光を各ピクセルで受け、各ピクセルが受けた光を光電変換し、光電変換によって発生した電荷に応じたアナログのRAW画像信号を生成する。
処理部32は、ステップS21のRAW画像信号が生成されたときに光学系23において用いられたレンズパラメータ及びフォーカス値fを取得する。なお、フォーカス値fは、図26(B)における被写体距離121Eに一対一の対応となっている。したがって、フォーカス値fの代わりに、フォーカス値fに対応した被写体距離の値を算出して取得してもよい。以下このようにして算出された被写体距離もfで示す。また、単焦点カメラの場合には、フォーカス値fの取得は不要である。ただし、再生処理のために、カメラに固有の過焦点距離の値fをフォーカス値として取得するようにしても良い。
AFE29は、撮像部27から入力されたアナログの画像信号に所定のアナログ・フロントエンド処理を施し、処理後の画像信号をA/D変換して得られるデジタルのRAW画像データを作業メモリ31に書き込む。ピクセルデータ生成部50は、RAW画像データを作業メモリ31から読み出して、デモザイク(de-mosaic)処理、ミスアライアンス補正処理、補間処理等を行ってピクセルデータL(u,v,s,t)を生成する。その後、ピクセルデータ生成部50は、1フレーム毎に、ピクセルデータL(u,v,s,t)で構成される被符号化画像データTEを作業メモリ31に書き込む。
処理部32は、作業メモリ31から被符号化画像データTEを読み出して符号化を行い、JPEGハフマンコードJFと、LZW圧縮コードLZを生成する。そして、処理部32は、これらをステップS22で取得したレンズパラメータ及びフォーカス値fと共に、作業メモリ31に書き込む。ここで、符号化処理等は、図5に示す間引き処理部51、JPEG符号化部53、プレノプティック符号化部55およびヘッダ付加部61において行われる。ステップS24の処理については、後に図13を用いて詳細に説明する。
ヘッダ解釈部63は、作業メモリ31からJPEGハフマンコードJFを読み出すとともに、ヘッダデータHEADERを解釈して、JPEG復号部65において復号を行う。これにより、ピクセルデータL(u0,v0,s,t)が生成される。次に、処理部32は、復号したピクセルデータL(u0,v0,s,t)を基に、サムネイル画像データとレックビュー表示用画像データとを生成する。その後、サムネイル画像データをJPEG符号化して得られたサムネイル画像データとレックビュー表示用画像データを作業メモリ31に書き込む。サムネイル画像データは、例えば、ユーザから、インデックス表示指示を受けた場合に、表示部43に複数のサムネイル画像からなるインデックス画像を表示させるための画像データである。レックビュー表示用画像データは、被写体撮影後の確認用の画像を、表示部43に一定時間表示させるための画像データである。ここで、処理部32は、例えば、サムネイル表示指示を受けた場合に、サムネイル画像データを生成してビデオメモリ41に書き込む。これによりサムネイル画像が表示部43に表示される。
処理部32は、作業メモリ31に書き込まれたJPEGハフマンコードJF、JZW圧縮コードLZおよびJPEGサムネイル画像データを作業メモリ31から読み出して内部メモリ35または着脱可能メモリ39に書き込む。
図13は、図12のステップS24の符号化処理を詳細に説明するためのフロー図である。本実施形態における図13に示すステップS35〜S37の処理(JPEG符号化処理)と、ステップS38、S39の処理(LZW符号化処理)とは並列に実行してもよい。
処理部32には、JPEGハフマンコードJFの生成に用いるピクセルPIC(u0,v0)を特定するための情報が入力される。ピクセルPIC(u0,v0)を特定するための情報は、例えば、予め所定のメモリに記憶されている。本実施形態では、u0=v0=4としている。これはマイクロレンズブロックMLの中央部のピクセルが一番有効な情報を持っていると考えられるためである。
処理部32は、変数PBCに初期値「0」を代入する。ここで、変数PBCが示す値は、符号化を行う図8に示すプロセシングブロックデータPRBKを特定するための値である。
処理部32は、変数PBCに設定された値を「1」だけインクリメントする。
処理部32は、変数PBCが示す値に対応した符号化対象のプロセシングブロックデータPRBK内のピクセルデータL(u,v,s,t)を作業メモリ31から読み出す。
間引き処理部51は、ステップS31で入力された情報に基づいて、ステップS34で読み出されたプロセシングブロックデータPRBK内のピクセルデータL(u,v,s,t)のうち、ピクセルデータL(u0,v0,s,t)を抽出して画像データTE2を生成する。そして、JPEG符号化部53は、画像データTE2にDCT変換処理を施してDCT変換係数K(i,j)を生成する。
JPEG符号化部53は、ステップS35で生成したDCT変換係数K(i,j)を量子化する。
JPEG符号化部53は、ステップS36で量子化したDCT変換係数を、低い周波数成分(直流)から高い周波数成分へとジグザグ状にスキャンする。次に、JPEG符号化部53は、スキャンしたDCT変換係数にハフマン符号等のエントロピー符号化を施して、JPEGハフマンコードJF1を生成する。
プレノプティック符号化部55のパススキャン部57は、図9(A)に示すように、符号化対象のプロセシングブロックデータPRBK内のピクセルデータL(u,v,s,t)について、各マイクロレンズブロックMLB内のピクセルPIC(u0,v0)を基点としてピクセルPIC(u0,v0)以外のピクセルPIC(u,v)のピクセルデータL(u,v,s,t)をパスPATH1、PATH2、PATH3、PATH4、PATH5の5パスに沿ってスキャンする。パススキャン部57は、前述したように、パス上のピクセルデータL(u,v,s,t)について、その一つ前のピクセルデータL(u,v,s,t)との差分データD(u,v,s,t)を生成する。そして、パススキャン部57は、差分データD(u,v,s,t)によって構成されるワードを生成する。また、パススキャン部57は、例えば、プロセッシングブロックデータPRBK内の8×8の合計64個の各々のマイクロレンズブロックMLBについて生成したワードWORD1〜5を、図10に示すように、ジグザグスキャンにより順に並べてワード列データWORDを生成する。
LZW処理部59は、パススキャン部57から入力されたワード列データWORDにLZW圧縮処理を施してLZW圧縮コードLZ1を生成する。
ヘッダ付加部61は、JPEG符号化部53が生成したJPEGハフマンコードJF1とLZW処理部59が生成したLZW圧縮コードLZ1とのヘッダデータHEADERを生成し、これらを対応付けて作業メモリ31に書き込む。
処理部32は、被符号化画像データTE内の全てのプロセシングブロックデータPRBKについて処理が完了したかを判断し、完了したと判断するとステップS24の処理を終了する。一方、処理部32は、被符号化画像データTE内の全てのプロセシングブロックデータPRBKについて処理が完了していないと判断すると、ステップS33に戻る。
図14および図15は、再生処理を説明するためのフローチャートである。以下、図16、図17(A)〜図17(C)を参照しながら、図14および図15に示す各ステップを説明する。
処理部32は、例えば、内部メモリ35あるいは着脱可能メモリ39から、サムネイル画像データ(JPEG画像データ)を読み出す。その後、処理部32は、読み出したサムネイル画像データをJPEG復号してビデオメモリ41に書き込む。これにより、サムネイル画像が表示部43に表示される。JPEG復号されたサムネイル画像データは、符号化時において間引かれた後のピクセルデータL(u0,v0,s,t)を要素として有している。インデックス表示の際には、撮影された複数枚の画像データに対応するサムネイル画像が表示部43に表示される。その後、ユーザによる操作部22の操作によって複数表示されているサムネイル画像の一つが指定されると、処理部32は、指定されたサムネイル画像に対応するJPEGハフマンコードJFおよびLZW圧縮コードLZを、内部メモリ35あるいは着脱可能メモリ39から読み出して作業メモリ31に書き込む。
処理部32のJPEG復号部65は、ステップS61で指定されたサムネイル画像に対応するJPEGハフマンコードJFを作業メモリ31から読み出す。そして、JPEG復号部65は、読み出したJPEGハフマンコードJFをJPEG復号して、JPEG復号画像データを生成する。JPEG復号画像データは、ピクセルデータL(u0,v0,s,t)を要素としている。その後、処理部32は、JPEG復号画像データを作業メモリ31に書き込む。
処理部32は、ステップS62で作業メモリ31に書き込んだJPEG復号画像データを読み出してビデオメモリ41に書き込む。これにより、ピクセルデータL(u0,v0,s,t)を要素とするJPEG復号画像が表示部43に表示される。
プレノプティック復号部67は、ステップS62で生成したJPEG復号画像データと、ステップS61において指定されたサムネイル画像に対応したLZW圧縮コードLZとを基に、指定されたサムネイル画像に対応した画像のピクセルデータL(u0,v0,s,t)以外のピクセルデータL(u,v,s,t)を生成する。その後、プレノプティック復号部は、生成したピクセルデータL(u,v,s,t)を作業メモリ31に書き込む。
ヘッダ解釈部63は、JPEGハフマンコードJFに対応するフォーカス値fをヘッダデータHEADERから読み出す。
再生画像生成部68は、ステップS65で読み出したフォーカス値fを変数Fに代入する。また、再生画像生成部68は、フォーカス値fからのステップ数を示す変数Nに0を代入する。
再生画像生成部68は、隣り合うフォーカス値間のステップ幅を示すStepに「f/10」を代入する。
再生画像生成部68は、ステップS67で求めたStepを、F(N)=f+N×Stepに代入してNに対応したフォーカス値Fを求める。
再生画像生成部68は、Nに対応したフォーカス値F(N)に対応した画像データIM(N)が作業メモリ31に記憶されているか否かをチェックする。このチェックの結果、画像データIM(N)が記憶されていない場合に限り、再生画像生成部68は、ステップS63で復号されたピクセルデータL(u0,v0,s,t)とステップS64で復号されたピクセルデータL(u0,v0,s,t)以外のピクセルデータL(u,v,s,t)とを基に、画像データIM(N)(フレームデータ)を生成する。その後、再生画像生成部68は、画像データIM(N)を作業メモリ31に書き込む。この画像データIM(N)の生成は、例えば、非特許文献1や非特許文献2に開示された手法を基に行われる。すなわち、Fourier Slicing 方式、およびインテグレーション方式などを基に行われる。インテグレーション方式とは、マイクロレンズブロックMLB内の有効ピクセルデータを所望のフォーカス値に対応する画像を得るのに適した積算演算を実行することであり、非特許文献1における数式(1)〜(6)、及び非特許文献2における数式(1)〜(3)をベースとする。Fourier Slicing 方式は、このような積算演算処理をフーリエ空間上で短い時間内に効果的に実効する手法であり、4次元のフーリエ空間を使う。何れの演算方式にせよ、画像データIM(N)を得るためのこれらの演算には、JPEGの復号処理などに比べ、高い演算能力、及びより多くの演算時間を要する。
再生画像生成部68は、図17(A)に示すように、画像データIM(N)をビデオメモリ41に書き込む。これによって、フォーカス値F(N)に対応した画像(再生画像)が表示部43に表示される。初期の段階では、上述のとおり、すでにピクセルデータ(u0,v0,s,t)を要素とするJPEG復号画像が表示部43に表示されている。この画像は、F(0)のフォーカス値に対応する画像である。しかしながら、各々のマイクロレンズブロックMLBの(u0,v0)以外のピクセルデータを間引いている。このため、実質的に暗い光学系で撮影された画像となる。したがって、暗いシーンなどを撮影した場合には、ノイズが重畳されている。ステップS70では、この画像がF(0)のフォーカス値に対応した画像IM(0)により置き換えられる。この画像IM(0)は、各々のマイクロレンズブロックMLBの全ての有効ピクセルデータを積分するので、より鮮明な、ノイズの少ない画像となる。
再生画像生成部68は、Nに隣接した(N±1)に対応したフォーカス値F(N±1)=f+(N±1)×Stepに対応した画像データIM(N+1)、IM(N−1)が生成されていない場合には、これらの画像データを生成して作業メモリ31に書き込む。当該画像データの生成は、例えば、前述したFourier Slicing 方式、およびインテグレーション方式等を基に行われる。
再生画像生成部68は、Nに隣接していないフォーカス値に対応した画像データが存在する場合に、それらのフォーカス値に対応した画像データを作業メモリ31から削除する。
再生画像生成部68は、ユーザによる図1(B)に示すフォーカス値フォワードボタン820およびフォーカス値バックワードボタン821の操作によって、新たなフォーカス値が指定されたか(フォーカス値の変更があるか)を判定する。そして、新たなフォーカス値の指定がある場合に、再生画像生成部68は、ステップS74の処理を行う。一方、フォーカス値の変更が無い場合に、再生画像生成部68は、ステップS75の処理を行う。
再生画像生成部68は、ステップS73で指定されたステップに対応した新たなNを設定してステップS68に戻る。すなわち、図1(B)に示すフォーカス値フォワードボタン820が1回押されると、N(カウント)が一つアップし、フォーカス値バックワードボタン821が1回押されると、N(カウント)が一つダウンされる。これによってフォーカス値F(N)が更新される。ここで、新たに指定されたフォーカス値に対応した画像データは、予め作業メモリ31に記憶されている。したがって、指定がなされてから新たなフォーカス値に対応した画像が表示部43に表示されるまでの時間は短い。このため、本カメラは、応答性に優れている。
処理部32は、キャンセルボタン841が押下されたかを判定する。ユーザにより、キャンセルボタン841が押された場合には、画像の再生を中止する。一方、キャンセルボタン841が押されていない場合に、処理部32は、ステップS76の処理を行う。
処理部32は、画像保存ボタン840が押下されたかを判定する。ユーザにより、画像保存ボタン840が押されていない場合には、ステップS73の処理を行う。一方、画像保存ボタン840が押された場合に、処理部32はステップS77の処理を行う。
処理部32は、作業メモリ31の画像データIM(N)に対して、JPEG符号化処理を施すと同時に、ヘッダデータに、フォーカス値F(N)、初期フォーカス値f、および描写角度などを書き込む。その後、処理部32は、JPEG符号化データを、内部メモリ35もしくは着脱可能メモリ39に保存する。
図18は、デジタルカメラ1の再生時におけるフォーカスおよびズームの調整処理を説明するためのフローチャートである。
再生画像生成部68は、図1(B)に示すフォーカス値フォワードボタン820が押下されたか否かを判断する。押下されたと判断すると再生画像生成部68は、ステップS112の処理を行う。一方、押下されていないと判断すると再生画像生成部68は、ステップS113の処理を行う。
再生画像生成部68は、作業メモリ31に記憶されているピクセルデータL(u,v,s,t)を基に、フォーカス値を上げた(指定されたフォーカス値の)新たな画像(再生画像)データを生成し、生成した新たな画像データをビデオメモリ41に書き込む。再生画像生成部68は、指定されたフォーカス値に対応する画像データが作業メモリ31等に既に記憶されている場合には、それを読み出してビデオメモリ41に書き込み、指定されたフォーカス値に隣接したフォーカス値に対応する未生成の画像データを生成してもよい。このことは、以下に説明するステップS114,S116,S118においても同様である。
再生画像生成部68は、フォーカス値バックワードボタン821が押下されたか否かを判断する。押下されたと判断すると再生画像生成部68は、ステップS114の処理を行う。一方、押下されていないと判断すると再生画像生成部68は、ステップS115の処理を行う。
再生画像生成部68は、作業メモリ31に記憶されているピクセルデータL(u,v,s,t)を基に、フォーカス値を下げた新たな画像データを生成し、これをビデオメモリ41に書き込む。
再生画像生成部68は、ズームインボタン810が押下されたか否かを判断する。ズームインボタン810が押下されたと判断すると、再生画像生成部68は、ステップS116の処理を行う。ズームインボタン810が押下されていないと判断すると、再生画像生成部68は、ステップS117の処理を行う。
再生画像生成部68は、再生中の画像をズームインした新たな画像の画像データを生成し、これをビデオメモリ41に書き込む。これにより、図19に示すように、表示部43に表示された全体画像602内の一部の領域にズームイン画像600が表示される。
再生画像生成部68は、ズームアウトボタン811が押下されたか否かを判断する。ズームアウトボタン811が押下されたと判断すると再生画像生成部68は、ステップS118の処理を行う。ズームアウトボタン811が押下されていないと判断すると再生画像生成部68は、ステップS111の処理を行う。
再生画像生成部68は、再生中の画像をズームアウトした新たな画像の画像データを生成し、これをビデオメモリ41に書き込む。その後、処理がステップS111に戻る。
図21は、図1(B)に示す十字操作部830が操作された場合の処理を説明するためのフローチャートである。
再生画像生成部68は、十字操作部830のOKボタン831が押下されているか否かを判断する。OKボタン831が、押下されていると判断すると、再生画像生成部68は、ステップS122(描写角度変更モード)の処理を行う。OKボタンが押下されていないと判断すると、再生画像生成部68は、ステップS124の処理を行う。
再生画像生成部68は、上矢印ボタン832、下矢印ボタン833、右矢印ボタン834および左矢印ボタン835のいずれかが押下されているかを判断する。何れかの矢印ボタンが押下されていると判断すると、再生画像生成部68は、ステップS123の処理を行う。何れのボタンも押下されていないと判断すると、再生画像生成部68は、ステップS121の処理を行う。
再生画像生成部68は、表示部43に表示させている再生画像の描写角度を、押下されている上矢印ボタン832、下矢印ボタン833、右矢印ボタン834および左矢印ボタン835で指定された角度方向にした新たな画像データを生成し、これをビデオメモリ41に書き込んで表示部43に画像を表示する。
再生画像生成部68は、上矢印ボタン832、下矢印ボタン833、右矢印ボタン834および左矢印ボタン835のいずれかが押下されているかを判断する。何れかの矢印ボタンが押下されていると判断すると、再生画像生成部68は、ステップS125(ズームウィンドウ移動モード)の処理を行う。何れのボタンも押下されていないと判断するとステップS121の処理を行う。
再生画像生成部68は、表示部43に表示されている再生画像内のズームウィンドウを、押下されている上矢印ボタン832、下矢印ボタン833、右矢印ボタン834および左矢印ボタン835に応じた向きに移動させる。
本実施形態のデジタルカメラは、光学系223が上述した第1実施形態の光学系23とは異なる。以下、光学系223について説明する。
Claims (13)
- 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号方法であって、
被写体撮影時に得られ前記被写体に関連する、符号化された第1の画像情報と前記第1の画像情報とは異なる種類の符号化された第2の画像情報とを復号する復号工程と、
前記復号された第1の画像情報と第2の画像情報とに基づいて前記光線情報を生成する光線情報生成工程と、
前記生成された光線情報に基づいて、前記被写体が撮影された時のフォーカス値である第1のフォーカス値に対応した画像情報を生成する第1の画像生成工程と、
前記生成された第1のフォーカス値に対応した画像情報を記憶部に記憶する第1の記憶工程と、
前記記憶された第1のフォーカス値に対応した画像情報に対応した画像を表示する第1の表示工程と、
前記生成された光線情報に基づいて、前記第1のフォーカス値とは異なるフォーカス値である第2のフォーカス値に対応した画像情報を生成する第2の画像生成工程と、
前記生成された第2のフォーカス値に対応した画像情報を前記記憶部に記憶する第2の記憶工程と、
を有し、
前記第2の画像生成工程は、前記第1の表示工程と並行してあるいは前記第1の表示工程よりも前に実行されることを特徴とする復号方法。 - ユーザの指示に基づいて、前記記憶された第2のフォーカス値に対応した画像情報を表示する第2の表示工程と、
前記第2の表示工程と並行して実行され、前記生成された光線情報に基づいて、前記第1のフォーカス値および前記第2のフォーカス値とは異なるフォーカス値である第3のフォーカス値に対応した画像情報を生成する第3の画像生成工程と、
前記生成された第3のフォーカス値に対応した画像情報を前記記憶部に記憶する第3の記憶工程と、
をさらに有し、
前記第2の表示工程と前記第3の画像生成工程とは、ユーザの指示に基づいて、繰り返し実行されることを特徴とする請求項1に記載の復号方法。 - 前記第1のフォーカス値および前記第2のフォーカス値の各々は、予め離散的に規定された複数のフォーカス値の中の一つであることを特徴とする請求項1に記載の復号方法。
- 前記第2のフォーカス値は、前記第1のフォーカス値に対して近距離側または遠距離側に隣接するフォーカス値であることを特徴とする請求項1または3に記載の復号方法。
- ユーザの指示に基づいて、前記第2のフォーカス値として任意のフォーカス値を指定するフォーカス値指定工程をさらに有することを特徴とする請求項1または3に記載の復号方法。
- 前記記憶部に記憶されている前記画像情報のうち、前記表示中の画像を生成する基になった画像情報に対応したフォーカス値に対して隣接していないフォーカス値に対応した画像情報を消去する画像消去工程をさらに有することを特徴とする請求項2または5に記載の復号方法。
- 前記各フォーカス値に対応して生成された画像情報の中から、ユーザの指示に従った画像情報を選択する画像選択工程と、
前記選択された画像情報に対して空間周波数変換に基づく符号化処理を施す符号化工程と、
前記符号化処理が施された画像情報を記録媒体に記録する記録工程と、
をさらに有することを特徴とする請求項1または6に記載の復号方法。 - 前記復号工程において、前記符号化された第2の画像情報は、前記復号された第1の画像情報に基づいて復号されることを特徴とする請求項1に記載の復号方法。
- 前記復号工程において、前記符号化された第1の画像情報は、空間周波数変換に対応した復号処理によって復号され、前記符号化された第2の画像情報は、LZ符号化に対応した復号処理によって復号されることを特徴とする請求項1に記載の復号方法。
- 前記光線情報を生成することに先立って、被写体撮影時に得られ、前記被写体に関連する符号化されたサムネイル画像データを復号するサムネイル画像復号工程と、
前記復号されたサムネイル画像データに対応したサムネイル画像を表示するサムネイル画像表示工程と、
をさらに有し、
前記光線情報生成工程は、前記表示されたサムネイル画像を指示選択することにより実行されることを特徴とする請求項1に記載の復号方法。 - 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報に応じた画像データを復号する復号方法であって、
被写体撮影時に得られ、前記符号化された光線情報を構成する第1の画像情報を復号して、前記画像データを構成する複数の2次元ブロックデータの各々に対応する第1のピクセルデータを生成し、
前記複数の2次元ブロックデータの各々について、当該2次元ブロックデータの前記第1のピクセルデータに基づいて前記符号化された光線情報を構成する第2の画像情報を復号して、第2のピクセルデータを生成し、
前記生成した第1のピクセルデータと、前記生成した第2のピクセルデータとに基づいて、前記被写体が撮影された時のフォーカス値である第1のフォーカス値に対応した画像データを生成し、
前記生成した第1のフォーカス値に対応した画像データを記憶部に記憶し、
前記記憶した第1のフォーカス値に対応した画像データを表示し、
前記第1のピクセルデータおよび前記第2のピクセルデータに基づいて、前記第1のフォーカス値とは異なるフォーカス値である第2のフォーカス値に対応した画像データを生成し、
前記生成した第2のフォーカス値に対応した画像データを前記記憶部に記憶する、
ことを特徴とする復号方法。 - 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号装置であって、
被写体撮影時に得られ、前記被写体に関連する符号化された第1の画像情報と前記第1の画像情報とは異なる種類の符号化された第2の画像情報とを復号して前記光線情報を生成する復号手段と、
前記生成された光線情報に基づいて、前記被写体が撮影された時の第1のフォーカス値に対応した画像情報を生成して記憶部に記憶させる第1の画像生成手段と、
前記第1の画像生成手段が生成した前記画像情報に応じた画像を表示する表示手段と、
前記復号手段が生成した前記光線情報に基づいて、前記第1のフォーカス値とは異なるフォーカス値である第2のフォーカス値に対応した画像情報を生成して前記記憶部に記憶させる第2の画像生成手段と、
を具備することを特徴とする復号装置。 - 被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号プログラムであって、
被写体撮影時に得られ前記被写体に関連する、符号化された第1の画像情報と前記第1の画像情報とは異なる種類の符号化された第2の画像情報とを復号する手順と、
前記復号された第1の画像情報と第2の画像情報とに基づいて前記光線情報を生成する手順と、
前記生成された光線情報に基づいて、前記被写体が撮影された時のフォーカス値である第1のフォーカス値に対応した画像情報を生成する手順と、
前記生成された第1のフォーカス値に対応した画像情報を記憶部に記憶する手順と、
前記生成された前記第1の画像情報に対応した画像を表示する手順と、
前記生成された光線情報に基づいて、前記第1のフォーカス値とは異なるフォーカス値である第2のフォーカス値に対応した画像情報を生成する手順と、
前記生成された第2のフォーカス値に対応した画像情報を前記記憶部に記憶する手順と、
をコンピュータに実行させるための復号プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008025431A JP4969474B2 (ja) | 2007-02-09 | 2008-02-05 | 復号方法、復号装置、及び復号プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030484 | 2007-02-09 | ||
JP2007030484 | 2007-02-09 | ||
JP2008025431A JP4969474B2 (ja) | 2007-02-09 | 2008-02-05 | 復号方法、復号装置、及び復号プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008219878A JP2008219878A (ja) | 2008-09-18 |
JP2008219878A5 JP2008219878A5 (ja) | 2011-03-17 |
JP4969474B2 true JP4969474B2 (ja) | 2012-07-04 |
Family
ID=39685863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008025431A Active JP4969474B2 (ja) | 2007-02-09 | 2008-02-05 | 復号方法、復号装置、及び復号プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8103112B2 (ja) |
JP (1) | JP4969474B2 (ja) |
CN (1) | CN100585453C (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015159745A1 (en) | 2014-04-17 | 2015-10-22 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
Families Citing this family (163)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7620309B2 (en) * | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US8570426B2 (en) * | 2008-11-25 | 2013-10-29 | Lytro, Inc. | System of and method for video refocusing |
US8559705B2 (en) | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
US8103111B2 (en) * | 2006-12-26 | 2012-01-24 | Olympus Imaging Corp. | Coding method, electronic camera, recording medium storing coded program, and decoding method |
US8290358B1 (en) * | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
US8559756B2 (en) | 2007-08-06 | 2013-10-15 | Adobe Systems Incorporated | Radiance processing by demultiplexing in the frequency domain |
US7956924B2 (en) * | 2007-10-18 | 2011-06-07 | Adobe Systems Incorporated | Fast computational camera based on two arrays of lenses |
US7962033B2 (en) * | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
US8189065B2 (en) | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
US8155456B2 (en) * | 2008-04-29 | 2012-04-10 | Adobe Systems Incorporated | Method and apparatus for block-based compression of light-field images |
JP2011523538A (ja) | 2008-05-20 | 2011-08-11 | ペリカン イメージング コーポレイション | 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8244058B1 (en) | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
WO2010077625A1 (en) | 2008-12-08 | 2010-07-08 | Refocus Imaging, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
US8315476B1 (en) | 2009-01-20 | 2012-11-20 | Adobe Systems Incorporated | Super-resolution with the focused plenoptic camera |
US8570427B2 (en) | 2009-01-28 | 2013-10-29 | Nikon Corporation | Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function |
JP4706882B2 (ja) | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
US8908058B2 (en) * | 2009-04-18 | 2014-12-09 | Lytro, Inc. | Storage and transmission of pictures including multiple frames |
US9377776B2 (en) * | 2009-06-03 | 2016-06-28 | Mitsubishi Electric Corporation | Numerical control apparatus and production system |
US8345144B1 (en) | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
US8228417B1 (en) | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
RU2535640C2 (ru) | 2009-08-11 | 2014-12-20 | Конинклейке Филипс Электроникс Н.В. | Формирование многоспектральных изображений |
EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
US8558915B2 (en) * | 2009-12-22 | 2013-10-15 | Samsung Electronics Co., Ltd. | Photographing apparatus and method |
JP5273033B2 (ja) * | 2009-12-25 | 2013-08-28 | 株式会社ニコン | 撮像装置および画像再生装置 |
JP5468404B2 (ja) * | 2010-02-02 | 2014-04-09 | パナソニック株式会社 | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 |
US8749620B1 (en) | 2010-02-20 | 2014-06-10 | Lytro, Inc. | 3D light field cameras, images and files, and methods of using, operating, processing and viewing same |
US8860833B2 (en) | 2010-03-03 | 2014-10-14 | Adobe Systems Incorporated | Blended rendering of focused plenoptic camera data |
US20120012748A1 (en) | 2010-05-12 | 2012-01-19 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
US8358366B1 (en) | 2010-05-28 | 2013-01-22 | Adobe Systems Incorporate | Methods and apparatus for high-speed digital imaging |
JP2012002923A (ja) * | 2010-06-15 | 2012-01-05 | Canon Inc | 撮像装置 |
US8803918B2 (en) | 2010-08-27 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for calibrating focused plenoptic camera data |
US8724000B2 (en) | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
US8749694B2 (en) | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
US8665341B2 (en) | 2010-08-27 | 2014-03-04 | Adobe Systems Incorporated | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP5906062B2 (ja) * | 2010-12-17 | 2016-04-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US8768102B1 (en) | 2011-02-09 | 2014-07-01 | Lytro, Inc. | Downsampling light field images |
US9197798B2 (en) | 2011-03-25 | 2015-11-24 | Adobe Systems Incorporated | Thin plenoptic cameras using microspheres |
JP2012205111A (ja) * | 2011-03-25 | 2012-10-22 | Casio Comput Co Ltd | 撮像装置 |
EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
US8805104B1 (en) * | 2011-05-11 | 2014-08-12 | Google Inc. | Selecting example-based predictors based on spatial continuity |
US8531581B2 (en) * | 2011-05-23 | 2013-09-10 | Ricoh Co., Ltd. | Focusing and focus metrics for a plenoptic imaging system |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US9184199B2 (en) | 2011-08-01 | 2015-11-10 | Lytro, Inc. | Optical assembly including plenoptic microlens array |
JP5618943B2 (ja) * | 2011-08-19 | 2014-11-05 | キヤノン株式会社 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
JP6080417B2 (ja) * | 2011-08-19 | 2017-02-15 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
US8542933B2 (en) | 2011-09-28 | 2013-09-24 | Pelican Imaging Corporation | Systems and methods for decoding light field image files |
JP2015019119A (ja) | 2011-11-10 | 2015-01-29 | パナソニック株式会社 | 画ブレ補正装置 |
JP5875839B2 (ja) * | 2011-11-21 | 2016-03-02 | オリンパス株式会社 | プレノプティックカメラ |
US9137441B2 (en) | 2012-02-16 | 2015-09-15 | Ricoh Co., Ltd. | Spatial reconstruction of plenoptic images |
WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
JP6102061B2 (ja) | 2012-02-28 | 2017-03-29 | 株式会社ニコン | 画像処理装置 |
US8995785B2 (en) | 2012-02-28 | 2015-03-31 | Lytro, Inc. | Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices |
US8948545B2 (en) | 2012-02-28 | 2015-02-03 | Lytro, Inc. | Compensating for sensor saturation and microlens modulation during light-field image processing |
US9420276B2 (en) | 2012-02-28 | 2016-08-16 | Lytro, Inc. | Calibration of light-field camera geometry via robust fitting |
US8811769B1 (en) | 2012-02-28 | 2014-08-19 | Lytro, Inc. | Extended depth of field and variable center of perspective in light-field processing |
US8831377B2 (en) | 2012-02-28 | 2014-09-09 | Lytro, Inc. | Compensating for variation in microlens position during light-field image processing |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
JP6168794B2 (ja) * | 2012-05-31 | 2017-07-26 | キヤノン株式会社 | 情報処理方法および装置、プログラム。 |
JP5938281B2 (ja) * | 2012-06-25 | 2016-06-22 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
US9607424B2 (en) | 2012-06-26 | 2017-03-28 | Lytro, Inc. | Depth-assigned content for depth-enhanced pictures |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US10129524B2 (en) | 2012-06-26 | 2018-11-13 | Google Llc | Depth-assigned content for depth-enhanced virtual reality images |
CN104508681B (zh) | 2012-06-28 | 2018-10-30 | Fotonation开曼有限公司 | 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法 |
GB2503656B (en) * | 2012-06-28 | 2014-10-15 | Canon Kk | Method and apparatus for compressing or decompressing light field images |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
JP5583242B2 (ja) * | 2012-07-05 | 2014-09-03 | キヤノン株式会社 | 画像処理装置およびその制御方法、並びにプログラム |
JP6029380B2 (ja) * | 2012-08-14 | 2016-11-24 | キヤノン株式会社 | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム |
IL221491A (en) * | 2012-08-15 | 2016-06-30 | Aspect Imaging Ltd | A magnetic resonance device integrated with a light field camera |
US8619082B1 (en) | 2012-08-21 | 2013-12-31 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation |
US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
JP6071333B2 (ja) * | 2012-08-27 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 |
WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
JP6074201B2 (ja) * | 2012-09-21 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9207759B1 (en) | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
US8997021B2 (en) | 2012-11-06 | 2015-03-31 | Lytro, Inc. | Parallax and/or three-dimensional effects for thumbnail image displays |
WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9001226B1 (en) | 2012-12-04 | 2015-04-07 | Lytro, Inc. | Capturing and relighting images using multiple devices |
JP6103969B2 (ja) * | 2013-02-07 | 2017-03-29 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
WO2014133974A1 (en) | 2013-02-24 | 2014-09-04 | Pelican Imaging Corporation | Thin form computational and modular array cameras |
US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
JP2014220564A (ja) * | 2013-05-01 | 2014-11-20 | キヤノン株式会社 | 画像再生装置、画像再生方法およびプログラム、並びに撮像装置 |
JP6087719B2 (ja) * | 2013-05-02 | 2017-03-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN104184936B (zh) * | 2013-05-21 | 2017-06-23 | 吴俊辉 | 基于光场相机的影像对焦处理方法及其系统 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9426343B2 (en) | 2013-11-07 | 2016-08-23 | Pelican Imaging Corporation | Array cameras incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
US9538075B2 (en) | 2013-12-30 | 2017-01-03 | Indiana University Research And Technology Corporation | Frequency domain processing techniques for plenoptic images |
JP6321991B2 (ja) * | 2014-02-21 | 2018-05-09 | キヤノン株式会社 | 画像処理装置、制御方法、プログラム、及び記録媒体 |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
JP6346476B2 (ja) | 2014-03-17 | 2018-06-20 | キヤノン株式会社 | 表示制御装置、制御方法、プログラム及び記録媒体 |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
WO2015157769A1 (en) * | 2014-04-11 | 2015-10-15 | The Regents Of The University Of Colorado, A Body Corporate | Scanning imaging for encoded psf identification and light field imaging |
US9712820B2 (en) * | 2014-04-24 | 2017-07-18 | Lytro, Inc. | Predictive light field compression |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
JP5881777B2 (ja) | 2014-06-24 | 2016-03-09 | オリンパス株式会社 | 顕微鏡 |
NL2014941A (en) | 2014-07-16 | 2016-04-12 | Asml Netherlands Bv | Lithographic apparatus, device manufacturing method and associated data processing apparatus and computer program product. |
GB2544946B (en) | 2014-08-31 | 2021-03-10 | Berestka John | Systems and methods for analyzing the eye |
US9635332B2 (en) | 2014-09-08 | 2017-04-25 | Lytro, Inc. | Saturated pixel recovery in light-field images |
WO2016054089A1 (en) | 2014-09-29 | 2016-04-07 | Pelican Imaging Corporation | Systems and methods for dynamic calibration of array cameras |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
JP6355595B2 (ja) * | 2015-06-02 | 2018-07-11 | キヤノン株式会社 | 撮像素子、撮像装置、撮像素子の制御方法、プログラムおよび記憶媒体 |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10110869B2 (en) * | 2017-03-08 | 2018-10-23 | Ricoh Company, Ltd. | Real-time color preview generation for plenoptic imaging systems |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10638812B2 (en) | 2017-05-24 | 2020-05-05 | Nike, Inc. | Flexible sole for article of footwear |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
CN107483819B (zh) * | 2017-08-22 | 2020-04-07 | 北京小米移动软件有限公司 | 对焦方法、对焦装置及电子设备 |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
MX2022003020A (es) | 2019-09-17 | 2022-06-14 | Boston Polarimetrics Inc | Sistemas y metodos para modelado de superficie usando se?ales de polarizacion. |
JP7330376B2 (ja) | 2019-10-07 | 2023-08-21 | ボストン ポーラリメトリックス,インコーポレイティド | 偏光によるセンサシステム及び撮像システムの増強のための方法 |
WO2021108002A1 (en) | 2019-11-30 | 2021-06-03 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
KR20220132620A (ko) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들 |
CN115428028A (zh) | 2020-01-30 | 2022-12-02 | 因思创新有限责任公司 | 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
KR20220096624A (ko) * | 2020-12-31 | 2022-07-07 | 엘지디스플레이 주식회사 | 표시 장치 |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
CN113124779B (zh) * | 2021-04-06 | 2022-03-08 | 电子科技大学 | 一种快速的双向结构光解码方法 |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5961807A (ja) * | 1982-09-30 | 1984-04-09 | Canon Inc | 自動焦点制御装置 |
US5076687A (en) * | 1990-08-28 | 1991-12-31 | Massachusetts Institute Of Technology | Optical ranging apparatus |
JP3124887B2 (ja) * | 1994-04-28 | 2001-01-15 | 京セラ株式会社 | データ圧縮・復号方式 |
US6097394A (en) * | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
JP2000083214A (ja) * | 1998-09-03 | 2000-03-21 | Olympus Optical Co Ltd | 画像処理装置及び方法 |
JP2001223874A (ja) * | 2000-02-04 | 2001-08-17 | Kiyoharu Aizawa | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ |
JP3958603B2 (ja) * | 2002-02-21 | 2007-08-15 | オリンパス株式会社 | 電子内視鏡システム及び電子内視鏡システム用の信号処理装置 |
JP4375662B2 (ja) * | 2003-11-17 | 2009-12-02 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 |
US7936392B2 (en) * | 2004-10-01 | 2011-05-03 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging arrangements and methods therefor |
JP2006140732A (ja) * | 2004-11-11 | 2006-06-01 | Fuji Photo Film Co Ltd | 画像再生装置 |
GB2425363A (en) * | 2005-04-18 | 2006-10-25 | Sharp Kk | Panoramic adapter with mirrors formed by rotating conic section |
KR100749337B1 (ko) * | 2006-06-13 | 2007-08-14 | 삼성전자주식회사 | 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치 |
-
2008
- 2008-02-05 JP JP2008025431A patent/JP4969474B2/ja active Active
- 2008-02-05 CN CN200810008692A patent/CN100585453C/zh not_active Expired - Fee Related
- 2008-02-07 US US12/027,858 patent/US8103112B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015159745A1 (en) | 2014-04-17 | 2015-10-22 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
US10122988B2 (en) | 2014-04-17 | 2018-11-06 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2008219878A (ja) | 2008-09-18 |
CN100585453C (zh) | 2010-01-27 |
US20080193026A1 (en) | 2008-08-14 |
CN101241235A (zh) | 2008-08-13 |
US8103112B2 (en) | 2012-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4969474B2 (ja) | 復号方法、復号装置、及び復号プログラム | |
JP5142701B2 (ja) | 符号化方法、電子カメラ、符号化プログラム、及び復号方法 | |
EP2618585B1 (en) | Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device | |
JP5854984B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
US8786676B2 (en) | Imaging device for generating stereoscopic image | |
US9609192B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
US20180176539A1 (en) | Imaging apparatus and method for controlling same | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP2003179798A (ja) | デジタルカメラ | |
JP5869839B2 (ja) | 画像処理装置およびその制御方法 | |
JP5895587B2 (ja) | 画像記録装置、画像記録方法、画像再生装置および画像再生方法 | |
JP2013118459A (ja) | 撮像装置およびその制御方法 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP6138222B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2016206441A (ja) | 制御装置、撮像装置、制御方法、プログラム、および記録媒体 | |
WO2024053522A1 (ja) | 画像処理装置および画像処理方法 | |
JP6433474B2 (ja) | 撮像装置およびその制御方法 | |
JP3800830B2 (ja) | 電子スチルカメラ | |
JPH01188079A (ja) | 固体テレビカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120403 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |