JP3803950B2 - 画像合成処理方法、画像合成処理装置及び記録媒体 - Google Patents
画像合成処理方法、画像合成処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP3803950B2 JP3803950B2 JP5646199A JP5646199A JP3803950B2 JP 3803950 B2 JP3803950 B2 JP 3803950B2 JP 5646199 A JP5646199 A JP 5646199A JP 5646199 A JP5646199 A JP 5646199A JP 3803950 B2 JP3803950 B2 JP 3803950B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- blur
- input image
- blur function
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 47
- 239000000203 mixture Substances 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 97
- 241000699666 Mus <mouse, genus> Species 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010187 selection method Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、デジタルカメラ等で同一被写体を撮影した複数の画像データからパンフォーカス画像データを合成する技術に関する。
【0002】
【従来の技術】
焦点位置の異なる条件で同一シーンを撮影した複数の画像データから、異なる奥行きを持つ画像全体に焦点の合ったパンフォーカス画像を生成する様々な手法が提案されている。それらの従来技術を、ここでは「選択法」と「反復復元法」とに大別して説明する。
【0003】
選択法に属する従来技術の一つとして、特開平3−80676号公報に述べられているように、各入力画像をブロックに分割し、複数の入力画像間で、ブロック毎に、高周波成分の大きさを比較することによって鮮明さを評価し、高周波成分の大きい(より鮮明な)ほうの画像を選択し、選択したブロック単位の画像をつなぎ合わせることによって全焦点画像を合成する方法がある。
【0004】
選択法に属するもう一つの従来技術として、特開平8−307756号公報に述べられているように、近距離の被写体に合焦した第1の画像から、例えば輝度の変化率によって鮮明な画像部分を選択し、この画像部分を遠距離の被写体に合焦した第2の画像の対応部分にはめ込む。あるいは、第1の画像の鮮明な画像部分を第2の画像の対応部分に重ね合わせる。その重ね合わせは、第1の画像と第2の画像の画素値の平均をとるか、輝度の変化率に基づいた加重平均をとることによる、方法がある。
【0005】
選択法に属する別の従来技術として、論文[内藤、児玉、相澤、羽島、「複数の異なる焦点画像からの焦点外れ画像の生成を利用した全焦点画像の強調的取得」、電子情報通信学会論文誌 D-II、Vol.79-D-II、No.6、pp.1046-1053]に述べられているように、第1の画像を徐々にぼかしながら他方の画像と画素ごとに比較し、ほぼ一致した場合に、その位置では第1の画像が合焦と判定することにより、第1の画像の合焦領域を選択する。このようにして各画像から選択した合焦領域を統合することにより全焦点画像を生成する方法がある。
【0006】
反復復元法に属する従来技術としては、論文[児玉、相澤、羽島、「複数画像からの全焦点画像の再構成」、電子情報通信学会論文誌 D-II、Vol.J80-D-II、No.9、pp.2298-2307]に述べられているように、異なった奥行き対象シーンにそれぞれ焦点を合わせた画像と目的とする全焦点画像との関係式を導き、それに基づく反復式を用いて全焦点画像を再構成する方法がある。同様にして、それぞれの奥行き毎に任意のぼけを持つような任意焦点画像を再構成する方法も知られている(児玉、相澤、羽島、「複数画像からの任意焦点画像の生成」、映像メディア処理シンポジウム、IMS96 I-8.15)。
【0007】
この反復復元法を、より具体的に説明すれば、近景画像、遠景画像をそれぞれf(x)、g(x)とし、撮影画像をI1(x)、I2(x)について次のようなモデルを考える。全焦点画像をI(x)、対象シーンの奥行きをd(x)=d1 or d2 とし、
【数1】
【数2】
【数3】
【数4】
【0008】
とする。このモデルに沿って考えれば、式(2)乃至式(4)より、
【数5】
【数6】
【数7】
【0009】
という関係が導かれる。そうすると、各入力画像についての、ぼけ関数(h1,h2)が分かれば、初期復元画像I^0=I1 or I2 を使い
【数8】
の反復演算により全焦点画像を復元できる。
【0010】
同様に、次式のように、近景画像f(x)をぼけ関数haで、遠景画像g(x)をぼけ関数hbで、それぞれぼかした任意焦点画像Iab
【数9】
についても、式(8)の代わりに次式のGab
【数10】
を考えると
【数11】
の反復演算により任意焦点画像を復元できる。
【0011】
また、前記論文には、ぼけ関数を取得する方法としては次の2方法が提案されている。
(1)測定法:あらかじめ各撮影条件(焦点位置、絞り等)での、各距離における対象物のぼけ関数を測定、記録しておき、測定した条件で撮影する。
(2)画像から推定する方法:前記論文「複数の異なる焦点画像からの使用点外れ画像の生成を利用した全焦点画像の強調的取得」におけると同様に、画素毎に合焦/非合焦を判別し、一方の画像を徐々にぼかしながら他方の画像と比較し、一致するぼけの程度を求める。
【0012】
【発明が解決しようとする課題】
選択法として述べた従来技術には、選択間違いによる画質劣化が生じやすいという問題がある。特に、エッジ周辺では合焦画像より非合焦画像の方が輝度変化が大きいため、選択間違いが起こりやすい。
【0013】
反復復元法として述べた従来技術には、選択法のような選択間違いによる画質劣化がなく、ぼけの程度のみしか必要としない(空間的に、どこがぼけているかの情報は不要)、全焦点画像のみならず任意焦点画像の合成も可能という利点がある。しかし、前記論文には3回程度の反復でほぼ収束するとあるが、実際に何回反復すれば十分か明らかでなく、また、多数回の反復には多くの演算が必要で処理時間が長くなるという問題がある。また、ぼけ関数の取得に関して2つの方法が提案されているが、次のような問題がある。まず、「測定法」では、あらかじめカメラの特性を測定しておく必要があり、さらに、各入力画像について、撮影時の焦点距離、絞り等のぼけ関数に影響を与える撮影条件の情報が必要となる。そのため、一般的な自動焦点カメラ等で撮影した、撮影時の焦点位置等が不明な画像データに対しては「測定法」は適用不可能である。もう1つの「画像から推定する方法」は、演算量が多く実行に時間がかかり、また、ユーザによる修正が困難であるという問題がある。
【0014】
また、前記各従来技術には次のような問題もある。カメラの焦点距離を変えると一般に倍率も変化するので、前記各従来技術には、複数の撮影画像の相互の位置合わせのため、画像に対する倍率補正が含まれる。しかし、例えば、一般的な自動焦点カメラを使用し、(1)対象物が中心に来るようにカメラを向け、対象物に焦点を合わせて1枚を撮影し、(2)カメラの方向を変えて対象物を中心から外し、背景に焦点を合わせた状態でレリーズボタンの半押し操作等で焦点を固定し、(3)焦点を固定したまま対象物が中心に来るようにカメラの向きを変えて2枚目を撮影する、というような方法で撮影した2枚の画像データは、倍率のみならず、位置、方向等も微妙に異なっているはずであり、倍率補正だけでは、画像間の位置合わせを精度よく行うことはできない。ビームスプリッタと2枚のCCD等を持つような専用のカメラではなく、一般的なカメラで撮影された画像を扱うためには、平行移動、回転を含む、より自由度の高い位置合わせが不可欠である。
【0015】
本発明は、前記従来技術の諸問題点を解決し、一般的な自動焦点機能や自動露出機能を持つデジタルカメラ等で同一対象物を撮影した複数の画像データから、短時間で、高品質なパンフォーカス画像データの合成を可能にすることを究極の目的とするものである。また、この究極目的を達成するため、(1)ぼけ関数を使用した画像合成処理を高速化すること、(2)ぼけ関数の推定処理を高速化すること、(3)ぼけ関数の推定結果の確認、修正を容易にすること、(4)画像データ間の相対位置を推定し、倍率補正のみでは補正困難な画像データ間の位置合わせを可能にすること、(5)画像データ間の相対位置の推定結果の確認、修正を容易にすること等も本発明の目的に含まれる。
【0016】
【課題を解決するための手段】
請求項1記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力ステップ、
各入力画像データの合焦領域を推定する合焦領域推定ステップ、
前記合焦領域推定ステップにより推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定ステップ、
前記ぼけ関数推定ステップにより推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データのぼけ関数を確定させるぼけ関数修正ステップ、
前記ぼけ関数修正ステップにより確定された各入力画像データのぼけ関数を利用して、複数の入力画像データからパンフォーカス画像を合成する合成処理ステップ、を含むことを特徴とする画像合成処理方法である。
【0017】
請求項2記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力ステップ、
各入力画像データの合焦領域を推定する合焦領域推定ステップ、
前記合焦領域推定ステップにより推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定ステップ、
前記ぼけ関数推定ステップにより推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データのぼけ関数を確定させるぼけ関数修正ステップ、
複数の入力画像データを、前記ぼけ関数修正ステップにより確定された各入力画像データのぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成する合成処理ステップ、を含むことを特徴とする画像合成処理方法である。
【0018】
請求項3記載の発明は、請求項1又は2に記載の発明に係る画像合成処理方法であって、前記ぼけ関数修正ステップにおいて、
第1の入力画像データの合焦領域に対応した第2の入力画像データの非合焦領域の画像データ(以下、非合焦領域画像データと記す)と、
該第1の入力画像データの合焦領域の画像データに、前記ぼけ関数推定ステップにより該第2の入力画像データについて推定されたぼけ関数、及び、該推定されたぼけ関数とぼけ程度の異なるぼけ関数をそれぞれ作用させたてぼかした、ぼけ程度の異なる複数のぼけ画像データとを画面表示させ、
ユーザによって、該複数のぼけ画像データの中から該非合焦領域画像データと最もよく一致する1のぼけ画像データを選択させることにより、該選択されたぼけ画像データについて作用させられたぼけ関数を該第2の入力画像データのぼけ関数として確定する、
ことを特徴とする画像合成処理方法である。
【0019】
請求項4記載の発明は、請求項1又は2に記載の発明に係る画像合成処理方法であって、各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定する相対位置推定ステップをさらに含み、該相対位置推定ステップにより推定された相対位置に基づいて各入力画像データ相互の位置合わせが行われることを特徴とする画像合成処理方法である。
【0020】
請求項5記載の発明は、請求項4記載の発明に係る画像合成処理方法であって、二つの入力画像データのうちの一方の画像データと、他方の画像データを前記相対位置推定ステップにより推定された相対位置に基づいて変形させた画像データとを重ねて画面表示させ、ユーザに相対位置の推定結果の確認及び修正をさせる相対位置修正ステップをさらに含むことを特徴とする画像合成処理方法である。
【0021】
請求項6記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力手段、
各入力画像データの合焦領域を推定する合焦領域推定手段、
前記合焦領域推定手段により推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定手段、
前記ぼけ関数推定手段により推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データのぼけ関数を確定させるぼけ関数修正手段、
前記ぼけ関数修正手段により確定された各入力画像データのぼけ関数を利用して、複数の入力画像データからパンフォーカス画像を合成する合成処理手段、を含むことを特徴とする画像合成処理装置である。
【0022】
請求項7記載の発明は、焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力手段、
各入力画像データの合焦領域を推定する合焦領域推定手段、
前記合焦領域推定手段により推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定手段、
前記ぼけ関数推定手段により推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データについてのぼけ関数を確定させるぼけ関数修正手段、
複数の入力画像データを、前記ぼけ関数修正手段により確定された各入力画像データのぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成する合成処理手段を含むことを特徴とする画像合成処理装置である。
【0023】
請求項8記載の発明は、請求項6又は7に記載の発明に係る画像合成処理装置であって、前記ぼけ関数修正手段は、
第1の入力画像データの合焦領域に対応した第2の入力画像データの非合焦領域の画像データ(以下、非合焦領域画像データと記す)と、
該第1の入力画像データの合焦領域の画像データに、前記ぼけ関数推定手段により該第2の入力画像データについて推定されたぼけ関数、及び、該推定されたぼけ関数とぼけ程度が異なるぼけ関数をそれぞれ作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データを画面表示させ、
ユーザによって、該複数のぼけ画像データの中から該非合焦領域画像データと最もよく一致する1のぼけ画像データを選択させることにより、該選択されたぼけ画像データについて作用させられたぼけ関数を該第2の入力画像データについてのぼけ関数として確定する、ことを特徴とする画像合成処理装置である。
【0024】
請求項9記載の発明は、請求項6又は7に記載の発明に係る画像合成処理装置であって、各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定する相対位置推定手段をさらに含み、該相対位置推定手段により推定された相対位置に基づいて各入力画像データ相互の位置合わせが行われることを特徴とする画像合成処理装置である。
【0025】
請求項10記載の発明は、請求項9に記載の発明に係る画像合成処理装置であって、二つの入力画像データのうちの一方の画像データと、他方の画像データを前記相対位置推定手段により推定された相対位置に基づいて変形させた画像データとを重ねて画面表示させ、ユーザに相対位置の推定結果の確認及び修正をさせる相対位置修正手段をさらに含むことを特徴とする画像合成処理装置である。
【0026】
請求項11記載の発明は、請求項1乃至5のいずれか1項に記載の画像合成処理方法の各ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータ読み取り可能記録媒体である。
【0027】
【発明の実施の形態】
図1は本発明の一実施例による画像合成処理のフローチャートを示す。この画像合成処理は、ユーザーインターフェースを有するコンピュータ上でソフトウェアにより実施される。ここでは、一例として、図2に示すようなCPU200に接続されたバス201に、メモリ202、ディスプレイコントローラ203を介してCRTディスプレイ204、入力インターフェース206を介してキーボード207やマウス(ポインティングデバイス)208、ディスクコントローラ209を介してハードディスク210やフロッピーディスクドライブ211が接続され、また、入力インターフェース213を介してデジタルカメラやスキャナ等の画像入力装置214を接続できるような構成のコンピュータ上で実施されるものとして説明する。画像合成処理のためのプログラムは、例えば、それが記録されたフロッピーディスク212よりフロッピーディスクドライブ211を介して読み込まれてハードディスク210に保存されており、処理実行時にメモリ202にロードされる。なお、フロッピーディスク以外の記録媒体、例えば光磁気ディスクなどの媒体を読み書きできるドライブを用意し、その媒体に記録したプログラムを読み込むようにしてもよい。
【0028】
以下、図1のフローチャートに従い、画像合成処理の各処理ステップについて順に説明する。
まず、ステップ100において、同じ対象物を焦点位置を変えて撮影した2枚の画像データを入力する。具体的な入力方法は、例えば、画像の撮影に利用したデジタルカメラ等から、デジタル画像データを入力インターフェース213を介して直接入力したり、デジタルカメラや銀塩フィルムを用いるカメラで撮影した画像のプリントを、スキャナで読み取って入力インターフェース213を介して入力したり、あるいは、フロッピーディスク212に記録した画像データを読み込む等々の方法が可能である。入力される2枚の画像の間に、倍率、位置、方向の多少の違いがあってもよい。なお、ここでは、入力画像はグレースケール画像とする。
【0029】
次のステップ102において、2枚の画像データ間の相対位置を推定する。本実施例では、特開平9−73536号公報に述べられているように、2枚の画像データをそれぞれ適当なサイズの複数のブロック分割し、輝度変化の大きさが所定値を越えるブロックに関し、ブロック毎に、輝度勾配に基づいて2枚の画像データ間の相対的な平行移動量を計算し、次に、求めた各ブロックの平行移動量を全体として多項式近似することにより、2枚の画像データ間の相対位置を推定する。この方法によれば、平行移動、回転等の様々な変形を含む2枚の画像間の相対位置を推定可能である。また、このような輝度勾配を線形近似して相対位置を推定する方法は、画像データの低周波成分のみを利用し細かな濃淡変化は無視するので、画像の合焦/非合焦にかかわらず適用可能である。
【0030】
なお、上に述べた推定方法は画像データが輝度にリニアなレベルを持つことを前提としているが、一般にデジタル画像データはCRTディスプレイ等の出力(ガンマ)特性にあわせてレベル補正がなされている。したがって、入力画像データがガンマ補正を施された画像データの場合には、上に述べた相対位置推定の前処理として、各画像データに対して、それを輝度リニアなデータに逆補正する処理を施す。この逆補正の際のガンマ特性としては、画像データにガンマ特性が記録されているならば、そのガンマ特性を利用すればよく、ガンマ特性が不明な場合には一般的な2.2を用いればよい。
【0031】
次のステップ104において、前ステップ102で推定された相対位置に従って、2枚の画像データのうちの一方の画像データ(1)を基準として、2枚の画像データを位置合わせするため、もう一方の画像データ(2)を変形させ、この変形後の画像データ(2)と基準側の画像データ(1)を、CRTディスプレイ204の画面上に、図3に示すように重ねて表示させる。図3において、301は基準側の画像データ(1)の画像を示し、302は変形後の画像データ(2)の画像を示す。画面には、図3に示すように、ユーザの指示を求めるためのメッセージ303と、指示のための「確定」ボタン304及び「再推定」ボタン305も表示される。
【0032】
ユーザは、2つの画像301,302の重なりを観察し、正しく重なっていると判断した場合にはマウス208を利用して「確定」ボタン304を押す。ユーザが2つの画像301,302の重なりが不正確であると判断した場合には、そのまま「再推定」ボタン305を押すか、あるいは、マウス208を利用して画像302を正しい重なりになるように移動させる操作を行ってから「確定」ボタン304又は「再推定」ボタン305を押す。
【0033】
「確定」ボタンが押された場合(ステップ106、NO)、現在画面に表示されている画像301,302間の相対位置を画像データ(1),(2)間の相対位置として確定し、次のステップ108の処理に進む。「再推定」ボタン305が押された場合(ステップ106、YES)、ステップ102に戻り2画像データ間の相対位置の自動推定が再度実行されるが、この際は現在画面に表示されている画像301,302間の相対位置が初期値として利用される。
【0034】
このようにして2つの画像データ(1),(2)間の相対位置が確定すると、ステップ108の処理に進むが、このステップ108以降においては、確定した相対位置に従って画像データ(2)を変形した後の画像データが、画像データ(2)として用いられる。
【0035】
ステップ108においては、各画像データ(1),(2)の合焦領域を推定する。この合焦領域の推定には、合焦した鮮明な領域では非合焦領域に比べ高周波成分が増加するという性質を利用する。具体的手順は次の通りである。各画像データを例えば16×16画素のブロックに分割する。各画像データに対し、例えば図4に示すようなハイパスフィルタ係数によるハイパスフィルタ処理を施し、処理後の画素値をブロック毎に加算する。ここで、画像データ(i)のブロック(j)の加算結果をBijとすると、画像データ(1),(2)のブロック(1)について、B1j−B2j は、画像データ(1)が画像データ(2)に比べ鮮明であるほど(高周波成分が多いほど)大きな値をとる。そこで、B1j−B2j が最大値をとるブロック(j)を画像データ(1)の合焦領域と推定する。同様に、B1j−B2j が最小値をとるブロック(j)、つまりB2j−B1j が最大値をとるブロック(j)を画像データ(2)の合焦領域と推定する。
【0036】
このようして各画像データの合焦領域が推定されるが、その推定結果に対するユーザによる確認又は修正を可能にするため、次のステップ110において、CRTディスプレイ画面上に、例えば図5に示すように、各画像データとその推定された合焦領域が表示される。図5において、501は画像データ(1)又は画像データ(2)の画像を示し、502はその画像データの推定された合焦領域を表す枠である。画面には、図5に示すように、ユーザの指示を求めるためのメッセージ503と、指示のための「確定」ボタン504も表示される。
【0037】
ユーザは、画面上で枠502で囲まれた領域が合焦領域として正しいと判断した場合には、マウス208を利用して「確定」ボタン504を押す。枠502で囲まれた領域が合焦領域からずれているとユーザが判断した場合には、マウス208を利用して、枠502を正しい合焦領域に移動させる修正操作を行ってから「確定」ボタン504を押す。画像データ(1)と画像データ(2)のそれぞれについて、同様の操作を行う。「確定」ボタン504が押された時に画面上に表示されている枠502に対応するブロックが、合焦領域として確定される。
【0038】
次のステップ112において、前ステップ110で確定された合焦領域のみに限定して、前記論文「複数の異なる焦点画像からの焦点外れ画像の生成を利用した全焦点画像の強調的取得」と同様に、合焦画像を徐々にぼかして非合焦画像とマッチングをとることにより非合焦画像のぼけ関数を推定する。
【0039】
画像データ(2)のぼけ関数を推定する場合、画像データ(1)の合焦領域内の画像データをA、画像データ(2)の同じ領域の画像データをBとする。画像データAに、例えば図6に示すようなローパスフィルタ係数を使用したローパスフィルタ処理(ぼかし処理)を連続的に施すことにより、徐々にぼかしていく。画像データAにローパスフィルタ処理を1回施した後の画像データをA(1)、これにローパスフィルタ処理を1回施した後の画像データをA(2)、同様に画像データA(n−1)にローパスフィルタ処理を施した後の画像データをA(n)とする。そして、各段階の画像データA(i)と画像データBの対応画素値の差の絶対値の合計D(i)を計算する。このようにしてD(1),D(2),D(3),...と順に計算し、その極小値を探す。すなわち、D(1),D(2),...と順次減少していってD(n)<D(n+1)となると、D(n)を極小値と判定し、対応した画像データA(n)が画像データBと最も近いと判断する。そして、例えば図6に示すような係数のローパスフィルタをn回かけたものを、画像データ(2)に対する、ぼけ関数と推定する。画像データ(1)に対するぼけ関数の推定も同様の手順で行う。ただし、この場合は、画像データ(2)の合焦領域の画像データを徐々にぼかしながら、画像データ(1)の対応した非合焦領域の画像データとの間でマッチングをとる。
【0040】
このようにして推定したぼけ関数の精度の確認と修正を可能にするため、次のステップ114において、例えば図7に示すように、CRTディスプレイ204の画面上に、画像データ(1)の合焦領域の画像データAに、推定したぼけ関数を掛けてぼかした画像データA(n)(これはステップ112で作成済み)を、画像701として拡大表示し、画像データ(2)の同じ領域の画像データBを画像702として拡大表示し、ユーザへのメッセージ703と指示のための「一致している」ボタン704及び「一致していない」ボタン705を表示する。
【0041】
ユーザは、画像701と画像702の一致の具合を観察し、十分に一致していると判断した場合はマウス208を使用して「一致している」ボタン704を押す操作を行う。この場合は、画像データ(2)に対し自動推定されたぼけ関数が、そのままぼけ関数として確定される。
【0042】
ユーザは、画像701と画像702の一致が不十分であると判断した場合、マウス208を使用して「一致していない」ボタン705を押す操作を行う。「一致していない」ボタン705が押されると、CRTディスプレイ204の画面上に、例えば図8に示すように、図ステップ112において作成されたぼけ画像データA(n)とその前後のぼけ画像データA(n−2),A(n−1),A(n+1)を画像801,802,803,804として表示し、画像データBを画像805として表示し、また、ユーザへのメッセージ806を表示する。ユーザは、画像801〜804の中から画像805と最もよく一致するものを選び、それをマウス208を使用して指示する。そうすると、その指示された画像(801〜804)に対応するぼけ関数が、画像データ(2)に対するぼけ関数として確定される。
【0043】
このようにして一方の画像データ(2)に対するぼけ関数が確定されると、次に他方の画像データ(1)に対するぼけ関数の確認、修正が行われる。この場合、図7の画像701として、画像データ(2)の合焦領域の画像データAに、推定したぼけ関数を掛けた画像データA(n)が表示され、画像702として、画像データ(1)の同じ領域の画像データBが表示される。また、修正をする場合には、図8の画像801〜804として、画像データ(2)の合焦領域の画像データAのぼけ画像データA(n),A(n−2),A(n−1),A(n+1)が表示され、画像805として、画像データ(1)の同じ領域の画像データBが表示されることになる。
【0044】
このようにして2つの画像データ(1),(2)のぼけ関数が確定されると、次のステップ116に進む。このステップ116は、(9)式の(ha,hb)に相当する出力結果に対するぼけ関数を指定するために、つまり任意焦点画像を出力できるようにするために挿入された処理ステップであり、全焦点画像のみを出力する場合には不要である。ステップ116においては、直前のステップ114と同様に、各入力画像データの合焦領域の画像データAと、それに異なったぼけ関数をかけた複数の画像データをCRTディスプレイ204の画面に表示し、その中からユーザに一つの画像データを選択させ、選択された画像データに対応したぼけ関数を出力ぼけ関数(ha,hb)とする。ぼけ関数をかけない画像データAが選択された場合には、全焦点画像が出力されることになる。
【0045】
次にステップ118において、ステップ114及びステップ116で確定されたぼけ関数(h1,h2,ha,hb)を使い、フィルタ演算と加算処理によって出力画像を合成する。この合成処理は原理的には「反復復元法」によるが、すでに求められている相対位置に従って位置合わせ後の2つの入力画像データ(1),(2)を画素毎に平均したデータは、多少のぼけがあるが全焦点画像に近いものである点に着目し、その平均画像データを初期値とし、反復を1回だけで済ますことにより処理時間の大幅な短縮を図る。
【0046】
すなわち、初期復元画像をI^0=(I1+I2)/2とし、(11)式を1回だけ行う。したがって、復元画像I^1は次式で表される。
【数12】
【0047】
この演算は、位置合わせ後の各画像データI1,I2に対し、ぼけ関数(h1,h2,ha,hb)から決まる(h1h2/2−h1hb+ha),(h1h2/2−h2ha+hb)なるフィルタをそれぞれ1回かけた後に加算する演算である。
【0048】
このようにして合成された全焦点画像データ又は任意焦点画像データは、ステップ120により、ハードディスク210やフロッピーディスク212、CRTディスプレイ204などへ出力される。
【0049】
以上に述べたように、本実施例によれば、画像データ以外の付加情報を用意することなく、2枚のグレースケール画像から全焦点画像又は任意焦点画像を合成することができるが、3枚以上の画像に対しても同様に相対位置、ぼけ関数を推定し合成することができる。また、カラー画像に対しても各コンポーネントのプレーン毎に、又は輝度データに対し同様の処理を行って合成画像を生成することができる。また、推定結果をユーザが確認、修正するステップ(図1のステップ104,110,114)を省き完全な自動処理とすることも可能である。
【0050】
【発明の効果】
請求項1〜10に記載の発明によれば、次のような効果を得られる。
(1)画像撮影に使用されたカメラの特性や撮影時の焦点距離、絞り等のぼけ関数に影響を及ぼす情報を与えることなく、入力画像データのみからパンフォーカス画像データを生成可能である。
(2)選択法のような選択間違いによる画質劣化のない高画質のパンフォーカス画像データを生成可能である。
(3)ある入力画像データの合焦領域と、それに対応した他の入力画像データの非合焦領域との間のマッチングによってぼけ関数を推定するため、画像全体を対象範囲とする方法に比べ、ぼけ関数推定のための処理時間を大幅に短縮可能である。
(4)請求項2,7に記載の発明によれば、ぼけ関数を利用した画像合成に、従来の反復復元法のような反復演算を用いないため、画像合成のための処理時間も短縮可能であるため、ぼけ関数推定時間も含めた全体の処理時間を大幅に短縮可能である。
(5)推定されたぼけ関数をユーザが修正することが可能であり、特に請求項3,8に記載の発明によれば、ユーザは、画面上に表示された画像の比較により、ぼけ関数の推定結果の適否確認又は修正を容易に行うことができる。したがって、ぼけ関数の推定間違いによる処理エラーを回避できる。
(6)請求項4,9に記載の発明によれば、入力画像データの合焦領域、非合焦領域にかかわらず局所的な平行移動量を求め、倍率補正のみによっては補正が難しい平行移動、回転など様々な変形を含む複数の入力画像データ間の相対位置を精度良く推定し、入力画像データ間の位置合わせを行うことができるようになる。したがって、そのような画像の変形が伴いやすい、一般的な自動焦点カメラ等で撮影した画像データから、高精度のパンフォーカス画像データを生成可能になる。
(7)請求項7に記載の発明によれば、ユーザが、画面上に表示された画像の比較により、相対位置推定結果の適否の確認又は修正を容易に行って、相対位置推定間違いによる処理エラーを回避できる。
【0051】
また、請求項11に記載の発明によれば、請求項1〜5の各項記載の発明を一般的なコンピュータを利用し、容易に実施できる。
【図面の簡単な説明】
【図1】 本発明の一実施例の処理内容を示すフローチャートである。
【図2】 本発明の実施に利用されるコンピュータの一例を示すフロック図である。
【図3】 相対位置の推定結果の確認、修正のための画面表示例を示す図である。
【図4】 合焦領域の推定に使用されるハイパスフィルタ係数の一例を示す図である。
【図5】 合焦領域の推定結果の確認、修正のための画面表示例を示す図である。
【図6】 ぼけ関数の推定に使用されるローパスフィルタ係数の一例を示す図である。
【図7】 ぼけ関数の推定結果の確認のための画面表示例を示す図である。
【図8】 ぼけ関数の推定結果の修正のための画面表示例を示す図である。
【符号の説明】
200 CPU
202 メモリ
204 CRTディスプレイ
208 マウス
211 フロッピーディスクドライブ
212 フロッピーディスク
214 画像入力装置
301,302 入力画像
304 「確定」ボタン
305 「再推定」ボタン
501 入力画像
502 合焦領域を示す枠
504 「確定」ボタン
701 ぼかした合焦領域の画像
702 非合焦領域の画像
704 「一致している」ボタン
705 「一致していない」ボタン
801〜804 ぼかした合焦領域の画像
805 非合焦領域の画像
Claims (11)
- 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力ステップ、
各入力画像データの合焦領域を推定する合焦領域推定ステップ、
前記合焦領域推定ステップにより推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定ステップ、
前記ぼけ関数推定ステップにより推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データのぼけ関数を確定させるぼけ関数修正ステップ、
前記ぼけ関数修正ステップにより確定された各入力画像データのぼけ関数を利用して、複数の入力画像データからパンフォーカス画像を合成する合成処理ステップ、を含むことを特徴とする画像合成処理方法。 - 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力ステップ、
各入力画像データの合焦領域を推定する合焦領域推定ステップ、
前記合焦領域推定ステップにより推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定ステップ、
前記ぼけ関数推定ステップにより推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データのぼけ関数を確定させるぼけ関数修正ステップ、
複数の入力画像データを、前記ぼけ関数修正ステップにより確定された各入力画像データのぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成する合成処理ステップ、を含むことを特徴とする画像合成処理方法。 - 前記ぼけ関数修正ステップにおいて、
第1の入力画像データの合焦領域に対応した第2の入力画像データの非合焦領域の画像データ(以下、非合焦領域画像データと記す)と、
該第1の入力画像データの合焦領域の画像データに、前記ぼけ関数推定ステップにより該第2の入力画像データについて推定されたぼけ関数、及び、該推定されたぼけ関数とぼけ程度の異なるぼけ関数をそれぞれ作用させたてぼかした、ぼけ程度の異なる複数のぼけ画像データとを画面表示させ、
ユーザによって、該複数のぼけ画像データの中から該非合焦領域画像データと最もよく一致する1のぼけ画像データを選択させることにより、該選択されたぼけ画像データについて作用させられたぼけ関数を該第2の入力画像データのぼけ関数として確定する、
ことを特徴とする請求項1又は2に記載の画像合成処理方法。 - 各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定する相対位置推定ステップをさらに含み、該相対位置推定ステップにより推定された相対位置に基づいて各入力画像データ相互の位置合わせが行われることを特徴とする請求項1又は2に記載の画像合成処理方法。
- 二つの入力画像データのうちの一方の画像データと、他方の画像データを前記相対位置推定ステップにより推定された相対位置に基づいて変形させた画像データとを重ねて画面表示させ、ユーザに相対位置の推定結果の確認及び修正をさせる相対位置修正ステップをさらに含むことを特徴とする請求項4に記載の画像合成処理方法。
- 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力手段、
各入力画像データの合焦領域を推定する合焦領域推定手段、
前記合焦領域推定手段により推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定手段、
前記ぼけ関数推定手段により推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データのぼけ関数を確定させるぼけ関数修正手段、
前記ぼけ関数修正手段により確定された各入力画像データのぼけ関数を利用して、複数の入力画像データからパンフォーカス画像を合成する合成処理手段、を含むことを特徴とする画像合成処理装置。 - 焦点位置を含む撮影条件を相違させて同一の対象物を撮影した複数の画像データ(以下、単に入力画像データと記す)を入力する画像データ入力手段、
各入力画像データの合焦領域を推定する合焦領域推定手段、
前記合焦領域推定手段により推定された各入力画像データの合焦領域の画像データにぼけ程度の異なるぼけ関数を作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データと、該合焦領域に対応した他の入力画像データの非合焦領域の画像データとのマッチングをとることにより、各入力画像データのぼけ関数を推定するぼけ関数推定手段、
前記ぼけ関数推定手段により推定された各入力画像データのぼけ関数について、ユーザに必要な修正を行わせて各入力画像データについてのぼけ関数を確定させるぼけ関数修正手段、
複数の入力画像データを、前記ぼけ関数修正手段により確定された各入力画像データのぼけ関数に基づき決定される係数を使ったフィルタ処理を施した後に加算することにより、パンフォーカス画像を生成する合成処理手段を含むことを特徴とする画像合成処理装置。 - 前記ぼけ関数修正手段は、
第1の入力画像データの合焦領域に対応した第2の入力画像データの非合焦領域の画像データ(以下、非合焦領域画像データと記す)と、
該第1の入力画像データの合焦領域の画像データに、前記ぼけ関数推定手段により該第2の入力画像データについて推定されたぼけ関数、及び、該推定されたぼけ関数とぼけ程度が異なるぼけ関数をそれぞれ作用させてぼかした、ぼけ程度の異なる複数のぼけ画像データを画面表示させ、
ユーザによって、該複数のぼけ画像データの中から該非合焦領域画像データと最もよく一致する1のぼけ画像データを選択させることにより、該選択されたぼけ画像データについて作用させられたぼけ関数を該第2の入力画像データについてのぼけ関数として確定する、
ことを特徴とする請求項6又は7に記載の画像合成処理装置。 - 各入力画像データの局所的な平行移動量を輝度勾配に基づいて求め、求めた各局所的平行移動量を全体として多項式近似することにより各入力画像データの相対位置を推定する相対位置推定手段をさらに含み、該相対位置推定手段により推定された相対位置に基づいて各入力画像データ相互の位置合わせが行われることを特徴とする請求項6又は7に記載の画像合成処理装置。
- 二つの入力画像データのうちの一方の画像データと、他方の画像データを前記相対位置推定手段により推定された相対位置に基づいて変形させた画像データとを重ねて画面表示させ、ユーザに相対位置の推定結果の確認及び修正をさせる相対位置修正手段をさらに含むことを特徴とする請求項9に記載の画像合成処理装置。
- 請求項1乃至5のいずれか1項に記載の画像合成処理方法の各ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータ読み取り可能記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5646199A JP3803950B2 (ja) | 1999-03-04 | 1999-03-04 | 画像合成処理方法、画像合成処理装置及び記録媒体 |
US09/503,809 US6856708B1 (en) | 1999-03-04 | 2000-02-15 | Method and system for composing universally focused image from multiple images |
US11/018,336 US7379621B2 (en) | 1999-03-04 | 2004-12-21 | Method and system for composing universally focused image from multiple images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5646199A JP3803950B2 (ja) | 1999-03-04 | 1999-03-04 | 画像合成処理方法、画像合成処理装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000251060A JP2000251060A (ja) | 2000-09-14 |
JP3803950B2 true JP3803950B2 (ja) | 2006-08-02 |
Family
ID=13027751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5646199A Expired - Fee Related JP3803950B2 (ja) | 1999-03-04 | 1999-03-04 | 画像合成処理方法、画像合成処理装置及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (2) | US6856708B1 (ja) |
JP (1) | JP3803950B2 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3624859B2 (ja) | 2001-06-19 | 2005-03-02 | カシオ計算機株式会社 | 撮像装置、ソフトフォーカス画像撮影方法 |
US20040001074A1 (en) * | 2002-05-29 | 2004-01-01 | Hideki Oyaizu | Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
JP4352916B2 (ja) | 2004-02-04 | 2009-10-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
US8659619B2 (en) * | 2004-03-26 | 2014-02-25 | Intellectual Ventures Fund 83 Llc | Display device and method for determining an area of importance in an original image |
JP2006154756A (ja) * | 2004-11-02 | 2006-06-15 | Fujitsu Ten Ltd | 映像信号処理方法、映像信号処理装置、及び、表示装置 |
FR2881598B1 (fr) * | 2005-02-01 | 2007-08-03 | Canon Kk | Procede et dispositif d'enregistrement d'images composant un panorama, de visualisation et de modification d'un panorama |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
DE602006006582D1 (de) * | 2005-08-08 | 2009-06-10 | Mep Imaging Technologies Ltd | Adaptive belichtungssteuerung |
US7929801B2 (en) * | 2005-08-15 | 2011-04-19 | Sony Corporation | Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
JP4804256B2 (ja) * | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
JP4966035B2 (ja) * | 2007-01-26 | 2012-07-04 | 株式会社東芝 | 固体撮像装置 |
WO2008107002A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
KR101412752B1 (ko) * | 2007-11-26 | 2014-07-01 | 삼성전기주식회사 | 디지털 자동 초점 영상 생성 장치 및 방법 |
US8824833B2 (en) * | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
US8194995B2 (en) * | 2008-09-30 | 2012-06-05 | Sony Corporation | Fast camera auto-focus |
US8553093B2 (en) * | 2008-09-30 | 2013-10-08 | Sony Corporation | Method and apparatus for super-resolution imaging using digital imaging devices |
JP5813994B2 (ja) * | 2010-06-03 | 2015-11-17 | 株式会社東芝 | 医用画像診断装置および画像再構成方法 |
JP5440461B2 (ja) | 2010-09-13 | 2014-03-12 | 株式会社リコー | 校正装置、距離計測システム、校正方法および校正プログラム |
JP5870510B2 (ja) | 2010-09-14 | 2016-03-01 | 株式会社リコー | ステレオカメラ装置、校正方法およびプログラム |
WO2012132129A1 (ja) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置、撮像方法およびプログラム |
US8340456B1 (en) | 2011-10-13 | 2012-12-25 | General Electric Company | System and method for depth from defocus imaging |
US8729653B2 (en) | 2011-10-26 | 2014-05-20 | Omnivision Technologies, Inc. | Integrated die-level cameras and methods of manufacturing the same |
JP6147971B2 (ja) * | 2012-08-30 | 2017-06-14 | Juki株式会社 | 画像処理装置及び画像処理方法 |
WO2014045913A1 (ja) * | 2012-09-18 | 2014-03-27 | 富士フイルム株式会社 | 静止画表示装置及びシステム並びに撮像装置 |
US10096114B1 (en) * | 2013-11-27 | 2018-10-09 | Google Llc | Determining multiple camera positions from multiple videos |
JP6239985B2 (ja) * | 2014-01-15 | 2017-11-29 | 日本放送協会 | 画像処理装置、画像処理プログラム及び撮像装置 |
CN107534764B (zh) * | 2015-04-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 增强图像分辨率的系统及方法 |
CN106610521B (zh) | 2015-10-22 | 2019-11-19 | 中强光电股份有限公司 | 取像装置以及影像拍摄方法 |
US10074214B2 (en) * | 2015-12-31 | 2018-09-11 | Autodesk, Inc. | Systems and methods for generating 3D scenes with time element for display |
US10657364B2 (en) * | 2016-09-23 | 2020-05-19 | Samsung Electronics Co., Ltd | System and method for deep network fusion for fast and robust object detection |
EP3879811B1 (en) * | 2020-03-09 | 2021-12-15 | Axis AB | Determining whether a camera is out-of-focus |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0380676A (ja) | 1989-08-23 | 1991-04-05 | Ricoh Co Ltd | 電子パンフォーカス装置 |
CA2054344C (en) * | 1990-10-29 | 1997-04-15 | Kazuhiro Itsumi | Video camera having focusing and image-processing function |
JP2807573B2 (ja) * | 1991-04-12 | 1998-10-08 | シャープ株式会社 | 画像表示装置 |
JPH06130288A (ja) * | 1992-09-03 | 1994-05-13 | Nikon Corp | 焦点検出装置 |
JP3635687B2 (ja) * | 1994-09-07 | 2005-04-06 | 株式会社ニコン | 自動合焦装置 |
JPH0875997A (ja) * | 1994-09-07 | 1996-03-22 | Nikon Corp | 焦点検出装置 |
JP3298357B2 (ja) * | 1995-04-10 | 2002-07-02 | ミノルタ株式会社 | フィルム画像再生装置 |
JPH08307756A (ja) | 1995-05-10 | 1996-11-22 | Teiichi Okochi | 映像形成方法 |
JP3585291B2 (ja) * | 1995-06-29 | 2004-11-04 | オリンパス株式会社 | 自動焦点調節装置 |
JPH0973536A (ja) | 1995-09-06 | 1997-03-18 | Ricoh Co Ltd | 2次元デジタル信号処理方法 |
JPH0981724A (ja) | 1995-09-20 | 1997-03-28 | Canon Inc | 画像処理装置及びその方法 |
US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
US6219461B1 (en) * | 1997-07-29 | 2001-04-17 | Cognex Corporation | Determining a depth |
JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
US6201899B1 (en) * | 1998-10-09 | 2001-03-13 | Sarnoff Corporation | Method and apparatus for extended depth of field imaging |
-
1999
- 1999-03-04 JP JP5646199A patent/JP3803950B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-15 US US09/503,809 patent/US6856708B1/en not_active Expired - Fee Related
-
2004
- 2004-12-21 US US11/018,336 patent/US7379621B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20050105823A1 (en) | 2005-05-19 |
JP2000251060A (ja) | 2000-09-14 |
US7379621B2 (en) | 2008-05-27 |
US6856708B1 (en) | 2005-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3803950B2 (ja) | 画像合成処理方法、画像合成処理装置及び記録媒体 | |
JP4513906B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP4898761B2 (ja) | オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法 | |
JP4703710B2 (ja) | オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置及び方法 | |
US6995790B2 (en) | Image processing apparatus for joining a plurality of images | |
EP2239707B1 (en) | Imaging apparatus, image processing method and image processing program | |
CN105323465B (zh) | 图像处理装置及其控制方法 | |
WO2011145297A1 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JP7137313B2 (ja) | 出力装置、画像処理方法およびプログラム | |
US20110128422A1 (en) | Image capturing apparatus and image processing method | |
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2009135561A (ja) | ぶれ検出装置、ぶれ補正装置及び方法 | |
JP3984346B2 (ja) | 撮像装置及び画像合成方法 | |
JP2009177782A5 (ja) | ||
CN110276714B (zh) | 快速扫描式全景图图像合成方法及装置 | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
JP2010232710A (ja) | 画像処理装置および画像処理方法 | |
JP2010061440A (ja) | 画像処理装置 | |
JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
JP2018142983A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP2004310504A (ja) | 画像処理方法 | |
JP2009153046A (ja) | ぶれ補正装置及び方法並びに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060426 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |