JP3907008B2 - 写真のための被写界の深度を増大するための方法及び手段 - Google Patents
写真のための被写界の深度を増大するための方法及び手段 Download PDFInfo
- Publication number
- JP3907008B2 JP3907008B2 JP52514297A JP52514297A JP3907008B2 JP 3907008 B2 JP3907008 B2 JP 3907008B2 JP 52514297 A JP52514297 A JP 52514297A JP 52514297 A JP52514297 A JP 52514297A JP 3907008 B2 JP3907008 B2 JP 3907008B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- focus
- different
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
Description
発明の分野
本発明は写真のための焦点（又は被写界）の深度を増大するための方法及びその方法のための手段を含む。この方法は伝統的なＴ／Ｓ技術“チルトアンドシフト（Tilt and Shifr）”の使用による焦点の深度の改良、及び他の極く普通のカメラにおける被写界の深度の改良に対する可能性の増大を提供する。この方法は、画像が、写真フィルムの代わりにカメラ内のセンサーによって生成されるデジタルカメラに狙いを定めたものである。しかしながら、現在のスキャナー技術の使用によってフィルム写真を電子画像に移行することは容易である。本方法はそういう場合にも使用することができる。以下においては、本方法は主として画像がカメラにおいて直接電気的に生成される場合に適用される。
Ｔ／Ｓカメラではレンズ及び撮像面の両方又は一方が移動可能である。撮像面はフィルム又はセンサーが位置される平面である。被写界における平面は結像面に正確に焦点を合わされるが、この結像面は、撮像面の前方、後方、あるいは撮像面を横切る位置に位置することとなる。撮像面と結像面の間の距離に比例して、画像におけるボケが大きくなる。Ｔ／Ｓカメラでは、写真撮影者は撮像面に位置するフォーカシングスクリーン上に画像を見ることが多い。撮影者はフォーカシングスクリーン上に結像された画像に対してカメラ設定を制御する。次いで撮影者はこの位置にフィルム／センサーを置き、写真を撮る。
写真撮影者は多くの様々な作業方法を使用する。その仕事は創造的であることが多く、芸術的な場合もある。実際には写真撮影者は被写体に向かう位置にカメラを置き、所望の視点位置（通常垂直）で撮像面を配置する。我々は垂直方向から世界を見る習慣を有するからである。例えば視野内に教会塔を入れるために普通のカメラを上方にチルトさせると、カメラは傾いた視線で画像を生成し、教会塔が傾いたり落下したりしているような様子の画像を生成するであろう。平行な垂直線は画像中ではもはや平行ではなくなる。
次いで写真撮影者は撮影するべき被写体に焦点を合わせ、位置決めをする。ここで問題が生じるが、それは本発明によって解決できる。絞りは光強度の制御のために使用されるだけでなく、例えば製品写真の被写界の深度を増大させるためにも使用される。露光時間を増大することによって、より小さな絞りを補償することができる。しかしながら、長時間の露光は像ぶれにより鮮鋭性を低下させるリスクを必ず伴う。
Ｔ／Ｓカメラは製品写真のために使用され、被写界深度を普通のカメラが提供しうるものよりも増大させたいときに使用される。大きな奥行きを有する製品の接近像は結像面をチルトし、製品画像の前部分及び後部分を切断することによって、前部分及び後部分の両方に焦点を合わせることができる。チルティングは二つの方法で行われる。一つはチルトする結像面にフィルム又はセンサーを位置させることによって行われる。他は代わりにレンズをチルトし、結像面を所望の角度に回転させることによって行われる。通常、垂直視線が得られる垂直撮像面が望まれ、かくして結像面が所望の撮像面内で垂直に位置されるまでレンズをチルトする方法がとられる。
被写体は一般的に２次元的に広がっていることはなく、変化する奥行きを有する３次元体であるので、絞りを絞り込むこともレンズからの屈折角を減少するために使用されている。従って、大きなボケを生じることなく、撮像面を実際の焦点位置からより遠くすることができる。しかしながら、被写体の条件又は光線の条件がその可能性を小さくしてしまう。
先行技術例
テレビの分野では人間によって経験される画像は、常に合成された多くの「副画像（subimages）」を使用して作られている。１秒あたり５０〜６０の複数のフレームを表示することによって副画像が時間において合成され、滑らかな動きを示し、解像度及び信号対ノイズ比を増大する。一つの副画像だけを取り上げてみると、画像品質は劣っている。これに対して普通のスチルカメラはずっと高い解像度及び極めて低いノイズの優れた品質の単一ショット画像を与える。
高規格テレビの研究分野では、画像解像度の増大の二次的な効果が認識されている。ここで議論するものは焦点の深さの側面である。
低解像度のテレビ画像では、ボケがセンサー画素の劣った解像度より小さいので、単一の撮像面に焦点を合わせうる被写体の奥行きの範囲が大きくなる。しかしながら、センサー画素解像度を例えば４倍に増大することは焦点の深度が２倍減少することを意味する。テレビに対しては、焦点設定を変更しながら、一緒に合成される新規なビデオ画像の自然なストリーム（stream）を使用することによって焦点の深度を増大する方法が明らかに存在する。
テレビの分野には、この焦点の深度を増大する方法を使用する幾つかの類似した特許がある。それらの特許のほとんどは通常のＸ，Ｙベースの画像の空間周波数ベースの画像記述への変換を使用する。それらは空間周波数又は周波数フィルターバンドパスドメインにおいて副画像間の出力比較を行い、どの副画像が焦点があっているかを規定する。それらの方法はこの目的を遂行するための方法とはその詳細が異なる。
Mimuraらによる方法（米国特許５２８２０４５）では、フレーム間で焦点距離を変え、次いで観察者の頭の中の副画像の合成を利用する。その結果は人の頭の中で経験される焦点深度を増大するといわれている。また、その方法は輪郭補正器を含み、その機能は記載されていないが、事実上普通の人工的な輪郭鮮鋭器であり、より高い周波数を輪郭に加え、それは人の頭の中で合成された後により高い解像度として経験される。
それらのテレビ用途に関係する多くの様々な問題が存在する。例えば、
−時間制限がある。高い画像周波数に対して、計算及び機械的焦点合わせのための時間が短時間しかとれない。
−焦点合わせされたフレームの選択方法によって合成数が減少し、ノイズが増加し、画像品質を低下させる。
−テレビでは、一般にシーン中の被写体の動き、又はシーンをパン又はズームするカメラの動きにより、画像に動きがある。実際その動きはテレビの分野ではつきものであり、テレビメディア上では視聴者の期待のために必要である。副画像は上記の動きによる変化を含むので、ピントの異なる連続した副画像の正確な合成を利用する方法の可能性は小さい。Mimuraらの特許では、動きがあるとき、焦点機能の深度が簡単に妨げられる。
一方、テレビは多くの方法において画像欠陥を許している。劣った画像の後すぐに画像の連続ビデオストリームにおいて新しい画像が現れる。その短時間内に多くの不備が観察者の気づかないまま通過する。焦点合わせされた画像部分を選択し、それらを一緒に合成することは、テレビビデオ画像品質の観察者の全合成経験を妨げずに、ある程度不正確及び不完全な整合を許容する。これは静止カメラの用途とは反対である。静止写真はずっと長い時間観察され、全ての不備や小さなディテールは人目を引くのに十分な時間があり、画像品質問題を引き起こす。プロの仕事では例えば会社の新製品写真の場合において、小さな画像品質の欠陥でさえも全く許されない。
発明の機能
本発明は絞りの絞込み技術を含む様々なカメラ設定を使用しうる、複数枚の画像を撮影することによる静止写真のための被写界の深度及び鮮鋭性を達成する方法に関する。この方法は撮影後のデジタル画像への変換の可能性を利用し、関連する工程は様々な範囲にわたって自動的な方法を使用して行われてもよい。オペレーターはコンピュータースクリーン上の対話によっても、工程の結果をマニュアルで改良及び制御することができる。
前記方法は以下のものを含む：
１．カメラセンサーは適切な結像面に回転され、写真が撮影される。そのときの視点は画像変換によって所望の位置に変えることができる。これを行うための一つの方法は所望の視点に対して回転するセンサーを感知して、データを、画像がどれだけ回転されるべきでどの程度の画像変換を作るかを計算する計算ユニットに供給することである。例えばもし画像が所望の垂直面に関して角度ｕチルトされるなら、撮像面はその前縁の周囲で角度ｕだけ回転されることができる。
次いで軸からａだけ離れた画像ポイントは軸から距離ａ＊ｃｏｓｕに変換されるであろう。それらのポイントは距離ａ＊ｓｉｎｕだけレンズに対してより近くに移動される。それは画像をレンズに対してより近い対応する距離（即ち、（ａ＊ｓｉｎｕ＋ｂ）に関連したレンズに対する距離ｂ）移動するとき同じスケールの減少を意味する。これは放射線を光学的中心を通って各画像ポイントに引くことによって容易に説明される。従って画像を軸の周囲に回転すると、画像上のポイントは簡単な幾何学的法則を通して新しい撮像面に投射されるだろう。
回転軸の選択を別の軸の周りの回転と横方向の移動に変換することができる。
レンズからの距離が変化する画像要素の横方向の移動は画像要素のスケールの比例的変化を生じる。従って普通の焦点合わせはサイズ変化を生じる。レンズ（光学的中心）からの相対的な画像距離についての知識はサイズスケールのために使用されるだろう。
焦点がボケた画像部分があるとき、焦点がボケた領域は一般的な画像拡大に比例して拡大されるだろう。焦点がボケた縁はもし特別な手段を行わないならより広くなるだろう。かかる手段は本発明に含まれ、拡大についてのセクションでさらに説明されるであろう。
画像の投射は、正面視の視点に変える際の第２ステップとして行われてもよい。オペレーターは所望の軸を導入し回転することによって、全体の工程を微調整又は制御してもよい。オペレータは回転を停止したり又は正しい位置を微調整する回転方向を対話的に変更することができ、一定スピードの回転を指定することにより、所望の位置に到達するまで回転する画像を検討することもできる。
計算は、増大した数の画素にマップされた基本画像を使用して行うことができる。それにより、計算及び画像処理における不要な解像度の損失を避けることができる。
写真における所望の結像面の制御設定は、写真撮影者が焦点面を必要とするポイントに連続的に焦点を設定することによって単純化及び自動化することができる。既知の座標及び焦点設定によって焦点面を計算することができ、レンズ／センサーの回転も同様に計算することができる。カメラ光学素子を含む簡単な計算プログラムをポケット計算器に記憶することができ、それは回転制御のためのスケール区分として結果を与えることができる。ＰＣ又は他のコンピューターによってオペレーターはコンピュータースクリーン上の画像を見ながら作業することができる。コンピューター中のプログラムは結像面の計算及び自動焦点測定を制御し、最終的にレンズ（センサー）の回転及び移動を正しい位置に制御することができる。従って、このプロセスはしばしば望まれる製造プロセスとして実行されることができる。
２．複数の静止画像の使用による被写界の深度の生成
製品写真においてシーンは静止していることが多い。幾つかの写真は再撮影可能である。距離において相対的に大きな範囲を有する製品は異なる写真となる異なる部分に対するピントの設定で同じ位置から撮影することができる。異なる写真上で、異なる部分は独立に焦点を合わせたり合わせなかったりすることができる。それらはサイズも異なる。
２．１画像要素の単純な加算
製品のシャープな画像は、各画像から焦点を合わせた異なる画像要素を加えることによって作ることができる。その方法はまず上記の１に従って画像スケールを同じサイズに変えることによって実現される。多くの状況においてオペレーターはコンピュータースクリーン上で画像要素の選択を行い、どの画像要素から最終画像を作るかを決定する。
その方法は本発明の方法に従って自動的であることもできる。画像副領域に対する焦点が画像間で比較され、それぞれの焦点の合った画像要素が選択される。隣接する画像要素間の分割境界が選択され、その場所では焦点の合っていない程度は異なる画像間でほぼ同じである。分割界面のいかなる小さな不足も各画像間の境界領域を平均化することによって取扱うことができる。
穀物ボックスの如き単純な製品形状の写真を、その角にカメラに対する最小距離を与え、他の部分に連続的により遠い距離を与える視点で撮ってもよい。連続的に焦点を変化させた一連の写真は、画像要素の加算のための焦点が合った複数の画像要素を生成することができる。
前方の高い位置から傾斜して写真を撮られた穀物ボックスは三つの表面、即ち長い側面、短い側面及び上側面を示す。センサー／レンズをチルトすることによって結像面は三つの外見的表面のそれぞれに沿って位置されてもよい。三つの画像は、計算によって、選択された基本画像に変換される。もしセンサーが回転されるなら、その変換は視点の再変更も含む。
計算後、製品画像は三つのシャープな画像要素から合成することができる。実際には、位置及びサイズの小さな偏差が三つの異なる写真間で生じる。障害は位置及び制御を攪乱する。従って、シャープな境界線及び縁が、異なる画像に対して認識され、異なる画像間において位置及びスケールを微調整する場合に、共通の角及び境界線が一致させられる。
基本画像は正面視、例えば垂直なセンサー及び垂直なレンズ設定が製品の前又は製品の他の重要な部分に対して結像面を与える画像であってもよい。この基本画像はセンサーとレンズ設定によって規定することができ、もし写真が基本画像への異なる写真の合成を単純化するなら、写真を撮られなくても基本画像を規定することができる。
追加の画像がシャープな穀物ボックスの合成のために望まれるとき、余分の焦点面が表面の位置調整を助けるために最も外側の左及び右縁に沿って及び上部表面の対角線を通して位置されてもよい。またボックスが載っているテーブル面が重要であるとき、焦点面は追加の写真のためにこの面に沿って位置されてもよい。
最終画像の合成は、この例においてはそれぞれのシャープな画像要素が容易に確認され焦点がボケた領域が他の画像からのシャープな領域に置換されるので、相対的に簡単である。
視点及びサイズのスケールの再計算は、センサー／レンズのための既知の設定の助けを借りて、規定された基本画像フォーマットに対してなされる。後の他の画像の位置に対する画像の位置を見出すための分析は、設定の情報なしで行うことができるが、それは幾つかの処理を必要とするかもしれない。
それぞれのシャープな画像要素の合成における補正は、共通の画像部分、例えば縁及び角を使用して実施される。しばしば位置合わせを単純化する画像及びテキストディテールが存在する。もし、難しい視点変化に依存する場合のように、画像の調整が良好でないならば、局部的な調整を異なる画像要素に対して行うことができる。シャープなディテールは他の画像からの情報と一致するように位置され、それらの間の距離は非干渉的な方法で増減される必要があり、そのために選択された局部的な領域は緩慢な明るさ及び色の変動を有する領域であることが好ましい。
２．２ 複雑な製品
製品は多かれ少なかれ構造が複雑である。アーム、ポール、穴などがある。それらはオペレーターによって特別な領域「山及び谷」として認識することができ、その場合小さな領域が大きな距離変動を含むことになり、それによって幾つかの写真は大きな距離変動をカバーすることを必要とされる。山と谷を有する領域は本発明に従って自動的に認識することもできる。それらは、連続画像において大きい焦点のボケを起こす領域であって、且つその周囲の画像はシャープな画像要素を有し、シャープな画像要素間の距離が近い領域である。オペレーターはスクリーン上の対応する領域の点滅及びその横に表示されるコメントによって、このような領域及び他の問題領域について警告されてもよい。しばしばオペレーターは険しい山に沿って位置する結像面を見出し、追加の写真を撮影することにより、そのような領域に対して良好に合成されたシャープネス（鮮鋭性）を得ることができる。
もし製品がアーム又はポールを有するなら、この被写体がシャープな対象物として示されるように、アームを通る複数の焦点面で１つ又は複数の画像が撮影されてもよい。穀物ボックスの場合と同様の方法で、それらの画像は製品についての他の画像と合成されるために基本画像に変形される。
画像要素の認識の工程はいずれの写真からスタートしてもよいが、それは前方からの写真又は後方からの写真からスタートすることが有利である。本実施例では、前方からの写真の中央の画像要素からスタートする。
画像領域が選択される。その領域は、境界線、即ち光強度又は色が急激に変化する境界線及び縁を認識するために監視される。しかしながら、色解像度は悪くなるかもしれない。選択方法は導関数（derivative）、相対導関数（relativederivative）（１／ｐ＊ｄｐ／ｄｑ；ｑ＝ｘ，ｙ；）であってもよいし、光又は色の強度の違い、光又は色の強度の相対的な違いであってもよい。それらの境界は、それ以降の写真の対応する値と比較され、２番目の写真において良好な焦点を持たないとき、１番目の写真に属するものとして判定される。境界線間の空間は表面を含み、写真１に属する境界線によって規定される表面は次の工程までとりあえずこの写真に割当てられる。新しい隣接する画像領域が選択され、この工程が、全画像が与えられた連続した写真１〜ｎについて処理されるまで繰り返される。
選択されたサーチ領域内の異なる画像に多くの画像要素がある場合などには、別のサーチ方法が好ましい場合もある。そのとき異なる縁のそれぞれの所属を比較することにより、現在の写真の縁を直接分析しした方がよいかもしれない。次の領域の処理が完了すると、最終画像を連続的に合成することができる。境界線が例に従って選択及び処理される。境界線が、異なる焦点距離の二つの領域間の縁であるとき、その縁は第１の領域に割当てられ、画像間の移行位置は第２の画像上の縁に選択されてもよい。
３． 焦点及びシャープネスの側面
３．１ サイズのスケールを変更（拡大）するときのシャープネス
拡大処理により全ての画像要素が拡大される。かなりの距離範囲を有するそれらの画像要素は焦点がボケた部分を含んだまま拡大され、その焦点がボケた部分はより一層明白になる。焦点がボケた境界、例えば赤色の被写体と緑色の背景の間の境界は、様々な赤と緑の混合を含む境界幅を有する画像として表現される。同じ焦点のボケ具合に対して実際の縁部分は各側から５０％の寄与率を得る。焦点がボケた点はその点からの寄与を有する不鮮明なボケた円を形成する。先端、角及び異形は不鮮明にされ、丸く滑らかになり、それらのディテール位置が不明確になる。幾何学的被写体は、縁を角先端などに再構成することによって再形成される。シャープネスの不足が、上記の例のように、焦点のズレに依存しているとき、焦点が合った状態は単純な光学的法則によって決定され、本発明によれば焦点が合った画像を予測することができ、しばしば焦点がボケた画像境界を補正することもできる。
デジタル写真は、通常最終写真画像より小さい寸法を有するセンサーにより形成される。画像処理は拡大処理を含み、シャープネスを低下させないことが重要となる。特に製品写真においては、被写体は人間が設計した構造、即ち、認識可能な幾何学的形態からなる。そのとき多くの場合において、焦点がボケている良く知られたディテール構造を補正するための前提条件がある。
見栄えのよい製品の画像には自然に興味がわき、それはシャープネスの重要性を強調する。製品のクローズアップ写真では焦点深度の問題が大きくなり、画像品質を改良するための手段及び方法が必要となる。
クローズアップすると被写界の深度はクローズアップにおいて相対的に浅い。レンズの焦点距離を小さくすることによって、被写体画像はほぼ比例して小さくなるが、被写界の相対的な深度は増大する。一方、拡大する場合はボケも大きくなる。ズームを使用することにより距離を大きくとって撮影した写真は製品に平らな印象を与え、それはマイナスの印象を与える。小さなセンサーを用いて製品対象物を画面内に大きく写す場合で、且つ写真を見たときに製品の正しい外観を与える視野角度を得るためには、小さな焦点距離を有するレンズを使用する必要性がある。その側面を考慮すると、小さな製品は近距離で、しかも短い焦点距離のレンズで撮影されるべきである。
本発明は焦点のボケの補正のための光学的法則についての知識に基づいた方法を含み、それは構造を予測し、シャープネスを改良するため幾何学についての知識に基づいている。
３．２ 光学的方法を使用するシャープネスの補正
上記で幾つかの方法を提示したが、それらによって例えば製品写真において画像シャープネスを改良することができる。以下に、その概要を示す。
ａ．焦点距離の変化を含む異なるカメラ設定で撮影した、製品についての複数の画像の合成。視点の変更及びスケール調整を、異なる画像を整合し、よりシャープな画像を得ることに使用できる。
ｂ．非常に小さな絞りを用いて撮影した写真の使用による情報の追加。
これによって光量は減少し、被写界の深度は増大されるだろう。そして、被写体のディテールは、高い光コントラストとより大きな被写界深度を伴って表現される。かかる画像は例えば上記のａの方法で被写界深度の浅い異なる画像を整合するために使用することができる。
ｃ．より小さい焦点距離で撮影された写真からの情報の追加。
スケールの再変更は被写体の位置がレンズの中央に維持されるときに単純化される。被写界の深度はそれらの場合でも改良される。一方、被写体画像が小さくなり、解像度を最大限に利用できなくなる。このタイプの写真もまた面像の整合において使用することができる。
ｄ．レンズ／センサーをチルトすることによって、対応するチルトした焦点面が製品全体に位置される。画像の視点はもしセンサーがチルトされるなら変更され、続いて視点の変更が行われる。このタイプの画像はａにはない画像要素のシャープネスについての情報を与えるために使用することができる。
ｅ．連続写真は画像要素の被写体距離及びこの焦点を合わされた位置の実寸法の光学的計算のために使用することができる。この方法は例えば隣接する画像上で焦点がはずれている画像要素のために使用することができる。
ｆ．縁及び境界線の焦点のボケを測定することによって、それらの画像要素の焦点が合う位置を計算し、境界線のボケを補正することができる。
ｇ．幾何学的形状は連続写真から内挿及び外挿することができ、それによって焦点のズレの距離に対してシャープネスを予測することができる。その方法は多数の通常の幾何学形状のライブラリを記憶することによって単純化され、画像情報と比較して使用されてもよい。様々な方法、例えば最良の補正法が使用される。
３．３ 被写界の深度に関する幾つかの光学的関係
通常の光学的表記及び定義：
ａ，ｂ，ｆは被写体、画像、焦点からレンズまでの距離である。
Ｈ，ｈは被写体の寸法（例えば高さ）、及びその画像の寸法である。
ｒ0，ｒ1は焦点開口（絞り）の半径、シャープな点についてのボケた円の半径である。
距離ａ＋ｄａの被写体は距離ｂ−ｄｂ上に焦点を合わされる。
簡単な光学的法則を以下に与える：
１／ａ＋１／ｂ＝１／ｆ （１）
１／ｂ＝（ａ−ｆ）／ａ＊ｆ （２）
同様にして
１／ｂ（１−ｄｂ／ｂ）＝１／ｆ−１／（ａ＋ｄａ） （３）
（３）に（２）を代入すると
ｄｂ／ｂ＝ｄａ＊ｆ／ａ2＊１／（１−ｆ／ａ＋ｄａ／ａ） （４）
従って
ｄｂ／ｂ≒ｄａ＊ｆ／ａ2 （５）
比例式から
ｒ1＝ｒ0＊ｄｂ／ｂ （６）
（６）に（５）を代入すると
ｒ1≒ｒ0＊ｄａ＊ｆ／ａ2 （７）
同じ被写体距離（ａ）及び被写体の深度（ｄａ）に対して、開口（ｒ0）及び焦点距離（ｆ）が減少するとき焦点のボケが減少することがわかる。しかしｆが減少するとき、画像も小さくなる。相対的な非シャープネスは
ｒ1／ｈ≒ｒ0＊ｄａ（Ｈ＊ａ） （８）
ｒ1／ｈ≒ｆ＊ｄａ／（Ｈ＊ａ＊２Ｑ） （９）
式中、開口Ｑ＝ｆ／２ｒ0である。
従って、焦点開口の減少は被写界の深度の増大のための重要な可能性を有している。
しかしながら、焦点開口はあまり大きく減少させることができない。なぜなら、例えばセンサーに到達する光レベルは充分に大きくしなければならないからである。センサーにおける画像の光の強度Ｉ（ｈ）は下記式に従って被写体からの光の強度Ｉ（Ｈ）に比例する：
Ｉ（ｈ）〜Ｉ（Ｈ）＊Ｈ2＊ｒ0 2／（ｈ＊ａ）2 （１０）
（９）に（１０）を代入すると
ｒ1／ｈ〜｛Ｉ（ｈ）／Ｉ（Ｈ）｝0.5＊ｄａ＊ｆ／（Ｈ＊ａ） （１１）
即ち、Ｉ（ｈ）をさらに減少させることができず、その光条件及びレベルを選択するなら、焦点距離の減少が相対的な焦点合わせを改良する可能性を与える。
３．４ 異なる複数の画像写真から新規な基本画像を合成するときの補正
被写体に対するレンズの光学的中心の相対位置が同じである状態で撮影された写真は、各写真のためのレンズ及びセンサーの設定を知って、視点の変更及びサイズの変更によって変形することは簡単である。伝統的なカメラでは、焦点距離設定は利用可能な唯一の焦点面設定である。それは連続写真が平行な撮像面を得ることを意味し、同じシーン像のための結像面を横切ることは全くない。上記の他の適用可能な方法とともに、それらのカメラは、被写界の深度及び視点が問題となる進歩した製品写真のために使用することができる。
多数の写真の合成においては、実際上小さな問題が生じる。設定における許容度及び機械的障害及び不備は連続画像ショット間の変化を生じる。長い露光時間を要する写真は、カメラ及び被写体のために振動が画像を乱すことを防止するための余分の安定なベースを必要とする。次の撮影まで、それぞれの有用な画像は被写界の限られた深度内に良好な焦点を有すると仮定される。画像が主に基本画像フォーマットに変形された後でもなお補正が要求されるかもしれない。各画像は正しい位置、正しい視点及び正しいサイズにあるが、続いて行われる補正のために次の方法を使用することができる
ａ．ある画像中のシャープな画像要素が隣接する画像中の焦点が合っていない画像要素に対応するとき、異なる焦点を有する連続画像を補正することができる。焦点が合っていない画像要素の位置を決定することができ、他の画像のディテール位置、スケールのサイズ、位置などとの比較によって、互いに密接に補正することができる。複数の画像における共通の情報が使用される。良く規定された画像要素が比較工程のために選択され、好ましくはその画像要素が画像領域全体に分布しているとき、計算工程はずっと速くなる。正しいサイズの画像に対しては、画像要素の整合のための手間は低減される。スケールサイズのエラーに対して、スケールのエラーを画像要素の位置間の距離の測定（計算）によって得てもよい。視点の変更において、サイズのスケールは例えばｘ及びｙ方向において異なる画像の異なる部分で異なっているかもしれない。
ｂ．共通のシャープな画像要素が例えば２．１の穀物ボックスの例についての切断された焦点面から得られる。共通の境界及び縁を重ね合わせることによって異なる画像を補正及び合成することができる。
ｃ．例えばチルトされた面においてシャープな画像要素を得るために、切断された焦点面に位置された追加画像を撮影することができ、次いでそれを異なる画像におけるシャープな画像要素として認識することができる。そのとき共通の基準が幾つかの画像に対して得られる。
ｄ．かなり絞られた絞りで撮影された画像は大きい被写界の深度を得ることができ、その画像は他の画像の補正、特にハイライト及びコントラスト強度を有する画像要素に対する補正の基準にすることができる。
ｅ．短い焦点距離で撮影された写真は連続拡大にかかわらず大きな被写界の深度を与えることができる。
４． 方法の他の例
製品画像のシャープネスは、例えば製品の一部を画面（センサー）領域に大きく写すようなことにより解像度を増大させた追加画像を撮影することによって、改良することもできる。そのときセンサー解像度は全体の製品画像のうちのこの部分のために利用される。製品の他の部分はこれと同じ又は異なる倍率で写真を撮ることができる。次いで異なる画像を、全部の所望の画像が含まれ高解像度を有する基本画像に変形することができる。画像の連続処理における解像度は全画像がセンサー上に位置されなければならないという条件によって限定されることはない。コンピューター能力を使用してセンサーよりずっと高い解像度を有するコンピューター画像を作ることができる。異なる写真を合成する工程は、前述したように、レンズ光学中心の位置が主に被写体の位置に対して維持されるときより簡単である。例えば、それは、レンズの光学中心の周りにカメラを回転させながら撮影することにより行われる。前述と同様の方法では、良く規定された画素が含まれ異なる画像がオーバーラップするとき合成が単純化され、オーバーラップは例えば補正のための画像間の比較に使用されることができる。１以上の画像をより小さい焦点距離を有するレンズで撮影することもでき、その場合全画像の主要な部分が含まれ、基本画像についての一般情報として寄与する。
被写体の各々の部分を選択し、ズームの助けを借りて大きい焦点距離でそれら選択された部分を撮影することは、被写界の深度を増大させるために使用される他の方法とともに使用することができる。その方法は製品中の極めて小さなディテールを像形成するために、又はより良い解像度を与える画像領域の合成に使用されるディテールのために適用されてもよく、それによってより正確に整合することができる。
５． 改良された被写界の深度を実施するための手段の例
一つの好ましい例では、その手段はカメラユニット及び計算装置ユニット（例えばＰＣタイプのコンピューター）からなる。カメラユニットは設定を記憶することができる制御手段を備える。設定はレンズ及び／又はセンサーに対してなされる。電子センサーを有する伝統的なカメラに対しては、距離焦点合わせはレンズによってなされる。Ｔ／Ｓカメラはレンズ及びセンサーの両方のための制御手段を有し、それらは一般に大きな変動性を有する。即ち、それらはチルティングを行ったり、焦点合わせをしたり、多くの様々な平面内での視点を与えることができる。設定を制御し読取ることができ、レンズ及びセンサーを本発明に従ってカメラデザインの配置に関連させることもできる。焦点距離、光学中心又は対応するレンズ記述の如き光学系の値は写真を撮った後の計算において有用である。それは光学中心の位置が特に写真間のレンズ変化において知られているとき単純化する。
計算ユニット（コンピューター）には、幾つかの画像を記憶できかつスケールのサイズ、視点の変更及び位置決めによる画像の変形及び移動を行うことができるソフトウエアがある。もし光学素子のデータ及びカメラ設定データが画像データの移動に含まれないなら、オペレーター／写真撮影者が自分自身で設定の値を読み取り供給してもよく、あるいはコンピューターが評価を行ってもよい。
写真セットアップの選択は写真撮影者によってなされ、撮影者は手動で又はコンピューターシステムの助けでカメラを設定することができる。撮影者は焦点を合わせるポイントの位置を読みとり、関連する焦点設定を読み取ることができる。三つのフォーカスポイントを読み取ることによって焦点面は規定され、コンピューターはレンズ／センサーの設定を計算することを助け、所望の焦点面を確立する。コンピューターは作業の全て又は様々な部分を自動化するための追加のプログラムを含むこともできる。制御手段は測光値に基づく絞り値の選択及び他のカメラ機能の制御を含むこともできる。
オペレーターからの対話で各変換画像から画像領域を選択するプログラムも含まれる。
オペレーターとの対話で異なる画像から画像要素を選択するプログラムを加えることができ、それは画像の連続補正の計算のためのベースであり、新しい焦点合わせされた基本画像への焦点合わせされた画像要素の合成のために基本画像フォーマットを整合することを含む。
本発明は写真のための焦点（又は被写界）の深度を増大するための方法及びその方法のための手段を含む。この方法は伝統的なＴ／Ｓ技術“チルトアンドシフト（Tilt and Shifr）”の使用による焦点の深度の改良、及び他の極く普通のカメラにおける被写界の深度の改良に対する可能性の増大を提供する。この方法は、画像が、写真フィルムの代わりにカメラ内のセンサーによって生成されるデジタルカメラに狙いを定めたものである。しかしながら、現在のスキャナー技術の使用によってフィルム写真を電子画像に移行することは容易である。本方法はそういう場合にも使用することができる。以下においては、本方法は主として画像がカメラにおいて直接電気的に生成される場合に適用される。
Ｔ／Ｓカメラではレンズ及び撮像面の両方又は一方が移動可能である。撮像面はフィルム又はセンサーが位置される平面である。被写界における平面は結像面に正確に焦点を合わされるが、この結像面は、撮像面の前方、後方、あるいは撮像面を横切る位置に位置することとなる。撮像面と結像面の間の距離に比例して、画像におけるボケが大きくなる。Ｔ／Ｓカメラでは、写真撮影者は撮像面に位置するフォーカシングスクリーン上に画像を見ることが多い。撮影者はフォーカシングスクリーン上に結像された画像に対してカメラ設定を制御する。次いで撮影者はこの位置にフィルム／センサーを置き、写真を撮る。
写真撮影者は多くの様々な作業方法を使用する。その仕事は創造的であることが多く、芸術的な場合もある。実際には写真撮影者は被写体に向かう位置にカメラを置き、所望の視点位置（通常垂直）で撮像面を配置する。我々は垂直方向から世界を見る習慣を有するからである。例えば視野内に教会塔を入れるために普通のカメラを上方にチルトさせると、カメラは傾いた視線で画像を生成し、教会塔が傾いたり落下したりしているような様子の画像を生成するであろう。平行な垂直線は画像中ではもはや平行ではなくなる。
次いで写真撮影者は撮影するべき被写体に焦点を合わせ、位置決めをする。ここで問題が生じるが、それは本発明によって解決できる。絞りは光強度の制御のために使用されるだけでなく、例えば製品写真の被写界の深度を増大させるためにも使用される。露光時間を増大することによって、より小さな絞りを補償することができる。しかしながら、長時間の露光は像ぶれにより鮮鋭性を低下させるリスクを必ず伴う。
Ｔ／Ｓカメラは製品写真のために使用され、被写界深度を普通のカメラが提供しうるものよりも増大させたいときに使用される。大きな奥行きを有する製品の接近像は結像面をチルトし、製品画像の前部分及び後部分を切断することによって、前部分及び後部分の両方に焦点を合わせることができる。チルティングは二つの方法で行われる。一つはチルトする結像面にフィルム又はセンサーを位置させることによって行われる。他は代わりにレンズをチルトし、結像面を所望の角度に回転させることによって行われる。通常、垂直視線が得られる垂直撮像面が望まれ、かくして結像面が所望の撮像面内で垂直に位置されるまでレンズをチルトする方法がとられる。
被写体は一般的に２次元的に広がっていることはなく、変化する奥行きを有する３次元体であるので、絞りを絞り込むこともレンズからの屈折角を減少するために使用されている。従って、大きなボケを生じることなく、撮像面を実際の焦点位置からより遠くすることができる。しかしながら、被写体の条件又は光線の条件がその可能性を小さくしてしまう。
先行技術例
テレビの分野では人間によって経験される画像は、常に合成された多くの「副画像（subimages）」を使用して作られている。１秒あたり５０〜６０の複数のフレームを表示することによって副画像が時間において合成され、滑らかな動きを示し、解像度及び信号対ノイズ比を増大する。一つの副画像だけを取り上げてみると、画像品質は劣っている。これに対して普通のスチルカメラはずっと高い解像度及び極めて低いノイズの優れた品質の単一ショット画像を与える。
高規格テレビの研究分野では、画像解像度の増大の二次的な効果が認識されている。ここで議論するものは焦点の深さの側面である。
低解像度のテレビ画像では、ボケがセンサー画素の劣った解像度より小さいので、単一の撮像面に焦点を合わせうる被写体の奥行きの範囲が大きくなる。しかしながら、センサー画素解像度を例えば４倍に増大することは焦点の深度が２倍減少することを意味する。テレビに対しては、焦点設定を変更しながら、一緒に合成される新規なビデオ画像の自然なストリーム（stream）を使用することによって焦点の深度を増大する方法が明らかに存在する。
テレビの分野には、この焦点の深度を増大する方法を使用する幾つかの類似した特許がある。それらの特許のほとんどは通常のＸ，Ｙベースの画像の空間周波数ベースの画像記述への変換を使用する。それらは空間周波数又は周波数フィルターバンドパスドメインにおいて副画像間の出力比較を行い、どの副画像が焦点があっているかを規定する。それらの方法はこの目的を遂行するための方法とはその詳細が異なる。
Mimuraらによる方法（米国特許５２８２０４５）では、フレーム間で焦点距離を変え、次いで観察者の頭の中の副画像の合成を利用する。その結果は人の頭の中で経験される焦点深度を増大するといわれている。また、その方法は輪郭補正器を含み、その機能は記載されていないが、事実上普通の人工的な輪郭鮮鋭器であり、より高い周波数を輪郭に加え、それは人の頭の中で合成された後により高い解像度として経験される。
それらのテレビ用途に関係する多くの様々な問題が存在する。例えば、
−時間制限がある。高い画像周波数に対して、計算及び機械的焦点合わせのための時間が短時間しかとれない。
−焦点合わせされたフレームの選択方法によって合成数が減少し、ノイズが増加し、画像品質を低下させる。
−テレビでは、一般にシーン中の被写体の動き、又はシーンをパン又はズームするカメラの動きにより、画像に動きがある。実際その動きはテレビの分野ではつきものであり、テレビメディア上では視聴者の期待のために必要である。副画像は上記の動きによる変化を含むので、ピントの異なる連続した副画像の正確な合成を利用する方法の可能性は小さい。Mimuraらの特許では、動きがあるとき、焦点機能の深度が簡単に妨げられる。
一方、テレビは多くの方法において画像欠陥を許している。劣った画像の後すぐに画像の連続ビデオストリームにおいて新しい画像が現れる。その短時間内に多くの不備が観察者の気づかないまま通過する。焦点合わせされた画像部分を選択し、それらを一緒に合成することは、テレビビデオ画像品質の観察者の全合成経験を妨げずに、ある程度不正確及び不完全な整合を許容する。これは静止カメラの用途とは反対である。静止写真はずっと長い時間観察され、全ての不備や小さなディテールは人目を引くのに十分な時間があり、画像品質問題を引き起こす。プロの仕事では例えば会社の新製品写真の場合において、小さな画像品質の欠陥でさえも全く許されない。
発明の機能
本発明は絞りの絞込み技術を含む様々なカメラ設定を使用しうる、複数枚の画像を撮影することによる静止写真のための被写界の深度及び鮮鋭性を達成する方法に関する。この方法は撮影後のデジタル画像への変換の可能性を利用し、関連する工程は様々な範囲にわたって自動的な方法を使用して行われてもよい。オペレーターはコンピュータースクリーン上の対話によっても、工程の結果をマニュアルで改良及び制御することができる。
前記方法は以下のものを含む：
１．カメラセンサーは適切な結像面に回転され、写真が撮影される。そのときの視点は画像変換によって所望の位置に変えることができる。これを行うための一つの方法は所望の視点に対して回転するセンサーを感知して、データを、画像がどれだけ回転されるべきでどの程度の画像変換を作るかを計算する計算ユニットに供給することである。例えばもし画像が所望の垂直面に関して角度ｕチルトされるなら、撮像面はその前縁の周囲で角度ｕだけ回転されることができる。
次いで軸からａだけ離れた画像ポイントは軸から距離ａ＊ｃｏｓｕに変換されるであろう。それらのポイントは距離ａ＊ｓｉｎｕだけレンズに対してより近くに移動される。それは画像をレンズに対してより近い対応する距離（即ち、（ａ＊ｓｉｎｕ＋ｂ）に関連したレンズに対する距離ｂ）移動するとき同じスケールの減少を意味する。これは放射線を光学的中心を通って各画像ポイントに引くことによって容易に説明される。従って画像を軸の周囲に回転すると、画像上のポイントは簡単な幾何学的法則を通して新しい撮像面に投射されるだろう。
回転軸の選択を別の軸の周りの回転と横方向の移動に変換することができる。
レンズからの距離が変化する画像要素の横方向の移動は画像要素のスケールの比例的変化を生じる。従って普通の焦点合わせはサイズ変化を生じる。レンズ（光学的中心）からの相対的な画像距離についての知識はサイズスケールのために使用されるだろう。
焦点がボケた画像部分があるとき、焦点がボケた領域は一般的な画像拡大に比例して拡大されるだろう。焦点がボケた縁はもし特別な手段を行わないならより広くなるだろう。かかる手段は本発明に含まれ、拡大についてのセクションでさらに説明されるであろう。
画像の投射は、正面視の視点に変える際の第２ステップとして行われてもよい。オペレーターは所望の軸を導入し回転することによって、全体の工程を微調整又は制御してもよい。オペレータは回転を停止したり又は正しい位置を微調整する回転方向を対話的に変更することができ、一定スピードの回転を指定することにより、所望の位置に到達するまで回転する画像を検討することもできる。
計算は、増大した数の画素にマップされた基本画像を使用して行うことができる。それにより、計算及び画像処理における不要な解像度の損失を避けることができる。
写真における所望の結像面の制御設定は、写真撮影者が焦点面を必要とするポイントに連続的に焦点を設定することによって単純化及び自動化することができる。既知の座標及び焦点設定によって焦点面を計算することができ、レンズ／センサーの回転も同様に計算することができる。カメラ光学素子を含む簡単な計算プログラムをポケット計算器に記憶することができ、それは回転制御のためのスケール区分として結果を与えることができる。ＰＣ又は他のコンピューターによってオペレーターはコンピュータースクリーン上の画像を見ながら作業することができる。コンピューター中のプログラムは結像面の計算及び自動焦点測定を制御し、最終的にレンズ（センサー）の回転及び移動を正しい位置に制御することができる。従って、このプロセスはしばしば望まれる製造プロセスとして実行されることができる。
２．複数の静止画像の使用による被写界の深度の生成
製品写真においてシーンは静止していることが多い。幾つかの写真は再撮影可能である。距離において相対的に大きな範囲を有する製品は異なる写真となる異なる部分に対するピントの設定で同じ位置から撮影することができる。異なる写真上で、異なる部分は独立に焦点を合わせたり合わせなかったりすることができる。それらはサイズも異なる。
２．１画像要素の単純な加算
製品のシャープな画像は、各画像から焦点を合わせた異なる画像要素を加えることによって作ることができる。その方法はまず上記の１に従って画像スケールを同じサイズに変えることによって実現される。多くの状況においてオペレーターはコンピュータースクリーン上で画像要素の選択を行い、どの画像要素から最終画像を作るかを決定する。
その方法は本発明の方法に従って自動的であることもできる。画像副領域に対する焦点が画像間で比較され、それぞれの焦点の合った画像要素が選択される。隣接する画像要素間の分割境界が選択され、その場所では焦点の合っていない程度は異なる画像間でほぼ同じである。分割界面のいかなる小さな不足も各画像間の境界領域を平均化することによって取扱うことができる。
穀物ボックスの如き単純な製品形状の写真を、その角にカメラに対する最小距離を与え、他の部分に連続的により遠い距離を与える視点で撮ってもよい。連続的に焦点を変化させた一連の写真は、画像要素の加算のための焦点が合った複数の画像要素を生成することができる。
前方の高い位置から傾斜して写真を撮られた穀物ボックスは三つの表面、即ち長い側面、短い側面及び上側面を示す。センサー／レンズをチルトすることによって結像面は三つの外見的表面のそれぞれに沿って位置されてもよい。三つの画像は、計算によって、選択された基本画像に変換される。もしセンサーが回転されるなら、その変換は視点の再変更も含む。
計算後、製品画像は三つのシャープな画像要素から合成することができる。実際には、位置及びサイズの小さな偏差が三つの異なる写真間で生じる。障害は位置及び制御を攪乱する。従って、シャープな境界線及び縁が、異なる画像に対して認識され、異なる画像間において位置及びスケールを微調整する場合に、共通の角及び境界線が一致させられる。
基本画像は正面視、例えば垂直なセンサー及び垂直なレンズ設定が製品の前又は製品の他の重要な部分に対して結像面を与える画像であってもよい。この基本画像はセンサーとレンズ設定によって規定することができ、もし写真が基本画像への異なる写真の合成を単純化するなら、写真を撮られなくても基本画像を規定することができる。
追加の画像がシャープな穀物ボックスの合成のために望まれるとき、余分の焦点面が表面の位置調整を助けるために最も外側の左及び右縁に沿って及び上部表面の対角線を通して位置されてもよい。またボックスが載っているテーブル面が重要であるとき、焦点面は追加の写真のためにこの面に沿って位置されてもよい。
最終画像の合成は、この例においてはそれぞれのシャープな画像要素が容易に確認され焦点がボケた領域が他の画像からのシャープな領域に置換されるので、相対的に簡単である。
視点及びサイズのスケールの再計算は、センサー／レンズのための既知の設定の助けを借りて、規定された基本画像フォーマットに対してなされる。後の他の画像の位置に対する画像の位置を見出すための分析は、設定の情報なしで行うことができるが、それは幾つかの処理を必要とするかもしれない。
それぞれのシャープな画像要素の合成における補正は、共通の画像部分、例えば縁及び角を使用して実施される。しばしば位置合わせを単純化する画像及びテキストディテールが存在する。もし、難しい視点変化に依存する場合のように、画像の調整が良好でないならば、局部的な調整を異なる画像要素に対して行うことができる。シャープなディテールは他の画像からの情報と一致するように位置され、それらの間の距離は非干渉的な方法で増減される必要があり、そのために選択された局部的な領域は緩慢な明るさ及び色の変動を有する領域であることが好ましい。
２．２ 複雑な製品
製品は多かれ少なかれ構造が複雑である。アーム、ポール、穴などがある。それらはオペレーターによって特別な領域「山及び谷」として認識することができ、その場合小さな領域が大きな距離変動を含むことになり、それによって幾つかの写真は大きな距離変動をカバーすることを必要とされる。山と谷を有する領域は本発明に従って自動的に認識することもできる。それらは、連続画像において大きい焦点のボケを起こす領域であって、且つその周囲の画像はシャープな画像要素を有し、シャープな画像要素間の距離が近い領域である。オペレーターはスクリーン上の対応する領域の点滅及びその横に表示されるコメントによって、このような領域及び他の問題領域について警告されてもよい。しばしばオペレーターは険しい山に沿って位置する結像面を見出し、追加の写真を撮影することにより、そのような領域に対して良好に合成されたシャープネス（鮮鋭性）を得ることができる。
もし製品がアーム又はポールを有するなら、この被写体がシャープな対象物として示されるように、アームを通る複数の焦点面で１つ又は複数の画像が撮影されてもよい。穀物ボックスの場合と同様の方法で、それらの画像は製品についての他の画像と合成されるために基本画像に変形される。
画像要素の認識の工程はいずれの写真からスタートしてもよいが、それは前方からの写真又は後方からの写真からスタートすることが有利である。本実施例では、前方からの写真の中央の画像要素からスタートする。
画像領域が選択される。その領域は、境界線、即ち光強度又は色が急激に変化する境界線及び縁を認識するために監視される。しかしながら、色解像度は悪くなるかもしれない。選択方法は導関数（derivative）、相対導関数（relativederivative）（１／ｐ＊ｄｐ／ｄｑ；ｑ＝ｘ，ｙ；）であってもよいし、光又は色の強度の違い、光又は色の強度の相対的な違いであってもよい。それらの境界は、それ以降の写真の対応する値と比較され、２番目の写真において良好な焦点を持たないとき、１番目の写真に属するものとして判定される。境界線間の空間は表面を含み、写真１に属する境界線によって規定される表面は次の工程までとりあえずこの写真に割当てられる。新しい隣接する画像領域が選択され、この工程が、全画像が与えられた連続した写真１〜ｎについて処理されるまで繰り返される。
選択されたサーチ領域内の異なる画像に多くの画像要素がある場合などには、別のサーチ方法が好ましい場合もある。そのとき異なる縁のそれぞれの所属を比較することにより、現在の写真の縁を直接分析しした方がよいかもしれない。次の領域の処理が完了すると、最終画像を連続的に合成することができる。境界線が例に従って選択及び処理される。境界線が、異なる焦点距離の二つの領域間の縁であるとき、その縁は第１の領域に割当てられ、画像間の移行位置は第２の画像上の縁に選択されてもよい。
３． 焦点及びシャープネスの側面
３．１ サイズのスケールを変更（拡大）するときのシャープネス
拡大処理により全ての画像要素が拡大される。かなりの距離範囲を有するそれらの画像要素は焦点がボケた部分を含んだまま拡大され、その焦点がボケた部分はより一層明白になる。焦点がボケた境界、例えば赤色の被写体と緑色の背景の間の境界は、様々な赤と緑の混合を含む境界幅を有する画像として表現される。同じ焦点のボケ具合に対して実際の縁部分は各側から５０％の寄与率を得る。焦点がボケた点はその点からの寄与を有する不鮮明なボケた円を形成する。先端、角及び異形は不鮮明にされ、丸く滑らかになり、それらのディテール位置が不明確になる。幾何学的被写体は、縁を角先端などに再構成することによって再形成される。シャープネスの不足が、上記の例のように、焦点のズレに依存しているとき、焦点が合った状態は単純な光学的法則によって決定され、本発明によれば焦点が合った画像を予測することができ、しばしば焦点がボケた画像境界を補正することもできる。
デジタル写真は、通常最終写真画像より小さい寸法を有するセンサーにより形成される。画像処理は拡大処理を含み、シャープネスを低下させないことが重要となる。特に製品写真においては、被写体は人間が設計した構造、即ち、認識可能な幾何学的形態からなる。そのとき多くの場合において、焦点がボケている良く知られたディテール構造を補正するための前提条件がある。
見栄えのよい製品の画像には自然に興味がわき、それはシャープネスの重要性を強調する。製品のクローズアップ写真では焦点深度の問題が大きくなり、画像品質を改良するための手段及び方法が必要となる。
クローズアップすると被写界の深度はクローズアップにおいて相対的に浅い。レンズの焦点距離を小さくすることによって、被写体画像はほぼ比例して小さくなるが、被写界の相対的な深度は増大する。一方、拡大する場合はボケも大きくなる。ズームを使用することにより距離を大きくとって撮影した写真は製品に平らな印象を与え、それはマイナスの印象を与える。小さなセンサーを用いて製品対象物を画面内に大きく写す場合で、且つ写真を見たときに製品の正しい外観を与える視野角度を得るためには、小さな焦点距離を有するレンズを使用する必要性がある。その側面を考慮すると、小さな製品は近距離で、しかも短い焦点距離のレンズで撮影されるべきである。
本発明は焦点のボケの補正のための光学的法則についての知識に基づいた方法を含み、それは構造を予測し、シャープネスを改良するため幾何学についての知識に基づいている。
３．２ 光学的方法を使用するシャープネスの補正
上記で幾つかの方法を提示したが、それらによって例えば製品写真において画像シャープネスを改良することができる。以下に、その概要を示す。
ａ．焦点距離の変化を含む異なるカメラ設定で撮影した、製品についての複数の画像の合成。視点の変更及びスケール調整を、異なる画像を整合し、よりシャープな画像を得ることに使用できる。
ｂ．非常に小さな絞りを用いて撮影した写真の使用による情報の追加。
これによって光量は減少し、被写界の深度は増大されるだろう。そして、被写体のディテールは、高い光コントラストとより大きな被写界深度を伴って表現される。かかる画像は例えば上記のａの方法で被写界深度の浅い異なる画像を整合するために使用することができる。
ｃ．より小さい焦点距離で撮影された写真からの情報の追加。
スケールの再変更は被写体の位置がレンズの中央に維持されるときに単純化される。被写界の深度はそれらの場合でも改良される。一方、被写体画像が小さくなり、解像度を最大限に利用できなくなる。このタイプの写真もまた面像の整合において使用することができる。
ｄ．レンズ／センサーをチルトすることによって、対応するチルトした焦点面が製品全体に位置される。画像の視点はもしセンサーがチルトされるなら変更され、続いて視点の変更が行われる。このタイプの画像はａにはない画像要素のシャープネスについての情報を与えるために使用することができる。
ｅ．連続写真は画像要素の被写体距離及びこの焦点を合わされた位置の実寸法の光学的計算のために使用することができる。この方法は例えば隣接する画像上で焦点がはずれている画像要素のために使用することができる。
ｆ．縁及び境界線の焦点のボケを測定することによって、それらの画像要素の焦点が合う位置を計算し、境界線のボケを補正することができる。
ｇ．幾何学的形状は連続写真から内挿及び外挿することができ、それによって焦点のズレの距離に対してシャープネスを予測することができる。その方法は多数の通常の幾何学形状のライブラリを記憶することによって単純化され、画像情報と比較して使用されてもよい。様々な方法、例えば最良の補正法が使用される。
３．３ 被写界の深度に関する幾つかの光学的関係
通常の光学的表記及び定義：
ａ，ｂ，ｆは被写体、画像、焦点からレンズまでの距離である。
Ｈ，ｈは被写体の寸法（例えば高さ）、及びその画像の寸法である。
ｒ0，ｒ1は焦点開口（絞り）の半径、シャープな点についてのボケた円の半径である。
距離ａ＋ｄａの被写体は距離ｂ−ｄｂ上に焦点を合わされる。
簡単な光学的法則を以下に与える：
１／ａ＋１／ｂ＝１／ｆ （１）
１／ｂ＝（ａ−ｆ）／ａ＊ｆ （２）
同様にして
１／ｂ（１−ｄｂ／ｂ）＝１／ｆ−１／（ａ＋ｄａ） （３）
（３）に（２）を代入すると
ｄｂ／ｂ＝ｄａ＊ｆ／ａ2＊１／（１−ｆ／ａ＋ｄａ／ａ） （４）
従って
ｄｂ／ｂ≒ｄａ＊ｆ／ａ2 （５）
比例式から
ｒ1＝ｒ0＊ｄｂ／ｂ （６）
（６）に（５）を代入すると
ｒ1≒ｒ0＊ｄａ＊ｆ／ａ2 （７）
同じ被写体距離（ａ）及び被写体の深度（ｄａ）に対して、開口（ｒ0）及び焦点距離（ｆ）が減少するとき焦点のボケが減少することがわかる。しかしｆが減少するとき、画像も小さくなる。相対的な非シャープネスは
ｒ1／ｈ≒ｒ0＊ｄａ（Ｈ＊ａ） （８）
ｒ1／ｈ≒ｆ＊ｄａ／（Ｈ＊ａ＊２Ｑ） （９）
式中、開口Ｑ＝ｆ／２ｒ0である。
従って、焦点開口の減少は被写界の深度の増大のための重要な可能性を有している。
しかしながら、焦点開口はあまり大きく減少させることができない。なぜなら、例えばセンサーに到達する光レベルは充分に大きくしなければならないからである。センサーにおける画像の光の強度Ｉ（ｈ）は下記式に従って被写体からの光の強度Ｉ（Ｈ）に比例する：
Ｉ（ｈ）〜Ｉ（Ｈ）＊Ｈ2＊ｒ0 2／（ｈ＊ａ）2 （１０）
（９）に（１０）を代入すると
ｒ1／ｈ〜｛Ｉ（ｈ）／Ｉ（Ｈ）｝0.5＊ｄａ＊ｆ／（Ｈ＊ａ） （１１）
即ち、Ｉ（ｈ）をさらに減少させることができず、その光条件及びレベルを選択するなら、焦点距離の減少が相対的な焦点合わせを改良する可能性を与える。
３．４ 異なる複数の画像写真から新規な基本画像を合成するときの補正
被写体に対するレンズの光学的中心の相対位置が同じである状態で撮影された写真は、各写真のためのレンズ及びセンサーの設定を知って、視点の変更及びサイズの変更によって変形することは簡単である。伝統的なカメラでは、焦点距離設定は利用可能な唯一の焦点面設定である。それは連続写真が平行な撮像面を得ることを意味し、同じシーン像のための結像面を横切ることは全くない。上記の他の適用可能な方法とともに、それらのカメラは、被写界の深度及び視点が問題となる進歩した製品写真のために使用することができる。
多数の写真の合成においては、実際上小さな問題が生じる。設定における許容度及び機械的障害及び不備は連続画像ショット間の変化を生じる。長い露光時間を要する写真は、カメラ及び被写体のために振動が画像を乱すことを防止するための余分の安定なベースを必要とする。次の撮影まで、それぞれの有用な画像は被写界の限られた深度内に良好な焦点を有すると仮定される。画像が主に基本画像フォーマットに変形された後でもなお補正が要求されるかもしれない。各画像は正しい位置、正しい視点及び正しいサイズにあるが、続いて行われる補正のために次の方法を使用することができる
ａ．ある画像中のシャープな画像要素が隣接する画像中の焦点が合っていない画像要素に対応するとき、異なる焦点を有する連続画像を補正することができる。焦点が合っていない画像要素の位置を決定することができ、他の画像のディテール位置、スケールのサイズ、位置などとの比較によって、互いに密接に補正することができる。複数の画像における共通の情報が使用される。良く規定された画像要素が比較工程のために選択され、好ましくはその画像要素が画像領域全体に分布しているとき、計算工程はずっと速くなる。正しいサイズの画像に対しては、画像要素の整合のための手間は低減される。スケールサイズのエラーに対して、スケールのエラーを画像要素の位置間の距離の測定（計算）によって得てもよい。視点の変更において、サイズのスケールは例えばｘ及びｙ方向において異なる画像の異なる部分で異なっているかもしれない。
ｂ．共通のシャープな画像要素が例えば２．１の穀物ボックスの例についての切断された焦点面から得られる。共通の境界及び縁を重ね合わせることによって異なる画像を補正及び合成することができる。
ｃ．例えばチルトされた面においてシャープな画像要素を得るために、切断された焦点面に位置された追加画像を撮影することができ、次いでそれを異なる画像におけるシャープな画像要素として認識することができる。そのとき共通の基準が幾つかの画像に対して得られる。
ｄ．かなり絞られた絞りで撮影された画像は大きい被写界の深度を得ることができ、その画像は他の画像の補正、特にハイライト及びコントラスト強度を有する画像要素に対する補正の基準にすることができる。
ｅ．短い焦点距離で撮影された写真は連続拡大にかかわらず大きな被写界の深度を与えることができる。
４． 方法の他の例
製品画像のシャープネスは、例えば製品の一部を画面（センサー）領域に大きく写すようなことにより解像度を増大させた追加画像を撮影することによって、改良することもできる。そのときセンサー解像度は全体の製品画像のうちのこの部分のために利用される。製品の他の部分はこれと同じ又は異なる倍率で写真を撮ることができる。次いで異なる画像を、全部の所望の画像が含まれ高解像度を有する基本画像に変形することができる。画像の連続処理における解像度は全画像がセンサー上に位置されなければならないという条件によって限定されることはない。コンピューター能力を使用してセンサーよりずっと高い解像度を有するコンピューター画像を作ることができる。異なる写真を合成する工程は、前述したように、レンズ光学中心の位置が主に被写体の位置に対して維持されるときより簡単である。例えば、それは、レンズの光学中心の周りにカメラを回転させながら撮影することにより行われる。前述と同様の方法では、良く規定された画素が含まれ異なる画像がオーバーラップするとき合成が単純化され、オーバーラップは例えば補正のための画像間の比較に使用されることができる。１以上の画像をより小さい焦点距離を有するレンズで撮影することもでき、その場合全画像の主要な部分が含まれ、基本画像についての一般情報として寄与する。
被写体の各々の部分を選択し、ズームの助けを借りて大きい焦点距離でそれら選択された部分を撮影することは、被写界の深度を増大させるために使用される他の方法とともに使用することができる。その方法は製品中の極めて小さなディテールを像形成するために、又はより良い解像度を与える画像領域の合成に使用されるディテールのために適用されてもよく、それによってより正確に整合することができる。
５． 改良された被写界の深度を実施するための手段の例
一つの好ましい例では、その手段はカメラユニット及び計算装置ユニット（例えばＰＣタイプのコンピューター）からなる。カメラユニットは設定を記憶することができる制御手段を備える。設定はレンズ及び／又はセンサーに対してなされる。電子センサーを有する伝統的なカメラに対しては、距離焦点合わせはレンズによってなされる。Ｔ／Ｓカメラはレンズ及びセンサーの両方のための制御手段を有し、それらは一般に大きな変動性を有する。即ち、それらはチルティングを行ったり、焦点合わせをしたり、多くの様々な平面内での視点を与えることができる。設定を制御し読取ることができ、レンズ及びセンサーを本発明に従ってカメラデザインの配置に関連させることもできる。焦点距離、光学中心又は対応するレンズ記述の如き光学系の値は写真を撮った後の計算において有用である。それは光学中心の位置が特に写真間のレンズ変化において知られているとき単純化する。
計算ユニット（コンピューター）には、幾つかの画像を記憶できかつスケールのサイズ、視点の変更及び位置決めによる画像の変形及び移動を行うことができるソフトウエアがある。もし光学素子のデータ及びカメラ設定データが画像データの移動に含まれないなら、オペレーター／写真撮影者が自分自身で設定の値を読み取り供給してもよく、あるいはコンピューターが評価を行ってもよい。
写真セットアップの選択は写真撮影者によってなされ、撮影者は手動で又はコンピューターシステムの助けでカメラを設定することができる。撮影者は焦点を合わせるポイントの位置を読みとり、関連する焦点設定を読み取ることができる。三つのフォーカスポイントを読み取ることによって焦点面は規定され、コンピューターはレンズ／センサーの設定を計算することを助け、所望の焦点面を確立する。コンピューターは作業の全て又は様々な部分を自動化するための追加のプログラムを含むこともできる。制御手段は測光値に基づく絞り値の選択及び他のカメラ機能の制御を含むこともできる。
オペレーターからの対話で各変換画像から画像領域を選択するプログラムも含まれる。
オペレーターとの対話で異なる画像から画像要素を選択するプログラムを加えることができ、それは画像の連続補正の計算のためのベースであり、新しい焦点合わせされた基本画像への焦点合わせされた画像要素の合成のために基本画像フォーマットを整合することを含む。
Claims (17)
- 被写体に対するレンズの光学中心の位置を概略同じ位置に保ちつつ、焦点の変化と絞りの変化の少なくとも１つを含む異なるカメラ設定で得られる少なくとも２つの画像を使用し、それらの画像を合成して新しい１つの画像を得ることにより、通常では画像全体にわたってシャープネスを得ることができないような範囲の広がりを有する被写体に改良されたシャープネスを与える、焦点の深度を増大する方法であって、
（ａ）画像間で焦点設定を異ならせて、異なる画像領域について異なる焦点を作り、さらに焦点の変化以外に、位置、スケール、視点のいずれかを含む変化を与えながら、被写体の写真を複数枚撮影する工程と、
（ｂ）異なる複数の撮影画像を、選択された基本画像の位置、スケール、視点に整合させる工程であって、
（ｂ１）基本画像を選択するサブ工程と、
（ｂ２）複数の画像について境界線及び高いコントラストを示す構造を識別するサブ工程と、
（ｂ３）位置のシフト、スケールの変化、視点のチルトの少なくとも１つを使用して、複数の画像の基本画像への幾何学的変換を計算するサブ工程と、
（ｂ４）認識された共通構造の位置を使用して画像の整合を評価及び／又は補正するための共通参照物を選択するサブ工程と、
を有する工程と、
（ｃ）整合された複数の画像から新しい１つの画像を構築する工程であって、
（ｃ１）画像要素の焦点の連続的な変化を有する領域を分析して、境界線及び／又は高いコントラストを示す構造を検出し、それぞれの領域におけるサイズが一致する部分である領域間の境界を識別し、この境界を考慮して１つの画像と次の隣接する画像との境界を選択し、隣接する画像間の境界に大きい不連続がある場合に、工程（ｂ）に含まれるいずれかの工程を含む方法で、画像間の境界に沿って画像を整合させる微調整を行うサブ工程と、
（ｃ２）複数の境界領域をその境界領域の両側の画像の焦点の違いに基づいて分析し、焦点の違いの値が定められた値より大きいか否かを識別し、焦点の違いが前記定められた値より大きい場合に、焦点がずれた画像側から焦点が合った画像側への境界領域を補正し、焦点の違いが前記定められた値より小さい場合に、前記（ｃ１）の方法で補正するサブ工程と、
（ｃ３）前記（ｃ１）と（ｃ２）の分析のために、明るさ及び／又は色の激しい変化と、隣接する画像間の焦点の状態と、境界線及び／又は高いコントラストを示す構造を利用するサブ工程と、
を有する工程と、
（ｄ）認識された焦点が合った画像領域を（ａ）〜（ｃ）により前記一つの新しい画像にまとめる工程と、
を具備することを特徴とする方法。 - 光又は色の変化の導関数、相対導関数、差、及びそれらの組合せ又は商を選択的に使用して光又は色の変化の激しさを分析する工程をさらに具備することを特徴とする請求項１に記載の方法。
- （ａ）他の画像の補正又は他の画像の整合のために使用される、小さい絞りで被写界深度を深くした写真の追加、
（ｂ）他の画像の補正あるいは他の画像の整合のために使用される、チルトされた平面内のシャープな画像要素を得るための、他の焦点面に対してチルトされた切断焦点面を有する写真の追加、
の内の少なくとも１つを含む写真の使用により情報を加える工程を含むことを特徴とする請求項１又は２に記載の方法。 - 第１の対象物は、第２の対象物として再現される第２の被写体よりもレンズに近い第１の被写体の画像であり、第１の対象物は、第１の被写体距離でぼやけた第２の対象物との境界線と共に撮影された画像内で焦点が合っており、第１の対象物は第２の対象物の第２の被写体距離で撮影された第２の画像内に存在し、第１の対象物は焦点が合っておらず、ボケた画像は前記境界線の上に広がり、前記境界線に沿う領域において、焦点が合っている第２の対象物の画像に重なっている場合に、異なる被写体距離で撮影された複数の画像に属する複数の対象物間の輪郭を構成する境界線を識別する工程を含み、
（ａ）第１の画像中の焦点が合った第１の対象物の画像情報から前記重なりを算出し、第２の画像から前記重なりを減算することにより、前記第２の画像中における前記重なりを低減する工程と、
（ｂ）第２の画像内で、第２の対象物は光学的法則により決定される焦点が合った状態を有し、前記境界に沿った前記重なり領域内で第２の対象物は前記境界線に向かって連続的に減少する強度を有し、最終画像を生成する工程内で第２の画像から第２の対象物が合成されるときに第１の画像中の境界線が最終的な境界線になるように前記強度を補正する工程と、
（ｃ）第１の画像内の前記第１の対象物から開始して最終的な基本画像を構築する工程であって、画像領域は、隣接する被写体距離の画像である第１の画像と第２の画像を比較しながら増大され、第２の画像中の境界線に沿った重なり領域を通過するとき、第２の画像はより少ない重なりを持った焦点の合った第２の対象物の画像を含み、第２の画像中のより少ない重なりを持った第２の対象物の要素領域を用いて合成により前記最終画像領域が拡大される工程と、
（ｄ）第２の画像中の第２の対象物の焦点が合っていて重なっていない部分の構造は、境界線に沿って重なり領域中に外挿されて、第２の対象物が第１の画像中でボケている境界線に沿った同じ領域内で焦点が合わされる工程、
の内の少なくとも１つの工程を用いることを特徴とする請求項１乃至３のいずれか１項に記載の方法。 - コンピュータ手段には、オペレーターとの対話のためのマンマシンインターフェースが含まれ、コンピュータースクリーン上でどの画像からどの部分が新しい基本画像に移行されるべきかを規定し、主に境界線のボケ及び位置の最終補正及び画像整合に対する処理を減らす工程と、画像整合のために異なる画像からディテールを選択する工程と、新しい画像構築のために異なる領域のための方策を選択的に規定する工程とをオペレーターが選択的に行うことによって画像処理の複雑性を減らすことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
- 境界、緑などのボケの幅を測定し、続いて選択的にシャープに焦点が合った画像要素の画像位置を予測することによって、他の画像要素に対してもシャープネスを補正する工程を具備することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
- 連続画像を使用し、画像要素の画像面距離及びその面における実際の焦点が合う範囲を計算し、理論的にシャープな画像面の両側の画像中の焦点が合っていない画像要素にそれを使用する工程を具備することを特徴とする請求項１乃至６のいずれか１項に記載の方法。
- 隣接画像から幾何学的構造、線、矩形、円などを内挿又は外挿してその間の焦点が合っていない空間における合焦を達成し、その方法を選択的に拡張して相関関係の使用によって得られた画像要素との比較のためのライブラリに幾何学的構造を記憶するようにし、良好に一致するとき、記号、文字又は符号も含む幾何学的構造が補正のために使用されることを特徴とする請求項１乃至７のいずれか１項に記載の方法。
- 異なる画像のための位置、スケール、視点のうちの少なくとも１つを補正し、少なくとも２つの画像において対応する画像要素間の位置を比較し、異なる画像間の連続的な比較を選択的に使用して、複数の画像を互いに関連付けることを特徴とする請求項１乃至８のいずれか１項に記載の方法。
- 製品の一部をより大きな焦点距離で撮影して、製品像がセンサーエリアのより大きな領域をカバーするようにすることにより、センサー解像度をより良好に利用する工程を具備し、
同じ又は異なる倍率で製品の異なる部分を撮影し、焦点距離に関連する画像距離も変化させ、その異なる画像が、画像全体が高解像度でカバーされる基本画像に移行され、全最終画像をカバーするようにセンサーより高い解像度を与えることができるコンピューターの能力が使用され、例えば光学レンズ中心を有するカメラをその光学レンズ中心を回転中心として回転することによって被写体に対するレンズ光学中心の位置を維持しながら撮影した異なる画像を選択的に合成し、良く規定された画像要素が補正のための画像間の比較に使用されて、画像を重なり合わせることによって画像整合を単純化し、全画像の主要部分が同じ写真に含まれるように、減少した焦点距離で１枚以上の画像を撮影することを特徴とする請求項１乃至９のいずれか１項に記載の方法。 - 同じ画像の写真であるがズームの助けにより画像の異なる画像要素に焦点をあわせた写真を撮影し、次いで増大した被写界深度を前記同じ画像に与えるために請求項１〜10のいずれかの方法を使用することを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
- カメラの設定を制御する制御手段と、画像データを記憶する計算ユニットと、複数の画像を処理し、サイズのスケール、視点及び位置の少なくとも１つによる画像の変換を計算し、各画像から使用される画像要素を選択し、それらの画像要素を基本画像に合成するためのソフトウエアプログラムと、を具備することを特徴とする請求項１乃至１１のいずれかに記載の方法を実施するための手段。
- カメラの各位置に関連するレンズ及びセンサーの少なくとも１つの設定を制御する制御手段と、各画像写真の設定を制御して画像を選択された基本画像に変形するアルゴリズムを有する計算ユニットと、前記画像写真のためのカメラ設定、前記各画像からの画像要素の選択、及び基本画像への画像要素の合成のうちの少なくとも１つのためにオペレーターと対話するプログラムユニットと、を具備することを特徴とする請求項１２に記載の手段。
- 異なる焦点面設定の制御で写真撮影者又はオペレーターを補助する手段であって、
画像中のポイントの位置を規定するための手段と、それらのポイントに焦点を合わせ計算ユニットに焦点を登録するための手段と、レンズ及び／又はセンサー設定のための連続的に対応する値を計算するための計算ユニット中の手段と、撮影のための設定の制御のための手段と、制御手段の制御のための値の計算及び較正に使用するために例えばポケット計算器又はＰＣの如き計算ユニットに各制御のための基本データを記憶するための選択的な追加手段と、を具備することを特徴とする請求項１２又は１３に記載の手段。 - 写真撮影者がコンピュータースクリーン画像上にポイントを作るための手段と、電子制御によって自動的にカメラ設定を計算及び制御するコンピュータープログラムと、を具備することを特徴とする請求項１２乃至１４のいずれか１項に記載の手段。
- 写真フィルムが電子センサーの代わりに使用される方法であって、
対応する方法で撮影し、続いてフィルム写真を走査して電気的に記憶された画像を得て、その画像を対応する方法で続いて処理することを特徴とする請求項１乃至１１のいずれか１項に記載の方法。 - 画像変換が単純化される、被写体に対するレンズ光学中心の位置を維持し、ズーム又はレンズの変更によって選択的に減少した焦点距離で撮影したより小さい画像の写真を加え、センサー解像度を十分に利用しない一方で、画像の再拡大によってボケの領域も拡大されるのではあるが、被写界の深度が増大される可能性を有し、ボケた画像要素が改良された焦点を得て、その画像が他の画像の整合を助けるための情報に使用されることを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE9600083A SE512350C2 (sv) | 1996-01-09 | 1996-01-09 | Ökat skärpedjup i fotografisk bild |
| SE9600083-1 | 1996-01-09 | ||
| PCT/SE1997/000017 WO1997025690A1 (en) | 1996-01-09 | 1997-01-09 | Increased depth of field for photography |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000503148A JP2000503148A (ja) | 2000-03-14 |
| JP2000503148A5 JP2000503148A5 (ja) | 2004-11-11 |
| JP3907008B2 true JP3907008B2 (ja) | 2007-04-18 |
Family
ID=20400979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP52514297A Expired - Fee Related JP3907008B2 (ja) | 1996-01-09 | 1997-01-09 | 写真のための被写界の深度を増大するための方法及び手段 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6445415B1 (ja) |
| EP (1) | EP0880755B1 (ja) |
| JP (1) | JP3907008B2 (ja) |
| DE (1) | DE69714969T2 (ja) |
| SE (1) | SE512350C2 (ja) |
| WO (1) | WO1997025690A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2306755A1 (en) * | 1997-09-11 | 1999-03-18 | Markus R. Muller | Method for receiving and storing optically detectable data |
| JP3695119B2 (ja) * | 1998-03-05 | 2005-09-14 | 株式会社日立製作所 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
| US20010008418A1 (en) * | 2000-01-13 | 2001-07-19 | Minolta Co., Ltd. | Image processing apparatus and method |
| SE518050C2 (sv) | 2000-12-22 | 2002-08-20 | Afsenius Sven Aake | Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild |
| JP2002300459A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 |
| US7058233B2 (en) * | 2001-05-30 | 2006-06-06 | Mitutoyo Corporation | Systems and methods for constructing an image having an extended depth of field |
| US6741251B2 (en) | 2001-08-16 | 2004-05-25 | Hewlett-Packard Development Company, L.P. | Method and apparatus for varying focus in a scene |
| EP1468314A4 (en) * | 2001-12-18 | 2006-12-13 | Univ Rochester | ILLUSTRATION USING AN ASPHARIAN MULTI-FUNGI CASE FOR MAINTAINING AN ADVANCED SHARPNESS |
| SE520949C2 (sv) * | 2002-01-15 | 2003-09-16 | Sven-Aake Afsenius | Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning |
| US7084910B2 (en) * | 2002-02-08 | 2006-08-01 | Hewlett-Packard Development Company, L.P. | System and method for using multiple images in a digital image capture device |
| US7248751B2 (en) * | 2004-03-11 | 2007-07-24 | United States Of America As Represented By The Secretary Of The Navy | Algorithmic technique for increasing the spatial acuity of a focal plane array electro-optic imaging system |
| US20060044394A1 (en) * | 2004-08-24 | 2006-03-02 | Sony Corporation | Method and apparatus for a computer controlled digital camera |
| US7336430B2 (en) * | 2004-09-03 | 2008-02-26 | Micron Technology, Inc. | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture |
| US7493030B2 (en) * | 2005-06-24 | 2009-02-17 | Nokia Corporation | Adaptive optical plane formation with rolling shutter |
| US7412158B2 (en) * | 2005-08-08 | 2008-08-12 | Nokia Corporation | Deeper depth of field for video |
| US20090015681A1 (en) * | 2007-07-12 | 2009-01-15 | Sony Ericsson Mobile Communications Ab | Multipoint autofocus for adjusting depth of field |
| US8325268B2 (en) * | 2007-12-28 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image processing apparatus and photographing apparatus |
| WO2009120718A1 (en) * | 2008-03-24 | 2009-10-01 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for controlling depth of field in images |
| US8497920B2 (en) * | 2008-06-11 | 2013-07-30 | Nokia Corporation | Method, apparatus, and computer program product for presenting burst images |
| JP5971954B2 (ja) * | 2012-01-12 | 2016-08-17 | キヤノン株式会社 | 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体 |
| CN105359029A (zh) | 2013-07-04 | 2016-02-24 | 徕卡显微系统(瑞士)股份公司 | 用于显微镜系统的图像检测方法和相应的显微镜系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8317407D0 (en) * | 1983-06-27 | 1983-07-27 | Rca Corp | Image transform techniques |
| US4804931A (en) * | 1987-12-11 | 1989-02-14 | Acrodyne Industries, Inc. | Digital amplitude modulator - transmitter |
| DE3905619C2 (de) * | 1988-02-23 | 2000-04-13 | Olympus Optical Co | Bildeingabe-/Ausgabevorrichtung |
| US5629735A (en) * | 1989-08-20 | 1997-05-13 | Canon Kabushiki Kaisha | Image sensing device having a selectable detecting area |
| JP3429755B2 (ja) | 1990-04-27 | 2003-07-22 | 株式会社日立製作所 | 撮像装置の被写界深度制御装置 |
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
-
1996
- 1996-01-09 SE SE9600083A patent/SE512350C2/sv not_active IP Right Cessation
-
1997
- 1997-01-09 WO PCT/SE1997/000017 patent/WO1997025690A1/en active IP Right Grant
- 1997-01-09 US US09/091,866 patent/US6445415B1/en not_active Expired - Fee Related
- 1997-01-09 JP JP52514297A patent/JP3907008B2/ja not_active Expired - Fee Related
- 1997-01-09 DE DE69714969T patent/DE69714969T2/de not_active Expired - Lifetime
- 1997-01-09 EP EP97900828A patent/EP0880755B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| SE9600083L (sv) | 1997-07-10 |
| JP2000503148A (ja) | 2000-03-14 |
| DE69714969D1 (de) | 2002-10-02 |
| SE512350C2 (sv) | 2000-03-06 |
| WO1997025690A1 (en) | 1997-07-17 |
| DE69714969T2 (de) | 2003-04-24 |
| EP0880755A1 (en) | 1998-12-02 |
| EP0880755B1 (en) | 2002-08-28 |
| US6445415B1 (en) | 2002-09-03 |
| SE9600083D0 (sv) | 1996-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3907008B2 (ja) | 写真のための被写界の深度を増大するための方法及び手段 | |
| JP4524717B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| US10080006B2 (en) | Stereoscopic (3D) panorama creation on handheld device | |
| KR101265358B1 (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
| US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
| JPH09181966A (ja) | 画像処理方法及び装置 | |
| WO2014023231A1 (zh) | 宽视场超高分辨率光学成像系统及方法 | |
| CN105530431A (zh) | 一种反射式全景成像系统及方法 | |
| JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
| WO2006077777A1 (ja) | 撮像装置および撮像方法、並びに撮像装置の設計方法 | |
| KR102515482B1 (ko) | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 | |
| JP2014160982A (ja) | 画像処理装置および撮影制御方法、並びにプログラム | |
| JPH0380676A (ja) | 電子パンフォーカス装置 | |
| JP2002325199A (ja) | 電子撮像装置 | |
| JPWO2019026746A1 (ja) | 画像処理装置および方法、撮像装置、並びにプログラム | |
| JP2011237713A (ja) | 画像撮影装置、及び画像撮影方法 | |
| JP2002158919A (ja) | 撮像装置及び画像取得ステップ | |
| JP5822700B2 (ja) | 画像撮影方法および画像撮影装置、プログラム | |
| JP5440626B2 (ja) | 撮影装置、合成画像作成方法及びプログラム | |
| JP5157116B2 (ja) | 撮影装置、合成画像作成方法及びプログラム | |
| KR100579135B1 (ko) | 수렴형 3차원 다시점 영상 획득 방법 | |
| JP2004310504A (ja) | 画像処理方法 | |
| JPH08140116A (ja) | 写真撮影装置、画像処理装置及び立体写真作成方法 | |
| TWI468772B (zh) | 影像拍攝設備及方法 | |
| EP1371222A1 (en) | A method for high resolution incremental imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040106 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040106 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050906 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050926 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051227 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |