JPH06162187A - ボケ画像修復装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、高速で画像修復し、高精度のボケ画
像の復元を行うボケ画像修復装置を提供することを目的
とする。 【構成】本発明は、撮影レンズ１の光軸上の配置された
ハーフミラー２及びミラー３と、得られた第１画像，第
２画像を記録する第１画像記録部５，第２画像記録部６
と、これらの画像をフーリエスペクトルにフーリエ変換
する第１フーリエ変換部７，第２フーリエ変換部８と、
前記フーリエスペクトルから比を求める比演算部９と、
前記比からテーブル１３に基づき、デフォーカス量を決
定するデフォーカス量決定部１２と、前記デフォーカス
量及びＦΔ記憶部１０からの撮影レンズの光束のＦナン
バと２つの結像位置間の距離Δから復元画像を得る逆フ
ーリエ変換部１１とで構成されるボケ画像修復装置であ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は劣化像修復システムに係
り、特に電子映像または銀塩フィルム画像におけるボケ
を修復するボケ画像修復装置に関する。

【０００２】

【従来の技術】従来、電子映像または銀塩フィルム画像
に生じる画像のボケや像ブレを修復するための種々の手
法が提案されている。

【０００３】本出願人が提案した特願平４−１７８６０
０号に記載される画像のボケを修復する手法として、フ
ーリエ変換部により原像のフーリエ変換像を形成し、逆
フィルタ部により原像のボケもしくは像ブレの少なくと
も一方に関する逆フィルタ像を形成する。そして、相関
像形成手段により前記フーリエ変換像と前記逆フィルタ
像との相関像を形成し、さらに逆フーリエ変換部により
前記相関像の逆フーリエ変換像を形成するとともに、コ
ントラスト演算部により前記逆フーリエ変換像のコント
ラストを求め修正部により前記コントラストに応じて逆
フィルタ部を修正する。

【０００４】

【発明が解決しようとする課題】しかし、前述した特願
平４−１７８６００号に記載される画像のボケを修復す
る手法においては、画像のボケの大きさをトライアンド
エラーで修正しながら、画像修復するため、修復時間が
長くかかり、実用的ではない。そこで本発明は、高速で
画像修復し、高精度のボケ画像の復元を行うボケ画像修
復装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明は前記目的を達成
するために、ピント状態の異なる２つの結像位置で撮影
された２つの画像の一方の画像の所定領域の第１画像に
対する第１のフーリエスペクトルと、前記第１画像に対
応する他方の画像の所定領域の第２の画像に対する第２
のフーリエスペクトルと、前記第１のフーリエスペクト
ルと前記第２のフーリエスペクトルとの比を求める比較
手段と、前記比較手段により求められた比、前記異なる
２つの結像位置間の距離及び、撮影レンズ光線束のＦナ
ンバとから、前記第１画像のデフォーカス量を求める手
段と、前記デフォーカス量から前記第１画像又は前記第
２画像のボケの大きさを求める手段と、前記ボケの大き
さに基づいて、前記第１画像又は前記第２画像のボケを
修復する手段とで構成されるボケ画像修復装置を提供す
る。

【０００６】

【作用】以上のような構成のボケ画像修復装置は、異な
る２つの結像位置で撮影された２つの画像の中で、対応
する所定領域の２つの画像のフーリエスペクトルが求め
られ、これらの比に基づくデフォーカス量が求められ、
さらに、デフォーカス量からボケの大きさが求められ、
逆フーリエ変換により、ボケのない画像が復元される。

【０００７】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【０００８】図１には、本発明による実施例としてのボ
ケ画像修復装置の概略的な構成を示し、説明する。本ボ
ケ画像修復装置は、同一被写体に対して、ピント位置の
異なる２枚の画像と、Ｆナンバと、後述する所定距離Δ
とから、画面の任意領域のボケ画像を復元し、ボケのな
い画像を再生するものである。

【０００９】このボケ画像修復装置においては、撮影レ
ンズ１の光軸上に、ハーフミラー２及びミラー３が並設
される。このハーフミラー２から得られる第１画像は、
第１画像記録部５に記録され、ミラー３で反射された第
２画像は、第２画像記録部６に記録される。また前記撮
影レンズ１の近傍には、絞り４が設けられている。

【００１０】そして前記第１画像記録部５及び、第２画
像記録部６から読出された各画像は、第１フーリエ変換
部７，第２フーリエ変換部８により、それぞれフーリエ
変換され、フーリエスペクトルとして、比演算部９に出
力される。また、第１フーリエスペクトルは、逆フーリ
エ変換部１１にも出力される。

【００１１】前記比演算部９は、第１フーリエスペクト
ルと第２のフーリエスペクトルとを比較し、その比をデ
フォーカス量決定部１２に出力する。前記デフォーカス
量決定部１２は、予めフーリエスペクトルの比に対応す
るデフォーカス量の関係を記録するテーブル１３に基づ
き、算出された比のデフォーカス量を逆フーリエ変換部
１１に出力する。

【００１２】前記逆フーリエ変換部１１は、ＦΔ記憶部
１０からの撮影レンズの光束のＦナンバと２つの結像位
置間の距離Δ、及び前記第１フーリエスペクトルと前記
デフォーカス量に基づき、復元された画像信号が得られ
る。

【００１３】すなわち、このボケ画像修復装置による画
像信号の復元動作において、異なる２つの結像位置で撮
影された２つの画像の中で、対応する所定領域の２つの
画像の第１フーリエスペクトルと第２フーリエスペクト
ルを求める。

【００１４】次に前記第１のフーリエスペクトルと第２
のフーリエスペクトルの比を求める。これらフーリエス
ペクトルの比は、撮影レンズの光束のＦナンバ、前記２
つの結像位置間の距離が決まれば、前記２つの画像の合
焦位置からのずれ（デフォーカス量）と１：１の対応関
係が成り立つ。

【００１５】従って、デフォーカス量と前記フーリエス
ペクトルの比との対応関係をテーブル表の形でＲＯＭ等
に予め記録しておき、前記２つの画像のフーリエスペク
トルの比と比較することにより、デフォーカス量を求め
ることができる。

【００１６】そして、デフォーカス量が求まると、簡単
な関係によりボケの大きさが求められ、つぎに逆フーリ
エ変換により、ボケのない画像を復元する。また、フー
リエスペクトルの比とデフォーカス量との対応表は、撮
影レンズの光束のＦナンバと前記２つの結像位置間の距
離により一意的に決まるため、この２つの情報をカメラ
の記録部に記録しておき、ボケ画像の修復時に参考デー
タに用いている。次に図２を参照して画像とデフォーカ
ス量の関係について説明する。

【００１７】図２に示すように、撮影レンズ１４の光軸
上に距離Δを隔てた２つの位置Ｓ１，Ｓ２に結像する画
像の濃度分布をそれぞれ、ｇ１（ｘ，ｙ），ｇ２（ｘ，
ｙ）（但し、（ｘ，ｙ）は位置座標とする）とし、さら
にｆ（ｘ，ｙ）を合焦した画像とすると、

【００１８】

【数１】

【００１９】の関係が成り立つ。ここで、＊はコンボリ
ューション演算を表わす記号であり、ｈ１（ｘ，ｙ），
ｈ２（ｘ，ｙ）は、それぞれＳ１，Ｓ２の位置における
レンズのＰＳＦ（Point Spread Function ）である。こ
こで（１）式，（２）式の両辺をフーリエ変換すると、

【００２０】

【数２】

【００２１】が成り立つ。ここで、Ｇ１，Ｇ２，Ｆ，Ｈ
１，Ｈ２は、それぞれｇ１，ｇ２，ｆ，ｈ１，ｈ２のフ
ーリエスペクトルである。さらに、ｕ，ｖは、周波数を
表わす。ここで、（３）式を（４）式で除すると、

【００２２】

【数３】

【００２３】となり被写体に関する情報、Ｆ（ｕ，ｖ）
が消去される。前記撮影レンズ１４に収差がない場合、
ＲＳＦは回転対称になり、そのフーリエ変換になる。Ｏ
ＴＦ（Optical Transfer Function)Ｈ（ｓ）も回転対称
となる。前記Ｈ（ｓ）は、

【００２４】

【数４】 で表わされる。また、図３を参照すると、

【００２５】

【数５】 ここで、Ｊ１は１次のベクセル関数、Ｓは空間周波数、
Ｆは光線束のＦナンバ、ｄはデフォーカス量である。こ
の図２に示すように、結像面Ｓ１，Ｓ２のデフォーカス
量をｄ１，ｄ２とすると、ｄ２−ｄ１＝Δ（一定）であ
るため、これと（６）式，（７）式から、

【００２６】

【数６】 ここで、（８）式は、Ｓ１のデフォーカス量ｄ１とＨ１
／Ｈ２が１対１に対応することを表わす。

【００２７】従って、図４に示すようなＨ１／Ｈ２とｄ
１との対応表を予め作成しておけば、Ｓ１とＳ２におけ
る２つの画像より算出されたＨ１／Ｈ２より、デフォー
カス量ｄ１が求められることになる。

【００２８】しかし実際の演算においては、ＯＴＦ（Ｈ
（ｓ））のかわりに、その絶対値であるＭＴＦ（Medula
tion Transfer Function）を用いる（以下、Ｈ１／Ｈ２
をＭＴＦ比と称する）。

【００２９】そして（８）式から明らかなように、ＭＴ
Ｆ比とデフォーカス量ｄとの対応表は、光線束のＦナン
バ、Ｓ１，Ｓ２の距離Δ、空間周波数Ｓをパラメータと
して変わってくる。

【００３０】また実際の被写体は、図５に示すように画
面１５上の被写体位置に応じて、デフォーカス量ｄが異
なるため、画像を適当な領域に分割して指定された領域
のデフォーカス量ｄを求めることになる。

【００３１】前記デフォーカス量ｄ１が求まると（６）
式，（７）式からＭＴＦ（Ｈ（ｓ））を求め、その後、
空間周波数座標Ｓをｕ，ｖに変換し、Ｈ１（ｕ，ｖ）を
求める。ここで、Ｇ１（ｕ，ｖ），Ｈ１（ｕ，ｖ）は、
既知であるため、（３）式からＦ（ｕ，ｖ）が求まる。
次にＦ（ｕ，ｖ）を逆フーリエ変換すれば合焦した画像
が得られることになる。また本実施例では、Ｓ１位置で
撮影した画像から合焦した画像を復元した例を示した
が、さらにＨ２（ｕ，ｖ）を求め、（４）式の関係か
ら、Ｓ２位置で撮影した画像を用いて合焦した画像を復
元することもできる。

【００３２】次に図７には、ボケ画像修復装置の回路構
成例を示し、得られる２つの画像からのデフォーカス量
及びフーリエスペクトルと、Ｆナンバ、距離Δとから画
面の任意領域のボケ画像を復元する信号処理について説
明する。

【００３３】このボケ画像修復装置において、光源２１
とスキャナ２４との間に、撮影済みのフィルム２２が挟
まれるように構成される。前記フィルム２２に設けられ
た図示しない磁気記録部に記録された情報を記録再生す
るように磁気ヘッド２３が設けられている。前記スキャ
ナ２４は、ピント状態の異なる２つの画像を順次スキャ
ンし、選択回路５に第１，第２の画像信号として出力す
る。前記第１画像信号は画像メモリ２６、第２画像信号
は画像メモリ２７に、それぞれデジタルの画像データと
して格納される。

【００３４】そして、前記画像メモリ２６，２７に画像
データが格納された後、選択回路２８は、まず前記画像
メモリ２６を選択し、格納される画像データが順次、ゲ
ート回路２９に送られる。

【００３５】前記ゲート回路２９は、画面の中のピント
を合わせたい領域の信号を通過させる。例えば、図５に
示したように、画面１５を複数の領域に分割した領域の
中から、ピントを合わせたい１つの領域の信号を通過さ
せる。これらの領域の中から、どの領域の信号を通過さ
せるかは、撮影者の指示により予め領域選択データ３０
に設定されている。

【００３６】前記ゲート回路２９を通過した画像データ
は、フーリエ変換回路３１により、フーリエ変換され、
得られたフーリエスペクトルデータが選択回路３２に出
力される。そして、前記選択回路３２によりフーリエス
ペクトルメモリ１４にストアされる。

【００３７】一方、前記選択回路２８は、前記画像メモ
リ２７を選択し、同様に、格納される画像データが順
次、ゲート回路２９に送られ、得られたフーリエスペク
トルデータはフーリエスペルトルメモリ３４に格納され
る。次に各フーリエスペルトルメモリ３３，３４から読
出されたフーリエスペクトルデータは、除算回路３５に
より、（５）式のＭＴＦ比が求められる。

【００３８】また前述した磁気ヘッド２３は、フィルム
情報読取り回路３６に制御され、前記フィルム２２の磁
気記録部から、撮影時のＦナンバ、２つの結像面の距離
Δ（図１の示す）の情報を読み出す。そして読み出され
た情報は、図４に示したＭＴＦ比とデフォーカスｄの対
応表が格納されているテーブルデータメモリ３７に出力
される。この対応表は、Ｆナンバ、距離Δにより異なる
ため、複数の対応表が用意され、その中から、読出され
たＦナンバとΔに対応した対応表が選択される。

【００３９】次に、この選択された対応表と前記ＭＴＦ
比から図４に示すような関係に基づいてデフォーカス演
算回路３８によりデフォーカス量ｄ１が求められる。そ
して、ボケの大きさ演算回路３９により（７）式の関係
からボケの大きさを求め、さらにＭＴＦ演算回路４０
で、（６）式によりＭＴＦ（＝｜Ｈ(S) ｜）を演算す
る。 次に逆フィルター回路４１で、（３）式の関係か
ら合焦した画像のフーリエスペクトルＦ(u,v) を求め、
逆フーリエ変換回路４２により合焦された画像ｆ（ｘ，
ｙ）を求め、画像メモリ４３にストアする。前記画像メ
モリ４３の画像データは、プリンタ４４により、ボケの
復元された画像がプリントアウトされる。次に図８，図
９には、前述した図１に示すボケ画像修復装置を搭載し
たカメラの構成例を示し説明する。

【００４０】図８に示す第１のカメラにおいて、カメラ
本体５１に装着された撮影レンズ５２を通った光像は、
ハーフミラー５３に導かれた半分の光像は、シャッタ５
８を介して、フィルム面５６ａに結像し、ハーフミラー
５３で反射された残りの半分の光像は、ミラー５４で反
射され、シャッタ５８を介して、フィルム面５６ｂに結
像する。

【００４１】このフィルム面５６ａ，５６ｂに導かれた
光像は、画面の予め決められた（例えば、画面中央）の
被写体にピントが合うように設計されている。当然、フ
ィルム面５６ａ，５６ｂに結像する像は、前記被写体に
対しては大きくデフォーカスされている。

【００４２】このように図８のカメラ構成においては、
発明の要旨に対して、基本的な構造であるが、構造的に
２つの像に対する光路差をフィルム面５６ａとフィルム
面５６ｂの距離をあける必要があり、実現に際しては、
大型になり、十分な精度を得るのが難しい。

【００４３】そこで実現可能な構造として、図９に示す
カメラの構成例がある。このカメラは、カメラ本体１に
装着された撮影レンズ６２を通った光像は、シャッタ６
３を介してハーフミラー６４に導かれる。このハーフミ
ラー６４を透過した光像は、フィルム面６６ａに結像
し、該ハーフミラー６４で反射されたフィルム面６６ｂ
に結像する。

【００４４】このような構成にすれば、フィルム面６６
ａとフィルム面６６ｂに結像する光線の光路差を任意に
設定できる。図８又は図９に示すような構成のカメラで
ピント状態の異なる２枚の写真を撮影した後、図６に示
すようなフィルム上の磁気記録部にボケ画像復元に必要
なパラメータの書き込みを行なう。

【００４５】図６において、フィルム１６には磁気シー
ト１７が印刷されており、撮影が終了すると、カメラに
内蔵されているＣＰＵ１９は磁気記録回路２０を駆動さ
せ、磁気ヘッド１８介をして前記磁気シート１７に、Ｆ
ナンバと図２で説明した２つの画像の結像面Ｓ１，Ｓ２
の差Δを記録する。

【００４６】以上のように本実施例のボケ画像修復装置
においては、ピント状態の異なる２枚の画像から任意の
領域にピントの合った画像から、ボケの大きさを解析的
に算出し、ボケ画像の修復を行なうため、高速で画像修
復し、高精度のボケ画像を復元することができる。

【００４７】尚、本実施例では、銀塩写真に適用した例
について述べてきたが、本発明は前述した実施例に限定
されるものではなく、電子画像等にも適用でき、他にも
発明の要旨を逸脱しない範囲で種々の変形や応用が可能
であることは勿論である。

【００４８】

【発明の効果】以上詳述したように本発明によれば、高
速で画像修復し、高精度のボケ画像を復元するボケ画像
修復装置を提供することができる。

【図面の簡単な説明】

【図１】図１は、本発明による実施例としてのボケ画像
修復装置の概略的な構成を示す図である。

【図２】図２は、撮影レンズの光軸上に距離Δを隔てた
２つの位置に結像する画像とデフォーカス量の関係を示
す図である。

【図３】図３は、撮影レンズの光軸上に結像する画像と
デフォーカス量の関係を示す図である。

【図４】図４は、フーリエスペクトルとデフォーカス量
との関係を示す図である。

【図５】図５は、被写体が写し出された画面の状態を示
す図である。

【図６】図６は、フィルム上の磁気記録部にボケ画像の
復元に必要なデータを書き込むための構成例を示す図で
ある。

【図７】図７は、図１に示したボケ画像修復装置の回路
の構成例を示す図である。

【図８】図８は、図１に示したボケ画像修復装置を搭載
したカメラの第１の構成例を示す図である。

【図９】図９は、図１に示したボケ画像修復装置を搭載
したカメラの第２の構成例を示す図である。

【符号の説明】

１，１４…撮影レンズ、２…ハーフミラー、３…ミラ
ー、４…絞り、５…第１画像記録部、６…第２画像記録
部、７…第１フーリエ変換部、８…第２フーリエ変換
部、９…比演算部、１０…ＦΔ記憶部、１１…逆フーリ
エ変換部、１２…デフォーカス量決定部、１３…テーブ
ル。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年６月２２日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００２５

【補正方法】変更

【補正内容】

【００２５】

【数５】 ここで、Ｊ１は１次のベッセル関数、Ｓは空間周波数、
Ｆは光線束のＦナンバ、ｄはデフォーカス量である。こ
の図２に示すように、結像面Ｓ１，Ｓ２のデフォーカス
量をｄ１，ｄ２とすると、ｄ２−ｄ１＝Δ（一定）であ
るため、これと（６）式，（７）式から、

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ピント状態の異なる２つの結像位置で撮
   影された２つの画像のうち、一方の画像の所定領域の第
   １画像に対する第１のフーリエスペクトルと、 前記第１画像に対応する他方の画像の所定領域の第２の
   画像に対する第２のフーリエスペクトルと、 前記第１のフーリエスペクトルと前記第２のフーリエス
   ペクトルとの比を求める比演算手段と、 前記比演算手段により求められた比、前記異なる２つの
   結像位置間の距離及び、撮影レンズ光線束のＦナンバか
   ら、前記第１画像のデフォーカス量を求めるデフォーカ
   ス量決定手段と、 前記デフォーカス量から前記第１画像又は前記第２画像
   のボケの大きさを求める手段と、 前記ボケの大きさに基づいて、前記第１画像又は前記第
   ２画像のボケを修復する手段とを具備することを特徴と
   するボケ画像修復装置。