JPS62127976A - 画像記録処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、画像記録処理装置、さらに詳しく言えば、ア
ナログ方式またはディジタル方式で処理した画像信号を
メモリ内に記録し、その記録された画像信号を、レンズ
の特性またはブレによる既知または未知の点広がり関数
（ＰＳＦ、　　Ｐｏ１ｎｔＳ　ｐｒｅａｄ　Ｆ　ｕｎｃ
ｔｉｏｎ　）の逆特性を有する補正関数を用いて演算処
理し、ピント合わせあるいはブレあるいは収差の補正を
し、目的の画像を復元する機能を有する画像記録処理装
置に関する。

（従来の技術） 従来から画像記録装置として、ピント合わせ機構、ｉ？
ｆ出機構を有し感光材に画像を記録するいわゆるカメラ
と言われている装置、および、ＶＴＲの一派生技術とし
て撮像管で光電気変換された画像信号を磁気材等より成
るメモリに記録するいわゆる電子スチールカメラ装置が
知られている。

（発明が解決しようとする問題点） 前者の装置は、基本的にレンズを通して焦点面に結像さ
れた画像、または画像信号自体の記録。

再生を目的としているため、その焦点面の画像がピント
が合っていない画像であったり、ブした画像である場合
には、それ以上の画質の画像を得ることはできない。

一方、後者の装置は、ＶＴＲの画質向上技術として輪郭
補正を走査信号に、主にバイパスフィルタや補間を用い
て行う方法があるが、これはＰＳＥにもとづいた理論的
に正確で可逆のものではな（、経験上画質がよ（なった
ように見える場合が多いという程度の視覚的な効果でし
かない。

本発明の目的は、ピント合わせあるいはブレの補正をす
ることにより、目的の画像を復元する機能を有する画像
記録処理装置を提供することにある。

（問題点を解決するための手段） 前記目的を達成するために本発明による画像記録処理装
置は、撮影用レンズと、前記撮影用レンズからの光信号
を光電気変換して画像信号を生成する撮像素子と、前記
撮像素子からの画（左信号を記憶する記憶部と、前記記
憶部に記憶された画像信号に基づいてピンボケあるいは
ブレあるいは収差による点広がり関数の逆特性を有する
補正関数を用いて演算処理して画像を復元する演算処理
部とから構成されている。

（発明の原理） まず、本発明の基本になる原理を説明する。ここでは、
理解を容易にするために、まず−次元の信号について説
明し、次いで、二次元の信号に拡大して説明する。

第４図は、本発明の基本原理となる入出カシステムを示
したブロック図である。

インパルスレスポンスがｈ　（ｔ）である系（ここでは
、因果律の条件は考えないことにする。）に入力信号ｓ
　　（ｔ）が入力され、出力信号ｇ（ｔ）が出力された
とする。このとき、これらの量の間には次式のような関
係が成り立つ。

ｇ　（ｔ）　＝Ｊ、−ｓ　　＜ｒ）・ｈ　（ｔ　・Ｔ）
　　ｄｒ＝Ｓ　　（ｔ）　＊ｈ　（ｔ）　　　　　　　
　・・・（１）ここで、＊印はたたみ込み積分を示して
いる。

式（１）より、入力信号ｓ　　（ｔ）が、ディラックの
デルタ関数の場合には、出力信号ｇ　（ｔ）はインパル
スレスポンスｈ　（ｔ）そのものになる。

ｇ　（ｔ）　＝δ　（ｔ）＊ｈ　（ｔ）＝ｈ　（ｔ）　
　・・・（２）すなわち、入力信号にδ（１）を入力し
たときの出力を観測することでｈ　（Ｂを知ることがで
きる。こうして求めたｈ　（ｔ）のフーリエ変換をＨ（
ｆ）（艶→ｈ（ｔ））とする。

いま、インパルスレスポンスｈ　（ｔ）　カ既知である
系を通り、出力信号ｇ　（ｔ）から、その系への入力信
号ｓ　　（ｔ）を復元することを考える。

求める人力信号ｓ　　（ｔ）のフーリエ変換をＳ　（ｆ
）　、出力信号ｇ　（ｔ）のフーリエ変換をＧ　（ｆ）
とすると、式（１１より ｇ　（ｔ）　−ｓ　　（ｔ）＊ｈ　　（ｔ）　　　　　
（３−ａ）： Ｇ　（ｆ）　＝Ｓ　　（ｆ）　　・Ｈ（ｆ）（３−ｂ）
、’、Ｓ　　（ｆ）＝１／Ｈ（ｆ）　　・Ｇ　（ｒ）　
　（３−ｃ）が成り立つ。ここでは、説明を簡単にする
ために、１／Ｈ（ｆ）が物理的に存在するものとする（
実際には、このままの形では必ずしも存在するとは躍ら
ない）。このようにすると、出力信号ｇ　（ｔ）から入
力信号ｓ　　（ｔ）を復元するには、インパルスレスポ
ンスのフーリエ変換が１／Ｈ（ｆ）なる系を通せばよい
ことがわかる。

第５図は、本発明の基本原理となる入力信号復元システ
ムの一次元の場合を示したブロック図。

第６図（ａ）は、前記システムのインパルスレスポンス
がガウス関数の例を説明するための図、第６図（ｂ）は
、前記システムのインパルスレスポンスが矩形波の例を
説明するための図である。

ここでは、例として２種類のインパルスレスポンスｈ　
（ｔ）を考える。すなわち、次の各式のようにインパル
スレスポンスがガウス関数である系と、矩形波である系
を考える。

ｈｌ　（ｔ）＝　（１／　（２πσ２　）　ｌ／２）　
　・ｅｘｐ（−ｔ２／２σ２）　　・・・（４）ｈ２　
（ｔ）＝　（１／Ｔ）　　・ｒｅｃｔ（ｔ／Ｔ）　　−
（５１式（４）、　（５）のフーリエ変換はそれぞれＨ
ｌ　　（ｆ）＝ｅｘｐ　　（２π２ｔｙ２　ｆ２）　　
　・・・（６）Ｈ２（ｆ）＝ｓｉ（ｙｃＴｆ） ＝ｓｉｎ　　（πＴｆ）　／ｙｒＴｆ　　　　・＝（７
１となる。式＋６１．　（７）に関し、第５図に相当す
るシステムを図示すると第６図のようになる。

第６図（ａ）（ｂ）は、伝達関数（インパルスレスポン
スのフーリエ変換）がそれぞれＨｌ　　（ｆ）、Ｈ２（
ｆ）なる系を入力信号が通り変化を受けても、その後に
逆特性１／Ｈ１（ｆ）。

１／Ｈ２（ｆ）の系を通ることで、もとの入力信号が復
元されることを示している。ただし、図から明らかなよ
うに、逆特性の系は必ずしも物理的に実在するとは躍ら
ないが、数式上２計算上は存在する。

以上は、−次元的な説明であったが、それを二次元に拡
大した画像復元について説明する。

説明の都合上変数をｘ、　　ｙとし、その二次元フーリ
エ変換の変数をＸ、Ｙとする。

−次元の場合には、ある系にディラックのデルタ関数を
入力したときの応答、すなわち、インパルスレスポンス
を測定することにより、システムの特性を記述できた。

これと同様に、二次元のディラックのデルタ関数、具体
的には理想的な点光源をレンズを通し焦点面に結像させ
たときの像を測定すれば、点広がり関数（ＰＳＦ　　Ｐ
ｏ１ｎｔＳ　ｐｒｅａｄ　Ｆ　ｕｎｃｔｉｏｎ　）が求
められ、その光学系の特性を記述できる。広義にはＰＳ
Ｆはブレによる広がりをも含めることができる。

第７図は、二次元的なピンボケのＰＳＦを説明するため
の図である。

第７図は、点光源の状態を示すもので、第７図（ａ）（
ｂ）は合焦点のときで、ｘｙ平面上で、点（δ（ｘ）　
　・δ（ｙ））となる。第７図（ｃ）（ｄ）はピントが
ずれたときで、二次元のガウス関数状に拡散される。こ
のピントがずれた画像からもとの画像を復元する手順を
、前述の第６図（ａ）の−次元と同じ手順で説明する。

第８図は、本発明の基本原理となる入力信号復元システ
ムの二次元の場合を説明するための図である。

第８図（ａ）が入力の状態で、第８図（１１）に示され
る二次元のインパルスが原画像である。この第８図（ｈ
）が合焦でないときには、第８図（ｂ）に示されるＰＳ
Ｆで拡散されて、第８図（ｃ）（ｉ）に示されるピンボ
ケ画像になる。このピンボケ画像をＸ成分に関する逆特
性の系（第８図（ｄ）　　（７り　）を通すと、ボケの
Ｘ成分の補正された画像（第８図（ｅ）（ｊ））が復元
される。さらに、ｙ成分に関する逆特性の系（第８図（
ｆ）（ｍ））を通すことによりボケのｙ成分も補正され
、ボケのない元の点画像（第８図（ｇ）（ｈ））が復元
される。

第７図の例ではレンズの合焦でないときのＰＳＥが二次
元のガウス関数であるが、これは現実的な仮定である。

また、この系では原画像を点画像として説明しているが
、もしこの系が線形（スーパーボーズが成立する系）で
あるならば、対象とする画像を点画像から一般の画像へ
拡大することができる。

以上の説明により、レンズのＰＳＦが既知のときは、あ
る距離で合焦状態として撮影５記録した画像から、任意
距離の対象物の像を復元できる。

これは−次元の式＋４）、　（６１で示される第６図（
ａ）に相当する。

第９図は、本発明の基本原理のプレ画（？！復元システ
ムを説明するための図である。

ピンボケの場合と同様に、ブレによる画像の復元につい
て説明する。一般のブレの復元は必ずしも容易ではない
が、ここでは説明の都合上、画像が等速直線的にＸ軸方
向にブしたちのとする。この場合、合焦の点画像はＸ方
向の直線画像となるので、ブレの量をＸＱとするとＰＳ
Ｆは　ｒｅｃ　ｔ（Ｘ／ＸＯ）になる。第８図のピンボ
ケの場合４に相当する図が第９図である。

第９図（ａ）が入力の状態で、第９図（ｆ）に示される
二次元のディラックのデルタ関数が原画像である。この
点画像が、第９図（ｂ）に示されるブレのＰＳＦにより
第９図（ｃ）　　（ｄ）に示される線画像となる。この
例では線画像はＸ成分のみであるから、第９図（ｄ）（
ｉ）に示される逆特性の系を通すことで、もとの点画像
（第９図（ｅ）　　（ｈ））が復元される。これは−次
元の弐（５）　（７）で示される第６図（ｂ）に相当す
る。

一般のピンボケやブレはこれらの例のように単純ではな
いが、基本的に以上の考え方を用いて、目的の画像を復
元することができる。

（実施例） 以下、図面等を参照して、実施例について本発明の詳細
な説明する。

第１図は、本発明による画像記録処理装置の実流側を示
したブロック図である。

第１図において、１はレンズ、２は撮像素子。

３はＲＡＭ、４はコントロール部、５は演算処理部、６
は主メモリ、７は出力端、８はＡ　／　Ｄ変換器である
。

レンズ１は、撮映用のレンズである。撮像素子２は、撮
像用の光電気変換素子であり、レンズ１に対して、無限
遠の焦点面に固定されている。レンズ１および撮像素子
２の光学系は固定焦点方式になっている。ＲＡＭ３は、
一画面分の画像入力を記憶するメモリが１ないし必要数
だけ含まれている。主メモリ６は、ＲＡＭ３に一時的に
蓄えられた画像情報を転送、記憶するメモリである。演
算処理部５は、主メモリ６に記憶されている画像情報を
目的の画像となるように演算処理を行い、その演算処理
結果は、主メモリ６に記憶される。

以上の信号の授受は、コントロール部４を介して行われ
る。主メモリ６に記憶されているデータ、あるいはＲＡ
Ｍ３に記憶されているデータは出力端７より出力される
。

次に、本発明による画像記録処理装置の基本動作を説明
する。

被写体からの反射光は、レンズ１を介し、撮像素子２上
に結像する。

前述のように光学系を無限遠の固定焦点としているのは
、ある有限の距離で合焦したとき、その前あるいは後の
ピントが合っていない被写体に対して、ボケた像だけか
らは前ピンなのか後ピンなのか区別できないからである
。すなわち、前述の第７図（ｃ）（ｄ）に示すように、
もしある合焦状態に対して、前ピンのボケのＰＳＦ　　
Ｐ　（Ｘ。

ｙ）が Ｐ　（ｘ、ｙ）＝　（１／２πσ２） ｅｘｐ　　（（ｘ２＋　１２）　／　２　ｅ１２）　−
（８１であったとすると、同じボケとなる後ピンのＰＳ
Ｆ　　Ｐ’　（ｘ、　ｙ）は Ｐ′　（ｘ、ｙ）＝Ｐ　（−ｘ、−ｙ）＝　（１／２π
σ２） ｅｘｐ　　（（ｘ２＋ｙ２）／２σ２）＝Ｐ　（ｘ、ｙ
）　　　　　　　　・・・（９）となり、前ピンか後ピ
ンかが区別できない。実際には、レンズの分散特性によ
り前ピンと後ピンではＰＳＦは異なる場合もあるが、ボ
ケの基本的な考え方においては、前ピンと後ピンは区別
することはできない。このため、光学系を有限の距離の
固定焦点とした状態で撮映し、画像演算処理を行い、そ
の前あるいは後の位置に焦点を合わせ直すと、それに伴
い相対する後あるいは前の位置が合焦になる。この場合
には、２つの距離でピントが合うことになる。

撮像素子２は、目的の画像処理に十分な情報信号を得る
分解能を有している。例えば、正方形の画面で、たて横
それぞれ１０２４画素とする。モノクロでは１０２４　
Ｘ　ｉ　０２４画素であるが、カラーではその３倍の容
量が必要になる。

撮像素子２上に結像された画像は、光電気変換され、Ａ
／Ｄ変換器８によりコード化されてＲＡＭ３に記憶され
る。この処理は高速で行われる必要があるので、Ａ／Ｄ
変換器８や記憶は必要に応じてパラレルに処理される。

このＲＡＭ３の内容は直ちに主メモリ６に転送される。

ＲＡＭ３は、半導体メモリで高速であるがあまり大容量
をとれないのに対し、主メモリ６は磁気。

光、光磁気等のメカニカルな系を含むもので、大容量で
あるが高速ではない。そこで、連続の速写性を考慮し、
ＲＡ、　Ｍ　３を必要数設けておき連続速写のとき、切
り替えて使用する。

ちなみに、カラー−画素当り１４ｂｉｔｓを割当てると
一画面当り １４　ｂｉｔｓＸ　１０２４　Ｘ　１０２４−１．４６
８　　Ｘｌ０７ｂｉｔｓ　　　　　−αＯ）必要になる
。また、一画面を１／１０００ｓｅｃで処理、記憶する
には １ｍ５ｅｃ＝１０２４Ｘ１０２４ＸＴ Ｔ＝９．５３６７Ｘ１０−”　５ｅｃ １／Ｔ＝１．０４８６Ｘ１０９Ｈｚ　　　　−（１１）
となり、約ＩＧＨｚ以上のクロックでＡ／Ｄ変換器８．
ＲＡＭ３を動作させる必要がある。このクロックは、パ
ラレル処理で対応することもできる。

ＲＡＭ３より主メモリ６に転送されたデータは演算処理
部５で二次元Ｆ　Ｆ　Ｔ　（Ｆ　ａｓｔ　Ｆ　ｏｕｒｉ
ｅｒＴ　ｒａｎｓｆｏｒｍ）される。ＦＦＴは、ＤＦＴ
　（Ｄ　１ｓｃｒｅｔｅ　Ｆ　ｏｕｒｉｅｒ　　Ｔ　ｒ
ａｎｓｆｏｒｍ）の−手法である。もともと、ＲＡＭ３
あるいは主メモリ６には、画素ごとのデータ、すなわち
Ｄ　１ｓｃｒｅｔｅのデータが入力されているので演算
には都合がよい。

ＤＦＴは、−次元の信号の場合には、基本的に第２図に
示される演算のことである。

第２図および第３図は、本発明による画像記録処理装置
の動作を説明するための図であって、第２図は一次元の
場合、第３図は二次元の場合を示した図である。

時間領域でＮ　Ｔ　ｓｅｃ以内の時間存在する関数をｓ
　（ｔ）とする（第２図（ａ）の点線内）。この関数を
Ｔ　ｓｅｃごとにサンプルし、かつ、それをＮＴ　ｓｅ
ｃごと繰り返す。これを式で表わすと（ｓ　　（む）　
　−１／ＴＩ［［（ｔ／Ｔ））＊　（１／ＮＴ）ｍ　（
ｔ／ＮＴ）　　　　・・・（１２）となる。ここで、（
１／Ｔ）　　・ＩＩ［（ｔ／Ｔ）＝Σδ　（ｔ−ｎｔ）
、　　δ　（１）は、ディラックのデルタ関数である。

式（１２）をフーリエ変換したものがＤＦＴであり、こ
の式り１２）より直ちに（Ｓ　（ｆ）＊ｍ　（Ｔｒ））
　　・Ｉ［ｒ（ＮＴｆ）・・・（１３） が得られる。これを、図示したものが第２図（ｂ）であ
る。ただし、第２図（ｂ）では本来複素数であるＳ　（
ｆ）を、図を単純にするために絶対値で示しである。ｓ
　　（ｔ）は、存在する時間がＴｃ以内に制限された関
数であるので、そのフーリエ変換Ｓ　（ｆ）は、無限の
帯域に広がってしまう。

実際にパラメータを決めるには、第２図（ｂ）よりＳ　
（ｆ）が（±１／２Ｔ）Ｈｚで充分に小となっているよ
うにサンプリングレート１／Ｔを定める。

ＤＦＴを二次元に拡大すると次のようになる。

ある二次元の画像関数をｆ　　（ｘ、ｙ）とする。

［（（ｆ　　（ｘ、ｙ）　　・　（１／Ｘｏ）　　・ｍ
　（ｘ／ｘｏ）＊　（１／ＮＸＯ）　　・ｍ　（ｘ／Ｎ
ｘｏ　））・　（１／ｙｏ）　　・Ｉ［Ｉ（ｙ／ｙｏ）
コ＊　（１／Ｍ）’ｏ　）　　・Ｖｌ　Ｏ’／Ｍ）’ｏ
　）　−（１４）［（（Ｆ　　（Ｘ、Ｙ）＊ｎ［（Ｘｏ
　　Ｘ））−ｍ　（ＮＸＯｘ＞　）　＊ｍ　（ｙｏ　ｙ
）コ・ｍ　　（Ｍ）’ｏ　　Ｙ）　　　　　　　　　　
　　−（１５）第３図（ａ）は、Ｎｘｏ、Ｍｙｑの区間
内のみに存在する画像信号ｆ　　（ｘ、ｙ）と、その画
像信号ｆ　（ｘ、　　ｙ）がＸ軸方向にＮｘＯ間隔、ｙ
軸方向にＭｙｏ間隔の周期で繰り返したＸ。＋　　ｙｏ
領領域実際）の画像（信号）である。これに二次元ＤＦ
Ｔを行い空間周波数領域に変換したものが、第３図（ｂ
）である。Ｘ軸方向に１／Ｘｏ、Ｙ軸方向に１　／　ｙ
　ｏの間隔の周期関数になっている。

これらの関係を式で示したものが式（１４）　　（１５
）である。

もし、画像信号ｆ　　（ｘ、ｙ）がピントが合っていな
いボケた画像の信号であるならば、ＤＦＴで変換された
信号Ｆ　（Ｘ、Ｙ）に対し、ボケのＰＳＥの逆特性とな
るＯ　Ｔ　Ｆ　（Ｏｐｔｉｃａｌ　　Ｔ　ｒａｎｓｆｅ
ｒＦ　ｕｎｃｔｉｏｎ　）　Ｇ　（Ｘ、　Ｙ）をかけて
ボケの補正を行う。目的の被写体までのレンズのＰＳＦ
を第８図（ｂ）（ｉ）に示すように ｈ　　（ｘ、　　ｙ）　　−（１／２πσ２）・ｅＸｐ
　（−（ｘ２　＋ｙ２）／２σ２）・・・　（１６） とするとボケ補正のＯＴＦは、同じく第８図（ｄ）（ｆ
）　　（１）　　（ｍ）より Ｇ　（Ｘ、Ｙ）＝ｅｘｐ　　（２ｒｔ２ｔｙ２Ｘ２）・
ｅｘｐ　　（２π２ｔｙ２Ｙ２）　・＝　（１７）にな
る。式（１７）よりボケを補正し、ピントを目的の距離
に合わせなおすには、空間周波数領域でＦ　（Ｘ、Ｙ）
　　・Ｇ　（Ｘ、Ｙ）　　　　　　・・・（１日）とす
ればよい。式（１８）を二次元逆ＤＦＴを行えば、目的
の復元画像（信号）が得られる。

プした画像に関しても同様な演算操作で画像を復元でき
る。

復元の演算を行うには、ｘ−ｙ領域でたたみ込み積分で
行う方法と、空間周波数領域での乗算で行う方法が考え
られるが、ＰＳＦの逆特性の逆フーリエ変換が困難であ
ったり、たたみ込み積分に計算時間を要することから、
空間周波数領域で演算処理を行う。

ボケやブレの逆特性の関数は、それぞれｅｘｐ　　（２
ｙｒ２ｔｙ２Ｘ２）　　・ｅｘｐ　　（２π２ｔｙ２Ｙ
２）。

（πｘｏ　Ｘ）　／ｓｉｎ　　（πＸｏ　Ｘ）　　　　
−（２０）である。Ｘ−■、Ｙ−■のときには■となり
、通常のアナログ回路的な手段では実現が困難であるが
、計算機で処理することができる。

（発明の効果） 以上詳しく説明したように、本発明によれば、画像処理
装置の光学系によるピント合わせが不要であり、撮映が
簡単になる。つまり、今まで不可能であった撮映後に、
任意の被写体にピントを合わせなおすことができる。ま
た、ブした画面からブレのない元画像を復元することが
できる。

さらに、レンズの収差を補正することができ、逆に、画
像にレンズの収差の影響を加えることもできる。さらに
また、画像の特徴抽出等の「画像処理」を行うこともで
きる。

なお、本発明の画像記憶処理装置は、ビデオテックス等
、他のメディアにも接続できる。

【図面の簡単な説明】

第１図は、本発明による画像記録処理装置の実施例を示
したブロック図である。 第２図および第３図は、本発明による画像記録処理装置
の動作を説明するための図であって、第２図は一次元の
場合、第３図は二次元の場合を示した図である。 第４図は、本発明の基本原理となる入出カシステムを示
したブロック図である。 第５図は、本発明の基本原理となる入力信号復元システ
ムの一次元の場合を示したブロック図。 第６図（ａ）は、前記システムのインパルスレスポンス
がガウス関数の例を説明するための図、第６図（ｂ）は
、前記システムのインパルスレスポンスが矩形波の例を
説明するための図である。 第７図は、二次元的なピンボケのＰＳＦを説明するため
の図である。 第８図は、本発明の基本原理となる入力信号復元システ
ムの二次元の場合を説明するための図である。 第９図は、本発明の基本原理のブレ画像復元システムを
説明するための図である。 １・・・レンズ　　　　　２・・・撮像素子３・・・Ｒ
ＡＭ　　　　　　４・・・コントロール部５・・・演算
処理部　　　６・・・主メモリ７・・・出力端　　　　
　８・・・Ａ／Ｄ変換器特許出願人　　京　セ　ラ　株
式会社 代理人　弁理士　井　ノ　ロ　　　溝 片１図 （ｂ’ｌ　／ｆｌ！丸−＆喘、、　　　　　　　　　　
　　　　　　　　　　　　　（５（１＞虻１（７チ）Ｊ
・Ｍｏｔｒ子ン才４ｒ！！１ オフ図 手続補正書 昭和６１年　３月２５日

Claims (1)

【特許請求の範囲】
1. 撮影用レンズと、前記撮影用レンズからの光信号を光電
   気変換して画像信号を生成する撮像素子と、前記撮像素
   子からの画像信号を記憶する記憶部と、前記記憶部に記
   憶された画像信号に基づいてピンボケあるいはブレある
   いは収差による点広がり関数の逆特性を有する補正関数
   を用いて演算処理して画像を復元する演算処理部とから
   構成した画像記録処理装置。