JPH04200081A - 撮像装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は撮像装置に係り、特にニューラルネットワーク
を用いてレンズの収差を補正するのに好適する撮像装置
に関する。

（従来の技術） 一般的にレンズにより集光され結像された時に、完全な
結像からずれて、光学収差（以下、レンズ収差とする）
と称されるずれが生じる場合がある。

このレンズ収差には、例えば、球面収差、こま収差、非
点収差、色収差等があり、他に像面の湾曲、歪曲等があ
る。

そしてレンズにより集光された光像を受光したＣ　ＣＤ
　（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ　）
等の撮像素子から映像信号を検出する撮像装置があり、
この撮像装置では、レンズ収差を補正するのに補正レン
ズを前群も用いたり、非球面レンズを用いていた。

（発明が解決しようとする課題） しかし、前述したレンズによるレンズ収差の補正は、レ
ンズを前群も用いたため、レンズ系が大型化したり、ま
た非球面レンズを用いため、レンズの加工が複雑になっ
ている。

そこで本発明は、ニューラルネットワークの学習機能を
用いて、ＣＣＤて検出された電気信号を補正することに
よってレンズ収差の補正を行う撮像装置を提供すること
を目的とする。

（課題を解決するための手段） 本発明は上記目的を達成するために、光学的レンズ手段
と、前記光学的レンズ手段により集光された光像を電気
信号に変換する光電変換手段と、前記光電変換手段から
の電気信号が、デジィタル信号に変換されるＡ／Ｄ変換
手段と、前記Ａ／Ｄ変換手段から所定のデジィタル信号
が入力する複数の二ニーロンユニットと、前記複数のニ
ューロンユニットに所定トレーニング画像を用いて、該
ニューロンユニットのそれぞれに対応付ける重みと閾値
データを予め学習させる学習演算手段と、前記複数の二
ニーロンユニットが複数段の階層構造で隣接する階層間
に結合して構成され、学習演算手段予め学習した重みと
閾値データに基づき、前記Ａ／Ｄ変換手段から順次入力
される前記所定のデジィタル信号の重みと閾値を最小に
することによって、レンズ収差を補正するニューラルネ
ットワークとを有する撮像装置が提供できる。

（作　用） 以上のような構成の撮像装置によれば、レンズで集光し
入力された光像がＣＣＤによって電気信号に変換され、
収差を含むディジタル化された映像信号から所定数のサ
ンプル信号を取出す。そして収差を補正するように予め
複数のトレーニング画素によって学習したニューラルネ
ットワークに前記ディジタル化された映像信号を入力し
、レンズ収差を補正する撮像装置を提供することができ
る。

（実施例） 以下、図面を参照して本発明の一実施例を詳細に説明す
る。

第１図のブロック図は、本発明に係る撮像装置の概略的
な構成を示す。

この撮像装置の構成は、まずレンズ１によって集光され
た光信号が、ＣＣＤ２の画素に入射し、該ＣＣＤ２から
映像信号（電気信号）２ａが検出され、プロセス処理装
置３に送出される。この電気信号は、レンズによる例え
ば、色収差を含んでいる。

そしてプロセス処理装置３は、所定の処理をした後、例
えばＲＢＧ信号に変換して、Ａ／Ｄ変換器４ａ〜４ｎに
送出する。前記ＲＢＧ信号は、Ａ／Ｄ変換器４ａ〜４ｎ
てディジタル信号に変換され、メモリ素子５ａ〜５ｎに
格納される。ここでプロセス処理された信号が、ＲＢＧ
信号であれば、３種類の信号となり、Ａ／Ｄ変換器４８
〜４ｎとメモリ素子５ａ〜５ｎは、３組で実行すること
ができる。勿論プロセス処理された信号は、ＲＢＧ信号
に限られることはなく、ｙ、ｃ信号等の他の形態であっ
ても良い。また、前記Ｃ０Ｄ２から電気信号は、前述し
たレンズ収差であり、色収差のみに限られない。

そして前記メモリ素子５ａ〜５ｎに格納されたＲＢＧ画
像信号は、第２図に示すように、ＭＸＮ個に分割されて
、ニューラルネットワーク６ａ〜６ｎ、７ａ〜７ｎ、８
ａ〜８ｎに送出される。このように画像をブロック化す
ることによって、１つのブロックに含まれる画素数を少
なくでき、ニューラルネットワークを小規模化して、学
習時間の短縮化を図ることができる。

さらに後述する方法で収差を補正するように予め学習し
た前記ニューラルネットワークから送出された収差が補
正されたＲＢＧ信号は、画像メモリ素子９に入力する。

この画像メモリ素子９は、ホストコンピュータ１０の制
御に基づき、格納する収差が補正された画像信号が読出
され、出力表示される。

また、これら一連の学習や処理をホストコンピュータ１
０の制御によって実行される。

ここで、実施例に用いられるニューラルネットワークの
概念的な構成を第３図（ａ）に示す。

この第３図（ａ）のニューラルネットワークは、３層の
階層構造であり、同一の階層に属するニューロンユニッ
ト間には結合がなく、隣り合う階層のニューロンユニッ
ト間にのみ結合がある。そして各層は入力側から入力層
１１、中間層１２、出力層１３と称される。

そして前記入力層１１に入力される信号は、第３図（ｂ
）に示すＣＣＤの各画素に対応している。

次に各二ニーロンユニットは次式、 ｙ−ｆ（Σ　Ｗ、・Ｘｌ−θ）　　・・・（１）に基づ
いた処理を行う。ここで記号Ｘ１は、着目しているニュ
ーロンの属する層の１つ前の層に属する１番目の二ニー
ロンユニットの出力であり、記号Ｗ、は、前記１番目の
ニューロンユニットとの結合の強さを表す重みである。

記号ｎは、着目しているニューロンユニットの属する１
つ前の層に属する全部の二ニーロンユニットの数であり
、記号θは、着目しているニューロンユニットの入力閾
値、記号ｙは、出力値である。さらに記号ｆは、次式、 ｆ　　（ｘ）　　＝１／　（１＋ｅ−ｘ）　　　　　−
１２）に示すシグモンド関数である。

次に第４図は、本実施例のニューラルネットワークの構
成を示すブロック図であり、第５図は、該ニューラルネ
ットワークを構成する二ニーロンユニットの構成を示す
ブロック図である。

このニューラルネットワークの構成は、図示されないＡ
／Ｄ変換器によってディジタル化されたＲＢＧ信号を格
納するメモリ素子２ｏがらバッファ２１を介して、例え
ば、４個のニューロンユニット２２ａ〜２２ｄに前記Ｒ
ＢＧ信号が入力される。

：、：テ４；ｉ、４）間層に属する二ニーロンユニット
の数を４個としているが、これに限定されるものではな
い。また、出力層のニューロンユニット数は画像の１ブ
ロツクの画素数ｓＸｔである。また、前記メモリ素子２
ｏが入力層に相当している。

すなわち、前記メモリ素子２ｏに記憶されているデータ
が入力層に属するニューロンユニット２２ａ〜２２ｄの
出力に対応している。

前記メモリ素子２０の最初のデータが前記バッファ２１
を通してニューロンユニット２２ａ〜２２ｄ、２３ａ　
〜２３ｎに送出される。

各二ニーロンユニットでは、後述する方法で学習した学
習データに基づき、収差を補正した出力信号を画像メモ
リ素子２４に送出する。すなわち、前記画像メモリ素子
２４に格納された値は収差が補正された映像信号である
。

前記ホストコンピュータ２５は、この値を前記画像メモ
リ素子２４から読出し、出力表示する。

また、コントローラ２６は、前記ニューロンユニット２
２ａ〜２２ｄ、２３ａ　〜２３ｎを同時に且つ並列的に
動作させるための同期信号を発生する。

そして第５図に示すように各二ニーロンユニットの構成
を示し、ニューラルネットワークの学習データの作成に
ついて説明する。

このニューロンユニット２２内の演Ｎ器２６は、重みメ
モリ素子２７に予め格納される結合の重みの最初のデー
タと前記メモリ素子２０（図示せず）から送られてきた
最初のデータとの積が計算され、レジスタ２８に格納さ
れる。次に前記メモリ素子２０の２番目のデータと重み
メモリ素子２７の２番目のデータとの積が計算され、そ
の積と前記レジスタ２８の内容の和が計算され、改めて
前記レジスタ２８に格納される。

同様の処理がメモリ素子２ｏのデータについて繰り返し
行われ、前記メモリ素子２ｏに格納されている最後のデ
ータの処理が完了すると、前記レジスタ２８には、前述
した（１）式の二ニーロンユニットの出力ｘ１と重みｗ
ｌとの積のｎまでの和が記憶される。ここで、記号ｎは
前記メモリ素子２０に格納されているデータの数で入カ
ニニット数に対応している。

次に前記レジスタ２８の内容がら予め閾値メモリ素子２
９に格納されている前記（１）式のニューロンユニット
の入力閾値θに対応する値が取り出され、同様に関数テ
ーブル３ｏに格納されている前記（２）式のｆ　（ｘ）
とＸとの対応関係にょり前記（１）式の出力ｙが求めら
れ、ニューロンユニットの出力として出力バッファ３１
に格納される。

このような処理は、ニューロンユニット２２ａ〜２２ｄ
について、同時に且つ並列的に実行される。

さらに前記ニューロンユニット２３ａ〜２３ｎについて
前述した二ニーロンユニット２２ａ〜２２ｄと同様の処
理が行われる。

しかし入力データに関して、前記ニューロンユニット２
２ａ〜２２ｄではメモリ素子２０から入力されたが、前
記ニューロンユニット２３ａ〜２３ｎは、前記ニューロ
ンユニット２２ａ〜２２ｄの出力バッファ３１から順次
読み出されたデータが入力データとなる。

まず、最初にニューロンユニット２２ａの出力バッファ
のデータが読み出され、各二ニーロンユニット２３ａ〜
２３ｎに、予め重みメモリ素子２７に格納されている前
記ニューロンユニット２２ａとの結合の重みとの積が演
算器２６で計算され、レジスタ２８に格納される。

次にニューロンユニット２２ｂの出力バッファ３１の内
容について、各二ニーロンユニット２３ａ〜２３ｎの重
みメモリ素子２７に格納されているニューロンユニット
２２ｂとの結合の重みとの積が計算され、レジスタ２８
の内容と加え合わせた後、再びレジスタ２８に格納され
る。

このような処理を二ニーロンユニット２２Ｃ１２２ｄに
も繰り返し行い、各ニューロンユニット２３ａ〜２３ｎ
のレジスタ２８には、前述した（１）式のニューロンユ
ニットの出力Ｘ、と重みＷｌとの積の「４」までの和が
記憶される。ここで、「４」は中間ユニット数である。

次に前記レジスタ２８の内容から予め閾値メモリ素子２
３に格納されている各二ニーロンユニット２３８〜２３
ｎの閾値が取り出され、関数テーブル３０に予め格納さ
れている前記（２）式のｆ（ｘ）とＸとの対応関係によ
り前記（１）式の出力ｙが求められ、ニューロンユニッ
ト２３ａ〜２３ｎの出力バッファ３１を通して、画像メ
モリ素子２４に送られる。

このような処理は、第１図の前記メモリ素子４８〜４ｎ
に記憶されているＲ８０画像に対して、前記ニューラル
ネットワーク６ａ〜６ｎ、７ａ、〜７ｎ、８ａ〜８ｎに
よって、同時に且つ並列的に実行される。

まず、ニューラルネットワークの中間層および出力層に
属するニューロンユニットの前記（１）式における重み
Ｗ、と閾値θの決定は、通常のノイマン型のホストコン
ピュータ２５を用いて、ラメルハート（Ｒｕｍｅｌ　ｈ
ａｒｔ）等によって考案されたバックプロパゲーション
・アルゴリズム（一般化デルタルールとも称される）に
よって行われ（Ｄ、Ｅ、　　ラメルハート、Ｊ、Ｌ、マ
クレランド。

ＰＤＰリサーチグループ著、せ利俊−監訳、ｒＰＤＰモ
デル」第８章、産業図書、１９８９年）により得られた
結果を通常の撮像をする前に、ニューラルネットワーク
６ａ〜６ｎ、７ａ〜７ｎ。

８ａ〜８ｎの各ニューロンユニットの重みメモリ素子２
７及び閾値メモリ素子２９にそれぞれ格納される。

前記ニューラルネットワークの学習データの作成に相当
する前記重みＷ、と閾値θの決定方法を第１図の構成部
材を参照して説明する。

そしてトレーニング画像（例えば、カラーチャートや各
種表示画像等）について、前述した第１図に示す撮像装
置で撮像する。

撮像されたトレーニング画像は、プロセス処理３てＲＧ
Ｂ信号に変換され出力される。このＲＧＢ信号は、前記
Ａ／Ｄ変換器４ａ〜４ｎでデジィタル化され、前記メモ
リ素子５ａ〜５ｎにそれぞれ格納される。

この格納されたＲＧＢ信号をｓＸｔのブロックに分割し
て、ホストコンピュータ１０に読み込み、同時に元のト
レーニング画像をｓＸｔの大きさのブロックに分割して
、教師データとする。この教師データは、先のメモリ素
子５ａ〜５ｎのデータと共に、学習データとして登録す
る。

次に他の多数のトレーニング画像についても同様な手順
で学習データを作成して登録し、複数の学習データを得
る。

このようにして得られた前記学習データを各ＲＧＢに対
するｍ個のトレーニング画像について、ＭｘＮ個のニュ
ーラルネットワークの学習データをベクトル（マ：、Ｋ
Ｈ）−＜マ：ｘＮ　、　”ｉに−ｓ　）とする。ここで
、ベクトルＸ：ｋ（ｌ−ＩＬ　　・・・２ｍ１Ｊ−１，
・・・、Ｍ、に−１，・・・、Ｎ）は、１つのトレーニ
ング画像に対して、ｊｋ番目のニューラルネットワーク
が処理するデータをベクトルで表したものである。この
ベクトルの要素の数は、ブロックに含まれる画素数と一
致し、ニューラルネットワークの入力層のニューロンユ
ニット数となる。

またベクトル引ｋ（ｉ−１，・・・、　　ｍｓ　　ｊ−
１゜・・・、Ｍ、に−１，・・・、Ｎ）は、色収差が補
正され、すなわち、原画像と一致してニューラルネット
ワークの出力層に所望するベクトルパターンであり、要
素の数は、入カニニット数と一致している。

そして前記パックプロパゲーション・アルゴリズムによ
る各ニューラルネットワークは、Ｅ”−−Σ　（””’
ｙ　ｌｋ　　ｐ　ｒｈ）　　２　　　　・・・（３）２
　　＋−１ を最小にするように各二ニーロンユニットの重みと閾値
を変化させていく。ここで、ベクトルＶ　ｒｈ（ｉ　＝
１．・・・、ｍ）は、学習データベクトルマＩｋをｊｋ
番目のニューラルネットワークに入力したときに得られ
るニューラルネットワークの出力である。

また、ｍ組のデータを１度づつ入力してＥｊｋか最も減
少するように重みを変化させると、出力層の二ニーロン
ユニットｆと中間層のニューロンユニットｇとの間の重
みの変化量ΔＷ＋’は、で与えられ、中間層の二ニーロ
ンユニットｇと入力層のユニ一ロンユニッ）ｈの間の重
みの変化量△Ｗ＋’は、 ΔＷ：ｍｇ　＞Ｒ′４（ｙｊｋ″−ｄ；に″）　（１−
）”、”　）　Ｖ’、”　Ｗ；：’×（ｌ　　ｙｌ’ｌ
’　）　ｙｌｋｐ　ｙＩｋｐで与えられる。ここて、記
号εは正の定数であ（出、記号ｙｌｋｐ　、　　ｙＩｋ
ｐは、それぞれ学習データベクトルＴ　Ｉ　ｋをｊｋ番
目のニューラルネットワークに入力した時の出力層のユ
ニットｆ、中間層のユニットｇの出力である。記号ｙＩ
ｋｌ′は、ベクトルマ１′のｈ番目の要素であり、記号
ｒは、出カニニットの数である。なお、閾値θについて
は、各二ニーロンユニットに対して、常に「−１」が入
力する端子の重みと、考えれば、前記（４）式と前記（
５）式によって求めることができる。

それぞれの結合の重みに対して、前記（４）式と前記（
５）式を繰り返し実行して前記（３）式のＥｊｋが十分
小さくなったところで処理を完了して、その時の重みの
値を各二ニーロンユニットの重みメモリ素子２７と閾値
メモリ素子２９とに格納させる。

このような処理をＲＧＢ信号のそれぞれの画像を処理す
るＭＸＮ個のニューラルネットワークのすべてについて
行う。

従って、重みの値と閾値の最小値を求めることを繰り返
し行い、出力Ｅｌｋが十分小さくなった時に、レンズの
収差の補正が完了したと見なす。

以上ような本発明の撮像装置は、入力された光信号がＣ
ＣＤによって、電気信号に変化された後、ニューラルネ
ットワークでレンズの収差の補正を行うため、従来のよ
うなレンズの複雑な設計をする必要がなくなり、また、
個々のレンズに対応してニューラルネットワークが学習
され、収差が補正されるので、個々のレンズの精度を高
める必要がなくなる。

さらに複数のレンズの組み合わせによらず、収差の補正
をすることができるので、レンズの群数が少なくて済み
、前記ＣＣＤがらの電気信号を複数のブロック単位に分
割することにより、メモリ素子の数を少なくすることが
できる。

さらに本発明の撮像装置は、順次入力されるディジタル
信号に追従して、レンズ収差の補正が、リアルタイムに
実行することができる。

また本発明は、前述した一実施例に限定されるものでは
なく、他にも発明の要旨を逸脱しない範囲で種々の変形
や応用が可能であることは勿論である。

［発明の効果］ 以上詳述したように本発明によれば、集光された光信号
からディジタル化され所定分割されたディジタル信号が
予め学習したニューラルネットワークに順次入力され、
レンズ収差が補正されて出力される撮像装置を提供する
ことができる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る撮像装置の概略的な構
成を示すブロック図、第２図はＲＢＧ画像信号をＭｘＮ
個に分割した構成を示す図、第３図（ａ）はニューラル
ネットワークの概念的な構成を示す構成図、第３図（ｂ
）は入力層の入力信号と対応するＣＣＤの各画素の構成
を示す図、第４図はニューラルネットワークの一構成を
示すブロック図、第５図はニューロンユニットの構成を
示すブロック図である。 １・・・レンズ、２・・・ＣＣＤ、２ａ・・・映像信号
（電気信号）、３・・・プロセス処理装置、４ａ〜４ｎ
・・・Ａ／Ｄ変換器、５ａ〜５ｎ・・・メモリ素子、６
ａ〜６ｎ、７ａ〜７ｎ、８ａ〜８　ｎ・・−ニューラル
ネットワーク、９・・・画像メモリ素子、１０・・ホス
トコンピュータ。 出願人代理人　弁理士　坪井　　厚 部２０ 第３０（ａ）

Claims (1)

1. 【特許請求の範囲】 光学的レンズ手段と、 前記光学的レンズ手段により集光された光像を電気信号
   に変換する光電変換手段と、 前記光電変換手段からの電気信号が、デジィタル信号に
   変換されるＡ／Ｄ変換手段と、 前記Ａ／Ｄ変換手段から所定のデジィタル信号が入力す
   る複数のニューロンユニットと、前記複数のニューロン
   ユニットに所定トレーニング画像を用いて、該ニューロ
   ンユニットのそれぞれに対応付ける重みと閾値データを
   予め学習させる学習演算手段と、 前記複数のニューロンユニットが複数段の階層構造で隣
   接する階層間に結合して構成され、学習演算手段予め学
   習した重みと閾値データに基づき、前記Ａ／Ｄ変換手段
   から順次入力される前記所定のデジィタル信号の重みと
   閾値を最小にすることによって、レンズ収差を補正する
   ニューラルネットワークとを具備することを特徴とする
   撮像装置。