JP3129069B2 - 画像記録・再生システム及び撮影装置 - Google Patents

画像記録・再生システム及び撮影装置

Info

Publication number
JP3129069B2
JP3129069B2 JP05332436A JP33243693A JP3129069B2 JP 3129069 B2 JP3129069 B2 JP 3129069B2 JP 05332436 A JP05332436 A JP 05332436A JP 33243693 A JP33243693 A JP 33243693A JP 3129069 B2 JP3129069 B2 JP 3129069B2
Authority
JP
Japan
Prior art keywords
image
blur
data
recording
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05332436A
Other languages
English (en)
Other versions
JPH06343159A (ja
Inventor
学 井上
啓二 玉井
重晃 今井
克行 難波
Original Assignee
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミノルタ株式会社 filed Critical ミノルタ株式会社
Priority to JP05332436A priority Critical patent/JP3129069B2/ja
Publication of JPH06343159A publication Critical patent/JPH06343159A/ja
Application granted granted Critical
Publication of JP3129069B2 publication Critical patent/JP3129069B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カメラ等の撮影装置、
及びその撮影装置によって撮影された画像を再生する再
生装置からなる、画像記録・再生システムに関する。さ
らに詳しくは、手ブレ状態で撮影された場合において
も、撮影装置側でブレに関する情報を検出し、再生装置
側でそのブレ情報に基づいて再生画像のブレを補正する
システムに関する。
【0002】
【従来の技術】従来から、銀塩カメラやビデオカメラに
おいて、ブレを補正する装置が多く提案されている。こ
れらは角速度センサなどを用いてカメラの振動(手ブ
レ)を検出し、検出されたブレ情報に基づいて撮影光学
系を駆動することにより被写体像がブレるのを防いでい
る。またビデオカメラにおいては、撮影光学系を駆動す
る代わりに、撮像センサの画像読み出し範囲をブレの方
向・速度にあわせてシフトさせる方法も提案されてい
る。この方法は、ビデオカメラでは撮像時に被写体が移
動した場合、被写体像は撮像領域内の所定の画像読出範
囲外にシフトして結像されるから、このシフトした画像
が撮像センサの撮像領域内にある場合は、画像読出範囲
を上記シフトした量だけずらせて撮像画像を読み出すよ
うにしたものである。
【0003】しかしながらこれらのブレ補正装置はいず
れもカメラに備えられていた。ブレ補正装置をカメラに
設ける場合、補正のための光学系やその駆動装置を設け
なければならず、カメラの大型化や重量の増大という問
題があった。また上記の撮像センサの画像読み出し範囲
をシフトさせる方法においても、ブレ補正のためにシフ
ト量の検出及びシフト量に応じた読出範囲の変更制御を
要するため、制御や構成が複雑化し、カメラの高価格化
という問題があった。
【0004】本願出願人は上記問題点を解決する方法と
して、本願と同日付け出願において、カメラ側ではブレ
を検出してそのブレ情報を記録し、再生装置側ではカメ
ラ側で記録したブレ情報に基づいて画像処理によって再
生画像のブレを補正するというシステムを提案してい
る。この方法によればカメラ側にブレ補正装置を設ける
必要がなく、カメラの大型化や高価格化を防ぐことがで
きる。
【0005】上記の画像処理によるブレ補正の一例とし
て、カメラ側で検出したブレの特性を示す関数(以下、
劣化関数という)を用いて、ブレによって劣化した画像
を補正するという方法があげられている。しかしなが
ら、その画像処理の入力がブレ画像の画像データと劣化
関数だけでは、数学的に求めたい原画像(ブレる前の画
像)の解が不定となる場合が多い。そこで、その不定と
なる解の一部をある値に仮定あるいは近似しなければな
らない、という問題が新たに生じる。
【0006】
【発明が解決しようとする課題】そこで本発明では、上
述従来例の問題点を解決し、カメラ側にはブレ補正装置
を設けずにブレ検出装置だけを設け、再生装置側に画像
処理によってブレを補正する装置を設けた画像記録・再
生システムにおいて、上記画像処理による原画像の復元
をより正確なものにすることを目的とする。
【0007】
【課題を解決するための手段】このような目的を達成す
るために、本発明の画像記録・再生システムにおいて
は、被写体像を所定の記録媒体に記録する撮影装置と前
記記録媒体に記録された画像を再生する再生装置からな
る画像記録再生システムにおいて、被写体画像を前記記
録媒体に記録する画像記録手段と、被写体との相対的な
ブレに関する情報を検出して出力するブレ検出手段と、
前記記録媒体に記録された画像を再生する画像再生手段
と、前記記録媒体に記録された画像とは異なる画像デー
タを出力する出力手段と、前記ブレ検出手段によって出
力されたブレ情報と前記出力手段によって出力された画
像データとに基づいて、前記記録媒体に記録された画像
を補正する補正手段とを有する(請求項1)。また、請
求項2の発明においては、前記出力手段が出力する画像
データは、特定の一定値であることを特徴とする。
【0008】
【0009】請求項3に係る撮影装置は、画像処理手段
を有する再生装置に装填可能な記録媒体が着脱可能な撮
影装置において、被写体画像を前記記録媒体に記録する
第1の記録手段と、被写体との相対的なブレに関する情
報を検出して出力するブレ検出手段と、前記ブレ検出に
用いられる画像データを前記記録媒体に記録する第2の
記録手段と、前記ブレ検出手段から出力されるブレ情報
を前記記録媒体に記録する第3の記録手段とを有する。
【0010】
【作用】請求項1の発明によると、ブレ補正のための画
像処理において、撮影された画像からは得られない入力
データの代わりに、上記出力手段によって出力される、
記録媒体に記録された画像とは異なる画像データを入力
するので、原画像を復元するための数学的演算において
解が不定となることを防ぐことができる。
【0011】請求項2の発明によると、出力手段によっ
て出力される画像データは特定の一定値であるため、撮
影装置側に画像情報を得るための構成を設けたり、再生
装置側で画像情報を求めるための演算を行ったりする必
要がなく、簡単な構成のシステムを実現できる。
【0012】
【0013】請求項3によると、撮影装置側に被写体画
像を記録するための第1記録手段とは別に、第2記録手
段が設けられている。この第2記録手段はブレ補正のた
めの画像処理に用いられるデータを記録するために設け
られたものである。第2記録手段は、前記ブレ検出に用
いられる画像データを前記記録媒体に記録する。この画
像データをブレ補正の画像処理に入力することにより、
正確に原画像を復元することが可能になる。
【0014】
【実施例】以下本発明の実施例を図面を参照しながら説
明する。なお本実施例においては、撮影装置には銀塩カ
メラを用い、再生装置には銀塩カメラによってフィルム
上に記録された画像をテレビモニタ上に再生するフィル
ムビデオプレーヤーを用いて説明を行うものとする。
【0015】図1は本発明にかかる画像記録・再生シス
テムの外観図である。1はブレ検出機能を有するカメラ
であり、検出したブレ情報は撮影した画像とともに、フ
ィルム上に記録されるものとする。このブレ情報の詳細
については、後述する。撮影が終了したフィルムは、現
像所において現像された後、カートリッジ2に収納され
た形で撮影者に返却される。3は再生装置であり、カー
トリッジ2が装填されると、フィルム上に記録された画
像をCCD(Charge Coupled Device)等からなるエリ
アセンサで光電変換して読み取り、電気信号に変換され
た画像をテレビモニタ4上に再生する。なお、再生装置
3はブレを補正する機能を有しており、カメラ1によっ
てフィルム上に記録されたブレ情報に基づき画像処理に
よってブレ補正を行う。従って、手ぶれ状態で撮影され
た画像であっても、テレビモニタ4にはブレが補正され
た鮮明な画像が再生される。
【0016】図2は本発明にかかる、ブレ検出機能を有
するカメラ1の外観図である。カメラ1は、ブレ情報検
出用の被写体の画像を読み取るための撮像部を備えてい
る。撮像部は、上記被写体の光像を電気信号に光電変換
して読み取るブレ検出センサ14とそのブレ検出センサ
14の撮像面上に被写体像を結像する光学系13とから
なる。上記光学系13は、フィルム面12上に撮影用の
被写体像を結像する撮影レンズ11の上部に設けられ、
ブレ検出センサ14は上記光学系13の光軸上の後方適
所に設けられている。
【0017】シャッタボタン15は、測光・測距の指示
及びレリーズを指示する操作ボタンで、シャッタボタン
15の操作に連動して後述のスイッチS1,S2がON
・OFFするようになっている。
【0018】スイッチS1がONになると、測光及び測
距が行なわれ、AF(Auto Focus)制御及び露出制御値
の設定が行なわれる。スイッチS2がONになると、設
定された露出制御値に基づき撮影(露出制御)が行なわ
れると共に、この露出制御期間中に上記ブレ検出センサ
14によりその撮影画像に対するブレ情報が演算され
る。なお、ブレ情報の演算の詳細については後述する。
【0019】図3は上記カメラ1の主要部を示すブロッ
ク図である。21はメインCPUであり、カメラ全体の
制御を行う。SPD(Silicon Photo Diode)からなる測
光センサ22及び測光部23は、被写体輝度を測定する
もので、測光センサ22で検出された輝度信号は測光部
23に入力され、測光部23は、この輝度信号に基づい
て測光値を演算する。この演算結果は、メインCPU2
1に入力される。撮影レンズ11は焦点調節駆動部24
を通して焦点調節が行われる。撮影レンズ回路25に
は、撮影レンズ11に固有のレンズのF値、焦点距離
f、等が記憶されている。シャッタ羽根26は、シャッ
タ駆動部27によって駆動される。フィルム巻き上げ部
28はカメラに装填されたフィルムの巻き上げ及び巻き
戻しを行う。AFモジュール29は焦点検出動作を行
い、被写体までの距離を検出する。
【0020】スイッチS1はシャッタボタン15の第1
ストロークでオンし、測光及びAF動作を開始させる。
スイッチS2はシャッタボタン15の第2ストロークで
オンし、レリーズ動作を開始させる。露出補正量入力部
30は、測光部23の測光結果に基づいてメインCPU
21により設定される露出制御値を補正する場合に、そ
の補正量を入力するものである。
【0021】ブレ検出部32は、撮影レンズ11によっ
てフィルム上に結像された被写体像の移動量(像ブレ
量)を検出するものである。ブレ検出部32は後述する
ように、露光時間中に所定時間ごとに被写体像の結像位
置を複数回検出し、各結像位置と撮影開始直後の被写体
像の結像位置(初期結像位置)とを比較して所定時間ご
との被写体像の移動量を検出する。この各移動量は、初
期結像位置に対する所定時間経過後の結像位置の距離と
して算出され、この算出結果はその撮影画像のブレ情報
として情報書込部33によりフィルム上に記録される。
この情報書込部33は、ブレ検出部32によって検出さ
れたブレ情報のほかに、日付や露出値等の撮影情報もフ
ィルム上に記録する。この場合、フィルム上に光学的に
写しこんでもよいし、また磁気ヘッドなどを備え、磁気
的にフィルム上に記録してもよい。なお、フィルム上に
光学的あるいは磁気的に情報を記録する技術は、既に公
知であるのでこれに関する説明は省略する。
【0022】次に図4を参照して、ブレ検出部32の内
容を説明する。ブレ検出センサ14は、CCDからなる
撮像部41(以下、CCD41という)、CCD41か
ら出力される画像信号を増幅する出力アンプ42及びC
CD41に結像された被写体像の照度をモニタする照度
モニタ回路43を含み、上記CCD41の撮像動作の制
御、すなわち、電荷蓄積時間(積分時間)の制御は、ク
ロックジェネレーター45により行なわれるようになっ
ている。CCD41は、入射光をRGBの3原色に分光
する分光フィルタ64を備えており、RGBそれぞれの
色成分を電気信号に変換して出力する。またブレ検出セ
ンサ14は、センサデータメモリ65を備えている。こ
のメモリ65にはCCD41の画素数、画素ピッチ、撮
像範囲等のデータ、及びブレ検出光学系13の焦点距離
等のデータが記憶されている。これらのデータは、コン
トロールCPU63から情報書込部33を通してフィル
ム上に記録され、後述の再生装置によるブレ補正演算に
用いられる。
【0023】ブレ検出光学系13は焦点距離fdの単焦
点レンズであり、CCD41上に被写体像を結像するた
めの光学系である。なお、このブレ検出光学系13は、
フィルムに記録される被写体像と同じ範囲をCCD41
上に結像するよう構成してもよいし、フィルムに記録さ
れる被写体像の1部分のみ(例えば中央部のみ等)を拡
大して結像するよう構成しても良い。このようにする
と、同一範囲を撮像する画素数が相対的に増加するた
め、被写体像に対するCCD41の分解能が高くなり、
より細かくブレ検出を行うことができる。
【0024】クロックジェネレーター45は、CCD4
1、D/Aコンバータ48、感度バラツキ補正メモリ4
9、暗出力補正メモリ50及びA/Dコンバータ51の
駆動用クロックを発生するものである。また、クロック
ジェネレーター45は、上記照度モニタ回路43から入
力される被写体像の照度に関する信号に基づきCCD4
1の電荷蓄積時間の制御信号を生成する。
【0025】差動アンプ46は、ブレ検出センサ14か
ら出力される、CCD41を構成する各画素で受光され
た信号(以下、画素信号という)の暗出力レベルの補正
を行なうものである。ゲインコントロールアンプ47
は、上記画素の感度バラツキに起因する上記画素信号の
誤差を補正するものである。感度バラツキに起因する画
素信号の誤差を補正するデータ(以下、感度バラツキ補
正データという)は、感度バラツキ補正メモリ49に記
憶され、上記暗出力レベルを補正するデータ(以下、暗
出力補正データという)は、暗出力補正メモリ50に記
憶されている。D/Aコンバータ48は、上記暗出力補
正メモリ50から読み出された暗出力補正データをデジ
タル信号からアナログ信号に変換して上記作動アンプ4
6に入力するものである。
【0026】CCD41で被写体像の撮像が終了する
と、被写体の画像を構成する各画素信号が順次、差動ア
ンプ46に読み出されると共に、これに同期して対応す
る暗出力補正データが上記暗出力補正メモリ50から読
み出され、D/Aコンバータ48によりD/A変換され
て差動アンプ46に入力される。そして、差動アンプ4
6により画素信号レベルから暗出力の補正レベルを減算
して暗出力レベルの補正が行なわれる。
【0027】暗出力レベルの補正後、各画素信号は、ゲ
インコントロールアンプ47に入力される。各画素信号
の入力に同期して感度バラツキ補正メモリ49から感度
バラツキ補正データが読み出され、この補正データによ
りゲインコントロールアンプ47のゲインが設定され
る。そして、各画素信号は、ゲインコントロールアンプ
47により所定のゲインでレベル調整されることにより
感度バラツキに起因する誤差が補正される。
【0028】上記ゲインコントロールアンプ47から出
力される画素信号は、A/Dコンバータ51によりアナ
ログ信号からデジタル信号に変換されて基準部メモリ5
2又は参照部メモリ53に記憶される。基準部メモリ5
2は、撮影中における被写体像の移動量を検出するため
の基準となる画像(撮影開始時に撮像された画像、以下
基準画像という)を構成する画素データを記憶するメモ
リである。参照部メモリ53は、上記基準画像と比較さ
れる画像が記憶されるメモリで、撮影開始後所定時間ご
とに撮像される各被写体像の画像(以下、参照画像とい
う)を構成する画素データが更新的に記憶される。
【0029】上記基準メモリ52及び参照部メモリ53
は、それぞれRGBの各色の画像を記憶する記憶領域
(計3画面分の記憶領域)を有している。アドレス生成
器54は、上記基準画像及び参照画像の画素データをそ
れぞれ基準部メモリ52と参照部メモリ53とに記憶す
る際のアドレスデータを生成するものである。
【0030】演算器55は、ブレ情報演算における縦コ
ントラストデータ、横コントラストデータ、及び相関デ
ータを演算するもので、減算回路56、絶対値回路5
7、加算回路58及びレジスタ59からなる。相関デー
タメモリ60、縦コントラストメモリ61、及び横コン
トラストメモリ62は、それぞれ上記相関データ、及び
縦コントラストデータ、横コントラストデータ、を記憶
するものである。なお、縦/横コントラストデータ、及
び相関データの詳細は、後述する。
【0031】コントロールCPU63は、上記ブレ検出
部32の各構成部材の動作を集中制御するものである。
コントロールCPU63は、上記クロックジェネレータ
ー45の駆動を制御してブレ情報検出用の被写体像を撮
像させ、上記アドレス生成器54の駆動を制御して撮像
された基準画像及び参照画像の画像データをそれぞれ基
準部メモリ52と参照部メモリ53とに記憶させる。さ
らに、コントロールCPU63は、上記相関データメモ
リ60、縦コントラストメモリ61及び、横コントラス
トメモリ62に記憶された各種データを用いてブレ情報
を演算する。
【0032】次にブレ検出の方法を示す。なお、本発明
においては、被写体像をRGB成分に分解し、それぞれ
の色成分についてブレを検出するが、以後のブレ検出の
方法の説明においては、R成分についてのみ説明する。
残りのG,B成分については、R成分と全く同じ方法で
ブレを検出するので、説明を省略する。
【0033】分光フィルタ64によって抽出された被写
体像のR成分は、CCD41によって2次元の画像デー
タに変換される。そしてその画像データを用いて、時間
経過に伴う被写体像の移動量(ブレ量)を演算すること
により、R成分の被写体像のブレを検出する。
【0034】ブレ検出のシーケンスは、 (1)ブロックの選択 (2)相関演算 (3)補間演算 の3つの部分に大きく分けることができる。まずブロッ
ク選択とは、CCD41の撮像領域を複数の小領域のブ
ロックに分割し、このブロックの中からブレ検出に適し
た複数のブロックを選択する処理である。CCD41の
撮像面に結像された被写体像には、ブレ検出に適した部
分もあれば、そうでない部分もある。ブロック選択の処
理では、CCD41がR成分に対してI×J個の画素を
有するエリアセンサであるとすると、この撮像領域がM
×N個の小領域のブロックに分割され、これらブロック
のうち、コントラストの高い画像を含む複数のブロック
がブレ検出に適した領域(以下、ブレ検出領域という)
として選択される。
【0035】なお、上記CCD41のR成分に対するI
×Jの画素配列に対し、基準部メモリ52及び参照部メ
モリ53は、R成分に対してI×Jワードの容量を有
し、縦コントラストメモリ61及び横コントラストメモ
リ62は、それぞれR成分に対してM×Nワードの容量
を有する。また、上記各メモリ52,53,61,62
は、その他の色成分G,Bについても同じ容量を有して
いる。
【0036】次に、相関演算は、基準画像とその基準画
像と同一の位置及び同一位置から所定画素数だけ離れた
複数の位置の参照画像とを比較し、各位置における両画
像の差異の程度を示す相関値を演算するものである。基
準画像と参照画像との差異が小さいほど、相関値は小さ
くなり、相関値が最小となる位置は、そのブレ検出時に
おける被写体像の結像位置と推定される。従って、基準
画像と同一の位置から相関値が最小となる位置までの距
離(画素ピッチ×画素数)がそのブレ検出時における被
写体像の移動量と推定される。
【0037】上記相関演算は、選択された各ブレ検出領
域の画像について行なわれる。各ブロックにK×L個の
画素が含まれているとすると、同一位置における基準画
像と参照画像との比較は、(K×L)個の画素信号につ
いて、基準画像を構成する画素信号とその画素信号と同
一位置の参照画像を構成する画素信号とをそれぞれ比較
して行なわれる。
【0038】また、基準画像とその基準画像から所定画
素数±h(h=1,2,…)だけ離れた位置における参
照画像との比較は、参照画像が行方向に離れた場合と列
方向に離れた場合について行なわれる。
【0039】例えば参照画像が基準画像と同一位置から
+m画素だけ行方向に離れている場合は、(K−m)×
L個の画素信号について、基準画像を構成する画素信号
とその画素信号と同一位置から+m画素だけ行方向に離
れた位置の参照画像を構成する画素信号とをそれぞれ比
較して行なわれる。同様に参照画像が基準画像と同一位
置から+n画素だけ列方向に離れている場合は、K×
(L−n)個の画素信号について、基準画像を構成する
画素信号とその画素信号と同一位置から+n画素だけ列
方向に離れた位置の参照画像を構成する画素信号とをそ
れぞれ比較して行なわれる。
【0040】上記のように相関演算では、画素数h=
0,±1,±2…,だけ離れた位置における相関値が算
出される。算出される相関値の数をHとすると、相関デ
ータメモリ60は、RGBの各色成分に対してそれぞれ
H×Hワードの容量を有している。
【0041】さらに、補間演算は、相関演算で算出され
た被写体像の移動量の補間を行なうものである。上記の
ように相関演算では、基準画像と同一の位置から所定画
素数hだけ離れた位置の参照画像と基準画像との相関値
が最小であれば、この位置を被写体像の移動位置と推定
しているので、真の相関値の最小位置が上記推定位置の
1画素ピッチの範囲内ある場合は、この分誤差が生じる
ことになる。補間演算は、相関演算で算出された複数の
相関値を用いて真の相関値の最小位置を推定し、上記誤
差を低減するものである。
【0042】以下、R成分に対するブレ検出手順を上記
(1)〜(3)の部分に分けて順に説明する。
【0043】なお本実施例では、I=68、J=58、
K=L=8、M=8、N=6及びH=5の場合について
説明する。また、A/Dコンバータ51の分解能は8ビ
ット、レジスタ59は14ビットであり、相関データメ
モリ60、縦コントラストメモリ61及び横コントラス
トメモリ62の1ワードは、それぞれ14ビットで構成
されているものとする。
【0044】図5は、CCD41のR成分に対する撮像
面の模式図である。図中、最小の正方形の1つ1つは画
素を示しており、太線で囲まれた正方形はブロックを示
している。図中、左下端の画素をP1,1、右上端の画素
をP68,52とし、また、左下端のブロックをB1,1、右上
端のブロックをB8,6とする。各ブロックBk,l(k=1
〜8,l=1〜6)は、8×8個の画素Pi,j(i=8k-5
〜8k+2,j=8l-5〜8l+2)で構成される。
【0045】なお、ブロックの外側に2画素分の周縁部
を設けているのは、各ブロックの周縁部に接する部分の
画素について相関演算を可能にするためである。本実施
例では、相関演算において、最大±2画素分だけシフト
した参照画像を基準画像と比較するようにしているの
で、ブロックの周囲に2画素分の周縁部を設けている。
一般に、参照画像の最大のシフト量を±hとすると、ブ
ロックの周囲には少なくともh画素分の周縁部を設ける
ようにする。
【0046】(1)ブロックの選択 このブロック選択の動作では、各ブロックごとに被写体
像のコントラストが計算され、縦方向のコントラストの
大きいブロック4個、及び横方向のコントラストの大き
いブロック4個、計8個のブロックがブレ検出領域とし
て選択される。
【0047】まず、CCD41の出力(画像データ)
が、基準部メモリ52及び参照部メモリ53の両方に記
憶される。このデータを用いて各ブロックの縦方向のコ
ントラスト及び横方向のコントラストが計算される。
【0048】各ブロックBk,l(k=1〜8、l=1
〜6)の縦方向のコントラスト演算の手順は以下のとお
りである。
【0049】 レジスタ59をクリアする。 減算回路56の一方の入力に基準部メモリ52に記
憶された画素データP8k-5,8l-5を、もう一方の入力に
参照部メモリ53に記憶された画素データP8k- 5,8l-4
を、それぞれ与えるようなアドレスデータをアドレス生
成器54が生成する。 減算回路56は入力された2つの画素データを減算
し、その出力が絶対値回路57によって絶対値化され
る。 絶対値化されたデータは、加算回路58によってレ
ジスタ59の内容に加算される。
【0050】以下、アドレス生成器54が適切なアドレ
スデータを生成することにより、順次画素をシフトさせ
ながら上記〜の動作を繰り返す。この動作を繰り返
すことにより、レジスタ59にはブロックBk,lの縦方
向のコントラストVCk,lが記憶される。なお、ブロッ
クBk,lの縦方向のコントラストVCk,lは以下の式で示
される。
【0051】
【数1】
【0052】レジスタ59に記憶された上記VC
k,lは、縦コントラストメモリ61の所定のアドレスに
転送されて、ブロックBk,lの縦コントラストとして記
憶される。上記〜の動作を繰り返すことにより全ブ
ロックの縦方向のコントラストが次々と演算され、縦コ
ントラストメモリ61に記憶される。
【0053】次に、各ブロックの横方向のコントラスト
を演算する。横方向のコントラストは、アドレス生成器
54が適正なアドレスデータを順次生成することによ
り、上記縦方向と全く同様の演算によって求められる。
レジスタ59には、ブロックBk,lの横方向コントラス
ト、
【0054】
【数2】
【0055】が記憶される。その後HCk,lは、横コン
トラストメモリ62の所定のアドレスに転送されて、ブ
ロックBk,lの横コントラストとして記憶される。
【0056】コントロールCPU63は、以上の手順で
得られた各ブロックの縦方向及び横方向のコントラスト
を参照してブロックの選択を行う。8×6個のブロック
のうち、縦方向・横方向のそれぞれについてコントラス
トの高い順に4個ずつのブロックを選択する。選ばれた
計8個のブロックをB1〜B8とする。
【0057】ブロック選択終了後、コントロールCPU
63は、基準部メモリ52に記憶された基準画像の画素
データを読み出し、情報書込部33に出力する。情報書
込部33は、フィルム巻き上げ時に、この入力された基
準画像の画素データを初期画像データとしてフィルムに
記録する。この初期画像データは再生装置側において、
ブレ補正演算を行う際にデータとして入力されるもので
あり、この初期画像データの入力によって、再生装置は
より正確なブレ補正を行うことが可能となる。なお、こ
の初期画像データは、基準部メモリ52に記憶された基
準画像の画素データのすべてをフィルム上に記録しても
良いし、また基準画像の所定の一部分の画素データのみ
を抽出して記録しても良い。この初期画像データの記録
に関しては後に詳述する。
【0058】(2)相関演算 基準部メモリ52には、コントラストの演算に用いられ
た基準画像を構成する画素データがそのまま残される。
参照部メモリ53には、CCD41から次々と出力され
る新しいデータが参照画像を構成する画素データとして
記憶される。参照部メモリ53に新しくデータが記憶さ
れる度に基準画像を構成する画素データと参照画像を構
成する画素データとが比較され、両画像間の空間的ズレ
(移動量)が被写体像のブレとして検出される。画像間
の移動量は以下に説明する相関演算・補間演算によって
算出される。
【0059】ブロックBk,lの相関演算結果(相関値)
を以下の式で定義する。
【0060】
【数3】
【0061】ここでSi,jは基準部メモリ52に記憶さ
れた(i,j)位置の画素Pi,jに対応する画素デー
タ、Ri,jは参照部メモリ53に記憶された(i,j)
位置の画素Pi,jに対応する画素データである。そして
上記(1)のブロック選択の動作で選択した8個のブロ
ックB1〜B8に対応する相関値をそれぞれC1(m,
n)〜C8(m,n)とし、その総計を
【0062】
【数4】
【0063】で定義する。
【0064】上記相関演算を行うために、減算回路56
の一方の入力には基準部メモリ52に記憶された画素P
i,jの画素データSi,j、もう一方の入力には参照部メモ
リ53に記憶された画素Pi+m,j+nの画素データR
i+m,j+nが入力される。アドレス生成器54が、適切な
アドレスデータを順次生成することにより、レジスタ5
9にはC(m,n)が記憶され、相関結果メモリ60の
所定のアドレスに転送・記憶される。上記の処理がすべ
てのm,nについて行われ、計5×5個の相関値C
(m,n):(m,n=0,±1,±2)が相関結果メ
モリ60に記憶される。
【0065】(3)補間演算 図6は、上記相関演算によって求められたC(m,n)
の分布を示す図である。相関値C(m,n)は、基準画
像と参照画像の間に全くズレが無い場合は、C(0,
0)=0となり、この点から遠ざかるほど大きい値を持
つようになる。また、参照画像が基準画像に対して右に
0画素、上にn0画素ズレていたとすると、C(m0
0)=0となり、この点から遠ざかるほど大きい値を
持つ。
【0066】しかしながら、像のズレは画素の整数倍と
は限らない。図6はこのような場合の相関値C(m,
n)の分布の様子を表したものである。図6を参照し
て、実際に値が得られているのは図中の格子点上だけで
あるが、格子間にも値が存在するものと想定し、相関値
が等しい大きさ(高さ)と考えられる点を等高線で結ん
でいる。等高線の中心MPの座標は(x0,y0)であ
り、C(x0,y0)=0と想定される。
【0067】コントロールCPU63は、相関結果メモ
リ60に記憶された相関値C(m,n):(m,n=
0,±1,±2)を用いて補間演算を行い、C(x0
0)=0となる点MP、すなわち参照画像の基準画像
に対する移動量(x0,y0)を算出する。この算出手順
について以下に具体的に説明する。
【0068】まず、C(m,n)の最小値C(m0
0)を見つける。点(m0,n0)は図6中の格子点の
中で、点(x0,y0)に最も近接する点と考えられる。
【0069】次に、まず横方向について、x0を求める
ために、2つの相関値C(m0−1,n0)とC(m0
1,n0)の大小関係により、横方向の相関値の分布状
態を下の(a)〜(d)に分類する。なお、図7の
(a)〜(d)は、それぞれ下の(a)〜(d)の場合
に対応した図である。
【0070】(a) m0=0 or ±1 かつ C(m0
1,n0)≧C(m0+1,n0)の場合 x0はm0≦x0<m0+1の範囲内にあると判断する。そ
して、点(m0−1,C(m0−1,n0))と、点
(m0,C(m0,n0))を結ぶ直線uと、点(m0
1,C(m0+1,n0))を通り、傾きが直線uと逆符
号の直線vとの交点のm座標をx0とする。なお、この
ようにして求めたx0は以下の式で演算される。
【0071】
【数5】
【0072】(b) m0=0 or ±1 かつ C(m0
1,n0)<C(m0+1,n0)の場合 x0はm0−1≦x0<m0の範囲内にあると判断する。そ
して、点(m0+1,C(m0+1,n0))と、点
(m0,C(m0,n0))を結ぶ直線u’と、点(m0
1,C(m0−1,n0))を通り、傾きが直線u’と逆
符号の直線v’との交点のm座標をx0とする。なお、
このようにして求めたx0は以下の式で演算される。
【0073】
【数6】
【0074】(c)m0=−2の場合 及び (d)m0
=2の場合 想定している最大のブレ量を超えるブレが発生したと判
定し、ブレ量の検出は不可能とする。
【0075】以上の手順によって、横方向のブレ量x0
が算出される。同様に2つの相関値C(m0,n0−1)
とC(m0,n0+1)の大小関係によって、縦方向の相
関値の分布状態を分類し、縦方向のブレ量y0が算出さ
れる。
【0076】上記(1)〜(3)の演算により、R成分
に対する横方向のブレ量x0と縦方向のブレ量y0が求め
られる。なお、G,B成分についても上記演算によって
全く同様に縦/横方向のブレ量が得られる。
【0077】次に、ブレの検出タイミングとその記録に
ついて説明する。図8は、R成分における被写体像の移
動(ブレ)とカメラのブレ検出のタイミングとの関係を
示している。横軸tは時間を示しており、縦軸Xは横方
向における被写体像の位置を示している。なお、ここで
は簡単のため、横方向のブレのみについて説明を行う。
縦方向については、横方向と全く同様となるので説明を
省略する。
【0078】図中、t0,t1,t2,t3,…はCCD4
1の積分開始時刻を、t0’,t1’,t2’,t3’,…
は積分終了時刻を示す。曲線70はCCD41上におけ
る横方向の被写体像の位置を示しており、点Pxsは露
光開始時刻t=tsにおける位置である。
【0079】点Px0,Px1,Px2,Px3,…は積分
期間t0〜t0’,t1〜t1’,t2〜t2’,t3
3’,…における被写体像のCCD41上での平均的
な位置を示している。なお、ここでは、近似的に積分期
間の中心時刻tm0=(t0+t0’)/2,tm1=(t1
+t1’)/2,tm2=(t2+t2’)/2,tm3
(t3+t3’)/2,…における被写体像の位置とす
る。
【0080】本実施例のカメラにおいては、時刻ts
露光が開始された直後にCCD41の最初の積分(積分
期間t0〜t0’)が行われる。この最初に出力される画
像データ(初期画像データ)は基準部メモリ52及び参
照部メモリ53に記憶される。そして記憶された初期画
像データを用いて、上述のコントラスト演算、及びブロ
ック選択が行われる。
【0081】2回目以降の積分(積分期間t1〜t1’,
2〜t2’,t3〜t3’,…)によって出力される画像
データは、次々と参照部メモリ53に記憶される。な
お、基準部メモリ52には最初に記憶した初期画像デー
タをそのまま記憶しておく。繰返し積分が行われて画像
データが出力される度に、基準部メモリ及び参照部メモ
リに記憶された両画像データを用いて、横方向の被写体
像の移動量:Px1−Px0,Px2−Px0,Px3−P
0,…、及び縦方向(不図示)の被写体像の移動量:
Py1−Py0,Py2−Py0,Py3−Py0,…が検出
される。
【0082】なお、被写体像の移動量は、正確には露光
開始時刻tsにおける被写体像の位置と各積分時刻にお
ける被写体像の平均位置との距離であるから、各積分時
刻における被写体像の移動量データは、以下の数7に示
すようにすべきであるが、本実施例では、tm0≒ts
Px0≒Pxs,Py0≒Pysと近似し、以下の数8に示
すようにしている。上記近似によりブレデータ0は、常
に0となる。
【0083】
【数7】
【0084】
【数8】
【0085】以上説明した方法により、R成分に対する
時刻データt、横方向ブレ量データX、縦方向ブレ量デ
ータYが求めらる。またその他のG,B成分について
も、同様の方法によって、時刻データ及び縦/横ブレ量
データが求められる。これらのブレデータは情報書込部
33により、フィルム巻き上げ時にフィルム上に記録さ
れる。また、ブロック選択後に読み出された初期画像デ
ータについても、RGBそれぞれの初期画像データがフ
ィルム巻き上げ時に記録される。
【0086】次に、CCD41の積分時間の制御につい
て説明する。図9(A)は、上記照度モニタ回路の回路
構成図である。照度モニタ回路43は、SPDからなる
受光素子431、その受光素子431から出力される電
流を積分し、その積分値を出力する積分回路432、及
びその積分回路432の積分値をリセットするリセット
スイッチ433から構成されている。
【0087】受光素子431は、被写体からの反射光を
受光し、被写体の照度に比例した電流に光電変換して積
分回路432に出力する。積分回路432は、受光素子
431から入力された電流を積分し、その積分値はクロ
ックジェネレータ45に出力される。積分回路432の
出力電流は、受光素子431に入射した光量に比例し、
単位時間当りの出力電流は、被写体像の照度に比例して
いる。
【0088】上記照度モニタ回路は、被写体が蛍光灯な
どの交流光源で照明されている場合でもCCD41の電
荷蓄積量を一定に保つために、被写体の照度をモニタす
るものである。交流光源の照明下にある被写体を撮像す
る場合に、CCD41の積分時間を一定にしていると、
毎回の電荷蓄積量が変動してしまう。(これについて
は、後に詳述する。)従って、CCD41の電荷蓄積量
を安定させるためには、被写体の照度に合わせて積分時
間を調節する必要がある。本実施例においては、CCD
41の積分開始と同時に照度モニタ回路43の積分回路
432の積分を開始させ、その積分回路432の出力電
流に基づきCCD41の積分終了タイミングを制御する
ようにしている。なお、図9(B)は、図9(A)の変
形例である。
【0089】次に、図9(A)を参照に、CCD41を
ブレ検出センサとして用いる場合の、積分時間制御の動
作について説明する。まず、リセット回路をONするこ
とにより積分回路をリセットすると同時に、CCD41
の蓄積部の電荷をクリアする。そしてCCD41の積分
が開始されるとリセット回路がOFFされ、測光回路が
積分を開始する。
【0090】図10は、測光回路出力の時間的変化を表
す図である。横軸tは積分時間を表し、縦軸Iは測光回
路の出力の大きさを表す。被写体が交流光源によって照
明されている場合、測光回路の出力は図に示すように曲
線を描いて上昇していく。測光出力を適当な基準値I0
と比較して、測光出力IがI0になったときに積分回路
がリセットされ、CCD41の積分が打ち切られる。C
CD41の出力が読み出され、露光量が適当であるかど
うかが判断される。露光量が適当である場合には、以後
の露光には基準値I0が用いられる。露光量が不適当で
あった場合、例えば基準値をk倍し、I0×kが新しい
基準値とされ、以後の露光が行われる。
【0091】以上説明したようなブレ検出動作を含め
た、カメラのシーケンスを、メインCPU及びブレ検出
用のコントロールCPUのフローチャートに基づいて説
明する。 まずメインCPU21のシーケンスについ
て、図11を参照して説明する。ステップ#A5(以下
ステップを略す。)のループで、メインCPUは待機状
態にあり、シャッタボタンの第1ストロークでスイッチ
S1がONになるのを待っている。スイッチS1がON
になると、AF完了フラグAFEF及び各種信号がリセ
ットされ(#A10)、測光部23、AFモジュール2
9、ブレ検出部32等必要な回路の電源が投入される
(#A15)。次に、コントロールCPU63に内蔵さ
れたタイマがリセットされた後スタートされ(#A2
0)、撮影レンズ回路25から撮影レンズ11に関する
データが入力され(#A25)、測光が行われる(#A
30)。
【0092】#A35では、AF完了フラグAFEFが
1かどうか判定され、1であればプログラムは#A50
にジャンプし、1でなければ#A40に進む。#A40
では被写体までの距離検出が行われ、#A45でAF完
了フラグAFEFが1にセットされる。#A50では、
#A30で得られた測光値、フィルム感度、及び#A4
0で得られた距離情報をもとにAE演算が行われる。#
A55では、CCD41の露光量が設定される。
【0093】#A60でシャッタボタンの第2ストロー
クでスイッチS2がONされているかどうかを判定す
る。スイッチS2がONであれば、プログラムは#A8
5へ進み、ONでなければ#A65にジャンプする。#
A65ではスイッチS1がONかどうかを判定する。S
1がONであれば、プログラムは#A20へジャンプす
る。S1がONでなければシャッタボタンの没入操作が
解除されているので、#A70で一定時間経過している
かをコントロールCPU63に内臓されたタイマによっ
て判定する。一定時間経過していれば測光部23、AF
モジュール29、ブレ検出部32等の回路の電源をOF
Fし(#A80)、#A5の待機状態へプログラムはジ
ャンプする。一定時間経過していなければ、AF完了フ
ラグAFEFが0に設定され(#A75)、プログラム
は#A65へ進む。
【0094】S2がONされると撮影レンズ11をピン
ト位置へ駆動し(#A85)、ブレ検出信号がHレベル
にされて(#A90)、コントロールCPU63のブレ
検出シーケンスがスタートされる。#A95において、
シャッタ羽根26が開かれ露光が開始される。シャッタ
羽根26が閉じられて露光が終了すると、ブレ検出信号
がLレベルにされて、コントロールCPU63に露光が
終了したことが知らされる(#A100)。露光終了
後、その露光における撮影情報(日付データや露出値
等)を情報書込部33に出力する(#A103)。
【0095】#A105でフィルムの巻き上げを行い、
同時に#A110で情報書込部33により、ブレ量など
のブレ情報及び日付などの撮影情報を、フィルム上に記
録する。#A115で撮影レンズを初期位置に戻し、#
A120でS2がOFFになるのを待ってから、プログ
ラムは#A65にジャンプして次の撮影に備えられる。
【0096】次に図12を参照してコントロールCPU
の動作について説明する。図11の#A15において、
ブレ検出部の電源が投入されてシーケンスがスタートさ
れる。
【0097】#B5において各フラグ・出力信号がリセ
ットされ、#B10で、CCD41の画素数などのブレ
検出センサ14に関するデータが、情報書込部33に出
力される。#B15ではメインCPU21からのブレ検
出信号がHレベルとなるのを待ち、Hレベルとなるとブ
レ検出シーケンスが開始される。ブレ検出信号がHレベ
ルとなりブレ検出が開始されると、CCD41の積分が
一端リセットされた後開始される(#B20)。#B2
5で積分が終了するのを待ち、積分終了後読み出された
RGBそれぞれの画像の画素データは、基準部メモリ5
2及び参照部メモリ53の所定の記憶領域にダンプされ
る(#B30)。画素データのダンプ後、再びCCD4
1の積分がリセットされた後開始される(#B35)。
【0098】#B40において、#B30でダンプした
画素データに基づきRGBそれぞれの色成分についてコ
ントラスト演算が行われ、算出されたコントラスト値に
基づいてブロック選択が行われる(#B45)。#B5
0において、基準部メモリ52に記憶された画素データ
が、初期画像データとして情報書込部33に出力され
る。
【0099】#B55で、CCD41の積分が終了する
のを待ち、積分終了後読み出されたRGBそれぞれの画
像の画素データは、参照部メモリ53の所定の記憶領域
にダンプされる(#B60)。画素データのダンプ後、
再びCCD41の積分がリセットされて開始される(#
B65)。
【0100】#B70及び#B75において、RGBそ
れぞれの色成分について、上述の相関演算及び補間演算
が行われる。#B80において積分期間の中心時刻が演
算され、#B85においてRGBそれぞれの時刻デー
タ、縦/横方向ブレ量データが情報書込部33に出力さ
れる。#B90では、メインCPU21からのブレ検出
信号がLレベルかどうかを判定する。Lレベルであれば
撮影は終了しており、プログラムは#B10へジャンプ
してブレ検出を終了する。Lレベルでなければブレ検出
を引き続いて行うためにプログラムは#B55へジャン
プする。
【0101】以上が、メインCPU21及びコントロー
ルCPU63による、カメラのシーケンスである。
【0102】次に、本発明にかかる画像記録・再生シス
テムの再生装置について説明する。図13は、本発明に
かかる再生装置3の主要部を示すブロック図である。図
中81は上述のカートリッジ2内に収納された現像済み
フィルムであり、本発明の再生装置はこの現像済みフィ
ルム81に記録された画像を電気信号に変換し、テレビ
モニタ4上に再生するものである。80はフィルム81
を照射するための光源であり、82はフィルム上の画像
を撮像素子であるエリアセンサ83上に結像するための
光学系である。エリアセンサ83はその撮像エリア上に
結像された画像を、RGBそれぞれの色成分の電気信号
(画像信号)に変換して出力する。またエリアセンサ8
3は、センサメモリ94を備えている。このセンサメモ
リ94には、エリアセンサ83の画素数や画素ピッチ、
あるいは撮像光学系82の焦点距離等のデータが記憶さ
れている。エリアセンサ83によって出力されたRGB
の画像信号はA/D変換部84によってデジタルデータ
に変換された後、一端メモリ85に記憶される。
【0103】情報読取部89は、カメラによって画像と
ともにフィルム上に記録されたブレ情報及び日付データ
等の撮影情報を読み取るものである。変換部90は、情
報読取部89によって読み取られたブレ情報を再生装置
に適したフォーマットに変換するものである。具体的に
説明すると、上述のようにカメラによって記録されたブ
レ量データは、カメラ側のCCD41上におけるブレ量
である。従って例えばカメラ側で「CCD41上で右に
X画素上にY画素移動した」というブレ量データをフィ
ルム上に記録しても、画素数等が異なる再生装置側のエ
リアセンサ83が出力した画像データのブレ補正にその
まま用いることはできない。初期画像データについても
同様であり、カメラ側が記録するのはCCD41の各画
素の撮像データであり、再生装置側のエリアセンサ83
の各画素とは対応しない。変換部90は、カメラ側が記
録したCCD41に関するデータ(画素数、画素ピッチ
等)と、再生装置側のエリアセンサ83に関するデータ
(センサメモリ94から入力)とに基づいて、カメラ側
のCCD41上でのブレ情報を、再生装置側のエリアセ
ンサ83上でのフォーマットに変換する。
【0104】この変換の1例を簡単に説明しておくと、
ブレ検出センサ14上でのp画素は、エリアセンサ83
上ではp×P1・β1×β2/P2画素となる。ただしβ1
=(撮影レンズの焦点距離f)/(ブレ検出光学系13
の焦点距離fd)、β2=撮像光学系82の倍率、P1
CCD41の画素ピッチ、P2はエリアセンサ83の画
素ピッチである。
【0105】情報読取部89によって読み取られたデー
タは、ブレ情報については変換部90によって上記変換
が行われた後、その他の撮影情報についてはそのまま情
報記憶部91に記憶される。
【0106】演算部86は、情報記憶部91に記憶され
たブレ情報を入力し、メモリ85に記憶されたRGBそ
れぞれの画像信号について、画像処理を行うことにより
ブレを補正する。このブレ補正の方法については後に詳
述する。さらに演算部86は、情報記憶部91に記憶さ
れたその他の撮影情報に基づいて、カラーバランス等の
ための画像処理も行う。ブレ補正及び、カラーバランス
等のその他の補正が行われた後、演算部86から出力さ
れたRGBの画像信号はメモリ87に記憶される。そし
て、出力処理部88によりRGB信号からNTSC信号
に変換され、出力端子93を通して、テレビモニタに出
力される。再生CPU92は上述のブレ補正のためのシ
ーケンスをはじめ、再生装置3全体の制御を行うもので
ある。
【0107】次に演算部86が行う、画像処理によるブ
レ補正の方法を説明する。本発明においては、フィルム
上に記録されたブレ画像と、カメラによってその画像と
ともに記録されたブレ情報を用いて、ブレる前の原画像
を推定、復元するものとする。なお、演算部86におい
てはRGBそれぞれの色成分についてブレ補正を行う
が、簡単のため以後はR成分に対するブレ補正について
説明する。従って、後述の画像(画素)データやブレデ
ータ、あるいは劣化関数などはいずれもR成分に関する
ものである。G,B成分については、R成分と全く同様
の方法でブレ補正が行われるので説明を省略する。
【0108】ブレの影響を受けた画像(いわゆるブレ画
像)をg(x,y)、原画像をf(x,y)とすると、
これらの画像間には以下のような関係が成り立つことが
知られている。
【0109】
【数9】
【0110】上記(9)式は、デジタル画像処理におい
ては、下記(10)式で表される。
【0111】
【数10】
【0112】(10)式において、g(i,j)は、エ
リアセンサの(i,j)の位置の画素データであり、f
(k,l)は、復元すべきエリアセンサの(k,l)
(ただし、i≠k,j≠l)の位置の画素データであ
る。
【0113】(9)式は、ブレ画像の(x,y)の位置
における画像g(x,y)は、原画像の(x,y)の位
置における画像f(x,y)が(x,y)以外の位置
(x’,y’)の画像f(x’,y’)の影響を受けて
生成されることを示し、上記劣化関数hxyは、原画像に
おいて画像f(x’,y’)が画像f(x,y)に与え
る影響の割合を示すものである。同様に、(10)式
は、ブレ画像の画素データg(i,j)は、原画像にお
ける画素データf(i,j)が(i,j)以外の位置
(k,l)の画素データf(k,l)の影響を受けて生
成されていることを示し、上記劣化関数hijは、原画像
において画素データf(k,l)が画素データf(i,
j)に与える影響の割合を示すものである。
【0114】上記エリアセンサ83がm×n個の画素を
有している場合、i=k=1〜m、j=l=1〜nとな
り、上記劣化関数hij(i−k,j−l)はm行n列の
行列となる。なお、本発明においては、演算部86には
A/D変換部84によってデジタル変換されたRGBの
画像データが入力されるため、以後式(10)を用いて
説明する。
【0115】まず、情報記憶部91から入力される時刻
データ及び縦/横ブレ量データを(ts,Xs,Ys)
(ただし、s=0,1,…pであり、Xs,Ysは、そ
れぞれ時刻tsにおける縦/横ブレ量データである。)
とする。このブレ量データ(ts,Xs,Ys)を用い
て、劣化関数hijを求める。この時hijの初期値を0と
すると、劣化関数hijは以下の式で求められる。
【0116】
【数11】
【0117】今、ブレ画像の画素データであるg(i,
j)は、フィルム81上の画像がエリアセンサ83によ
って電気信号に変換されて演算部86に入力されるので
既知であり、また劣化関数hijも上記式(11)により
求めることができる。これらg(i,j)及びhijを上
記式(10)に入力すると、m×n個の連立方程式が得
られる。
【0118】ところで、ブレ画像の画素データg(i,
j)は、原画像において、画素データf(i,j)が周
囲の画素データf(k,l)の影響を受けて生成された
ものであるから、原画像を構成する画素データ数は、ブ
レ画像を構成する画素データ数よりも大きくなる。すな
わち、原画像のサイズは、ブレ画像のサイズよりも大き
くなる。このため、上記(10)式から得られるm×n
個の連立方程式には、原画像の、ブレ画像と重複しない
領域の画素データ(以下、未知画素データという)が未
知数として含まれ、全未知数がm×n個以上となること
から、このままでは連立方程式を解くことはできない。
そこで、上記未知画素データに所定のダミーデータを仮
定することにより上記連立方程式をm×n元の連立方程
式に修正して解を求めるものとする。
【0119】上記未知画素データのダミーデータとして
は、全く一義的に特定の一定値を設定しても良いし、ブ
レ画像の周縁を構成する一番外側の画素データg(i,
j)や画素データの平均値から算出しても良い。前者の
場合は、一定値は情報記憶部91に予め記憶しておき、
後者の場合は、演算部86により入力されたブレ画像の
画素データから算出する。
【0120】次に、上記の演算による原画像の復元動作
を具体例を用いて説明する。簡単のためブレによる画像
の劣化は、エリアセンサ83上の各画素において均一で
あるものとする。
【0121】図14は原画像の一例を示す図である。こ
こでは簡単のためエリアセンサ83の画素数は、図に示
すように10×10個としている。図15は図14の原
画像がブレによって劣化した状態を示した図である。こ
の図15は、カメラの露光開始から終了までの間に、撮
影領域が左下へそれぞれ1画素分ずつ移動した場合、す
なわち被写体像が右上へそれぞれ1画素分ずつ移動した
場合を示している。この場合、ブレ画像の画素データg
(i,j)としては、太線で囲まれた露光終了時の撮影
領域の画素データが得られることになる。本実施例にお
いては、図15に示すように露光終了時の撮影領域の左
下の画素の座標を(1,1)とし、画像の右方向及び上
方向をそれぞれ正の方向とする。
【0122】今、露光期間内に5回のブレ検出が行わ
れ、得られたブレデータ(ts,Xs,Ys)が以下の
とおりであったとする。
【0123】
【数12】
【0124】これらのデータは、ある(i,j)の位置
において、時刻t=0.0,0.1,0.2,0.5では原画像の
(i,j)の位置の像が露光され、時刻t=0.3,0.4で
は原画像の(i−1,j−1)の位置の像が露光された
ということを意味する。これらのデータを上記式(1
1)に代入すると
【0125】
【数13】
【0126】となる。よって劣化関数hijは以下のとお
りとなる。
【0127】
【数14】
【0128】上記演算によって得られた劣化関数hij
上記式(10)に代入すると以下のとおりとなる。
【0129】
【数15】
【0130】この式(15)にエリアセンサ83の撮像
によって得られるブレ画像の画素データg(i,j)を
実際に入力すると以下のとおりとなり、10×10個の
連立方程式が得られる。
【0131】
【数16】
【0132】上記連立方程式には、{10×10+(1
0+10−1)}=119個の未知数がある。ここに
(10+10−1)個の未知数は、画素データf(i,
0)(i=0〜9)及びf(0,j)(j=1〜9)
で、図15における露光開始時の撮影領域の下辺及び左
辺に位置する19個の画素データに相当する。このまま
では、この方程式は解くことができないので、上記画素
データf(0〜9,0)及びf(0,1〜9)に特定の
一定値(例えば100)をダミーデータとして設定する
と、上記方程式は、
【0133】
【数17】
【0134】となり、未知数の数を10×10個とする
ことができる。この連立方程式を解くととにより原画像
の画素データf(i,j)を求めることができる。
【0135】以上が、ブレデータ(ts,Xs,Ys)
を用いて、ブレ画像の画素データg(i,j)から原画
像の画素データf(i,j)を求める方法である。なお
上記説明では、R成分の原画像の復元方法について説明
したが、G,B成分についても全く同様の方法で原画像
を復元することができる。
【0136】ここで、上記実施例においては、未知画素
データ(原画像におけるブレ画像の領域の外側の領域の
画素データ)を全て100と仮定した。しかしながら、
上記未知画素データは、一義的にある特定の一定値とす
るよりも、被写体の情報を含んでいるブレ画像の画素デ
ータから求めた値で近似してやる方がより正確に原画像
が復元できる。以下に、別実施例として、上記未知の領
域の画素データとしてブレ画像の画素データから求めた
値で近似する例を説明する。
【0137】〔第2実施例〕第2実施例は、上記未知画
素データを、その未知画素データに対応する位置に隣接
する位置のブレ画像の画素データg(i,j)に置き換
えるものである。具体的に説明すると、上記連立方程式
(16)における未知画素データf(0〜9,0)及び
f(0,1〜9)には、それぞれ以下のようなブレ画像
の画素データを代入する。
【0138】
【数18】
【0139】上記代入を行った後は、第1実施例と同様
10×10の未知数について連立方程式を解けば良い。
本実施例によれば、上記未知画素データとして、被写体
像の情報を含むブレ画像の画素データを代入しているた
め、第1実施例のように一義的に特定の一定値を代入す
るよりも正確に原画像を復元することができる。しかも
通常の被写体では、隣接する画素同士は互いに近い画素
データを有することが多く、隣接するブレ画像の画素デ
ータを代入するすることによって、より正確に原画像が
復元できる。
【0140】なお、上記の隣接するブレ画像の画素デー
タの他には、例えばブレ画像の画素データの平均値など
を代入しても良い。
【0141】〔第3実施例〕第3実施例においては、さ
らに正確に原画像を復元するために、カメラ側において
記録される初期画像データを未知画素データとして代入
するものとする。なお、初期画像データの記録方法につ
いては既に説明済みである。
【0142】図16は、図14に示した原画像をカメラ
側のブレ検出センサ14によって撮像した場合を示して
いる。一般にカメラ側のブレ検出センサは再生装置側の
エリアセンサに比べて画素数が少なく、分解能が悪い。
本実施例においては簡単のため図に示すようにブレ検出
センサの画素数を5×5個とし、左下の画素の座標を
(1,1)とし、右及び上方向をそれぞれ正方向とす
る。図16に示す各画素データをe(k,l)(k=1
〜5,l=1〜5)とし、カメラ側においてはこのe
(k,l)を初期画像データとしてフィルム上に記録す
るものとする。
【0143】まず再生装置側では、フィルム上に記録さ
れた初期画像データe(k,l)を情報読取部89によ
って読み取った後、変換部90によって再生装置側のフ
ォーマットに変換する。再生装置側のフォーマットに変
換された初期画像の画素データをe’(i,j)(i=
1〜10,j=1〜10)とすると、この変換は例えば
以下の演算式によって行われる。
【0144】
【数19】
【0145】変換部90による上記変換が終了すると初
期画像の画素データe’(i,j)は、情報記憶部91
に記憶される。本実施例においては、このようにして得
られた初期画像の画素データe’(i,j)を、上記の
未知画素データとして代入するものである。具体的に
は、上記連立方程式(16)における未知画素データf
(0〜9,0)及びf(0,1〜9)には、それぞれ以
下のような画素データを代入する。
【0146】
【数20】
【0147】上記代入を行った後は、第1、第2実施例
と同様10×10の未知数について連立方程式を解けば
良い。本実施例によれば、上記未知画素データとして、
カメラ側で記録された初期画像データを代入している。
初期画像データは露光開始直後に記録された画素データ
であるため、原画像の画素データf(i,j)に非常に
近い値を有する。このため、第1実施例のように特定の
一定値を代入する場合や、第2実施例のようにブレ画像
g(i,j)から求めた値を代入する場合よりも正確に
原画像を復元することができる。
【0148】なお本実施例においては、初期画像データ
としてブレ検出センサ14の全面の画素データをフィル
ム上に記録している。しかしながら上記の演算からわか
るように、未知領域は撮影範囲の周辺部にあるため、中
央部分の画素データは用いられない。従って、カメラ側
においてブレ検出センサの周辺部の画素データのみを記
録するようにしても良い。こうすることによりフィルム
上に記録するデータの数を減らすことができ、記録領域
を節約することができる。
【0149】さらに、上記演算からもわかるように、例
えば被写体像が右上にそれぞれ1画素ずつ移動した場
合、未知領域となるのは左端1列及び下端1行の範囲で
ある。同様に例えば左に1画素だけ移動した場合には右
端1列が未知領域となるし、下に2画素分移動した場合
には上端2行が未知領域となる。従って、カメラはまず
ブレ量データを検出し、そのブレ量に応じて必要な部分
のみを初期画像データとしてフィルム上に記録しても良
い。こうすることにより、さらにフィルム上に記録する
データの数を減らすことができる。
【0150】〔第4実施例〕第4実施例においては、カ
メラ側のブレ検出センサ14は撮影範囲の中央部のみを
撮像し、中央部のみの画素データを初期画像データとし
てフィルム上に記録するものとする。図17はブレ検出
センサ14が、図14に示した原画像の中央部のみを撮
像した場合を示している。なお、ブレ検出センサ14の
画素数は簡単のため4×4個とした。この場合、撮影範
囲全体を撮像する場合(第3実施例のような場合)に比
べて分解能が高く、より正確な初期画像データを得るこ
とができる。本実施例においてはカメラ側でこの図17
に示す画素データを初期画像データとしてフィルム上に
記録するものとする。
【0151】再生装置側では、フィルム上に記録された
この初期画像データを読み取り、変換部90による変換
を行った後、情報記憶部91に記憶する。そして演算部
86によるブレ補正の演算時に上記連立方程式(16)
に代入する。具体的には原画像の画素データf(i,
j)のf(4〜7,4〜7)に初期画像の画素データが
代入される。
【0152】この場合、上記未知画素データにダミーデ
ータを代入していないため、原画像の一部の解(特に周
辺部)が不定となってしまう。しかしながら中央部(f
(4〜7,4〜7))においては初期画像データの代入
によって正確に原画像を得ることができる。通常写真撮
影においては、撮影対象とする主被写体を中央部に位置
することが多い。従って、中央部の原画像を正確に復元
することは非常に有効なことである。なお、解が不定と
なった周辺部においては、第1実施例及び第2実施例に
記載した方法で復元すれば良い。以上が演算部86が行
う、画像処理によるブレ補正の方法である。
【0153】以上説明したようなブレ補正動作を含め
た、再生装置のシーケンスを図18のフローチャートに
基づいて説明する。なお、図18のフローチャートは、
カートリッジ2が装填され、再生画像が所定位置にセッ
トされてからテレビモニタ4上に再生されるまでの動作
を示したものである。
【0154】#C5においてまず、カメラ側でフィルム
上に記録された撮影情報を情報読取部89によって読み
取り、#C10においてブレ情報があるか否かを判別す
る。ブレ情報が記録されていなければ、プログラムは#
C38へジャンプし、ブレ情報以外の撮影情報を情報記
憶部91にメモリする。ブレ情報が記録されている場
合、まず変換部90がブレ検出センサ情報を入力する
(#C15)。変換部90は入力したブレ検出センサ情
報(画素数や撮像範囲等)に基づいて、カメラによって
フィルム上に記録されたブレデータ及び初期画像データ
を、演算部86がぶれ補正できるようなフォーマットの
データに変換する(#C20、#C25)。上記変換が
行われたブレデータ及び初期画像データは、情報記憶部
91に記憶される(#C30、#C35)。上記ブレ情
報が記憶されると、#C38においてその他の撮影情報
が同記憶部91に記憶される。
【0155】#C40からは、再生画像の撮像動作に入
る。まずセットされた画像を照射するための光源80が
ONされ(#C40)、次にエリアセンサ83によって
画像がRGBの画像データに変換される(#C45)。
エリアセンサ83から出力された画像データは、A/D
変換部84によってデジタル変換され、メモリ85に記
憶される(#C50、#C55)。
【0156】次に、#C60において、ブレ情報がある
か否かを判別し、ブレ情報が記録されていなければプロ
グラムは#C80へジャンプする。一方、ブレ情報が記
録されている場合には、演算部86が、情報記憶部91
に記憶されたブレデータ及び初期画像データを入力する
(#C65、#C70)。演算部86は入力したブレデ
ータ及び初期画像データに基づいて、メモリ85に記憶
されている画像データのブレ補正を行う(#C75)。
なお、ブレ補正の方法については既に説明済みである。
RGBそれぞれの色成分についてブレ補正が行われる
と、次に色バランス等のブレ補正以外の画像処理が行わ
れる(#C80)。
【0157】ブレ補正及びその他の画像処理が行われた
画像データは、メモリ87に記憶された後(#C8
5)、出力処理部88に入力される。出力処理部88に
入力された画像データは、RGB信号からNTSC信号
に変換され(#C90)、出力端子93を通してテレビ
モニタ4へ出力される。
【0158】以上の動作によって、フィルム81上に記
録された画像はテレビモニタ4上に再生される。なお、
セットされた画像の再生が終了すると、フィルム81が
1コマ分送られて、次のコマの画像がセットされる。次
のコマの画像がセットされると、再び#C5から同様の
動作を行い、その画像の再生が行われる。
【0159】以上が本発明の画像記録・再生システムの
実施例である。なお、本実施例においては、カメラ側で
検出したブレ情報をフィルム上に記録したが、例えばI
Cカードのようなフィルムとは別の記録媒体を設けてこ
れに記録し、再生装置側ではそのICカードからブレ情
報を読み取るようにしても良い。
【0160】また撮影装置として銀塩カメラを用いた
が、これに限らず例えばビデオカメラやスチルビデオに
おいて同様にブレを検出し、ビデオテープやフロッピー
ディスクの所定領域(例えば音声トラック等)にブレ情
報を記録しても良い。再生装置となるビデオデッキで
は、その記録されたブレ情報を読み取って上に説明した
方法によってブレを補正すれば良い。
【0161】さらに、再生装置として画像をテレビモニ
タ上に映し出す装置を用いたが、これに限らず例えば電
気信号に変換された画像データをプリントするプリンタ
ーにも応用可能である。
【0162】以上説明したように本発明の画像記録再生
システムは、被写体画像を前記記録媒体に記録する画像
記録手段と、被写体との相対的なブレに関する情報を検
出して出力するブレ検出手段と、前記記録媒体に記録さ
れた画像を再生する画像再生手段と、前記記録媒体に記
録された画像とは異なる画像データを出力する出力手段
と、前記ブレ検出手段によって出力されたブレ情報と前
記出力手段によって出力された画像データとに基づい
て、前記記録媒体に記録された画像を補正する補正手段
とを有する。上記出力手段が出力する記録媒体に記録さ
れた画像とは異なる画像データは、上記補正手段による
ブレ補正のための画像処理において、撮影された画像か
らは得られない画像データの代わりに入力される。従っ
て、上記画像処理で原画像を数学的に復元する際に、そ
の解の一部が不定となることを防ぐことができる(請求
項1)。また、請求項2の発明においては、前記出力手
段が出力する画像データが、特定の一定値であるので、
撮影された画像からは得られないデータを記録するため
の構成をカメラ側に設ける必要がない。従って、簡単な
構成の画像記録再生システムを実現することが可能とな
る。
【0163】
【0164】請求項3の発明においては、撮影装置側に
被写体画像を記録するための第1記録手段とは別に、ブ
レ検出に用いられる画像データを前記記録媒体に記録す
る第2の記録手段が設けられている。この第2記録手段
は被写体から直接画像情報を記録することができるの
で、ブレ画像が生じる前の原画像のデータを得ることが
可能である。
【0165】上記のように第2記録手段によって記録さ
れた画像情報には原画像の情報が含まれているので、上
記の特定の一定値を入力する場合や、ブレによる劣化が
生じた撮影画像からの画像情報を入力する場合に比べ
て、より正確に原画像を復元することができる。
【図面の簡単な説明】
【図1】本発明にかかる画像記録・再生システムの外観
図である。
【図2】本発明にかかるカメラの外観図である。
【図3】本発明にかかるカメラの主要部を示すブロック
図である。
【図4】本発明にかかるカメラのブレ検出部の内部を示
すブロック図である。
【図5】本発明にかかるカメラが有するCCDの受光面
の模式図である。
【図6】本発明にかかるカメラが行う相関演算の演算結
果を表すグラフである。
【図7】本発明にかかるカメラが行う相関演算の演算結
果を表すグラフである。
【図8】被写体像の移動とブレ検出のタイミングの関係
を示すグラフである。
【図9】本発明にかかるカメラが有するCCDの積分時
間を制御する回路の回路図である。
【図10】CCDの積分時間を制御する測光回路の出力
の、時間的変化を示すグラフである。
【図11】本発明にかかるカメラのメインCPUの動作
を示すフローチャートである。
【図12】本発明にかかるカメラのブレ検出用のCPU
の動作を示すフローチャートである。
【図13】本発明にかかる再生装置の主要部を示すブロ
ック図である。
【図14】本発明がブレ補正によって復元しようとする
原画像を示す図である。
【図15】原画像が右上方向に1画素分ずつ移動した場
合のブレ画像を示す図である。
【図16】5×5個の画素を有するブレ検出センサが原
画像を撮像した場合を示す図である。
【図17】4×4個の画素を有するブレ検出センサが原
画像の中央部のみを撮像した場合を示す図である。
【図18】本発明にかかる再生装置の動作を示すフロー
チャートである。
【符号の説明】
1 カメラ 3 再生装置 4 テレビモニタ 14 ブレ検出センサ 21 メインCPU 32 ブレ検出部 33 情報書込部 52 基準部メモリ 53 参照部メモリ 55 演算器 63 コントロールCPU 81 現像済みフィルム 83 エリアセンサ 86 演算部 89 情報読取部 90 変換部 91 情報記憶部 92 再生CPU
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI // H04N 101:00 審査官 鈴木 明 (56)参考文献 特開 平4−302589(JP,A) 特開 平3−93369(JP,A) 特開 平1−125068(JP,A) 特開 平6−6669(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 5/225 - 5/243

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 被写体像を所定の記録媒体に記録する撮
    影装置と前記記録媒体に記録された画像を再生する再生
    装置からなる画像記録再生システムにおいて、被写体画
    像を前記記録媒体に記録する画像記録手段と、被写体と
    の相対的なブレに関する情報を検出して出力するブレ検
    出手段と、前記記録媒体に記録された画像を再生する画
    像再生手段と、前記記録媒体に記録された画像とは異な
    る画像データを出力する出力手段と、前記ブレ検出手段
    によって出力されたブレ情報と前記出力手段によって出
    力された画像データとに基づいて、前記記録媒体に記録
    された画像を補正する補正手段とを有することを特徴と
    する画像記録・再生システム。
  2. 【請求項2】 前記出力手段が出力する画像データは、
    特定の一定値であることを特徴とする請求項1記載の画
    像記録・再生システム。
  3. 【請求項3】 画像処理手段を有する再生装置に装填可
    能な記録媒体が着脱可能な撮影装置において、被写体画
    像を前記記録媒体に記録する第1の記録手段と、被写体
    との相対的なブレに関する情報を検出して出力するブレ
    検出手段と、前記ブレ検出に用いられる画像データを前
    記記録媒体に記録する第2の記録手段と、前記ブレ検出
    手段から出力されるブレ情報を前記記録媒体に記録する
    第3の記録手段と、を有することを特徴とする撮影装
    置。
JP05332436A 1992-12-28 1993-12-27 画像記録・再生システム及び撮影装置 Expired - Lifetime JP3129069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05332436A JP3129069B2 (ja) 1992-12-28 1993-12-27 画像記録・再生システム及び撮影装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP4-349024 1992-12-28
JP34902492 1992-12-28
JP05332436A JP3129069B2 (ja) 1992-12-28 1993-12-27 画像記録・再生システム及び撮影装置

Publications (2)

Publication Number Publication Date
JPH06343159A JPH06343159A (ja) 1994-12-13
JP3129069B2 true JP3129069B2 (ja) 2001-01-29

Family

ID=26574190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05332436A Expired - Lifetime JP3129069B2 (ja) 1992-12-28 1993-12-27 画像記録・再生システム及び撮影装置

Country Status (1)

Country Link
JP (1) JP3129069B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285947A1 (en) * 2004-06-21 2005-12-29 Grindstaff Gene A Real-time stabilization
JP4390068B2 (ja) 2004-12-28 2009-12-24 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP4866147B2 (ja) * 2006-05-22 2012-02-01 株式会社リコー 画像シフト検出方法および装置および画像入力装置
JP4677386B2 (ja) * 2006-09-01 2011-04-27 富士フイルム株式会社 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム
JP5371310B2 (ja) * 2008-07-24 2013-12-18 キヤノン株式会社 画像処理装置
JP5523231B2 (ja) 2010-07-16 2014-06-18 オリンパス株式会社 撮像装置

Also Published As

Publication number Publication date
JPH06343159A (ja) 1994-12-13

Similar Documents

Publication Publication Date Title
USRE48552E1 (en) Method and system for image construction using multiple exposures
US7057645B1 (en) Camera system that compensates low luminance by composing multiple object images
US7856174B2 (en) Apparatus and method for image pickup
US7129980B1 (en) Image capturing apparatus and automatic exposure control correcting method
US20080143841A1 (en) Image stabilization using multi-exposure pattern
JP4018705B2 (ja) シェーディング補正装置及び補正方法並びに撮像装置
JPH048993B2 (ja)
JP2010062640A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2008283605A (ja) 撮像装置
JP3912404B2 (ja) 撮像装置
JP3854754B2 (ja) 撮像装置、画像処理装置及びその方法、並びにメモリ媒体
JP5290557B2 (ja) 撮像装置及び撮像方法
JP3129069B2 (ja) 画像記録・再生システム及び撮影装置
JP2006295707A (ja) 画像再生装置及び像ブレ補正プログラム
JP2009017427A (ja) 撮像装置
JP3166462B2 (ja) ブレ補正機能を有する画像記録再生システム及び画像再生装置
US20030099467A1 (en) Image recording and reproducing system capable or correcting an image deterioration
KR101544742B1 (ko) 촬상 장치 및 촬상 방법
JP4951781B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP2007243558A (ja) 固体撮像装置
JPH11224324A (ja) 画像信号処理方法及び装置
JP3365852B2 (ja) 適性・不適性表示手段を有したカメラ
JP4212138B2 (ja) 3次元計測装置
JP2011075841A (ja) 撮像装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 13

EXPY Cancellation because of completion of term