JPH05502990A - 像記録における動きの影響を最小化する方法とそのための装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 像記録における動きの影響を 最小化する方法とそのための装置 技術分野 二の発明は、動きの検出、特に像の記録において動きの影響を最小にするために 、検出された動きを利用することに関する。

背景技術 一般消費者の写真の１５−２０％は「検知できる程度の像のぼけの問題」を抱え ており、カメラの揺れと被写体の動きがその原因のかなりを占めていると思われ る。

様々なツヤツタスピードと各スピードにおける最大許容動きとの間を、次のよう に関係つけることができよう。すなわち、高性能カメラでは、仕上げられたプリ ／トに「検知できる」限度以内かこの限度に等しい動きをンヤ・ツタ−が開いて いる量検出し、それによって、ンヤノタースピードを、常に選択する。

一つの方法は、ンヤソターを開いておき、どの程度の量の動きて、「検知できる 」かまたは「検知できない」かて、得られる写真の品質低下の発生を決定する二 とである。このような動きの決定は、特定のカメラと特定の使用者についてはイ ］ｔよりれでいる。０．００１”の「等価線形スミア」は検知できる程度である が、ｆｌ、ｏ０２”の「等価線形スミア」は非検知とされている。

カメラの考えられる動きには、並進及び回転成分を含めて６種類の自由度がある 。「縦比れ」と「横搗れ」という回転成分は、レンズの拡大にともない、フィル ムの平面における動きの大部分を占めていることが、実験的に確認されている。

さらに、これらの成分は、それら自体フィルム平面に対する２つの直交軸に沿う ｖＡｌｔ５変位として概ね現われる。従って、「同値線形スミア」は、実際の動 き、すなわちカメラの物理的寸法、及びレンズの塩点距離を考慮して推定される 。

カメラ技術においては、動いている物体からの像を、カメラあるいは像の動きの 量と方向を決定するために、計数的に比較する。このような決定は、カメラの動 きの量を抑制、あるいは被写体の動きの測定に使用される情報を得るのに特に９ 効である。例えばフィルムに像が検索されると、像はデジタル１し式に変換され 、９効と選択された画像処理方法により処理される。静止あるいは動いている被 写体からＩｒ７た像のふれを最小、あるいは除失するために、丁？ｌｆちカメラ の像を′ム定させることが重飲である。いずれにしろ、カメラの１１に形成され たｆ象をデンタルに比較して、像の動きの量と方向を決定することがｌ＋Ｊ能で ある。このような検出は、カメラの取扱ばかりでなく像の動きを測定するための 情報を得る点て特に重要である。

従来のノｊ法は、問題（大部分の手持ち静１トカメラあるいは大衆、カムコーダ ーにあるような問題）を無視しているか、高頻度の動き（専門家用のビデオカメ ラにあるような動き）を抑制するのに機械的な装置を使用しているかのいずれか である。機械的装置は、被写体のあらゆる種類の動きなどの他の動き変数をｎｊ 定不Ｉｌｌ能であるばかりでなく、特に重いという欠点かある。しかし、被写体 の動き、カメラの動き、または両方の動きの組合せにより、像の品質低下が発生 するのである。経時変化する像のデジタル処理は、機械的抑制法よりも相対的動 きを／ＰＩ疋するのにより柔軟性かあり、大きな動きに対して補正あるいは調整 かできる。

デジタル処理を行なう先行技術では、通常、様々な方法で動きを検出し測定して いる。一つは、同一の像領域自体の対比（例えば、１以上のセンサー走査線）を 事後に行なう二とである。［変化の程度Ｊを知ることはできるか、原因に関する ４司察はされない。

二の分野の関連特許としては、アメリカ特許４，６７３．２７６号、「カメラの ふれ検出装置」吉田、他かある。この特許では、第１の時点と第２の時点におい てＣＣＤＣＤイノ−ッサからの出力信号により対比を行なっている。これらの１ 、Ｊ号は、しきい値と比較され、はけか許容レベルを越えているか否か判定し、 越えている場合には許容不可能なほやけか発生していること及び、像をさらに写 すようにと表示する。

関連のあるもう一つの特許は、アメリカ特許第４．４９２．４５２号、「カメラ ための写真はけ警報装置」、銘木、他である。この特許には、二つの異なった時 点毎に、像の複数点の絶対光度（明るさうを測定する装置が開示されている。

各点における二つの数値を比較し、判定表を用いて、差がしきい値を越えるとぼ け状態を示す警報信号か出される。

明暗度を基礎とする方法は、発光体の差異の影響を受け品い。すなわち、様々ｔ よ発光状懸の下では出力端は明暗度の変動に対して、通常安定していないからで ある。さらに、ンヤノター・スピードを遅くする以外の他の方法で動きを補償せ ねばならない場合には、動きの「方向」を知らせることができない。

代案として、「グレー・レベル整合」が行なわれ、「コーナー」や「エツジ・レ ノツ（ｅｄｇｅ−１ｅＬｓ　）　Ｊにおける青白の所定の光度パターンを見つけ たり、他の満足のいく特性を見つけ出している。これらは２つのフレーム内で行 なわれ、変位か測定される。このような方法の２つの異なった例については、デ ィー・ティ・ロートンの「平行変位ンークエンスの処理」、コンピュータ・ヴイ ノヨン、グラフィックス及び画像処理、１９８３．２２．１１６−１４４、及び ハンス・ヘルムート・ナゲル、「画像ンークエンスにおける第２級明暗度変化に 起因する変位ベクトルＪ、１９８３．２１．８５−１１７に示されている。被写 体の動きに関、Ｑ功＜ある場合には、この方法では、青白に「エツジ」を見つけ 出し、エツジのフレーム間での動きを追いかける。これは最高級の技術であり、 他の方法が明暗度に基つく作業のみであるとすれば、他の方法では要求されない 程度の分割強さと、記号表示が必要であるという点て最も複雑である。さらに、 これらの方法の多くは、光学フロー・フィールドがすてに計算されており、手に 入れ易いと仮定しているか、この仮定は殆ど不可能に近い。

上述の方法はすべてかなり様々な問題を抱えている。一つは、「一致の問題」で あり、これは二つ以上の像間に共通の特徴を見つけだす能力である。もう一つは 、１象に持釘の特性を見つけだすか、または広範に使用可能なバッチのサイズと 位置を決定するための計算の難しさである。さらに、これらの方法は遠近法に係 わる難しさも持っている（すなわち、被写体と観察者間の相対的変位または動き によりもたらされる遠近画法における次元上の誤差である）。明暗度を基礎とす る他の方法は、発光体の変化の影響を受け易い。すべての方法は、ある分量の処 理を連続的に行なわねばならないという問題がある。何故ならば、特性を並列的 に見つけ出すことは可能であっても、数と性質は像に左右されるため、見つけ出 された個々の特徴を通常連続的に処理せねばならない。

時空的勾配魔法（ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ　ｇｒａｄｉｅｎＬ　ａｐｐ ｒｏａｃｈ　）ては、像の明暗度関数の部分空間時間微分を計算し、これらの数 値に基づいて「光学フロー・フィールド」をＡＰＩ定する、すなわち、３象位置 における特Ｈの運動ベクトルの列をＡＰＩ定する。このような方法には、以下の ような３つの重要な問題がある。第１に、像位置における運動ベクトルの決定は 数学的に難しい。いわゆる「アパーチャ」の問題であり、他の仮定または手がか りかない場合には、像の変化度に直交する速度成分を決定する難しさである。こ れ自体では、合意に達する形の解決方法はまた無い。２番目の主要な問題は、第 １の問題により悪化されるものであるが、像位置における動きベクトルの計算は 、現在及び予想されるカメラ装置の能力では、処理できない難しさかある。第３ の問題は、閉塞境界域（ｏｃｃｌｕｓｉｏｎ　ｂｏｕｎｄａｒｉｅｓ）の存在（ 導関数か存在しない領域）に起因する空間導関数を正確に計算することの難しさ である。

合理的な方法で、カメラと被写体間の相に・Ｉ運動を効果的に１ｌＰＩ定し、動 き状態をｈｌｉ＋卜する二とかでき、さらに、回復段階で少なくともこのような 動き状態を補正要素として使用することかできるとすれば、便利であろう。しか しながら、先ず測定した動きにより、シャッター速度に影響を与える必要かあり 、動きが検出される時には高速度か好ましいが、他の場合には低速にする必要が ある。

発明のｉ要 ３画素位置に特有の運動ベクトルの測定は、本発明では必要ではない。最も筒中 なレベルでは、硯野内の各位置における空間または時間微分に関して、全視野の 単一速度ベクトルを直接最小２乗適合させることによって、カメラの動きが決定 される。

本発明では、像全体に分布される像点か、時間のみならず２つの空間次元におけ る部分導関数の計算に使用されている。これらの部分導関数は、全導関数を強制 的に零とするように合算される。そしてこれにより、一時的変化の全体の量のみ ならず、被写体とカメラ間の正味の平行変位の相対方向と速度が得られる。本発 明の好ましい実施ｔ＝ｔｉによれば、カメラ操作の記録段階において次の手順に より運動の影響を最小にすることが可能である、すなわちａ、対応する画素位置 における像の明暗度を個々に表わす複数の画素値として電気的に少なくとも２つ の連続する像を捉える、ｂ、数値化された像を形成するために前記画素値を数値 化する、Ｃ１数値化された像の画素値を平滑化する、ｄ、青白の２つの空間成分 と１つの時間成分を計算することにより各画素位置における明暗度の変化を決定 する、 ｅ、ｌＩ内の変化成分を計算を利用して動きの程度度その正味の方向に対応する 動きの媒介変数を計算する、と ｆ、計算された媒介変数を用いて像の記録媒体への記録を制御することを特徴と する。

上記の方法を用いて本発明を実施するためのカメラを提供することが目的の−っ である。カメラは検出された動き信号に応して、動きの記録が効果的に最小にな るように反対の動きを記録媒体に提供する。すなわち、本装置は、対応する画素 位置における像の明暗度を各々が示す複数の画素値として電気的に、少なくとも ２つの連続する像を検索するためのセンサを有している。さらに、Ａ／Ｄコンバ ータは画素値をデジタル化し、デジタル化された像を形成する。平滑化器は画素 値を平滑化し、決定手段は像の２つの空間微分成分と１つの時間微分成分を計算 して各画素位置の明暗度の変化を決定する。計算装置は、青白の変化の成分の４ 算を利用して、動きの度合いとその正味の方向に対応する動きパラメータを計算 する。使用装置は計算された動きパラメータを用いて、記録媒体上への像の記録 を制御する。

上記のことから、本発明の主要な目的の一つは手持ちカメラの動きを決定し、検 索された像への影響を最小にするために改善された方法とその装置を提供する二 とであることがわかろう。

本発明の他の目的は、カメラに関して、写された被写体の動きを決定するための 方法と、その装置を提供することである。

本発明のさらなる目的は、ぼけを最小にするために、カメラと画像化される被写 体間の検出された相対的な動きに応して、フィルムまたはイメージセンサの動き を調整する装置を提供することである。

動きて品質の低下した陰画（ｎｅｇａＨｖｅｓ　）を最小にするための方法及び 、その装置を提供することが、本発明の他の目的である。

さらに、像の回復に使用される動きパラメータを記録することか、本発明の［１ 的である。

本発明の上述の目的及び他の目的は、以下の説明と図面を参照することによりさ らに明らかになろう。図中、同一の番号は同一の部分を表わす。

図面の簡単な説明 第１図は、本発明を実施するためのカメラのブロック図である。第２図は、第１ 図のブロックの一つを構成する機能サブ・ブロックを示す。第３図は、本発明を カメラに適用した他の実施例を示す。第４図は、第３図のブロックの一つを構成 する機能サブ・ブロックを示す。第５図は、好ましい０シツク・ブ０ツク図形式 を用いて、第１と第３図に示された３つのブロックの詳細を示す。第６図は、異 なる時・ハでの２つの像に対する画素値の関係を示す斜視図である。第７図は、 画Ｘ飛び越しと平滑化によりデータを少なくする方法を示す分解図である。

発明を実施するための最良の形聾 第１図に示すように、本発明の装置は、イメージセンサ１６とレンス装置１４に より像が合憤されるフィルム・パック３２を有するカメラ１０からなる。好まし い１象記録媒体としてフィルム・パック３２か示されているが、ＣＣＤイメージ セフすＩ１乏の他の媒体を使用可能であることは明らかである。センサ１６から の電気信号は、Ａ／Ｄコンバータ１８へ入ツノされる。コンバータ１８は出力と してデフタル化された像をＩとラベルして送出する。信号■は境界平滑化ブロッ ク２ｒ］に人力され、人力信号Ｉは後述する出力信号■１の供給方法により、平 滑化される。Ｓｌ・心化された信号は、係数計算ブロック２２と、遅延回路２４ の人ツノに送られる。ｆｉ延回路２４は出力■。を供給する。係数計算ブロック ２２は遅延信号またはｊｌ−遅延信号を受信し、包括的にｆと名付けられた３つ の信号を供給する。

これらの信号は、計算された運動係数と等しく、２個の空間と１個の時間部分微 分ｕ、ｖ、ｔに対応する。変位・時間変化計算ブロック２６によって作られる信 号が、信号ｕ、ｖ、ｔである。これら３つの信号は入力として、露光変数決定ボ ックス２８へ送られる。第２図には、ブロック２８を構成する機能ブロックが詳 細に示されている。機能ブロックには番号４０．４２．４４が付与されている。

二こでは詳細には説明しないが、人ノＪｕ、ｖ、ｔは、それぞれＸとｙ方向と時 間領域における像全体の動きを表わしている。さらに、発光度信号りとＡＳＡ信 号か、ボックス２８に人力される。発光度信号は発光度検出器３０がら得られ、 ＡＳＡ信号はフィルム・パック３２内のフィルムからの信号である。露光変数決 定ボックス２８は、ンヤノター・スピードＳに到着する人力信号のすべてと、口 径値へ制御信号を使用する。信号ＳとＡはシャッター制御器３４によって、カメ ラのンヤ、ター・スピードとカメラのアパーチャ３６の開きの制御のために使わ れる。ブロック２８は、最大関数決定ブ０ツク４０、運動関数の光レベル調整ブ ０ツク４２と、シャッターまたはアパーチャ優先露光変数決定機能ブロック４４ より構成されている。最大関数決定ブロック４０は、３つの信号ｕ、ｖ、ｔを受 信し、最大値信号ｍの供給を決定する。最大値信号ｍは、ブロック４２の発光度 検出器３０により調整信号Ｌ°を供給するために、発生した信号りの値と比較さ れる。信号Ｌ゛　はＬ−ｍ　（動きに関して補償された光レベル）と等しい。Ａ ＳＡ信号と共に信号Ｌ゛はシャッターまたはアパーチャ優先露光変数決定ブロッ ク４４により使用され、適切なンヤノターまたはアパーチャ制御信号ＳとＡをそ れぞれ供給する。

本発明の他の実施例が第３図に示されている。この実施例では、カメラと被写体 間の相対的動きに反する方向に、フィルム・パック３２を駆動するための信号Ｕ とＶか使用されている。この反対方向への動きが、記録された像のはけを効果的 に解消するか、最小にする。第３図の実施例は第１図の実施例と同様であるか、 ト記の点て異なっている。すなわち、第３図の露光変数決定ブロック５ｏは信号 Ｕと■を受信せず、信号ＵはＸ軸に沿ってフィルムパック３２を駆動するために 、そして信号ＶはフィルムをＸ軸に直行する方向に動かすために使用される。

第４図には、ブロック５０を構成する機能ブロック４２と４４が示されている。

これらのブロックの動作は、第２図の同符号のブロックの動作と同しである。

本発明の他の態様においては、信号ｕ、ｖ、ｔをカメラに設けられているＲＡＭ 等のメモリに記録することも可能である。カメラ及び／または記録媒体と共に、 取り外し６■能なＲＡＭのチップは、後で回復アクセスに使用することもてき、 リモート処理機械に導入することができる。

先に述へたように、本発明に適用されるアルゴリズムは、時空的勾配方法に基つ いている。異なった時点て測定される明暗度の変化は、空間における動きに起因 するという仮定のちとに、このアルゴリズムは運用される。これは、いまユニで 関連のある短時間に関しては、概ね正しい。「光学フロー・フィールド」を計算 すると、各像位置におけるベクトルは、２つの連続像フレーム間の位置の変位を 示す。これは、全微分を零に設定することによりなされる。すなわち、なお、Ｉ （ｉ、ｊ）は像の明暗度関数である。

ｘ、ｄｘ／ｄｔに沿う動き（速度）による簡略化した変位を、Ｕと定義し、ｙ。

ｄｙ／ｄｔに沿う速度を■と定義する。

３１１＆位置において独立したベクトルを計算すると（全体の光学フロー・フィ ールドを計算するために）、２つの未知数（Ｕと■）が一つの方程式にあるため に問題か難しいことがわかる。

このアルゴリズムは、全体の光学フロー・フィールドをもたらすことを除いて、 ここで終わってしまうが、代わりにフィールドに対する一個のベクトル（時間的 導関数のみを感知するスカラ信号を加算する）を計算する。この方法では、当面 する問題に対する帰結がないことを認識して、空間勾配に直交する速度成分を過 小Ｋｆ価するという可能性を受け入れることにより、アパーチャの問題（前述） を回避できる。単一のベクトルを計算することにより、全体の光学フロー・フィ ールドを１１算するための必要条件をかなり少なくする。さらに、像の明暗度関 数を微分関数で平滑化することにより、像の明暗度関数の非線形特性（これは閉 塞境界域に導関数が存在しないために生ずる）が緩和される（選択される関数は ガウス関数である）。

平滑化後、ｕ、ｌ！：ｖとを推定される部分微分に最小２乗適合させることによ り、満足な結果が得られる。次の記数法が導入される。

ここで、Ｉ’　（ｉ、Ｄは平滑化された像の明暗度関数であり、　（）は勾配演 算とを用いて、誤差を二乗すると、 Ｕに関して部分微分をとると、 Ｖに関して同様にすると、 ２の係数を無視して、観測値、すなわち画素位置、を算出し、合計を零にして、 再配列すると、 ΣΣ（ｆ；す２ｕ＋ΣΣｔｓ’ｔ↓）υ＝−ΣΣｆｘｊＬ’】二Σｆ４ｊ　ｆ： ｊ　ｕ＋ΣΣコ（ｆ；す２υ＝−Σ］二ｆ：ｊ　ｆ：）２つの未知数がある２つ の１次方程式を用いる方法では、動きの測定に合致する解答が得られる。合成信 号の演算は、便宜上次のようになる。

像フレームから実際に測定される明暗度値に、所望の出力運動パラメータを関係 つける一連の式か、上記の微分から得られた。

第５図に示されるように、回路を構成するチップ上の平行化の度合を最大にする ように構成された導入処理の段階として、このアルゴリズムは実施される。これ らには、ガウス平滑化関数との２つの１次元像の相関変換、すなわち、像の部分 空間微分の［算と、時間微分の概算が含まれる。像フレームからの測定値を複数 のＩ＆　ｊＭ置で合算すると、方程式系の係数か得られる。これらの係数に基づ いて、導入（ｐｉｐｃｌｉｎｅ）処理の後段で方程式系に解答か得られる。この 方法の運用に関してさらに考慮すべきことは、人力データ数を減少するための直 接の試みである「画素１をび越しくｐｉｘｅｌ　ｓｋｉｐｌｌｉｎｇ）　Ｊとい う概念であり、ハードウェアの復雑さを減らずための手段として使用される。画 素飛び越しついては、第８図に関連して詳しく述へる。

以［・のステップは、第５図に示した回路のハードウェア機能に対応するもので あり、前に数学的に説明したことを実施するように構成されており、データは前 述のものと同しである。

１、複合「シフト・アント・アントｊ　（ＳＡＳ）ステージを用いて、デノタル 化されたセ／す信号１　＜ｌ、Ｊ）は−次元（読み出される線）に沿って平滑化 される、その結果、所定の画素値が左右の隣接値を用いて変換される。その距離 に基づく範囲へ、ガウンアン・マスクに対応する重みにより、各隣接値をおよそ 乗算するのと同じ効果を得るために、各隣接値は置換される。マスクの有限範囲 へ、重みを２の累乗に無理に抑制することによる精度の限界があるために、各種 はほんの概算値である。これらの置換された値は合算され、合成的な画素の後の 値となる。これはＳＡ３回路５０によって行なわれる。マスク“ＲＣＧ″はＳＡ Ｓ　５０に（及び５ＡＳ５２）に送られる。すなわち、特定のガウス・マスク乗 数が採用されていることを示しているが、所定の実施内でハードウェアされてい るはずである。

「画素飛び越しファクタ」をここに適用でき、この計算はｎ番目の画素毎に行な われるのみである。ｎは「画素飛び越しファクタ」である。このステージの出力 は直接ステージ２に与えられる。

２　平滑化の第２ステージは、ＳＡ５回路５２を用いて行なわれる。平滑化のこ のステージは、第１のステージの方向に直交する方向に沿って行なわれる。画素 飛び越しのみならずガウンアン・マスクの範囲が有限であることがここでも適用 される。しかしながら、ここでの出力は、次のステージ、すなわち係数計算ブロ ック２２に、直接またはワン・ビート遅延回路２４て緩衝され遅延された状態て 使用てきるのである。

３　次に、３つの部分微分を計算する。これらは、Ｘとｙに関する空間微分と時 間微分である。画素自体と８つの隣接値の２つを用いて、対称的で有限な誤差に より概算される。先行ステージで実行された画素飛び越して残ったすべての画素 位置において行なわれる。現在のフレームからの画素は、第６図に示されるよう に部分的に緩衝された前の値と共に使用される。微分の計算が完了すると、前回 の値は今回の値に取り替えられる。この点では、　（ｉ、’ｊ’、　、ｉ、ｊ′ 、とｔｐ”’か計算されている。ここで、ｉ’　ｊ’　は画素飛び越しファクタ アーによって減少された次元を表わしている。

４、減少された画素位置の各々において、以下が計算される。

（ｆ′ｘす゛＞　、　ｔｉ゛；゛べ′１′。

５　総３Ｆ＠得るために、減少されたｅｉＪ素の総和の計算が、前ステージで計 算された量の各自に対してなされる。ここで、τ信号か完成される。

６　スカラ量を用いて、以下を計算する。

ｄｅｎｏｍ　＝　ｄ＞　−ｄ２　を計算する。

８、ｖ−ｎｕｍ／ｄｅｎｏｍ。

９、Ｌｌｌ　＝　Ｖ（ｆｘ、ｆ３／１．　を計算、本発明の重要な特徴は、平滑 化と画素飛び越しの組合せによって、連続ステージの人力データを、ステージに よって減らすことができることである。第７図を参照すると、各ステージの平滑 化に付随して減少が行なわれ、後続のステージでは最小のアレイのサイズでの操 作のみが必要であり、全人力像の明暗度データと同し効果を得ることかできる。

まず、センサ領域の中央にある窓からの画素のみを使用する。次に、各ステージ の平滑化に付随して、連続して２回画素飛び越しｉｊなう。平滑化により、平滑 化された「範囲」だけ「突出する」。水平に平滑化する（ｒｓＥＮｓＯＲＪから ｒＴＥＭＰＪに）ので、これは垂直に表示される、そして垂直に平滑化する場合 （ｒＴＥＭＰＪから−ｒＦＲＡＭＥＪに）には、水平に表示される。

ハードウェアの複雑さを包括する、例えばチップ・エリアとして、計算すること は可能である。チップ・エリアは、アルゴリズムの実行に用いたステージから得 られる式と、各ステージで処理されるデータ・ポイント数に比例する。この複雑 さをもたらす３つの要因の効果に注目すると、以下のことがわかる。

１　ウィンド側Ｓは、個々の像位置で作用する各ステージの演算、あるいはこれ らの直接微分において、その２乗となる。

２、画素飛び越しファクタｎは、分割により飛び越しが行なわれるステージにお ける演算数を減らす。

３　ガウンアン・マスクｅの範囲は、隣接値の演算が必要であるため、使用され るステージにおいてファクタとしてそれ自体によって演算数を増加させる。

４、個々の像位置からの結果を総計した後、これらのスカラ演算の固定数を計算 するための付加定数を使用可能である。

現在のアルゴリズムと、いくつかのステージを結合すると、なお、ｅ　ガウンア ンの範囲、Ｓ、ウィンド側、ｎ　画素飛び越しファクタである。

第１項は、第１ステージの複雑さを定義しており、ウィンド側の平方により乗算 され、画素飛び越しファクタによって分割されるガウシアンマスクの範囲である 。第２項は、第２ステージを表わし、両次光に対して画素飛び越しが実行されて いることを除いては、第１のステージの複雑さと同様である。第３項は、ステー ジ３〜５を表わし、ここてはエリア演算であるが、有効な隣接値演算を使用して いない。最後の定数項は、ステージ６〜１１を表わし、これはスカラ演算である 。明らかに、関係は近似である、何故ならば全ての演算を均一に扱っているから である。しかし、比較のためのエリアの複雑さを十分に測定することはできる。

表１は、上記の式を用いて計算したエリアの復雑さを示している。ここでは、各 ファクタについて３つのレベルがあり、計算された最小値で分割されている（そ の結果、表中、最低の複雑さは“１“、その他すべては乗法因子とみなされる） 。

各種数値に対してファクタを設定するという意味の深い結果と、チップ回路のエ リアの複雑さに関して、これらが互いに如何に関係し合うかが分かる。以下の実 験から判明した事項と一緒に考えると、詳細な設計構想に完全に関係があること が分かる。

・ウィンドの寸法は精度には殆ど関係無い。寸法を小さくすることは、ハードウ ェアの複雑さを減らすという点ては注目に値する。

・ウィンドが小さくなるに連れて、像の細部に対する感度がよくなる。すなわち 、大きなウィンドよりも、小さなウィンドを使用する方が、測定値が変動する。

しかし、１２０ｘ１２０より大きなウィンドを用いてもたいして意味はないよう である。

・一般に、動きの精度は、平行な動き（「大きさ」）と直交（「垂直」）動きが 中位の領域にあるとき、最も正確である。さらに、「大きさ」と「垂直」との間 に不均衡がある場合には、精度は低下する。これは、動きの２つの成分がおよそ 等しいときに、精度か最良であることを意味している（現実的な動きのモデルと 一緒になって、画素のサイズとフレーム率の大きさを制御可能であり、アルゴリ ズムの範囲を定義できる）。

・動きが極度の場合には、精度が減少し、そのような場合には像の細部に対して 感度がより大きくなるということか分かってきた。しかし、像の細部に対する感 度は、動きの方向にはあまり左右されない（すなわち、「大きさ」と「垂直」か 同しであるときに精度が最良であったように）。

・ガウンアンマスクの範囲を増やすと、動きの検出された領域に対して、精度が およそ６あるいは７の範囲に改善される。さらにマスクを増やすと、精度が実際 に悪化した。これは所望の領域に関して過度のはけが発生するせいであると古、 われた。

・動きの量に関係なく、マスクが大きくなると、像の細部に対するアルゴリズム の感度が減少する。

・画素飛び越しは、低い大きさく　ｌｏｗ　ｍａｇｎｉ　ｔｕｄｅｓ）ときは精 度を４または５に改善するが、精度をより高くする場合には、高い大きさくｈｉ ｇｈ　ｍａｇｎｉｔｕｄｅｓ　）方がよい。

・マスクの範囲に関しては、像の細部に対する感度が測定される場合、画素飛び 越しファクタ及び変位の大きさとの間には、有意義な関係はないようである。

付表Ａは、本発明の方法を実施するために用いたコード表である。以上、本発明 の好ましい実施例につき説明したが、本発明の主旨から逸脱することなく、種々 の変更か可能であることは言うまでもない。そのような変更は、請求の範囲に網 羅されているものとする。

マでシマ 要約書 本発明の方法と装置において、隣接する画素位置の発光度における変化量に沿っ て四六時中、それぞれの像画素位置において連続する像間の発光度の変化量を検 知することによって、動きか検出される。これらの変化量はその時の個々の像変 化量の方向と同様に全像の変位量を算出するのに使用される。信号から算出され 表現される全変位量によって、信号は実際の時に、カメラのンヤンター速度、ア パーチャの開き、及び／または記録（９におけるほけを最小化するために動きの トラックの方向にフィルムを動かすことを制御するのに使用することもてきる。

これらの同し信号は、例えば回復プロセスに後に使用するために記憶させること もてきる。

国ａ！１審輻牛

Claims (27)

【特許請求の範囲】
1. １．記録媒体上に光学像を記録する際の動きの影響を最小にする方法であって、 ａ．対応する画素位置における像の明暗度を個々に表わす複数の画素値として電 気的に少なくとも２つの連続する像を捉える、ｂ．数値化された像を形成するた めに前記画素値を数値化する、ｃ．数値化された像の画素値を平滑化する、ｄ． 像内の２つの空間成分と１つの時間成分を計算することにより各画素位置におけ る明暗度の変化を決定する、 ｅ．像内の変化成分を計算を利用して動きの程度度その正味の方向に対応する動 きのパラメータを計算する、と ｆ．計算されたパラメータを用いて像の記録媒体への記録を制御することを特徴 とする。
2. ２．前記ステップｃには、さらに前記画素位置の各々において平滑化された値を 得るために隣接値の画素値に対してガウシアン乗数を用いて各画素位置を平滑化 することが含まれることを特徴とする請求項１に記載の方法。
3. ３．前記ステップｃには、さらに中間結果を得るために、像の第１次元に沿って ガウシアン乗数を使用し、前記画素値の各々において平滑化された値を得るため に像の直交次元に沿ってガウシアン乗数を用いることが含まれることを特徴とす る請求項２に記載の方法。
4. ４．前記ステップｃには、平滑化行程で所定数の画素を飛び越すことが含まれる ことを特徴とする請求項１記載の方法。
5. ５．前記ステップｃには、対称誤差計算に有限数の隣接値画素値を使用すること を特徴とする請求項１に記載の方法。
6. ６．前記ステップｅの動きパラメータは、全微分を強制的に零にして計算される ことを特徴とする請求項１に記載の方法。
7. ７．前記ステップｅの動きパラメータは、最小２乗適合によって計算されること を特徴とする請求項６に記載の方法。
8. ８．前記ステップｅの動きパラメータは、記録媒体の光学像に対する露光時間に 影響を与えるために使用されることを特徴とする請求項１に記載の方法。
9. ９．記録媒体は、前記計算されたパラメータに基づいて動かされることを特徴と する請求項１に記載の方法。
10. １０．前記ステップｅの動きパラメータは、将来使用するために記憶されること を特徴とする請求項１に記載の方法。
11. １１．記録媒体を有するカメラと、 像を受信し、また一部の受信された像を対応する画素値にそれぞれ像の明暗度を 表わす複数の画素値として電気信号に変換するセンサ手段と、を用いる記録媒体 への像記録における動きの影響を最小化する方法であって、以下のステップを含 む。 ａ．複数の連結した画素位置における明暗度の値を変位時間に検知するステップ と、 ｂ．前記ａステップによって検知された複数の明暗度の値を、デジタル化された 画素値にするために、それぞれデジタル化するステップと、ｃ．前記ｂステップ のデジタル化された画素値を平滑化するステップと、ｄ．前記ｃステップの平滑 化されたデジタル画素値を用いて、像内における２つの空間微分成分と１つの時 間微分成分を算出することにより、それぞれの画素位置における明暗度の変化量 を決定するステップと、ｅ．像内における変化量成分を用いることによって、動 きの度合い及びその動きの方向に対応する動きパラメータを算出するステップと 、ｆ．前記動きパラメータを用いて前記記録媒体への前記像記録を制御するステ ップ。
12. １２．請求の範囲１１の方法であって、前記画素位置の夫々に平滑化された値を 得るために、隣接画素値においてガウシアン乗数マスクを用いて、それぞれの画 素位置を平滑化するステップを含む。
13. １３．請求の範囲１２の方法であって、前記ｃステップは、さらに以下のステッ プを含む。 前記ガウシアン乗数マスクを前記像の第１の次元に沿って用いることによって中 間結果を得るステップと、 前記ガウシアン乗数マスクを前記像の直交次元に沿って用いることによって、そ れぞれの画素位置における画素値を平滑化するステップ。
14. １４．請求の範囲１１の方法であって、前記ｃステップは、さらに前記平滑化プ ロセスにおいて所定の画素位置を飛び越すステップを含む。
15. １５．請求の範囲１１の方法であって、前記ｄステップは、さらに対象な微分演 算において、ある有限数の隣接画素値を用いるステップを含む。
16. １６．請求の範囲１１の方法であって、前記ｅステップの動きパラメータは全微 分をゼロに設定することによって、算出される。
17. １７．請求の範囲１１の方法であって、前記ｅステップの動きパラメータは最小 ２乗法によって算出される。
18. １８．請求の範囲１１の方法であって、前記ｅステップの動きパラメータは前記 光学像への前記記録媒体の露光時間を制御するために使用される。
19. １９．請求の範囲１１の方法であって、前記記録媒体は前記算出されたパラメー タに応じて変位される。
20. ２０．請求の範囲１１の方法であって、前記ｅステップの動きパラメータは将来 使用するために記憶される。
21. ２１．記録媒体への光学像記録における動きの影響を最小化する装置であって、 以下の手段を含む。 ａ．対応する画素位置における前記像の明暗度を示す電気的な画素置で表現され た少なくとも２つの連続する像を検索する手段と、ｂ．前記画素値をデジタル化 する手段と、ｃ．前記デジタル化された画素値を平滑化する手段と、ｄ．前記像 の２つの空間微分成分と１つの時間微分成分を算出することによって、それぞれ の画素位置における明暗度の変化量を決定する手段と、ｅ．前記像の変化量成分 を算出することによって、動きの度合い及び正味の動き方向に対応する動きパラ メータを算出するステップと、ｆ．前記動きパラメータを用いて前記記録媒体へ の前記像記録を制御する手段。
22. ２２．記録媒体への像記録における動きの影響を最小化する装置であって、以下 の手段を含む。 ａ．画素位置からなる複数の領域における明暗度の値を変位時に検知する手段と 、 ｂ．デジタル化された画素値を得るため、前記検知手段からの複数の明暗度の値 のそれぞれをデジタル化するデジタル手段と、ｃ．前記デジタル化された画素値 を平滑化するための前記デジタル手段からの出力を受信する平滑化手段と、 ｄ．前記平滑化手段からの平滑化されたデジタル画素値を用いて、像内における ２つの空間微分成分と１つの時間微分成分を算出することにより、それぞれの画 素位置における明暗度の変化量を決定する手段と、ｅ．像内における変化量成分 を用いることによって、動きの度合い及びその動きの方向に対応する動きパラメ ータを算出する手段と、ｆ．前記動きパラメータを用いて前記記録媒体への前記 像記録を制御するための使用手段。
23. ２３．請求の範囲２２の装置であって、以下の手段を含む。 前記平滑化手段からの出力を受信し、前記平滑化された画素値の遅延させる遅延 手段と、 前記平滑化された画素値を遅延または非遅延された入力として受信し、前記算出 された動きパラメータ手段に変位信号を出力として供給する係数算出手段。
24. ２４．請求の範囲２２の装置であって、原像の明暗度に対応するレベルと記録媒 体のＡＳＡ値とを有する信号に沿って、前記動きパラメータを算出する手段から 動きの変位信号を入力として受信して露光パラメータを決定し、前記使用手段に 補正された動きパラメータを供給する補正手段を含む。
25. ２５．請求の範囲２２の装置であって、前記使用手段内に、シャッター手段と原 像を記録媒体に記録することを制御する前期供給された動きパラメータ補正の夫 々応答するアパーチャ手段を含む。
26. ２６．請求の範囲２２の装置であって、検出された動きを補正するために、前記 変位信号に応じて少なくとも１つの軸の沿って動きを供給する前記記録媒体に連 結する手段を含む。
27. ２７．請求の範囲２３の装置であって、検出された動きを補正するために、前記 変位信号に応じて少なくとも１つの軸の沿って動きを供給する前記記録媒体に連 結する手段を含む。