JPH05304675A

JPH05304675A - 異なる焦点距離又は異なる視域の複数の像を使用した高解像度静止画像を得る方法及び装置

Info

Publication number: JPH05304675A
Application number: JP29449192A
Authority: JP
Inventors: Laura A Teodosio; エィ．テオドシオローラ; Walter R Bender; アール．ベンダーワルター
Original assignee: Massachusetts Institute of Technology
Current assignee: Massachusetts Institute of Technology
Priority date: 1991-11-01
Filing date: 1992-11-02
Publication date: 1993-11-16
Anticipated expiration: 2020-02-02
Also published as: JP3616111B2

Abstract

(57)【要約】【目的】高解像度を有する静止画像を得る方法及び装置
を提供すること。【構成】本発明は静止画像（イメージ）を発生させる
方法であって、複数の画像２０１、２０２，２０３・・
・２９９，３００を創出するステップを有しており、各
画像は他と異なる焦点距離にて創出されており、さら
に、その各画像を共通の焦点距離にスケールするステッ
プと、その各スケールされた画像を１焦点距離の最終画
像に組み合わせるステップを有しており、その最終画像
の部分はそのオリジナルシークエンスと比較して相対的
に高い解像度を有している。本発明はさらに、変化する
視域の静止画像のシークエンスを全体的視域のパノラマ
画像に組み合わせるステップを有し、異なる視域にて発
生された画像を組み合わせることに加えて、本発明の方
法はパノラマシーンのごとき全体的シーンの異なる視域
に関して発生した画像を組み合わされたパノラマ視域に
組み合わせることにも使用可能である。本発明のこの特
質は変化する焦点距離のものとも結合可能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は基本的には異なる焦点距
離の複数の像及び装置を使用して高解像度静止画像を創
作する方法に関するものである。特には、本発明はズー
ムビデオシークエンス（ｓｅｑｕｅｎｃｅ）等の複数の
異なる焦点距離像（イメージ）を使用した固定焦点距離
像である静止高解像画像を創出する方法に関するもので
ある。本発明はまた静止パノラマ像のものよりも狭い視
域の複数像から静止パノラマ像（イメージ）を創作する
技術にも関するものである。

【０００２】

【従来の技術】画像処理分野においては、あるシーン
（scene）の静止画像を得ることがしばしば望まれる。
たいていの場合においては、その静止画像は記録手段の
性能及びその静止画像を撮像する装置の焦点距離により
決定される解像度を有する。ビデオ装置は現在比較的安
価であり、多くの人々が使用できるほどに単純構造であ
る。ビデオ記録装置はスチール写真のような静止画像描
出と較べてある意味の利点を備えている。始動したビデ
オカメラはその焦点領域内にある全出来事を撮影するこ
とができるが、一方普通のスチール写真の場合には写真
家がシャッターを押すことで選択した被写体のみを撮影
する。よって、スポーツイベントのごとき高速で移動す
る被写体を撮影する場合、又は結婚式や報道ドキュメン
タリーのごとき予期しない事態が発生するような状況下
ではビデオを常時撮影状態にセットしておき、事後に望
むスチールを選択することが往々にして便利である。し
かしながら、ビデオ信号の解像度は１ピクチャー高あた
り４８０本程度のライン（走査線）と１ピクチャー幅あ
たり６４０程度のサンプル（sample）に制限されてい
る。（ビデオ信号自体はスキャンラインを通じて連続的
である。しかしながら、ディスプレーするためにスキャ
ンライン方向にサンプル化されている。）多くの場合に
おいてこの程度の解像度では高画質を与えるには不充分
である。特に、もしオリジナルの被写体像が比較的短い
焦点距離で撮影されたものである場合において不足す
る。像が拡大されるとその像は相当に不鮮明になる。同
様に、映画や８ミリ撮影のごとき他の撮影技術の場合に
もそれらに特有の解像度に限定される。像の拡大は画像
全体にわたり単位面積あたりの解像度を必然的に劣化さ
せる。

【０００３】例えば、ステージ上のピアノの前で聴衆に
向かって演奏しているソロの演奏家をその聴衆と共に撮
影することが望まれる場合がある。もし撮像装置がビデ
オ装置であれば、聴衆を映し出しているワイドアングル
画像は前記の標準ビデオ解像度に見合った解像度とな
る。画面全体にわたる解像度も同じである。よって、ソ
ロピアニストの像はそのシーンの残り部分と同様な粗さ
となる。たとえば、もしそのソロリスト像が全画面の１
／１６のスペースを取っているとすれば、垂直方向に１
２０本のラインと、水平方向に１６０のサンプルを使用
していることになる。この場合、たとえば会場の後方に
ある空席等のあまり重要でないシーンも同一の解像度と
なる。図１は異なる２焦点距離に関する１焦平面上に、
あるシーンの焦点合わせを略図的に示すものである。も
し焦点距離ｆw が比較的短ければ、像２の全幅は焦平面
４上に焦点が合う。

【０００４】もちろん、ソロリストにズームインし、さ
らに長い焦点距離でソロリストの像を撮影することでそ
のソロリストをより鮮明（即ち、垂直方向にさらに多数
のラインと水平方向にさらに多数のピクセル（ｐｉｘｅ
ｌ））に映し出すことは可能である。図１に示すごと
く、焦点距離ｆTはｆwよりも長い。しかしながら、像２
の中央部６のみが焦平面４に焦点が合わせされている。
焦平面の範囲外で焦点されているので他のほとんどのシ
ーンは犠牲になっている。ソロリスト像はさらに拡大さ
れて大きなスペースを占め、元の像の輪郭の一部は写ら
ない。

【０００５】２チャンネルのデータを結合させて画像デ
ータを増強する（enhance）技術は周知である。その第
１チャンネルは空間的高解像度（即ち、単位長さあたり
に比較的多くの画素）及び比較的時間的低解像度（即
ち、単位時間あたりに比較的少ないフレーム数）を有す
るものであり、その第２チャンネルは空間的低解像度及
び時間的高解像度を有する。その結合の結果、空間的及
び時間的解像度はそれらの高いほうに近づき、普通の状
態で時間的及び空間的高解像度を有するシングル像シー
クエンス（single image sequence）を伝達するのに要
する情報よりも少ない情報伝達で済む。１９８８年５月
に合衆国のマサチューセッツ工科大学（Massachusetts
Institute of Technology）電気工学及びコンピュータ
科学部に提出されたＢ．Ｓ．論文であるクレーマンロ
ーレンスエヌ（Claman,LawrenceN.）の「２チャンネ
ル空間−時間エンコーダ（A Two-Channel Spatio-Tempo
ralEncoder）」を参照されたい。

【０００６】静止画像の種々な空間的部分の解像増強の
ごとく、最短焦点距離で撮影したものを映写化するのに
今日利用可能な技術は見当らない。クレーマンの論文は
固定焦点距離像とベクトル量子化を利用しており、その
結果オリジナルの空間的高解像度像のものを越えない解
像度及び視域のスチールフレームを提供している。

【０００７】

【発明が解決しようとする課題】パノラマビュー（vie
w）の一部から他のパノラマビューの一部にかけて実質
的に共通な１焦点距離を維持しつつ、あるシーンのパノ
ラマビューを提供できることもまた望ましいことであ
る。これを行う従来の方法はビデオカメラをパノラマシ
ーンの片側から別側に移動することであり、本質的には
前後のフレームから各々ほんの少々異なる数多くのフレ
ームを撮ることである。その隣接するフレームに関し
て、各フレームは右側と左側のエッジ部分が異なるのみ
である。フレームを形成している像の大部分は隣接する
フレームの像と同一である。パノラマシーンを形成する
これらの種々な像を保存し、ナビゲートするには多量の
データ保存及びデータアクセスが必要とされる。データ
保存及びアクセスには多額の費用を要するのでこの従来
技術は望ましいものとはいえない。また、保存及びアク
セスされたデータの大部分が実用性を有しない。パノラ
マ的空間を撮影するのに現在使用されている撮影装置に
はグルブスコープ（ｇｌｕｂｕｓｃｏｐｅ）又はボルピ
（ｖｏｌｐｉ）レンズの移動が含まれる。１シーンの１
位置から別位置へパン（ｐａｎ）し、同時にズームでき
ることも望ましいことである。従来技術の欠点はそのよ
うな組み合わせにおいて望ましくない結果をもたらすこ
とである。

【０００８】よって、本発明の目的は、以下の利点を備
えた比較的に高解像度を有する静止画像を創作する方法
及び装置を提供することである：１）像全体にわたり高解像度で情報を取得する必要がな
い。２）あまり重要ではない像の大部分に関して情報を収集
する必要がない。３）種々な焦点距離又は視域の標準的ビデオ像のシーク
エンスを入力要素として取得できる。４）標準的フィルム像のシークエンスを入力要素として
取得できる。５）望む像のいかなる部分でもその解像度を増強する。６）適正にプログラムされた汎用デジタルコンピュータ
及び標準型ビデオ又は映画装置が使用可能である。

【０００９】本発明の別目的は過剰なデータ保存及びア
クセス能力を要せず、あるシーンのパノラマビューを観
察者に提供し、その観察者にそのシーンの１位置から他
の位置までのナビゲーションを可能とする方法を提供す
ることである。本発明のさらに別目的はデジタル化され
たいかなる形態の像データであろうとも前記能力を発揮
させることである。

【００１０】

【課題を解決するための手段】上記課題を解決するため
の本発明を要約すれば、本発明は静止画像を発生させる
方法であって、複数の像を創出するステップを有してお
り、各像は他と異なる焦点距離にて創出されており、さ
らに、その各像を共通の焦点距離にスケールするステッ
プと、その各スケールされた像を１焦点距離の最終像に
組み合わせるステップを有しており、その最終像の部分
はそのオリジナルシークエンスと比較して相対的に高い
解像度を有している。本発明はさらに、変化する視域の
静止画像のシークエンスを全体的視域のパノラマ像に組
み入れるステップをも有している。異なる視域にて発生
された像を組み合わせることに加えて、本発明の方法は
パノラマシーンのごとき全体的シーンの異なる視域に関
して発生した像を組み合わされたパノラマ視域に組み合
わせることにも使用可能である。本発明のこの特質は変
化する焦点距離のものとも結合可能である。

【００１１】本発明はまた静止画像を発生させる装置で
あって、複数の像を創出する手段を有しており、各像は
他と異なる焦点距離にて創出されたものであり、さら
に、各像を共通の焦点距離にスケールする手段とスケー
ルされた像をそれぞれ１焦点距離の１像に組み入れる手
段とを有している。本発明の装置はさらに全体的シーン
の異なる視域に関して発生した像を組み合わされたパノ
ラマ視域に組み入れる装置を含んでいる。

【００１２】次に、最初の実施例を解説する。ここでは
本発明は静止画像（イメージ）を発生させる方法であっ
て、以下のステップから成り立っている：１）それぞれ異なる焦点距離で創出された複数の像をそ
れぞれ代表する複数の信号を発生させるステップ２）共通の焦点距離にスケール（scale）された対応す
る像を代表するように各信号を変換するステップ３）各変換した信号を組み合わせ、オリジナルシークエ
ンスの像と比較して部分的には比較的に高解像度である
スケールされた像を１焦点距離の最終像とする組み合わ
せを代表した信号を得るステップ。

【００１３】別の実施例を解説する。ここでは本発明は
静止画像を発生させる装置であって、以下の手段から成
り立っている：１）それぞれ互いに異なる焦点距離にて創出された複数
の像を創出する手段。２）異なる焦点距離のそれぞれの像を代表する複数の信
号を発生させる手段。３）共通の焦点距離にスケールされた対応する像を代表
するように複数の信号の各々を変換する手段４）各変換した信号を組み合わせ、スケールされた像を
１焦点距離の１像とする組み合わせを代表した信号を得
る手段。

【００１４】さらに別の実施例を解説する。ここでは本
発明は静止画像を発生させる方法であって、以下のステ
ップから成る：１）それぞれ異なる視域で創出された複数の像をそれぞ
れ代表する複数の信号を発生させるステップ２）共通のパノラマ視域内で１位置にトランスレート
（translate）された対応する像を代表するように各信
号を変換するステップ３）各変換した信号を組み合わせ、オリジナルシークエ
ンスの像と比較してさらに大きな視域をカバーする１パ
ノラマ視域の最終像とするトランスレートされた像の組
み合わせを代表した信号を得るステップ。

【００１５】またさらに別の実施例を解説する。ここで
は本発明は静止画像を発生させる装置であって、以下の
手段から成り立っている：１）それぞれ互いに異なる視域にて創出された複数の像
を創出する手段２）それぞれ異なる視域の複数の像の１つを代表する複
数の信号を発生させる手段３）共通のパノラマ視域内の１位置にトランスレートさ
れた対応する像を代表するように複数の信号の各々を変
換する手段４）各変換した信号を組み合わせ、１パノラマ視域の１
像とするトランスレートされた像の組み合わせを代表し
た信号を得る手段。

【００１６】さらにまた別の実施例を解説する。ここで
は本発明は静止画像を発生させる方法であって、以下の
ステップから成る：１）それぞれ異なる視域にて創出された複数の像の１つ
を各々代表する複数の信号を発生させるステップ２）共通のパノラマ視域内の１位置にトランスレートさ
れ、共通の焦点距離にスケールされた対応する像を代表
するように各信号を変換するステップ３）各変換した信号を組み合わせ、部分的にはオリジナ
ルシークエンスの像よりも高い解像度であり、オリジナ
ルシークエンス及び１焦点距離の像と比較してさらに大
きな視域をカバーする１パノラマ視域の最終像とするト
ランスレートされ、スケールされた像の組み合わせを代
表した信号を得るステップ。

【００１７】

【作用】上記構成により、以下の利点を備えた比較的に
高解像度を有する静止画像を創作する方法及び装置が提
供される。１）像全体にわたり高解像度で情報を取得する必要がな
い。２）あまり重要ではない像の大部分に関して情報を収集
する必要がない。３）種々な焦点距離又は視域の標準的ビデオ像のシーク
エンスを入力要素として取得できる。４）標準的フィルム像のシークエンスを入力要素として
取得できる。５）望む像のいかなる部分でもその解像度を増強する。６）適正にプログラムされた汎用デジタルコンピュータ
及び標準型ビデオ又は映画装置が使用可能である。

【００１８】さらに、過剰なデータ保存及びアクセス能
力を要せず、あるシーンのパノラマビューが観察者に提
供され、その観察者にそのシーンの１位置から他の位置
までのナビゲーションを可能とする方法が提供される。
又、デジタル化されたいかなる形態の像データであろう
とも前記能力を発揮させることができる。

【００１９】

【実施例】以下、本発明の実施例につき詳細に説明す
る。典型的なビデオ像はフィールドのシークエンスによ
り創出される。各フィールドは画像化されるシーンの静
止画像を代表する。インターレース（interlace）によ
って連続的フィールド間に１／２のスキャンラインの垂
直方向のずれが生じる。（表示システムによってはイン
ターレースなくスキャンされており、その場合にはフィ
ールド間の垂直方向のずれは生じない。）一般的に毎秒
５０又は６０フィールドの割合でこのような静止フィー
ルドのシークエンスを表示することにより、モーション
又は変化は人の視覚システムの心理的精神肉体的特性に
よって表出される。各フィールドのペアは前述したごと
くにラインで満ちたスクリーンで構成され、各ラインは
それぞれ画素（ピクセル）により構成されている。各ピ
クセルは、コンピュータメモリー又は他の適当なデジタ
ル記録媒体内に特定のレンジである信号値により代表さ
れる。カラー像においては、このレンジは典型的には色
の３要素（component）の各々に対して０−２５５であ
り、グレースケール（grayscale）像に対してはこのレ
ンジは１要素あたり特徴的には０−２５５である。サテ
ライト映像又はＸ線のような像源は０−４０９６ほどの
大きさのレンジを有することもある。ピクセル値はフレ
ーム内のそれらの位置に何らかの手段にて対応する形状
でメモリー内に保存される。ビデオ像に対してなされる
全操作は典型的には個々のピクセル要素の値を代表する
信号に対して行われる。

【００２０】像のモノクロ記録の場合には、各ピクセル
要素は単独の個別的（discrete）な要素である。像のカ
ラー記録の場合には、１セットのチャンネル又はピクセ
ルのグループが各ピクチャー要素に対して使用される。
例えば、ＲＧＢとして知られる表色スキーム（color va
lue scheme）において、各色は赤（Ｒ）、緑（Ｇ）及び
青（Ｂ）の色量の組み合わせにより代表される。これら
３色の各々の色「チャンネル」が別々に提供される。Ｒ
ＧＢシステムにおいて、各チャンネルはスキャンライン
ごとに同数のピクセルとスクリーンごとに同数のスキャ
ンラインを有する。下記他のカラー値システムは異なる
チャンネルに対してスキャンラインごとに異なる数のサ
ンプルを有する。ピクセルの要素は典型的には表示装置
上に相互に隣接して位置しており、同時に表示されると
きには（観察者にとってはそのように錯覚する）結合し
てオリジナルの色を形成する。ピクセルの時間シークエ
ンス（time sequential）ディスプレー等の他のスキー
ムも利用可能である。

【００２１】ＲＧＢカラー値スキームは特定の使用には
役立つが、カラー値の数学的操作には必ずしも最適では
ない。他のカラースキームの方がさらに有用であり、特
には像の輝度を表しているチャンネルを含むものが有効
である。一般的に輝度とは所定方向における単位あたり
の知覚面積から出される、又は反射された光の強さとし
て記述される。一般的に、輝度及び２つの他のディメン
ション（dimension）により定義される３チャンネルカ
ラースペースはＲＧＢカラースペースと等価である。典
型的な輝度カラースペースは、アメリカ合衆国のテレビ
放送用テレビ基準委員会により使用されているＹ（輝
度）、ｉ（位相）及びｑ（クワドラチャー（ｑｕａｄｒ
ａｔｕｒｅ））カラースペースである。他の輝度カラー
スペースはＣＩＥ（ＣｏｍｍｉｓｓｉｏｎＩｎｔｅｒ
ｎａｔｉｏｎａｌｄｅｌ′Ｅｃｌａｉｒａｇｅ）、
Ｙ、ｘ、ｙ（輝度及び２クロミナンスチャンネル）及び
そのバリアント（variants）、さらにＹ、ｕ、ｖ（輝度
及び２クロミナンスチャンネル）並びに他にも多数存在
している。

【００２２】本発明においては、たいていの処理は１チ
ャンネル又は１コンポーネントで充分である。全てのデ
ータ計算及び操作はまずカラー像のＹチャンネルに対し
てのみ実施される。Ｙチャンネルが選択される理由は普
通、Ｙチャンネルがビデオシステムにおいて最も高い信
号対ノイズ比を有しているからであり、さらに、Ｙチャ
ンネルは、たいていの場合にクロミナンスよりも高い空
間（spatial）周波数にてサンプルされるからである。
Ｙチャンネルに関して必要な変換が決定された後、同一
の変換が位相及びクワドラチャーのクロミナンスチャン
ネルのような残りのチャンネルに対して適用される。こ
れらの変換の特徴を以下にて述べる。

【００２３】ビデオ像は通常一連のフレームと見なされ
ているが、実際にはそのような「フレーム」はいかなる
ときにも存在していない。フレームとして人たる観察者
及び当該分野の技術者に考えられているのは、実際には
「フィールド」の１ペアのことである。各フィールドは
偶数列のスキャンライン、又は奇数列のスキャンライン
により成り立つ。偶数のフィールドは奇数列のスキャン
ラインから垂直方向に１本のスキャンラインの半分だけ
オフセット（offset）されている。１ペアのフィールド
はインターレース（interlace）されて１フレームを形
成している。

【００２４】フィールドペア１０１と１０２は図２にお
いて略図的に示されている。フィールド１０１は像の奇
数列のスキャンラインのみを含んでおり、フィールド１
０２は像の偶数列のスキャンラインのみを含んでいる。
ビデオ装置はこれらのフィールドを連続的に別々に記録
する。よって、各フィールドは潜在的に多少とも異なる
像を記録することとなり、それはフィールドの記録に要
する時間に関連するシーン又はカメラのモーションによ
る。また、ビデオ装置はフィールドを連続的に素早くデ
ィスプレーし、その速度は典型的には毎秒５０から６０
フィールドである。この速度でフィールドがディスプレ
ーされるとき、観察者は組み合わされて１つになったフ
レーム１１０であるフィールドを「見る」こととなる。
各フィールド（シークエンスの最初と最後を除いて）は
各連続した２フレームのコンポーネントであることが理
解されよう。図３に示すように、フィールド１０２はフ
レーム１１０の第２フィールドとフレーム１１２の第１
フィールドを形成する。同様に、フィールド１０３はフ
レーム１１２の第２フィールドとフレーム１１４の第１
フィールドを形成する。人たる観察者により組み合わさ
れる以外は、フレームは個々の信号要素としては実際に
存在しないことがこれで理解されよう。

【００２５】本発明の方法はフレームのシークエンス、
特にはビデオ像のシークエンスを使用する。本発明実施
化には、フレームコンポーネントの脱インターレース
（ｄｅ−ｉｎｔｅｒｌａｃｅ）が必要である。脱インタ
ーレースとは、奇数列又は偶数列のラインだけではな
く、像の各ラインのピクセル値を含む、特にコンピュー
タメモリーオンリーにおけるピクセル要素からなる実際
のフレームを表す信号を構成することを意味している。
本発明はまたインターレース技術を利用することなく記
録されたデータに対しても適用が可能である。しかし、
インターレースされる材料は共通なので、それを脱イン
ターレースできることが重要である。

【００２６】本発明によれば、脱インターレースはデー
タ信号にメジアン（median）フィルターを適用すること
で達成される。例えば、時間ｔで脱インターレースされ
たフレームの７番目のスキャンラインを創出するには４
個の値のメジアンが使用される。即ち、時間ｔ−１にお
けるフィールドの７番ラインの各ピクセル要素に対する
値と、時間ｔ＋１におけるフィールドの７番ラインの対
応ピクセル要素に対する値と、時間ｔにおけるフィール
ドの６番ラインの対応ピクセル要素に対する値と、時間
ｔにおけるフィールドの８番ラインの対応ピクセル要素
に対する値である。これらの４個のメジアンは脱インタ
ーレースされたシークエンスのフレームの７番ラインに
おける対応ピクセル要素に対する値として割り当てられ
る。

【００２７】同じプロセスがスキャンラインの各ピクセ
ルと、そのフィールドの各奇数列のスキャンラインに対
して繰り返される。偶数列のスキャンラインは単に時間
ｔにおけるフィールドから採用される。この脱インター
レースされたフレームはいかなるオリジナルシークエン
スのフレームとも異なることを指摘する必要がある。な
ぜならば、奇数列スキャンラインを形成しているピクセ
ル要素は前後のフィールドと時間ｔでのフィールドとの
結合により創出されるからである。

【００２８】第２の脱インターレースされたフレームを
創出するにはこのプロセスが繰り返されるが、偶数列の
スキャンラインはフィールドｔ及びｔ＋２からの偶数列
スキャンラインのメジアンを使用することで形成され、
奇数列のスキャンラインは関係するスキャンラインの上
下に存在するフィールドｔ＋１から形成される。奇数列
のスキャンラインは時間ｔ＋１でのフィールドから直接
的に採用される。

【００２９】フレームが脱インターレースされた後、一
連のフレームが得られ、それらはそれぞれ偶数列と奇数
列のスキャンラインの全必要数から構成されており、フ
ィールドのシークエンスを観察している人たる観察者に
より感知される１フレーム内のものと同数のスキャンラ
インを有しているものとなる。

【００３０】他の脱インターレース方法もまた利用で
き、本発明の思想の範囲内である。しかし、これら他の
方法は前述の脱インターレース技術程には優れた結果を
提供するとは考えられていない。その１つの方法は１フ
ィールド内の各ペアのライン間において、データの新ラ
インを合成するために各フィールド内のスキャンライン
間のリニアインタポレーション（ｌｉｎｅａｒｉｎｔ
ｅｒｐｏｌａｔｉｏｎ）を行うことである。この技術は
動きのない像の部分において明らかに空間的解像度（sp
atial resolution）のロスを導く。別の方法としては、
そのときのフィールドの前後のフィールド間でインタポ
レーションを行うことである。この技術は動きのある像
の部分の時間的解像度を犠牲にする。別々のフィールド
に対してデータ操作を施し、１フィールドを次のフィー
ルドにワープさせるためのアファイン変換を利用するこ
とも可能である。しかしながら、フィールドのアファイ
ン変換はインターレースによる空間的時間エイリアシン
グ（temporal aliasing）により脱インターレースされ
たフレームにアファイン変換を施すほどには良好な結果
を提供しない。

【００３１】本発明の方法に使用されるフレームのシー
クエンスは、典型的にはズームシークエンスであり、こ
れは長い焦点距離から短い焦点距離、又はその逆のズー
ミングを意味する。又、ズーミング中にパン（水平モー
ション）又はジブ（jib）（垂直モーション）すること
もできる。脱インターレースされた１００のフレームの
シークエンス２００が図４において略図的に示されてい
る。そのシークエンスは比較的短い焦点距離でワイドな
アングルのフレーム２０１から比較的長い焦点距離でク
ローズアップのフレーム３００までのズームにより構成
されている。フレーム２０１において一連の文字が略図
的に表されている。フレーム３００においてはフレーム
２０１の中央に位置しているアルファベット「Ｘ」の部
分のみがフレームに含まれている。

【００３２】シークエンス２００の各フレームは同数の
ピクセル要素及びスキャンラインから構成されている。
従って、中央の文字Ｘのクロス部分がフレーム２０１の
ズームにおいて５０のピクセルを使用しているものと仮
定すれば、そのクロス部分はフレーム３００でのズーム
においては３００のピクセルを使用していることにな
る。１の典型的なズームは、シークエンスの最初から最
後のフレームにかけて４：１以上のスケーリングファク
ター（ｓｃａｌｉｎｇｆａｃｔｏｒ）をもたらす。フ
レーム３００のズームからのクロス部分の映像化は明ら
かにフレーム２０１のズームからのクロス部分の映像化
よりも多くの情報提供が可能となる。しかし、例えば他
の文字のごとき当初のシーンの他の被写体を映像化する
のに必要な情報はフレーム３００からはまったく得られ
ない。なぜなら、これらのものはフレーム３００には存
在しないからである。よって、本発明の１つの目的はシ
ークエンスの別々のフレームから得られる情報を１つの
組み合わせ像に形成することであり、そのシーンの大部
分についての充分な情報を提供することである。

【００３３】個々のフレームとオリジナルシーンの間の
関係は図５にて略図的に示されている。フレーム２０１
は全オリジナルシーンを映し出している。フレーム２０
２は領域２０２ｓ内部に見合うだけのオリジナルシーン
のみを映像化しており、それはフレーム２０１よりも小
さいものである。フレーム２０３は領域２０３ｓに見合
うだけのオリジナルシーンのみを映像化しており、この
ように順番に領域３００ｓまで続く。従って、オリジナ
ルシーンはズーム２０１によりマッピング（ｍａｐｐｉ
ｎｇ）された全シーンのデータスペースと同一サイズで
あるデータスペース内に徐々により小さな部分へとマッ
ピングされてゆく。（このデータスペースは「小」デー
タスペースという。本方法に関する他のデータスペース
と比べて最小だからである。）

【００３４】本発明の目的は各ズームフレームから得ら
れるだけの出来るかぎり多量の情報を利用することであ
る。各ズームフレームは拡大され、最長の焦点距離のフ
レーム、即ちフレーム２９９と同じスケールを有するこ
ととなる。図６において略図的に示されているように、
拡大されたフレームは相互に積み重ねられる。オリジナ
ルフレーム２０１はオリジナルサイズの何倍にも拡大さ
れる。各連続するフレーム２０２、２０３・・・等は徐
々に多少とも少なめに拡大され、最終フレーム２９９は
まったく拡大されない。各フレームの像が他の全フレー
ムシーンの同一部分と実質的にぴったりと重なるように
重ね合わせることは可能である。もし各フレームの像部
分が不鮮明であれば、シーンの見える部分（フレーム２
９９の全部及び他の全フレームの輪郭部）は最も高い解
像度を有するフレームから構成される。

【００３５】各フレームのスケールアップは、各フレー
ムを代表するデータ信号の変換操作と、その変換データ
を一連のデータスペースにマッピングする操作とを経
て、究極的に最終データスペースにマッピングされたデ
ータを代表する信号を発生させる操作により達成され
る。この最終データスペースは、前記小データスペース
よりもずっと大きく、よって大データスペースと呼ばれ
る。（実際各フレームは全大スペース内に構成されてお
り、最大に拡大されたフレーム２０１と同じデータスペ
ースを占めている。しかし、フレーム２０１を除く全フ
レームに対しては、フレームの輪郭部はゼロの値を有す
るピクセルにより形成されている。）

【００３６】各拡張フレームの解像度はもちろん互いに
異なっており、ある部分、例えば、フレーム２０１から
の中央文字Ｘにおいて得られる情報の詳細はフレーム２
０３又は２９９から得られるシーンの同じ部分における
情報の詳細よりもずっと少ないであろう。言い換えるな
らば、フレーム２０１の拡大像はピクセル間の情報ギャ
ップの影響を受ける。フレーム３００からの像はこれら
の情報ギャップの影響をまったく受けない。この情報ギ
ャップは以下に説明するごとく、データを取得可能なピ
クセル間のインタポレーションにより満たされる。

【００３７】上記したように、もしフレームが同じサイ
ズにスケールされ、各々のデータが他のデータに重ねら
れると、それらは良く重なり合うが、実質的に重なり合
っているのみであり、必ずしも厳密な意味で重なり合っ
ているわけではない。これはカメラのモーションやシー
ンの要素のモーションのためである。比較的高い解像度
の静止画像を創出するためにフレームのシークエンスを
利用する過程でこれらのモーションを考慮に入れること
も重要である。

【００３８】本発明の方法を以下、詳細に説明する。前
記スキームを特定の手段にて活用するには、本発明の方
法は、まず各フレームを同じディメンション（大データ
スペース）のデータスペースにマッピング（map）又は
「ワーピング」する必要がある。そのワーピング後にシ
ークエンスの個々のフレームは合成画を創出するために
ウエイトを与えられた（weighted）時間メジアン操作に
より結合される。

【００３９】各フレームを大データスペースにマッピン
グ又はワーピングするには、ズームのフレームシリーズ
が実質的に一定な焦点距離のフレームのシリーズとして
モデル化（modelled）され、１又は２の動いている被写
体を記録する。その状況は相互的（reciprocal）なもの
である。記録装置の焦点距離を変化するものとして処理
するかわりに、シーン全体が固定焦点距離レンズの記録
装置に近づくか、又は遠ざかるものとして処理しても同
じことである。

【００４０】以下の説明において本発明方法の基本的ス
テップを紹介する。基本ステップを最初に紹介するのは
説明を目的としたものであって、決して本発明方法のス
テップ順を示しているのではない。そのステップの順は
基本的概念を紹介した後で説明する。

【００４１】本発明の基本的ステップはカメラのズーム
モーションをリカバー（recover）するためのものであ
る。本発明の方法は、水平方向、鉛直方向及びスケール
方向（水平／鉛直平面に垂直）における像の速度成分と
してのカメラズームに影響を受ける連続的フレーム間の
変化をモデル化するものである。そのような像ポーショ
ンに対するフレーム間の速度はこれらの３方向各々につ
いて決定される。その結果どのフレームのいかなるピク
セル値も、多重速度（連続的多重フレームのペアを表し
ているもの）をオリジナル像ポーション（部分）を表し
ているデータに適用することで異なる焦点距離の１フレ
ーム内の対応位置にワーピング可能である。これに関連
する技術は１９９０年４月に発表されたニュージャージ
ー州プリンストンにあるデイビッドサーノフリサー
チセンター（David Sarnoff Research Center）のバー
ゲンジェイ（Bergen,J.）、バートピー（Burt,
P.）、ヒンゴラニアール（Hingorani,R.）及びペレグ
エス（Peleg,S.）らによる表題『３フレームからの２
モーション計算』にて開示されている。以下の基本的説
明の多くは実質的には前記バーゲン他の論文から借用し
たものである。

【００４２】ある像領域のモーションに対する単純で閉
じた系での形態予想法は前記バーゲン他により導き出さ
れたものである。まず、像の部分的な小移動は、像シー
クエンスであるフレームＩ（ｘ，ｙ，ｔ−１）及びＩ
（ｘ，ｙ，ｔ）間で生じると考えることができる。この
Ｉ（ｘ，ｙ，ｔ）は、時間ｔにおけるｘ（水平）及びｙ
（鉛直）方向に延びている観察像であり、例えば、フレ
ーム２９９にて示されている。Ｉ（ｘ，ｙ，ｔ−１）は
時間ｔ−１における観察像であり、例えば、フレーム２
９８である。いかなるときにもＰ（ｘ，ｙ）として表さ
れるｘとｙのパターンはすべてのピクセルの速度フィー
ルドである速度ｐ（ｘ，ｙ）で移動しており、ｘ方向と
ｙ方向双方のモーション成分を有している。モーション
フィールドｐ（ｘ，ｙ）はｘとｙにおける変位による以
下で表される。ｐ（ｘ，ｙ）＝（ｐx（ｘ，ｙ），ｐy（ｘ，ｙ））（１）このｐx（ｘ，ｙ）はｘ方向（ｘとｙの関数）の変位で
あり、ｐy（ｘ，ｙ）はｙ方向（ｘとｙの関数）の変位
である。よって、以下の式が導かれる。Ｉ（ｘ，ｙ，ｔ）＝Ｐ（ｘ−ｔｐx，ｙ−ｔｐy）（２）Ｉ（ｘ，ｙ，ｔ）＝Ｐ（ｘ−ｐx，ｙ−ｐy，ｔ−１）（３）

【００４３】前記フレームのインターバルを時間の１ユ
ニットとすることで表記を単純化することができる。最
小平方誤差（ｌｅａｓｔｓｑｕａｒｅｄｅｒｒｏ
ｒ）技法に従い、測定値とフィールドｐを使用した計算
値との間の平方誤差を最小とするモーションフィールド
ｐ＝（ｐx，ｐy）を求めるのが有益である。

【００４４】

【数１】１フレームから次のフレームまでの偏差が小さいと仮定
すれば、等式（４）はＩ（ｘ，ｙ，ｔ）の省略テーラー
シリーズエクスパンション（truncated Taylorseries e
xpansion）により単純化することが可能である。

【００４５】

【数２】ここにおいて、

【数３】であり、従って、

【数４】となる。

【００４６】像モーションは速度成分の各パラメータ
（ｐａｒａｍｅｔｅｒ）に関して等式（６）の導関数
（derivatives）をゼロにセットし（誤差は導関数がゼ
ロのときに最小だからである）、得られる等式システム
を解くことで得られる。もし、像ポーションのモーショ
ンが単純移動（simple translation）によりモデル化
されるなら、ｐ＝（ａx，ａy）となり、このａx及びａy
はピクセルのユニットにおいて定数となり、光学的フロ
ー（flow）等式は以下のようになる。

【００４７】

【数５】

【００４８】本発明方法の特徴的な適用ケースにおいて
は、モーションは単純移動によってはモデル化できない
ことが理解されよう。なぜなら、単純移動は焦点レンズ
のズームのようにスケール変化のリカバリー又はモデル
化を行わないからである。その代わりに、像のモーショ
ンは、アファイン変換（即ち直線を直線に、平行線を平
行線に変換するが、ポイント間の距離と、ライン間のア
ングルを変化させる可能性のある変換）としてさらに典
型的に正確にモデル化される。この場合、モーションフ
ィールドｐは６個のパラメータであるａx，ｂx，ｃx，
ａy，ｂy及びｃyを有しており、それらは次のように適
用される。

【００４９】

【数６】

【００５０】ここで、ａx及びａyは上記のごとくであ
り、ｂx はｘ方向のｘのパーセンテージスケールファク
ターであり、ｃx はｘのパーセンテージローテーション
ファクターであり、ｙ位置に関係する（depending on）
ものである。ｂy はｙのパーセンテージローテーション
ファクターであり、ｘ位置に関係し、ｃy はｙのパーセ
ンテージスケーリングファクターである。ズームにおけ
る１フレームから次のフレームへのａx とａy の通常の
レンジは、数個のピクセル程度である。残余ファクター
の普通のレンジは０．００１から０．１程度である。も
し、等式（６）の誤差がこれらの６個のパラメータの各
々に関して微分（differentiated）されると、６個の未
知数ａx，ｂx，ｃx，ａy，ｂy及びｃyを持つ６個の等式
システムが得られる。即ち、

【００５１】

【数７】である。

【００５２】このシステムは係数ａx，ｂx，ｃx，ａy，
ｂy及びｃyについて解かれなければならない。解を得る
ことは可能である。なぜなら、Ｉx，Ｉy，及びＩt、即
ち、ｘ、ｙ及びｔに関する像の部分的導関数は時間ｔ及
び時間ｔ＋１の像値から決定可能だからである。Ｉt は
時間ｔ＋１のピクセル値を時間ｔにおける対応ピクセル
値から差し引くことで決定される。Ｉx は時間ｔのピク
セル値と時間ｔ＋１の対応ピクセル値を加えて、ｘにお
ける導関数フィルター（filter）を介してその合計をラ
ン（run）させることで決定される。Ｉyはその得られた
合計をｙの導関数フィルターを介してランさせることで
決定される。これらの３個の値が像内のすべてのピクセ
ルに対して決定されたならば、等式（１０）のシステム
は、係数ａx，ｂx，ｃx，ａy，ｂy及びｃyについて解か
れる。これらの係数を知れば、１つのフレームから次の
フレームまでの像の特殊なアスペクト（aspect）を代表
する与えられたピクセル値の位置の変化を決定すること
が可能となる。

【００５３】従って、フレーム２０１のピクセル値の位
置を決定するために、像のポーションをワープされてい
ないフレーム２０２の像の対応ポーションと合致させる
ためにフレーム２０１が１ステップ分だけワーピングさ
れた後に、等式９ｘと９ｙの変換がフレーム２０１の各
ピクセル値に適用される。図７に示すように、ポイント
（ｘ，ｙ）、ピクセル位置（２０、３０）の像ポーショ
ンを考慮されたい。（図７はスケールするためものでは
ない。）図７においてオリジナル位置におけるフレーム
２０１は、符号２０１にて表される。フレーム２０２の
スケールにワーピングされた後、フレーム２０１は２０
１2 として表される。フレーム２０３のスケールにワー
ピングされた後には２０１3 として表され、この要領で
フレーム２０１99まで続行する。スケールの増加率１０
％（１フレームから次のフレームに対するものとしては
大きい率）と５個のピクセルの右側へのパンに対して
は、フレーム２０１とフレーム２０２間の典型的な係数
は以下の値を有している。

【００５４】

【数８】フレーム２０１のピクセル（２０、３０）での値のｘ方
向におけるフレーム２０１からフレーム２０１2 へのず
れは、５＋（．１×２０）＋（０×３０）＝７となる。
その値はｘの正の方向に７ピクセル分移動させ、ｘ位置
２７にくることを意味する。ｙ方向のずれは、０＋（０
×２０）＋（．１×３０）＝３となり、ｙの方向に３ピ
クセル分移動してｙ位置３３にくることを意味する。こ
れは図７にて略図的に示されており、フレーム２０１の
ピクセル位置（ｘ，ｙ）からフレーム２０１2 の別位置
（その像の同一箇所）へ向かう曲矢印Ａである。

【００５５】同様に、同じピクセル値をフレーム２０１
3 にて占める位置にワーピングするには、フレーム２０
２と２０３との間で６つの等式（１０）のセットを解く
ことで得られる係数ａx，ｂx，ｃx，ａy，ｂyとｃyを使
用してフレーム２０１2 のピクセル座標（coordinate
s）に変換等式（９ｘ）と（９ｙ）を適用することが必
要である。それらの係数は、フレーム２０１とフレーム
２０２との間で得られたものとは異なるかもしれない。

【００５６】その変換等式は１次式（linear）であり、
よってリバース可能（reversible）である。フレーム２
０１のスケールからフレーム２０２のスケールへの変換
には係数ａx，ｂx，ｃx，ａy，ｂy及びｃyが使用され
る。フレーム２０２のスケールからフレーム２０１のス
ケールに変換するには、これらの係数の１次逆元（ｌｉ
ｎｅａｒｉｎｖｅｒｓｅ）が使用される。

【００５７】以上説明したように、フレーム２０１のポ
イント（ｘ，ｙ）からのピクセル値はフレーム２０１2
の新位置にワーピングされる。ポイント（ｘ＋１，ｙ）
からのピクセル値もフレーム２０１2 の新位置にワーピ
ングされるが、その位置は典型的にはピクセル（ｘ，
ｙ）の値に対応するワーピング位置に隣接することはな
い。もしこれ以上何の操作もしなければ、フレーム２０
１2 のこれら２ポイント間のスペースはブランク又は値
なしの状態となる。このスペースに情報を入力するには
何らかのインタポレーションが必要となる。１次及び双
１次（bilinear）インタポレーションを含む種々な技法
が可能である。双１次インタポレーションは効果的に使
用されている。

【００５８】バーゲン、バート他により説明されている
ように、前記のモーション予想法はズームシークエンス
の１フレームから次のフレームまでの像のずれが少ない
（１ピクセル以下）前記の省略テーラーシリーズ近似法
が適しているの時のみにおいて正確である。図８におい
て略図的に示されている多重解析（ピラミッド）構造
（multiresolution structure）を使用することでさら
に良い結果が得られ、その技法はより一般的な大きな移
動の場合にも適用可能である。

【００５９】アファイン変換パラメータａx，ｂx，ｃ
x，ａy，ｂyとｃyを決定する過程においてガウスのピラ
ミッド（pyramid）Ｇは、例えばフレーム２０１と２０
２である像フレームペアの各フレームに対して構築され
る。シークエンスの各メンバーに対して、その解析及び
そのサンプルデンシティ（density ）が平方根で減じら
れている（reduced by a power of 2）オリジナル像の
修正コピーのシークエンスによりそのピラミッドは形成
される。シークエンス２００のフレームの１つがガウス
ピラミッドシークエンスのベースレベルを形成している
ことを除けば、例えばＧ201,0、Ｇ201,1、Ｇ201,2 、Ｇ
201,I 等のガウスピラミッドシークエンスのメンバーは
シークエンス２００のメンバーとは全く異なっているこ
とが特記されなければならない。

【００６０】レゾリューション（resolution）を減少さ
せるために、データはローパスフィルターを通過させら
れる。このローパスフィルターを通過させることで像の
小さな又は素早い移動に関連したデータを排除する。従
って、大きなモーションはレゾリューションが最も大き
く減少したレベルにて検知される。ローパスフィルター
がデータ内の偏差の大部分を排除しているので、存在す
る全ピクセルに対する計算をする必要性はなくなる。よ
って、操作対象のピクセル数を減少させるために２程度
のサブサンプリング（ｓｕｂ−ｓａｍｐｌｉｎｇ）が適
用される。このサブサンプリングは計算の能率を高め、
操作のスピード向上に寄与する。サブサンプリングの特
徴的なパターンは隔行及び隔列を無視することである。

【００６１】ピラミッドの各レベルＩは、ローパスフィ
ルターの効果を発揮させるために小核（ｋｅｒｎｅｌ）
フィルターωで先行するレベルのデータを収束させるこ
とで取得され、続いてサブサンプリングを行う。Ｇt,l
＝［Ｇt,l-1 ＊ ω］↓₂ ここでのＧt,l は像Ｉ（ｘ，
ｙ，ｔ）に対するＩ^thのピラミッドレベルである。上記
↓₂ は、括弧内の量がｘとｙに対して２でサブサンプル
されていることを示している。例えば、Ｇ201,1を得る
にはＧ201,0をフィルターωで収束し、その結果をサブ
サンプリングする。

【００６２】変換の分析は像ピラミッドの低レゾリュー
ションレベル、例えばレベル３にて開始される。４８０
スキャンラインと６４０ピクセルにより定義されるオリ
ジナル像に対しては、典型的にはレベル３の分析は良好
な結果をもたらす。レベルＩのサンプル距離はオリジナ
ル像のサンプル距離の２^I 倍である。従って、この関係
で大きくなる像速度が予想可能となる。追跡手順の各連
続的反復にて、分析は次の段階のレゾリューションピラ
ミッドレベルへと移動してオリジナルに近づいて行く。

【００６３】従って、アファイン変換パラメータの決定
は、例えばレベル２にて開始する。まず、ピラミッドＧ
201 とピラミッドＧ202 の間でａx、ｂx、ｃx、ａy、ｂ
y 及びｃy に対する等式（１０）を解く必要がある。こ
れは２ステップで行われる。まず、アファイン変換ｐ２
のシード（ｓｅｅｄ）セットが選択される。このシード
は全部ゼロであっても、ズームによるスケーリングファ
クター若しくは知られたパン又はジブによるトランスレ
ーションのような変換の知られているアスペクトに近似
して選択されたものであっても構わない。これらのアフ
ァイン変換はレベル２でのワーピングされた像を得るた
めにＷ2においてＧ201,2に適用される。これは図８にお
いて歪んだ方形Ｇ201,2wにより図示されている。たいて
いの場合には、このワーピングは次の時間インターバル
ｔ＋１、即ちＧ202,2でのガウスメンバーを正確には提
供しないであろう。よって、第２のステップでは調整用
アファインパラメータΔｐ2 のセットが像の値Ｇ202,2
とＧ201,2w 間で予想される。これらは前述で解説され
たごとくに予想されるものである。

【００６４】まず、ローパスフィルタリング及びサブサ
ンプリングを介さずにフレームに対して上記したように
Ｉx、Ｉy及びＩtを解くことが必要である。Ｉx、Ｉy及
びＩtは、さらに小さくローパスフィルタリングされた
データのサブサンプルセットが使用されることを除け
ば、同様に計算される。フレーム２０２からフレーム２
０１に対する値を引く代わりに、ワーピングされたピラ
ミッドフレームＧ201,2wからの値がピラミッドフレーム
Ｇ202,2に対する値から引かれる。このようにして、レ
ベル２の部分的導関数（partial derivative）が決定さ
れ、その後にこのレベル用の調整用アファインパラメー
タａx、ｂx、ｃx、ａy、ｂy及びｃyが決定可能となる。
調整用アファインパラメータは図８においてΔｐ2 とし
て集合的（collectively）に示されている。

【００６５】調整用アファインパラメータのセットは、
ガウスシークエンスピラミッド２０１における先行する
レベルからのアファインパラメータｐ2 と結合されてレ
ベル１、即ちｐ1 用のアファインパラメータを形成す
る。この結合は単純な加算ではない。例えば、新ａxタ
ームは時間ｔにおけるａxターム（ピラミッドＧ202）
や時間ｔ−１におけるａx ターム（ピラミッドＧ201）
及びｘ方向における他の変化に基づくものである。以下
の式はこの関係を説明している。

【００６６】

【数９】

【００６７】このプロセスは繰り返されるが、今回はレ
ベル１であり、フレーム２０１及び２０２に対する操作
過程でアファイン変換パラメータａx、ｂx、ｃx、ａy、
ｂy及びｃy がオリジナルレベルにて取得されるまで全
レベルを通して実施される。アファインパラメータは最
も正確なところで収束（converge）するので、ΔｐIタ
ームはゼロとなる傾向にある。

【００６８】従って、いかなるフレームのスケールから
の１フレーム（例えば、フレーム２２６から次のフレー
ム２２７のスケール）を変換するワーピングファクター
を決定するには、前述の操作が実施される。よって、フ
レームスケールの各ペアに対して、アファイン変換パラ
メータａx、ｂx、ｃx、ａy、ｂy及びｃyのセットが計算
される。その後、１フレーム、例えばフレーム２５１を
適当なサイズに変換するには、まずフレーム２５１と２
５２に対する先行する分析により決定されたアファイン
変換パラメータａx、ｂx、ｃx、ａy、ｂy及びｃyを使用
してフレーム２５２のスケールに変換される。次に、そ
の変換されたフレーム２５１2 はフレーム２５２と２５
３に対する先行する分析により決定されたアファイン変
換パラメータａx、ｂx、ｃx、ａy、ｂy及びｃyを使用し
てフレーム２５３のスケールに変換される。このプロセ
スは繰り返され、フレーム３００のスケールにて大デー
タスペースにそのフレームが変換されてしまうまで継続
される。

【００６９】前記の方法は、もしカメラ又は被写体（ど
ちらでもよい）間の相対的モーションがほとんど存在し
ないか又はまったく存在しないならば良好に作用し、唯
一の像変化はズーミングによるものとなる。しかしなが
ら、実際上はそのようなモーションを排除できることが
望ましい。いくつかの方法が考えられる。基本的ではあ
るが効果的な方法は全フレームを視覚的に検査すること
であり、視域を横切る人のように大きなモーションを特
定することである。モーションが各フレームにおいて生
じる領域をカバーするためにマスクが利用可能であり、
この領域は変換時には無視することができる。最終的な
ピクチャーのマスク位置を設定するのに望ましいピクセ
ル値をオペレータは手動にて選択する。

【００７０】別の方法は図９にて略図的に示すように、
２つのモーションを追跡するバーゲンとバート他により
解説されている技法を利用することである。データはモ
ーションのペアに照らし合わせて評価される。ここでの
像Ｉ（ｘ，ｙ，ｔ）はそれぞれ独立したモーションｐと
ｑを有する異なる像パターンＰ及びＱの組み合わせとし
てモデル化される。Ｉ、Ｐ及びＱ間の関係は以下のごと
くである。

【００７１】

【数１０】上記等式中の○と＋を重ねた記号は、以下において便宜
上(＋)と表記する。

【００７２】ここでは、オペレータ(＋)は、加算又は掛
け算のごとき２モーションを結合させるためのオペレー
ションを表し、Ｐ^tpは時間ｔを通じてモーションｐによ
り変換されたパターンＰを表しており、バーゲン及びバ
ート他は、もしモーション成分の１つ、及び結合ルール
(＋)が知られていれば、パターンＰ及びＱの性質につい
て予想をたてることなく、前述の１成分モーション技法
を活用して他のモーションを計算することが可能である
ことを示している。もし、モーションｐが知られていれ
ば、モーションｑのみを決定すればよく、その逆のこと
もある。速度ｐで移動しているパターンＰの成分は各像
フレームをｐによりシフトし、そのシフトしたフレーム
値を次のフレームから差し引くことにより像シークエン
スから排除することが可能である。得られる差（differ
ence）シークエンスは速度ｑにて移動しているパターン
のみを含んでいる。

【００７３】特殊な場合には、結合オペレーション(＋)
は加算である。シークエンス２００の３フレームＩ
（１）、Ｉ（２）及びＩ（３）の場合について考えてみ
よう。変数Ｄ1及びＤ2をそれぞれそれらのフレーム間で
発生した差フレームに当てはめてみよう。等式１１は以
下のようになる。

【００７４】

【数１１】

【００７５】これは１ステップにてパターンＰを変換す
るための３０２におけるＩ（１）のワープとして図９に
おいて略図的に示されている。この次の段階はパターン
Ｐのモーションの影響を取り除くための３０４における
Ｉ（２）の減算である。その結果得られるものはＤ1、
即ち差（difference）シークエンスの１要素である。
Ｄ2 はパターンＰのモーションにより３０６でワーピン
グされたＩ（３）とＩ（２）間の３０８における差によ
り同様に形成される。

【００７６】変更シークエンスは１モーションｑで移動
する新パターンＱ^q-Ｑ^p から構成されることになる。

【数１２】

【００７７】従って、モーションｑは前述の１モーショ
ン予想技法を活用して２つの差（difference images）
像Ｄ1とＤ2を間で計算可能となる。このことが図９にて
３１０で略図的に示されている。同様に、モーションｐ
はｑが知られているときにリカバー可能となる。観察さ
れた像Ｉ（ｘ，ｙ，ｔ）はｑによりシフトされ、新しい
差シークエンスが形成される。

【００７８】

【数１３】このシークエンスは速度ｐにて移動しているパターンＰ
^p-Ｐ^q である。

【数１４】よって、ｐは１モーション予想技法を活用してリカバー
可能となる。

【００７９】このシフト及び減法手順はパターンに関わ
りなく、又はパターンを決定することなく像シークエン
スから１つの移動パターンを取り去る。実際上はｐもｑ
も最初は知られていない。しかしながら、最初に非常に
おおまかな予想値を選択したとしても、それらの両方と
もが前記の技法を反復することによりリカバー可能であ
る。この反復手順は１モーション技法を反復的に適用す
る。モーションｐを定義するパラメータのおおまかな予
想値で始めても、ｑの予想値は取り出され、３１２にて
ワーピングステップの３０２と３０６にリターンされ
る。予想値ｑから改善予想値ｐが取り出され、３１２に
てワーピングステップ３０２と３０６にリターンされ
る。この手順を繰り返す。この手順にて正確な予想値に
素早く収束する。本当の像シークエンスを使用して、３
から１２サイクル後には要求を満たす変換が可能にな
る。

【００８０】本発明のこの部分のステップを要約すると
以下のごとくとなる。１。パターンＰのモーションｐ0に対する（ついて）初
期予想値を決定する。２。最新のｐn予想値を使用して等式（１２）における
差像（difference images）Ｄ1及びＤ2を形成する。３。１（シングル）モーションエスチメータをＤ1とＤ2
に適用してｑn+1 の予想値を得る。４。予想値ｑn+1を使用して新差像Ｄ1及びＤ2を形成す
る。５。１（シングル）モーションエスチメータを新しいＤ
1とＤ2に適用して新ｐn+2を取得する。６。ステップ２から手順を繰り返す。

【００８１】この２モーション技法に従って取り出され
た２セットのアファインパラメータを観察することで、
移動シーン又はカメラモーションを特定することが可能
となる。一般的に、ズームワーピングのみに関係するパ
ラメータは１フレームから次のフレームにスムーズに、
またほんの少々変化するだけである。像モーション又は
カメラモーションに関係するパラメータはズームによる
ものとは異なる変化を示す。これらの相違する変化は検
査により観察可能である。

【００８２】１フレームペアから次のフレームペアまで
のアファインパラメータを自動的に比較し、その変化が
予め設定したレベルを越えるときには遮光装置を機能さ
せる（triggering a flag）ことでシーン又はカメラの
モーションの特定を自動化することは理論的には可能で
ある。１つの可能性を有する技法はフレームの２ペアの
アファインパラメータ間の差を設定した数の先行フレー
ムペアの標準偏差（standard deviation）と比較するこ
とである。例えば、７０のフレームのシークエンスに対
しては、少なくとも１０のフレームペアの標準偏差を決
定することが一般的である。

【００８３】もし、カメラとシーン内の要素の両方とも
が移動しているとき、２個以上のモーションが存在し、
カメラモーションを排除するためのさらに一段上の方法
が便利である。前述したアファインの２モーション予想
法とマスキング技法を組み合わせると便利な結果をもた
らすことが発見されている。像内のずれベクトルの確率
デンシティ関数を決定することもまた便利であろう。一
般的な理解には、１９９０年６月にアメリカ合衆国マサ
チューセッツ州ケープコッドにて開催されたアメリカ光
学学会の『機械理解及び機械視覚総会』の議事録内にあ
るギロッドビー（Girod,B.）とクオデー（Kuo,D.）
による「ずれヒストグラムの直接的予想法（Direct Est
imation of Displacement Histograms）」を参照するの
がよい。ここにはフレーム間で移動する異なる被写体の
数と、それらに対応するずれベクトルがどのようなもの
であるのかについての情報が掲載されている。ローカル
ブロックマッチングエスチメータ（local block matchi
ng estimator）がそれらの移動被写体を空間的に位置取
りさせるのに使用されている。移動被写体の領域は計算
によりマスク処理が施され、その後にアファイン予想値
が計算される。

【００８４】フレームペア間のずれが小さいものであっ
て、突き当たったり、焦点距離の急激な変動のごとき予
期しないカメラ移動がまったく存在しないと仮定すれ
ば、アファインパラメータはフレームペア間ではあまり
異なるものではない。前述のごとくにパラメータが決定
された後、その係数は見せ掛けの値を取り除くために簡
略化される。シークエンス２００の各フレームからのＹ
チャンネルデータがワーピングされれば、決定されたア
ファインパラメータはフルカラー映写の変換を提供する
ために、例えば位相及び求積法（phase and quadratur
e）で他のチャンネルに適用される。

【００８５】ワーピングされた短焦点距離フレーム２０
１のフルラスタ（full raster）が満たされた後、１フ
レームから次のフレームまでのアパーチャ設定の変分の
ごときトーンに影響を及ぼす変化を補うためにトーンス
ケール補正を実施することができる。中央の像から始め
て、２つの像が隣接する箇所周辺で光度のサンプルが採
られる。データにスプライン（ｓｐｌｉｎｅ）がフィッ
トされ、大きい方の像（低めの解像度）のピクセルが小
さい方の像のピクセルに変更される。その後にこの補正
像のトーンスケールは次の大きさのワーピングされた像
との比較に用いられ、最大の像までこの手順が繰り返さ
れる。

【００８６】シークエンス２００の各フレームからのフ
ルカラーデータが同じデータスペースにワーピングされ
たら、各ピクセルに対する１フレームからのデータは他
の全フレームのデータと組み合わせる必要がある。いく
つかの技法が可能である。最も基本的な技法は最高の解
像度を有するフレームから最終合成ピクチャー用のピク
セル値を選択することである。図６において示されてい
るように、フレーム２９９がワーピングされたものであ
るフレーム２９９ｗが一般的にその合成ピクチャーの中
央部を占め、このフレームはその像の中央部に関して最
も高い解像度となるであろう。フレーム２９８からの情
報は中央部の環状方形部位を占め、この情報はこの部分
に可能な最高の解像度となる。フレーム２９７からの情
報はフレーム２９８ｗの環状領域周辺の多少大きな軸の
環状方形部位を占め、このようにして第１フレーム２０
１ｗの環状周囲がワーピングされた像（figure）の最も
外部を占めるまで続けられる。

【００８７】上記手順にて好ましい結果が得られるが、
明瞭なエッジ部が現れ種々のフレームから発生した領域
間の境界線を際立たせる。この理由によりあるピクセル
に対してシークエンスのワーピングされた全フレームに
ウエイト関数（weighting function）が適用されそのピ
クセルの値としてウエイト値のメジアンがとられる。図
１０に示すようにピクセルの位置はベクトルＶにより示
され、像の同一位置にワーピングされた全フレーム、即
ち２０１ｗから２９９ｗまでを突き抜ける。前記ウエイ
トファンクションはベクトルＶに沿ってその像値（imag
e values）に適用される。典型的なウエイト関数は図１
１のグラフにて示されている。図から分かるように、そ
のウエイト関数は上向きに凹形状であり、クロースイン
ズームショット（close in zoom shot）からのピクセル
値は最大のウエイト、おそらく１００％が付与される。
望む効果に応じて種々のウエイト関数が適用可能とな
る。一般的には低い方の解像度を有するフレームよりも
高い解像度を有するフレームに対してさらにヘビーなウ
エイトが付与される。

【００８８】多少不自然ではあるが低い方の解像度を有
するフレームのシークエンスから、高い解像度を有する
１静止画像を得る方法のブロック作成について述べてき
た。図１３には、実質的に好ましい順序でその方法のス
テップが示されている。ビデオフィールドのシークエン
スは４０２にてとられる。フィールドは一連のフレーム
を作成するために４０４で脱インターレースされる。こ
のポイントで交互的パス（alternate path）が取得可
能となる。被写体又はカメラモーションは、４０６にて
ズームモーションから分離することができ、その後にア
ファイン変換係数ａx、ｂx、ｃx、ａy、ｂy及びｃyを発
生させるために光学系フロー分析がなされる。４０４に
おいてステップ４０８に分岐（branch）することが可能
であり、それにより光学系フロー分析と、被写体又はズ
ームモーションからのカメラモーション分離とを結合さ
せる。この分岐は、また係数ａx、ｂx、ｃx、ａy、ｂy
及びｃy を生じさせる。次に４１２においてそのアファ
イン変換が各フレームに対して必要な回数だけ適用さ
れ、各フレームに対して高い解像度ラスタ（raster）で
の対応フレームが創出される。図１１に示す時間メジア
ンフィルターは、４１４にて全フレームに適用され、最
終合成は４１６にて高解像度ラスタでの各ピクセル位置
で時間メジアンフィルターによりフィルターされている
ワーピングされた各フレーム２０１ｗ、２０２ｗ等に対
するそのピクセルでの値を加算することで形成される。

【００８９】本発明装置の好適実施例は図１４において
略図的に示されている。シーンから反射した光、又はシ
ーンにより伝達される光を採り入れてビデオカメラ等の
入力装置５００はシーン５０２に適用される。その光は
前記入力装置又は標準コンバーター５０４により電気信
号に変換される。コンバーター５０４又は入力装置５０
０から、データはメモリー装置５０６又はデータプロセ
スユニット５０８を通過する。メモリー装置５０６はフ
ィールド（field）によって、またさらにデータが変換
されるどのような他の形状（configurations）にも従っ
てデータを記録することができる。前記データプロセス
ユニットは、典型的には適正にプログラムされた汎用デ
ジタルコンピュータである。オペレータはコンピュータ
キーボード等の入力装置５１０を介してデータプロセス
ユニット５０８にコマンドを発する。これらのコマンド
は前述の本発明方法のステップを行使するようにコンピ
ュータに対して指示する。指示の内容は、例えば、その
フィールドの脱インターレーシング、差シークエンス
（difference sequences）を創出することによる２又は
それ以上の移動被写体の特定、アファイン変換係数の計
算、全フレームを望むデータスペースにワーピングする
こと、ウエイトされた時間メジアンフィルターに従いワ
ーピングされたフレームからのデータを結合させ合成ピ
クチャー映像に導く、等々である。各ステップでの変換
されたデータはメモリ装置５０６に記録可能であり、プ
リンター、ビデオディスプレー装置又は他の適当な出力
装置等の一般的な出力装置５１２に出力可能である。さ
らに、データは追加的操作を施したり、蓄積又はディス
プレーを行うために遠隔地（remote location）に伝達
することもできる。

【００９０】尚、比較的低解像度でワイドアングルを有
するショットにおいては、多くの箇所は不鮮明である。
一方、本発明の方法に従って作成された合成ピクチャー
の中央部は鮮明で焦点がぴったりと合っており、詳細ま
でくまなく示している。

【００９１】以上の解説は本発明の説明を目的としたも
のであり、発明の限定を意図したものではない。ビデオ
以外においても、静止画像のシークエンスを利用するい
かなる記録技術でも使用可能である。もしその記録技術
がピクセル値を発生しないならば、その記録装置により
発生されたデータは周知である本分野技術の方法に従い
ピクセル又は等価なデータスペースにコンバートするこ
とが可能であり、また有効である。ここに紹介した技法
に加え、ズームモーションからのカメラモーション又は
シーン内のモーションを分離するための種々な技法が適
用可能である。さらに、アファイン変換係数を計算する
のにガウスピラミッドのステップを利用する必要もな
い。その計算はそのフル（full）高解像度フレームに対
して施されるもののごとき他の方法によっても可能であ
る。

【００９２】本発明の方法はズームからの１静止画像の
場合以外に一連のパンショット及びジブショットからの
１パノラマ静止画像を創出する場合にも利用可能であ
る。そのような場合には、全フレームは全パノラマシー
ンと同じスペースを有するデータスペースにワーピング
されることになる。互いに重なり合った焦点距離の異な
るピクチャーの山とはならないであろう。むしろ、エッ
ジ部がオーバーラップした一連のピクチャーとなるであ
ろう。ズームシークエンスに適用された実施例において
は、ワーピングの主要な要素は各フレームからのデータ
を拡大してシーンの像を互いに整合させることである。
シーンの全像が互いにアラインするようにデータをワー
ピングすることはまたズーム系適用の１重要面である。
この特徴により、例えばカメラモーション又は被写体の
モーションによるモーションを取り去ることができる。

【００９３】パノラマ系適用においては、この拡大する
特徴は重要ではなく、たいていの場合には使用されもし
ない。しかしながら、そのアライメントの観点からは大
変重要であり、パノラマシーンの全域的視域が連続的デ
ータスペースとして表されているならば、各フレームは
その全域的視域の限られた部分を取り上げることにな
る。ズーム系適用の場合とは異なり、パノラマ系適用に
おける各フレームは同じ焦点距離で創出される。各フレ
ームの像が別のフィールドの同一像と合致するように、
全域的データスペースでのフレームからのデータをアラ
インするために本発明の方法を使用するこが必要であ
る。本発明の方法は、主にショット間のつなぎ目に適用
される。もしパンのスピードがフレーム周波数に比べて
ゆっくりならば、つなぎ目におけるフレーム間のオーバ
ーラップは非常に大きくなる。

【００９４】パノラマシーンの特定部分でさらに鮮明な
画像を得るためにズーム処理をパノラマ処理と結合させ
ることは本発明の思想内である。本発明の技術を被写体
とビデオの非連続的なセグメントからのフレームと結合
させるために使用することも可能である。

【００９５】本発明はビデオカメラにより得られたデー
タの範囲にて記述されてきたが、本分野の通常の技術者
であれば、本発明の方法は、いかにして得られたもので
あろうともデジタル像を表すデータにも使用可能である
ことが理解されるであろう。例えば、異なる焦点距離で
撮影された一連のスチール写真は前述した方法により組
み合わせて特定の部分の像を補強した１像を形成するこ
とができる。同様に、パノラマスペース内で種々な位置
を描写している一組みのスチール写真を本発明の技法に
従って組み合わせ、１枚のパノラマ像を作成することが
できる。この中ではその種々な像部分はリカバーするこ
とが可能であり、共通な焦点距離であるが異なる視域を
有する１組みのばらばらとなった静止画像内にはパノラ
マ像の元の人工的要素はほとんど示されていない。

【００９６】本発明は「特許請求の範囲」により特定さ
れた全実施例を含む明細書中の記載に照らし合わせて考
慮されるべきものであり、さらに合理的範囲内でのそれ
らの等価形態をも併せて考慮されるべきである。

【００９７】

【発明の効果】以上詳述したように、本発明は、以下の
利点を備えた比較的に高解像度を有する静止画像を創作
する方法及び装置を提供することができる。１）像全体にわたり高解像度で情報を取得する必要がな
い。２）あまり重要ではない像の大部分に関して情報を収集
する必要がない。３）種々な焦点距離又は視域の標準的ビデオ像のシーク
エンスを入力要素として取得できる。４）標準的フィルム像のシークエンスを入力要素として
取得できる。５）望む像のいかなる部分でもその解像度を増強する。６）適正にプログラムされた汎用デジタルコンピュータ
及び標準型ビデオ又は映画装置が使用可能である。

【００９８】さらに、本発明によれば、過剰なデータ保
存及びアクセス能力を要せず、あるシーンのパノラマビ
ューを観察者に提供し、その観察者にそのシーンの１位
置から他の位置までのナビゲーションを可能とする方法
を提供することができる。又、デジタル化されたいかな
る形態の像データであろうとも前記能力を発揮させるこ
とができるという優れた効果を奏する。

【図面の簡単な説明】

【図１】撮像装置の焦点距離と撮影されたシーン部分と
の関係を略図的に示す図である。

【図２】ビデオフィールドとビデオフレームのペアの概
略を示す図である。

【図３】組み合わされてビデオフレームを構成する典型
的なビデオフィールドのペアのインターレーシング（in
terlacing）を示す図である。

【図４】実質的に同じシーンのビデオフレームのシーク
エンスを略図的に示したものであり、短い焦点距離から
比較的長い焦点距離にズームインした状態を表す図であ
る。

【図５】最も短い焦点距離（ワイドアングルな視域）の
ビデオフレーム内シーンの部分の概略を示す図であり、
徐々に長くなる焦点距離のフレームのシークエンスの残
りメンバー内に供給されている。

【図６】図４において示すシークエンスの各ビデオ像
（図６の左側に示されている）の同一サイズデータスペ
ースにマップ（ｍａｐ）又はワープ（ｗａｒｐ）した状
態の概略を示す図であり、そのサイズは拡大されたサイ
ズの最も低い解像度フレームである。

【図７】元は比較的短い焦点距離で記録された１フレー
ムをそのシーンの連続的拡大関与するデータスペースに
ワープしている状態の概略を示す図である。

【図８】シークエンスにおける複数のフレーム間の荒い
モーション及び繊細なモーション両方を特定する方法の
概略を示す図である。

【図９】フレームのシークエンスにおける２つの移動す
る被写体のモーションを特定する方法の概略を示す図で
ある。

【図１０】同一データスペース内にワープされた後のシ
ークエンスの各フレームの概略を示す図であり、最終的
映像化に再構築されるようにアラインされている状態を
表し、各フレームの共通ポイントを通るベクトルが示さ
れている。

【図１１】最終的な像を構築するのに使用されるウエイ
ト因子（weighting factor）とそのウエイト因子が適用
されているワープされたフレームの元の焦点距離との間
の関係を示すグラフ図である。

【図１２】最終的な再構築像とその構築要素の概略を示
す図である。

【図１３】本発明の方法の好適実施例を説明するフロー
チャート図である。

【図１４】本発明の装置の好適実施例の概略を示す図で
ある。

【符号の説明】

２像４焦平面６中央部

───────────────────────────────────────────────────── フロントページの続き (72)発明者ワルターアール．ベンダーアメリカ合衆国マサチューセッツ州 02166 オーボーンデールセントラルストリート 22番地

Claims

【特許請求の範囲】

【請求項１】あるシーンの静止画像を発生させる方法
であって、以下記載のステップから成り立っていること
を特徴とする静止画像発生方法：ａ。互いに異なる焦点距離にて創出されている複数の像
を得るステップｂ。前記各像に対してその像を表す信号を発生させるス
テップｃ。共通の焦点距離にスケールされたそれぞれ対応する
像を表すように前記各信号を変換するステップｄ。前記各スケールされた像を１焦点距離の１画像に結
合させてなる最終的な信号を示すように前記各変換され
た信号を結合するステップ。
【請求項２】前記各信号の変換ステップは以下のステ
ップから成り立っていることを特徴とする請求項１記載
の静止画像発生方法：ａ。各像に少なくとも１のアファイン変換を施すステッ
プｂ。前記変換された複数の像をそれぞれ表す信号を発生
させるステップ。
【請求項３】前記少なくとも１のアファイン変換を施
すステップは、解像度が減じられた修正フレームのシー
クエンスを発生させ、サンプル化し、当該修正フレーム
に対して少なくとも１のアファイン変換を施すステップ
を有していることを特徴とする請求項２記載の方法。
【請求項４】前記少なくとも１のアファイン変換を施
すステップは、以下記載のステップから成り立っている
ことを特徴とする請求項２記載の方法：ａ。前記複数の像をシークエンス内に配列するステップｂ。前記シークエンス内の各像ペアに対して、当該ペア
の第１像から第２像への変換を実質的に定義する１組の
アファインパラメータを決定するステップｃ。前記複数の像のそれぞれに対して、前記アファイン
パラメータの複数組を結合し、１組のアファインパラメ
ータに合成するステップｄ。それぞれ対応する前記合成された１組のアファイン
パラメータを利用して、アファイン変換を前記各像に対
して施すステップ。
【請求項５】前記結合ステップは、各スケールされた
像を表すそれぞれに対応する信号の時間メジアンフィル
ターを適用するステップを有していることを特徴とする
請求項１記載の方法。
【請求項６】前記時間メジアンフィルターを適用する
ステップは各スケールされた像からのそれぞれに対応す
る信号のウエイトを与えられた時間メジアンフィルター
を適用するステップを有することを特徴とする請求項５
記載の方法。
【請求項７】前記ウエイトを与えられた時間メジアン
フィルターは、比較的短い焦点距離で創出された像に対
するよりも、比較的長い焦点距離で創出された像に対し
て大きなウエイトを割り当てるフィルターを有している
ことを特徴とする請求項６記載の方法。
【請求項８】変換ステップの前に信号ペア間の変化を
特定するステップをさらに含み、当該変化は当該信号に
より表されている像を創出する手段のモーションと、シ
ーン内の要素のモーションにより引き起こされるもので
あって、像間の焦点距離の差により引き起こされるもの
ではないことを特徴とする請求項１記載の方法。
【請求項９】前記像を創出するステップは複数のビデ
オ像を記録するステップを有していることを特徴とする
請求項１記載の方法。
【請求項１０】前記変換ステップは、共通の視域にア
ラインされたそれぞれに対応する像を表すように各信号
を変換するステップをさらに有していることを特徴とす
る請求項１記載の方法。
【請求項１１】結合ステップの前に、２つの像が相違
する焦点距離にて創出された事実以外の要因による像ペ
ア間の相対的モーションを特定するステップをさらに有
していることを特徴とする請求項１記載の方法。
【請求項１２】前記相対的モーションを特定するステ
ップは以下記載のステップから成り立っていることを特
徴とする請求項１１記載の方法：ａ。あるペアの両像の第１パターン部分の第１相対的モ
ーションを予想するステップｂ。両像の第２パターン部分の第２相対的モーションを
決定するために前記予想された第１モーションを利用す
るステップｃ。相対的モーションの満足できる解像度が得られるま
で以下のステップを繰り返すステップ；ｉ。前記第１パターン部分の前記第１相対的モーション
をさらに正確に特定するために前記第２相対的モーショ
ンを使用するステップｉｉ。前記第２パターン部分の前記第２相対的モーショ
ンをさらに正確に特定するために前記第１相対的モーシ
ョンのさらに正確なスペックを使用するステップ。
【請求項１３】あるシーンの静止画像を発生させる方
法であって、以下記載のステップから成り立っているこ
とを特徴とする静止画像発生方法：ａ。複数の像を創出するステップであって、当該複数の
像の各々は他と異なる視域をカバーして創出され、当該
視域は全視域の因子（members）であることを特徴とす
る複数像創出ステップｂ。前記各像に対してその像を表す信号を発生させるス
テップｃ。前記全視域にアラインされたそれぞれに対応する像
を表すように各信号を変換するステップｄ。前記アラインされた像を前記全視域の１画像に結合
させてなる最終的な信号を示すように前記変換された信
号を結合するステップ。
【請求項１４】あるシーンの静止画像を発生させる装
置であって、以下記載の手段から成り立っていることを
特徴とする静止画像発生装置：ａ。複数の像を創出する手段であって、当該複数の像の
それぞれは他と異なる焦点距離にて創出されたものであ
ることを特徴とする像創出手段ｂ。前記各像に対してその像を表す信号を発生させる手
段ｃ。共通の焦点距離にスケールされたそれぞれに対応す
る像を表すように各信号を変換する手段ｄ。前記各スケールされた像を１焦点距離の１画像に結
合させてなる最終的な信号を示すように前記各変換され
た信号を結合する手段。
【請求項１５】前記複数の像を創出する手段はビデオ
記録装置を含んでいることを特徴とする請求項１４記載
の装置。