JP3172769B2 - 画像処理装置、方法および記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の画像処理
を行う画像処理装置、方法および記録媒体に関し、より
詳しくは動画の一部を連続的に記録し、記録した画像を
連結させることで、視野の外にある被写体の画像を再生
する画像処理装置、方法および記録媒体に関する。

【０００２】

【従来の技術】画像入力装置は一般にその光学系により
視野が一定範囲に制約される。魚眼レンズなどの特殊な
広角光学系を用いることなく視野を拡張する方法として
は、視野の方向を違えた複数の光学系から得られる入力
画像を接合処理して観察視野を拡大する方法が示されて
いる。また、単一の光学系を用いる方法としては、光学
系を移動させつつ静止画を撮影しこれらを接合するとい
う、パノラマ撮影法が示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来技
術のうち、広角光学系を用いる方法や光学系を複数用い
る方法は、装置自体の価格が上昇する。加えて装置本体
の小型化において不利であり、たとえば体腔のように観
察空間が狭隘な被写体の観察手段としては不向きであ
る。パノラマ撮影法は逆にこれらの点で有利であるが、
作成される画像が静止画である。すなわち、光学系を広
角化せず、単一の光学系で、動画像の視野を拡張する方
法は示されていない。

【０００４】そこで、本発明の目的は、光学系を広角化
せず、視野を拡張した動画像を作成することが可能な画
像処理装置、方法およびその記録媒体を提供することに
ある。

【０００５】

【課題を解決するための手段】このような目的を達成す
るために、本発明は、被写体を撮影した動画像を時系列
的な静止画像の形態で入力する画像入力手段と、当該入
力された静止画像の中の外周辺部の画像を抽出する画像
抽出手段と、当該抽出された外周辺部の画像を時系列的
に記憶する記憶手段と、当該記憶された過去、複数時点
の画像を使用して記憶再生画像を作成する記憶再生画像
作成手段と、前記記憶再生画像を任意の形状に変換した
拡張視野画像を作成する拡張視野画像形成手段と、当該
作成された拡張視野画像の前記任意の形状の中抜き部分
と同じ形状の現時点の静止画像を、前記画像入力手段か
ら入力して前記拡張視野画像の中抜き部分に合成する合
成手段とを具えたことを特徴とする。

【０００６】また、本発明は、被写体を撮影した動画像
を時系列的な静止画像の形態で入力する画像入力ステッ
プと、当該入力された静止画像の中の外周辺部の画像を
抽出する画像抽出ステップと、当該抽出された外周辺部
の画像を時系列的に記憶する記憶ステップと、当該記憶
された過去、複数時点の画像を使用して記憶再生画像を
作成する記憶再生画像作成ステップと、前記記憶再生画
像を任意の形状に変換した拡張視野画像を作成する拡張
視野画像作成ステップと、当該作成された拡張視野画像
の前記任意の形状の中抜き部分と同じ形状の現時点の静
止画像を、前記拡張視野画像の中抜き部分に合成するス
テップとを具えたことを特徴とする。

【０００７】さらに、本発明は、画像処理装置により実
行するためのプログラムを記録した記録媒体において、
前記プログラムは、被写体を撮影した動画像を時系列的
な静止画像の形態で入力する画像入力ステップと、当該
入力された静止画像の中の外周辺部の画像を抽出する画
像抽出ステップと、当該抽出された外周辺部の画像を時
系列的に記憶する記憶ステップと、当該記憶された過
去、複数時点の画像を使用して記憶再生画像を作成する
記憶再生画像作成ステップと前記記憶再生画像を任意の
形状に変換した拡張視野画像を作成する拡張視野画像作
成ステップと、当該作成された拡張視野画像の前記任意
の形状の中抜き部分と同じ形状の現時点の 静止画像を、
前記拡張視野画像の中抜き部分に合成するステップとを
具えたことを特徴とする。

【０００８】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。

【０００９】最初に本発明に関連する画像処理方法につ
いて説明する。

【００１０】本方法では内視鏡の位置情報や臓器形状情
報を用いず、内視鏡画像情報だけから擬似的な超広角内
視鏡像の構成を試みることとする。そのため内視鏡画像
を連続的に記憶し、それらを最新の内視鏡画像につなぎ
合わせることとする。図１にそのアルゴリズムを示す。

【００１１】１）一時的とはいえ、内視鏡の動画像をリ
アルタイムで記憶しかつ画像処理を行うには現在でも相
当の計算処理能力を要する。そこで本研究では、移動す
る内視鏡の視野から外れ行く物体は必ず視野の辺縁部を
通過することに着目し、内視鏡の視野の輪郭に相当する
画素の値のみを記憶することとする。

【００１２】２）ある時刻ｔ_０ に記憶された視野輪郭
部分は、そのδｔ後には視野輪郭のすぐ外側に追いやら
れる形で、時刻ｔ_０ ＋δｔの内視鏡像の外郭に表示さ
れる。と同時に、内視鏡の視野の輪郭部分が記憶され
る。

【００１３】３）同様に時刻ｔ_０ ＋２δｔでは、ｔ_０
＋δｔに記憶された視野輪郭部分が最新（ｔ_０ ＋２δ
ｔ）の内視鏡像のすぐ外郭に表示され、そのまた外郭に
は時刻ｔ_０ に記憶された視野輪郭部分が連続的に表示
される。

【００１４】４）これを繰り返すことにより、視野から
既に去った術野（「記憶画像」）を現在の内視鏡像の外
側に連続的に展開する。なお、記憶画像の表示にはtext
ure mapping 法を用いている。

【００１５】内視鏡は低侵襲で体内を観察する手段とし
て、外科手術分野でも急速に普及しつつある。他の医用
画像装置に比べ、内視鏡は臓器表面のテクスチャ情報を
リアルタイムで得られるという特性を持つ一方、光学系
の制約により、得られる視野はかなり限定される。一般
的な内視鏡の視野角は８０度から１２０度程度であり、
前方の患部を注視する用途には十分であるが、患部周辺
の視野を観察するためには内視鏡を前後左右に移動させ
る必要がある。また内視鏡の側方の視野を観察するため
には斜視鏡が有効であるが、内視鏡進行方向の視野が得
られないために操作は極めて困難である。

【００１６】実施形態では、内視鏡画像を計算機に一時
的に記憶させ、記憶した画像情報を現在の内視鏡画像の
周りにリアルタイムで「展開」することで、内視鏡の擬
似的な広視野化を実現した。

【００１７】副鼻腔手術用内視鏡（直径４．０ｍｍ，視
野角８０度）の画像に本法を適用した。内視鏡画像のキ
ャプチャおよび記憶画像の展開表示処理にはSilicon Gr
aphics O2 R5000 を用いた。内視鏡画像の更新速度はビ
デオレート（３０Ｈｚ）、視野辺縁部の画像情報の保持
時間は６４frames（２．１秒）である。

【００１８】筒内にテクスチャを有する物体内で内視鏡
を一定速度で前進させた場合の処理結果を図２に示す。
内視鏡の後方に去った視界の画像が現在の内視鏡画像の
外に展開表示され、擬似的な広視野化の効果が確認され
た。ただし内視鏡を左右あるいは上下方向に移動させた
場合は、視野拡張の効果は内視鏡の移動方向のみに限ら
れる。また、手ぶれ等により展開記憶画像のテクスチャ
が乱れる場合がある。

【００１９】図３は、記憶再生画像の作成について説明
する図である。図３において、１０１は処理対象の動画
像（時系列的に内容が変化する静止画像）を入力する画
像入力装置であり、たとえば、ＣＣＤカメラ、通信イン
タフェース、ＣＤ−ＲＯＭ等のディスクドライブを使用
することができる。

【００２０】１０４は画像入力装置１０１に対して画像
の入力を要求すると共に、画像入力装置１０１から出力
される動画像、すなわち、複数の静止画像の各々から、
予め指定された一部分の画像（外周辺部の画像）を抽出
し、画像記憶装置１０３に転送する。

【００２１】１０３はＩＣメモリのような画像記憶装置
であり、画像入力処理部１０４から出力される画像を連
続的に記憶する。

【００２２】１０５は記憶再生画像作成装置であり、画
像記憶装置に記憶された画像を読出して本発明に関わる
矩形の画像（記憶再生画像と称す）を作成する。

【００２３】記憶再生画像作成部１０５にはＣＰＵ等の
演算プロセッサを使用することができる。１０２はタイ
ミング制御部であり、カウンタを有し、上述の回路を制
御すると共に、動作タイミングを指示する。

【００２４】１０８は画像出力装置であり、記憶再生画
像作成装置１０５により作成された記憶再生画像を出力
する。画像出力装置１０８には、出力目的に応じて、通
信インタフェース、表示装置、プリンタ、デジタル／ア
ナログ変換器等を使用するとよい。

【００２５】このような構成を有する画像処理装置の動
作を次に説明する。

【００２６】画像入力処理部１０４は、画像入力装置１
０１から、画像中のあらかじめ指定された一部分を画像
記憶装置１０３の所定のアドレスに転送する。

【００２７】ここで画像記憶装置１０３に転送される記
憶領域とは、一画素幅の直線あるいは曲線状である。図
４に記憶領域の指定と転送方法の一例を示す。視野拡張
効果を得るためには、画像入力装置１０１の視野の辺縁
を環状に記憶領域とすることがもっとも望ましいが、光
学系の歪などによって辺縁部の画質が悪い場合には、記
憶領域を辺縁部より内側に位置させることも可能であ
る。また、内視鏡のように画像入力装置１０１の視野が
丸い場合には、記憶領域を環状にすることも可能であ
る。

【００２８】図４に示す記憶領域は幅ａ＋１個・高さｂ
＋１個の矩形であり、右上角から反時計回り順に上辺に
画素Ｐ１〜Ｐａ、左辺にＰａ＋１〜Ｐａ＋ｂ、下辺にＰ
ａ＋ｂ＋１〜Ｐ２ａ＋ｂ、右辺にＰ２ａ＋ｂ＋１〜Ｐ２
ａ＋２ｂの、計ｎ＝２ａ＋２ｂの画素からなる。

【００２９】まずタイミング制御部１０２は画像入力処
理部１０４に対して入力開始処理を指令する。入力開始
処理の指令を受けた画像入力処理部１０４は、まずカウ
ンタ値ｔを１にリセットした後、記憶領域の各画素Ｐ１
〜Ｐｎにおける画素の値（記憶画素列）

【００３０】

【数１】 Ｌ（ｔ）＝｛Ｄ（ｔ，１），Ｄ（ｔ，２），…Ｄ（ｔ，ｎ）｝ をカウンタ値ｔと共に画像記憶装置１０３に転送する。
画像記憶装置１０３は記憶画素列Ｌ（ｔ）を格納し、そ
の処理の終了を画像入力処理部１０４に通知する。この
通知を受けて画像入力処理部１０４は、カウンタ値ｔを
１増分し、ｔをタイミング制御部１０２に通知する。

【００３１】画像入力処理部１０４は、前記記憶画素列
の転送と前記カウンタ値ｔの増分およびタイミング制御
部１０２への通知を、タイミング制御部１０２から入力
終了処理の指令を受けるまで繰り返す。

【００３２】画像記憶装置１０３は、画像入力処理部１
０４より記憶画素列Ｌ（ｔ）およびカウンタ値ｔを受け
取ると共に、記憶再生画像作成部１０５からの指令に基
づき、記憶した画素値の全てあるいは一部を記憶再生画
像作成部１０５に転送する。画像記憶装置１０３におけ
る記憶領域は、一記憶画素列と一カウンタ値の組をＮ組
記憶できる容量を持つ。記憶容量Ｎ組を超える場合は、
記憶容量を必要に応じて増分するか、カウンタ値の小さ
な記憶画素列の占めるメモリ領域を解放する。

【００３３】記憶再生画像作成部１０５は、タイミング
制御部１０２から記憶再生画像の作成を指令されると共
に、現在のカウンタ値ｔを受け取る。これを受けて記憶
再生画像作成部１０５は、画像記憶装置１０３に対し
て、記憶画素列をｍ個にさかのぼって読み出すよう指令
する。すなわち現在のカウンタ値ｔがｋであるとすれ
ば、Ｌ（ｋ−ｍ＋１）〜Ｌ（ｋ）が、画像記憶装置１０
３から記憶再生画像作成部１０５に転送される。

【００３４】次に記憶再生画像作成部１０５は、読み出
した記憶画素列を図５に示すような縦ｎ画素・横ｍ画素
の矩形画像上に配置する。ここで、図５は図６に示すよ
うに３つの被写体Ａ・Ｂ・Ｃに画像入力装置の視点が接
近する例で示されている。この矩形画像を記憶再生画像
とする。従って作成された記憶再生画像Ｍの座標（ｘ，
ｙ）での画素値は、

【００３５】

【数２】Ｍ（ｘ，ｙ）＝Ｄ（ｋ−ｍ＋ｘ，ｙ） で表現される。

【００３６】図５〜図６に示すように、カウンタ値ｔ＝
ｋ−ｍ＋１における入力画像では、被写体Ａ・Ｂ・Ｃの
すべてが視野に収まっているが、カウンタ値ｔ＝ｋにお
ける入力画像では、被写体Ｂ・Ｃのすべておよび被写体
Ａの一部（頭部）が視野に収まっていない。しかしなが
らこの視野から外れた被写体は、画像入力装置１０１の
移動の過程で必ず矩形の記憶領域を通過している。すな
わち、記憶画素列として画像記憶装置１０３に記憶され
ているのであり、記憶再生画像作成部１０５により、画
像として再生されるのである。

【００３７】その後、記憶再生画像作成部１０５はタイ
ミング制御部１０２に対して、記憶再生画像作成の終了
を通知する。タイミング制御部１０２は、ユーザからの
停止指令が出ない限り、記憶再生画像作成部１０５に対
して直ちに再び記憶再生画像の作成を指令するとともに
現在のカウンタ値ｔを通知するという、一連の動作を繰
り返す。このようにして作成された記憶再生画像はその
まま画像出力装置１０８から出力される。

【００３８】図７は、図３のシステム構成に拡張視野画
像作成部を加えたシステム構成を示す。図３と同様の箇
所には同一の符号を付しており、詳細な説明を省略す
る。

【００３９】図７において、拡張視野画像作成部１０６
には演算プロセッサが用いられる。拡張視野画像作成部
１０６は、記憶再生画像作成部１０５の作成した記憶再
生画像の形状を、矩形から多角形などの閉曲面形状を有
する拡張視野画像に変換する機能を有する。

【００４０】この機能は一般にテクスチャーマッピング
法と称せられる。テクスチャーマッピング法は公知技術
であり、その実現方法は、例えば、『Jackie Neider,To
m Davis and Mason Woo:Open GL,Release 1 日本語版、
第９章テクスチャーマッピング星雲社，１９９３年』と
いった文献に示されている。図８では一例として、記憶
再生画像を内周および外周が記憶領域と相似形である有
孔矩形領域にテクスチャーマッピングする例を示す。こ
の場合、有孔矩形領域を点線で区切られた四つの台形Ｚ
１，Ｚ２，Ｚ３，Ｚ４に分割し、各々記憶再生画像の１
〜ａ行、ａ＋１〜ａ＋ｂ行、ａ＋ｂ＋１〜２ａ＋ｂ行、
２ａ＋ｂ＋１〜ｎ行をテクスチャーマッピングする。

【００４１】図９を参照して、記憶再生画像の１〜ａ行
をマッピング元画像として、マッピング先図形Ｚ１にテ
クスチャーマッピングする方法を説明する。テクスチャ
ーマッピング法ではマッピング元画像の矩形とマッピン
グ先図形との頂点座標の対応を定めておく必要がある
が、変換後の被写体Ｂの配置を被写体本体と合致させる
ことを考慮し、マッピング元画像の左上頂点Ｄ（ｋ−ｍ
＋１，１）をマッピング先図形の右上頂点１へ、マッピ
ング元画像の左下頂点Ｄ（ｋ−ｍ＋１，ａ）をマッピン
グ先図形の左上頂点２へ、マッピング元画像の右上頂点
Ｄ（ｋ，１）をマッピング先図形の右下頂点３へ、マッ
ピング元画像の右下頂点Ｄ（ｋ，ａ）をマッピング先図
形の左下頂点４へ、それぞれ対応させる。マッピング画
像は、必要に応じて画素間の補間処理を行う。

【００４２】作成された拡張視野画像はそのまま画像出
力装置１０８に転送されると同時に、拡張視野画像作成
部１０６から記憶再生画像作成部１０５に対して拡張視
野画像作成の終了を通知する。記憶再生画像作成部１０
５はタイミング制御部からの終了指令がない限り記憶再
生画像の作成と拡張視野画像作成部１０６への指令を繰
り返し行うため、拡張視野画像も逐次更新される。

【００４３】拡張視野合成部を付加した本発明のシステ
ム構成を図１０に示す。図７と同様の箇所には同一の符
号を付しており詳細な説明を省略する。

【００４４】図１０において、拡張視野合成部１０７で
は、拡張視野画像作成部１０６から拡張視野画像を転送
されると、画像入力装置１０１に入力されているその時
点の入力画像を画像入力装置１０１に要求し、拡張視野
合成部１０７に転送させる。拡張視野合成部１０７は、
画像入力装置１０１から転送された画像と拡張視野画像
作成部１０６から転送された画像を合成し、図１１に示
すような拡張視野合成画像として画像出力装置１０８に
転送すると同時に、拡張視野画像作成部１０６に対して
拡張視野合成画像作成の終了を通知する。記憶再生画像
作成部１０５はタイミング制御部からの終了指令がない
限り記憶再生画像の作成と拡張視野画像作成部１０６へ
の指令を繰り返し行うため、拡張視野合成画像も逐次更
新される。

【００４５】図１０では、入力画像と拡張視野画像が、
図４に示した記憶領域を接合線として接合されることを
特徴としている。その実施形態の一実施例として、図４
のように記憶領域が矩形の辺である場合は、図１１に示
すように、拡張視野画像の形状をあらかじめ矩形の孔空
きの多角形にしておき、その矩形孔の大きさを記憶領域
の内部と同一にしておく。拡張視野合成部１０７での画
像合成では、画像入力装置１０１から転送された入力画
像のうち記憶領域の内部を切り取り、拡張視野画像中の
矩形孔にすっぽりはめ込む形で合成を行う。

【００４６】このようにして入力画像と拡張視野画像
が、接合線においてずれなく接合される。この場合、拡
張視野画像作成部１０６における拡張視野画像の作成に
おいて、記憶再生画像中の記憶画素列Ｌ（ｋ）に対応す
る画素Ｄ（ｋ，１）〜Ｄ（ｋ，ｎ）のテクスチャーマッ
ピング先の座標を、記憶領域におけるＰ１〜Ｐｎに各々
対応させれば、入力画像と拡張視野画像との合成処理が
実現される。

【００４７】図１０の画像処理装置は複数の演算プロセ
ッサで構成する例であったが、その処理内容をソフトウ
ェアプログラムで実現することもできる。このソフトウ
ェアプログラムの内容を図１２に示す。図１２に示すプ
ログラムは汎用のパーソナルコンピュータやワークステ
ーション内のハードディスクに記憶され、ＣＰＵにより
実行される。したがって、図１２のソフトウェアプログ
ラムは説明の便宜上、機能表現を行っているが、実際に
はＣＰＵが実行可能なプログラムの言語で作成される。
また、ＣＤ−ＲＯＭやフロッピーディスクのような携帯
用記録媒体に図１２のソフトウェアプログラムを記録し
ておき、上記汎用コンピュータに実装してもよい。

【００４８】図１２を参照してコンピュータの情報処理
の内容を説明する。一例として、ビデオカメラにより撮
影された動画像は、たとえば、ＭＰＥＧのようなファイ
ルの形態で汎用コンピュータ内のハードディスクに記憶
されているものとする。

【００４９】図１２において、ＣＰＵはハードディスク
に記憶された動画像の先頭部分の静止画像を読み取り
（入力し）、外枠の画像を抽出し、内部メモリに記憶す
る（ステップＳ１０→Ｓ２０）。なお、初期状態ではス
テップＳ１０〜Ｓ２０の処理のみが繰り返され、一定時
間分（ｍ画面分）の画像抽出が行われる。

【００５０】一定時間が経過すると、ＣＰＵは第１実施
形態で説明した画像処理方法にしたがって、過去のｍ列
分の抽出画像を使用して記憶再生画像をメモリ上に作成
する（ステップＳ４０）。続いて、図７を参照して説明
した画像処理方法にしたがって、拡張視野画像をメモリ
上に作成する（ステップＳ５０）。

【００５１】ＣＰＵは作成された拡張視野画像と、現時
点で入力された画像（ステップＳ１０で入力された画
像）とをメモリ上で合成する。合成された画像は表示装
置に表示出力される（ステップＳ６０→Ｓ７０）。ＣＰ
Ｕは、時刻を計数するためのソフトカウンタを更新して
手順をステップＳ１０に戻す（ステップＳ８０→Ｓ１
０）。以下、キーボード等からユーザの停止の指示があ
るか、あるいは動画像ファイルからの読み取りが終了す
るまで、ステップＳ１０〜Ｓ８０の処理が繰り返し実行
されて、合成された拡張視野画像が表示装置に表示され
る。

【００５２】上述の実施形態の他に次の実施形態を実施
することができる。

【００５３】１）上述の実施形態では、ビデオカメラに
より撮影される動画像を構成する静止画像は、矩形形状
をしている例であるが、矩形に限らず、撮影手段の撮影
画面の形状に応じて、抽出する外周辺部の形状を適宜、
定めればよい。

【００５４】２）上述の実施形態では、視野を拡張する
ために、過去の入力静止画像を使用して記憶再生画像を
作成している。しかしながら、記憶再生画像、あるいは
拡張視野部分の画像のみを他の画像処理に使用してもよ
い。

【００５５】３）本発明では画面中の被写体が移動ある
いは拡大すれば拡張視野画像を作成することができる。
このように被写体の位置や大きさが変化する例としては
ビデオカメラ等の画像入力手段側の移動、被写体の移
動、画像入力手段の光学系のズーム機能による視野の変
動が挙げられる。

【００５６】

【発明の効果】本願発明者は、動画像の視野が変化する
と、その変化部分は動画像を構成する静止画像の外周辺
部に現れたり、外周辺部から消失することに着目し、本
発明では、複数時点の静止画像の外形枠の画像を記憶
し、複数時点の外周辺部の画像を使用して、記憶再生画
像を作成する。これにより、現時点では視野から外れた
画像についても、作成された記憶再生画像により補完で
きる。

【００５７】さらに、本発明では視野から外れた画像を
記憶再生画像から作成することにより、視野から外れた
部分の画像のみを他の画像処理に使用したり、入力した
画像と合成することで、あたかも視野を拡張した画像を
得ることができる。

【図面の簡単な説明】

【図１】本発明の記憶再生画像の作成を説明するための
システム構成図である。

【図２】作成された拡張視野画像の一例を示す説明図で
ある。

【図３】本発明第１実施形態のシステム構成を示すブロ
ック図である。

【図４】記憶する画像、および記憶領域中のその画素配
列を示す説明図である。

【図５】記憶再生画像の作成方法を説明するための説明
図である。

【図６】画像入力装置の移動と視野の変化を示す説明図
である。

【図７】本発明の拡張視野画像の作成を説明するための
システム構成を示すブロック図である。

【図８】記憶再生画像の作成方法を説明するための説明
図である。

【図９】マッピング方法を説明するための説明図であ
る。

【図１０】本発明のシステム構成を示すブロック図であ
る。

【図１１】拡張視野画像および合成画像を作成する方法
を説明するための説明図である。

【図１２】本発明のプログラムの処理内容を示すフロー
チャートである。

【符号の説明】

１０１ 画像入力装置 １０２ タイミング制御部 １０３ 画像記憶装置 １０４ 画像入力処理部 １０５ 記憶再生画像作成部 １０６ 拡張視野画像作成部 １０７ 拡張視野合成部 １０８ 画像出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 横山 和則 茨城県土浦市真鍋新町11−７ 総合病院 土浦協同病院内 (72)発明者 福与 恒雄 東京都文京区本郷２−12−２ 有限会社 新興光器製作所内 審査官 新井 則和 (56)参考文献 特開 平５−191902（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 3/00 400

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 被写体を撮影した動画像を時系列的な静
   止画像の形態で入力する画像入力手段と、 当該入力された静止画像の中の外周辺部の画像を抽出す
   る画像抽出手段と、 当該抽出された外周辺部の画像を時系列的に記憶する記
   憶手段と、 当該記憶された過去、複数時点の画像を使用して記憶再
   生画像を作成する記憶再生画像作成手段と、 前記記憶再生画像を任意の形状に変換した拡張視野画像
   を作成する拡張視野画像作成手段と、 当該作成された拡張視野画像の前記任意の形状の中抜き
   部分と同じ形状の現時点の静止画像を、前記画像入力手
   段から入力して前記拡張視野画像の中抜き部分に合成す
   る合成手段とを具え、時系列的に記憶された外周辺部の
   画像を現時点の静止画像の周りにリアルタイムで展開す
   ることで動画像の擬似的な広視野化を実現したことを特
   徴とする画像処理装置。
2. 【請求項２】 請求項１に記載の画像処理装置におい
   て、前記記憶再生画像作成手段は前記記憶再生画像を作
   成する際に前記記憶された画像を撮影時刻順に前記記憶
   再生画像の画素の各行に配列することを特徴とする画像
   処理装置。
3. 【請求項３】 請求項１に記載の画像処理装置におい
   て、前記記憶再生画像作成手段は、前記記憶再生画像を
   作成する際に、テクスチャマッピング法を使用すること
   を特徴とする画像処理装置。
4. 【請求項４】 被写体を撮影した動画像を時系列的な静
   止画像の形態で入力する画像入力ステップと、 当該入力された静止画像の中の外周辺部の画像を抽出す
   る画像抽出ステップと、 当該抽出された外周辺部の画像を時系列的に記憶する記
   憶ステップと、 当該記憶された過去、複数時点の画像を使用して記憶再
   生画像を作成する記憶再生画像作成ステップと、 前記記憶再生画像を任意の形状に変換した拡張視野画像
   を作成する拡張視野画像作成ステップと、 当該作成された拡張視野画像の前記任意の形状の中抜き
   部分と同じ形状の現時点の静止画像を、前記拡張視野画
   像の中抜き部分に合成するステップとを具え、時系列的
   に記憶された外周辺部の画像を現時点の静止画像の周り
   にリアルタイムで展開することで動画像の擬似的な広視
   野化を実現したたことを特徴とする画像処理方法。
5. 【請求項５】 請求項４に記載の画像処理方法におい
   て、前記記憶再生画像作成ステップでは前記記憶再生画
   像を作成する際に前記記憶された画像を撮影時刻順に前
   記記憶再生画像の画素の各行に配列することを特徴とす
   る画像処理方法。
6. 【請求項６】 請求項４に記載の画像処理方法におい
   て、前記記憶再生画像作成ステップでは、前記記憶再生
   画像を作成する際に、テクスチャマッピング法を使用す
   ることを特徴とする画像処理方法。
7. 【請求項７】 画像処理装置により実行するためのプロ
   グラムを記録した記録媒体において、前記プログラム
   は、 被写体を撮影した動画像を時系列的な静止画像の形態で
   入力する画像入力ステップと、 当該入力された静止画像の中の外周辺部の画像を抽出す
   る画像抽出ステップと、 当該抽出された外周辺部の画像を時系列的に記憶する記
   憶ステップと、 当該記憶された過去、複数時点の画像を使用して記憶再
   生画像を作成する記憶再生画像作成ステップと、 前記記憶再生画像を任意の形状に変換した拡張視野画像
   を作成する拡張視野画像作成ステップと、 当該作成された拡張視野画像の前記任意の形状の中抜き
   部分と同じ形状の現時点の静止画像を、前記拡張視野画
   像の中抜き部分に合成するステップとを具え、時系列的
   に記憶された外周辺部の画像を現時点の静止画像の周り
   にリアルタイムで展開することで動画像の擬似的な広視
   野化を実現したたことを特徴とする記録媒体。
8. 【請求項８】 請求項７に記載の記録媒体において、前
   記記憶再生画像作成ステップでは前記記憶再生画像を作
   成する際に前記記憶された画像を撮影時刻順に前記記憶
   再生画像の画素の各行に配列することを特徴とする記録
   媒体。
9. 【請求項９】 請求項７に記載の記録媒体において、前
   記記憶再生画像作成ステップでは、前記記憶再生画像を
   作成する際に、テクスチャマッピング法を使用すること
   を特徴とする記録媒体。