JPH11120352A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 注目対象よりも手前の遮蔽物を画像処理によ
って取り除いた監視員にとって見やすい動画像を生成で
きず、また奥行き情報を信頼性高く推定するのが困難で
あり、さらにカメラの振動や移動速度のむらが、距離測
定の精度に大きく影響するなどの課題があった。 【解決手段】 連続画像撮像手段で撮像された二次元の
静止画像を時間的に積み重ねた連続画像から三次元の時
空間画像を生成する時空間画像生成手段と、時空間画像
の横軸時間軸面に現れるストライプの時間軸に対する角
度から静止画像に写った物体の位置を判断して遮蔽物を
除去する時空間画像処理手段と、時空間画像を時間毎に
切り出して連続画像に変換する画像再構成手段とを備え
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばプラント
機器や公共システムの遠隔監視装置に使用される画像処
理装置及び画像処理方法に関するものである。

【０００２】

【従来の技術】

従来技術１．例えば特開昭５７−３７９９３号公報に
は、一台のテレビカメラを揺動させて撮像し、この撮像
した信号を立体テレビ受像機に表示することにより、電
力プラントを安全かつ正確に自動点検監視ができるよう
にする画像処理手法が提案されている。図２２はそのよ
うな従来の画像処理装置の構成を示すブロック図であ
り、図において、１０１は立体視用のテレビカメラなど
の立体映像撮像手段、１０２は立体映像撮像手段１０１
を操作員の両眼間の距離だけ左右に揺動する左右視差間
カメラ移動手段、１０３は立体視のための画像に変換す
る画像処理手段、１０４は画像処理手段１０３により変
換された画像を表示し、監視員に立体映像を見せる立体
テレビ受像手段である。

【０００３】次に動作について説明する。原子炉格納容
器内を走行する遠隔操作車には、マニピュレータ等の他
に立体映像撮像手段１０１が備えられている。この立体
映像撮像手段１０１は左右視差間カメラ移動手段１０２
により、操作員の両眼間の距離だけ左右に揺動するよう
に形成されている。そして立体映像撮像手段１０１で撮
像された左及び右画像信号は画像処理手段１０３に送ら
れて画像処理された後、操作卓に設けられた立体テレビ
受像手段１０４に表示される。操作員はこの画像を見な
がら操作車を操作することにより、中央監視室にいる監
視員が、遠隔にある監視現場の監視対象の映像を、あた
かも監視現場にいるかの如く、忠実に提示して見せるこ
とができる。結果として、電力プラントを安全且つ正確
に遠隔操作で自動点検監視ができる。

【０００４】従来技術２．例えば、J.Y.A.Wang.E.H.Ade
lson：“Layered Representation for Motion Analysi
s”，Proc.of the IEEE Comp. Vis. and Pat. Rec.(CVP
R),pp.361-366, 1993には、一台のカメラを移動しなが
ら撮影した連続的な画像に対して、それぞれの中から隣
接する二枚の画像を順次選択しながら、それら二枚の画
像間で各点の動きベクトルを計算し、手前の物体は大き
く動き、奥の物体はあまり大きく動かないことを利用し
て奥行きを推定し、動画像をアニメーションのセル画の
ように奥行き毎に分割された複数のレイヤによって表現
し、奥行きの順序に従って重ね合わせた上で、相互に動
かすことにより動画像を表現する画像処理手法が提案さ
れている。図２３はそのような従来の画像処理装置の構
成を示すブロック図であり、図において、１０５は連続
画像を撮像する連続画像撮像手段、１０６は連続画像撮
像手段を移動する移動手段、１０７は移動手段１０６に
よって連続画像撮像手段１０５を移動させながらとらえ
た連続画像のうちの二枚から画像間の輝度情報の動きで
あるオプティカルフローを抽出する二枚画像間オプティ
カルフロー抽出手段、１０８は二枚画像間オプティカル
フロー抽出結果を領域分割、領域統合する領域分割統合
手段、１０９は領域分割統合された結果から、画像をそ
れぞれの領域毎に移動速度に応じた奥行きの層状構造に
変換する画像再構成手段、１１０は再構成された画像を
提供する画像表示手段である。

【０００５】次に動作について説明する。連続画像撮像
手段１０５は、移動手段１０６によって移動させられな
がら、連続画像を撮像する。連続画像撮像手段１０５に
よって得られた連続画像のうち時間的に隣接する二枚の
画像が順次選択されて、二枚画像間オプティカルフロー
抽出手段１０７によりオプティカルフローが抽出され
る。オプティカルフロー抽出結果は、領域分割統合手段
１０８で領域分割、領域統合され、画像再構成手段１０
９で領域毎の移動速度に応じた奥行きの層状構造に変換
される。そして、再構成された画像は、画像表示手段１
１０で提示される。

【０００６】従来技術３．例えば、特開昭５８−５０４
１７号公報には、一定微小距離毎に撮像した複数枚の対
象物体の画像を合成して得る直線エッジの傾きを検出す
ることにより、細かく簡単にカメラと対象物体間の距離
を算出する画像処理手法が提案されている。図２４はそ
のような従来の画像処理装置の構成を示すブロック図で
あり、図において、１１１は対象を撮影する連続画像撮
像手段、１１２は連続画像撮像手段１１１を直線上で移
動させる移動手段、１１３は移動手段１１２により移動
させられた連続画像撮像手段１１１から一定微小移動距
離ごとに撮像された複数枚の画像を時間毎に積み重ね
て、水平軸、垂直軸及び時間軸から構成される箱状の三
次元画像データを合成する画像合成手段、１１４は画像
合成手段１１３から直線エッジを抽出する直線エッジ検
出手段である。

【０００７】次に動作について説明する。連続画像撮像
手段１１１は移動手段１１２によって直線上を移動し、
一定微小移動距離ごとに連続画像を撮像する。画像合成
手段１１３は一定微小移動距離ごとに撮像された複数枚
の画像を時間毎に積み重ねて、水平軸、垂直軸及び時間
軸から構成される箱状の三次元画像データを合成する。
直線エッジ検出手段１１４は画像合成手段１１３で合成
された箱状の三次元画像データを、ある水平ラインで切
断した二次元の画像データから直線エッジを抽出し、そ
の直線エッジの方向から注目点の距離を推定する処理を
各水平ライン毎に行う。

【０００８】このように、連続画像撮像手段１１１を移
動手段１１２により駆動して、直線上を移動しながら一
定微小移動距離ごとに撮像された複数枚の画像から画像
合成手段１１３を用いて距離画像を合成し、このように
合成して得られた距離画像から直線エッジ方向を検出す
ることにより、直線エッジの方向を得て、距離を求め、
エッジに対応する物体上の点に対して細かく距離測定を
することができる。

【０００９】

【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、次のような課題があ
った。従来技術１では、遠隔にある監視現場の監視対象
の映像を、中央監視室にある監視員に対して、あたかも
監視現場にいるかの如く、忠実に提示して見せることに
より、監視対象の遠隔監視を行うものであるが、監視員
にとっては、監視対象の立体的な映像が実際に見やすい
ものであるとは限らず、効率的に遠隔監視を行うことが
できないなどの課題があった。例えば複雑な配管や建物
の柱が注目する監視対象を部分的に遮蔽し、細かい部分
の監視の妨げになるような場合である。従って、この場
合には、監視員にとっては見やすい画像であるとは言え
ないため、注目対象よりも手前にある遮蔽物を画像処理
によって取り除く等により、監視員にとって見やすい動
画像を生成することが望まれる。

【００１０】また、従来技術２では、画像中の各注目点
対象までの距離を推定した後、アニメーションのセル画
のように、層状に重ね合わせた表現を行うことができる
が、動画像中の各点の奥行きを知るための、動画像中の
各点のオプティカルフローである動きベクトルを、連続
する二枚の画像だけを用いて求めているため、奥行き情
報を信頼性高く距離推定するのが困難であり、信頼性高
く距離推定を行うためには、二枚の画像だけでなく、よ
り多くの画像を用いる必要があるなどの課題があった。

【００１１】また、従来技術３では、連続画像撮像手段
を、直線上を移動させながら、一定微小移動距離ごとに
撮像された複数枚の画像によって生成される時空間画像
から直線エッジの方向を抽出し、エッジ方向に相当する
距離を求めるため、細かく距離測定を行うことができる
が、この手法により得られる距離情報は、エッジに対応
する部分の距離情報でしかなく、エッジカメラの振動や
移動速度のむらが、距離測定の精度に大きく影響するた
め、物理的に強固な構造を持つ移動機構が必要となり、
プラント等の点検において、機動性を損なうなどの課題
があった。このため、直線エッジの方向が明瞭に抽出で
きない部分の距離情報を、周辺の輝度情報あるいは時間
的に前後する精度情報を用いて補う何らかの手法が望ま
れる。また、カメラの移動に伴う振動や移動速度のむら
を抑制する何らかの手段が望まれる。

【００１２】この発明は上記のような課題を解決するた
めになされたもので、注目対象よりも手前にある遮蔽物
を画像処理によって取り除くことにより、見やすい動画
像を生成することができる画像処理装置及び画像処理方
法を得ることを目的とする。

【００１３】また、この発明は、直線エッジの方向が明
瞭に抽出できない部分の距離情報を、周辺の輝度情報あ
るいは時間的に前後する精度情報を用いて補うことによ
り、見やすい動画像を生成することができる画像処理装
置及び画像処理方法を得ることを目的とする。

【００１４】さらに、この発明は、カメラの移動に伴う
振動や移動速度のむらを抑制することにより、見やすい
動画像を生成することができる画像処理装置及び画像処
理方法を得ることを目的とする。

【００１５】

【課題を解決するための手段】この発明に係る画像処理
装置は、移動しながら物体を撮像する連続画像撮像手段
と、この連続画像撮像手段によって連続的に撮像された
二次元座標の静止画像を時間的に積み重ねて連続画像と
し、この連続画像から時間軸を新たな座標軸とする三次
元座標の時空間画像を生成する時空間画像生成手段と、
時空間画像の横軸時間軸面に現れるストライプの時間軸
に対する角度から静止画像に写った物体の位置を判断
し、予め指定した物体を画像処理して除去する時空間画
像処理手段と、この時空間画像処理手段によって画像処
理された時空間画像を時間毎に切り出して、画像表示手
段が映像可能な静止画像を時間的に積み重ねた連続画像
に変換する画像再構成手段とを備えたものである。

【００１６】この発明に係る画像処理装置は、時空間画
像生成手段を、連続画像撮像手段の振動、揺れ、速度む
らなどが生じた場合に、連続画像撮像手段が撮像した連
続画像の重ね合わせる位置を補正する連続画像位置補正
手段と、この連続画像位置補正手段によって位置補正さ
れた連続画像を時間軸に沿って重ね合わせて三次元の時
空間画像を生成する連続画像の時空間合成手段とから構
成したものである。

【００１７】この発明に係る画像処理装置は、時空間画
像処理手段を、時空間画像の横軸縦軸面に連続画像撮像
手段の移動方向と光軸方向との角度に応じて複数のスリ
ット位置を設定し、この複数のスリット位置で時空間画
像を切断して横軸時間軸面の複数の二次元座標のスリッ
ト画像を生成するスリット画像生成手段と、複数のスリ
ット画像それぞれに対して予め指定された物体を画像処
理して除去する複数のスリット画像処理手段と、これら
複数のスリット画像処理手段により画像処理された複数
のスリット画像を、連続画像撮像手段の移動方向と光軸
方向との角度に応じて設定した複数のスリット位置に置
き直すことにより、三次元座標の時空間画像を生成する
スリット画像合成手段とから構成したものである。

【００１８】この発明に係る画像処理装置は、スリット
画像処理手段を、二次元のスリット画像から量子化され
た複数の直線エッジを抽出する直線エッジ抽出手段と、
この直線エッジ抽出手段により抽出された上記複数の直
線エッジを、この量子化された各エッジ方向毎に領域統
合した複数の領域統合画像を生成する複数の領域統合手
段と、これら複数の領域統合手段で生成された複数の領
域統合画像を順に層状に重ね合わせることにより、二次
元の層状画像を生成する層状画像合成手段とから構成し
たものである。

【００１９】この発明に係る画像処理装置は、スリット
画像処理手段を、二次元のスリット画像から予め指定さ
れたエッジ方向の直線エッジを抽出する直線エッジ抽出
手段と、この直線エッジ抽出手段により抽出された直線
エッジを、量子化されたエッジ方向に領域統合すると共
に、このように領域統合した領域の輝度情報をスリット
画像から除去する指定距離対応エッジ方向領域統合手段
と、輝度情報を除去した領域の中から代表点を抽出する
領域内代表点抽出手段と、輝度情報が除去された領域内
の代表点を中心とする局所領域内部で輝度値を補う局所
領域輝度情報推定手段とから構成したものである。

【００２０】この発明に係る画像処理方法は、連続画像
撮像手段によって連続的に撮像された二次元座標の静止
画像を時間的に積み重ねて連続画像とし、この連続画像
から時間軸を新たな座標軸とする三次元座標の時空間画
像を生成し、この時空間画像の横軸時間軸面に現れるス
トライプの時間軸に対する角度から静止画像に写った物
体の位置を判断し、予め指定した物体を画像処理して除
去し、この時空間画像処理手段によって画像処理された
時空間画像を時間毎に切り出して、静止画像を時間的に
積み重ねた連続画像に変換するようにしたものである。

【００２１】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像処理装置を用いた遠隔監視装置を示す概観構成図であ
り、図において、１は移動手段２の上を移動しながら監
視対象４Ａ，４Ｂ（及び遮蔽物５Ａ〜５Ｄ）を連続的に
撮像する連続画像撮像手段、２は連続画像撮像手段１を
走行軸２Ａに沿って移動させる移動手段であり、この移
動手段２には、エンコーダが付加されて連続画像撮像手
段１の移動を読み取ることができると共に、ジャイロが
付加されて連続画像撮像手段１の回転運動を読み取るこ
とができるようになっている。３は連続画像撮像手段１
で撮影した画像データ、エンコーダからの移動データ及
びジャイロからの回転運動データをディジタル化して画
像メモリ（図示せず）に展開するか、あるいはデータバ
スへ転送するホストコンピュータである。４Ａ，４Ｂは
注目すべき監視対象（物体）、５Ａ〜５Ｄは配管、建物
の柱または柵等のように、監視対象４Ａ，４Ｂを部分的
に遮蔽する遮蔽物（物体）である。

【００２２】図２はこの発明の実施の形態１による画像
処理装置の構成を示すブロック図であり、図において、
１は上記図１で示した連続画像撮像手段、２も上記図１
で示した移動手段である。６は連続画像撮像手段１によ
って連続的に撮像された二次元座標（横軸と縦軸）の静
止画像を時間的に積み重ねて連続画像（図３の１００
０）とし、この連続画像から時間軸を新たな座標軸とす
る三次元座標（横軸、縦軸及び時間軸）の時空間画像
（図３の２０００）を生成する時空間画像生成手段、７
は時空間画像生成手段６によって生成された時空間画像
を画像処理して遮蔽物（図３の２０００Ａ）を除去する
時空間画像処理手段、８は時空間画像処理手段７によっ
て画像処理された時空間画像（図３の３０００）を時間
毎に切り出して、静止画像が時間的に積み重ねた連続画
像（図３の４０００）に変換する画像再構成手段であ
る。尚、これら時空間画像生成手段６、時空間画像処理
手段７及び画像再構成手段８は上記図１で示したホスト
コンピュータ３内に設けられている。９は画像再構成手
段８によって再構成された連続画像を監視員に表示する
画像表示手段である。尚、この発明の実施の形態１によ
る画像処理装置は、時空間画像生成手段６、時空間画像
処理手段７及び画像再構成手段８により構成される。

【００２３】図３は図２に示した画像処理装置による画
像処理方法（遮蔽物を除去する画像処理手法）を説明す
るための図である。図において、１０００は連続画像撮
像手段１により撮像した連続的な静止画像を時間的に積
み重ねた連続画像、１０００Ａは連続画像１０００の一
つである静止画像上に写っている遮蔽物である。２００
０は時空間画像生成手段６により連続画像１０００から
生成された三次元座標の時空間画像、２０００Ａは時空
間画像２０００の時間軸断面（ｘ−ｙ面）上の遮蔽物で
ある。３０００は時空間画像２０００を時空間画像処理
手段７で画像処理することにより、遮蔽物２０００Ａを
取り除いた時空間画像である。４０００は画像再構成手
段８により時空間画像３０００を時間毎に切り出されて
変換された、静止画像を時間的に積み重ねた連続画像で
ある。尚、この図３に示した連続画像１０００，４００
０及び時空間画像２０００，３０００は、連続画像撮像
手段１の移動方向と連続画像撮像手段１の撮像方向であ
る光軸とが垂直であって、連続画像移動手段１が等速度
で直線運動している場合の画像例である。

【００２４】図４は図３の時空間画像２０００の拡大図
であり、図において、２０００Ａは時空間画像２０００
のｘ−ｙ面上の遮蔽物、２０００ａ，２０００ｂは時空
間画像２０００のｘ−ｔｉｍｅ面（横軸時間軸面）に現
れるストライプである。連続画像撮像手段１が移動しな
がら物体（監視対象４Ａ，４Ｂ、遮蔽物５Ａ〜５Ｄ）を
撮像するため、連続的な静止画像上の物体の位置も移動
するので、時空間画像２０００のｘ−ｔｉｍｅ面に時間
軸（ｔｉｍｅ）に沿った物体の移動の軌跡としてストラ
イプ２０００ａ，２０００ｂが現れるものである。従っ
て、連続画像撮像手段１の移動速度が早くなる程、スト
ライプ２０００ａ，２０００ｂの時間軸（ｔｉｍｅ）に
対する角度が急になり、また物体が連続画像撮像手段１
から近い程（手前にある程）、時間軸に対する角度が急
になる（従って、ストライプ２０００ａはストライプ２
０００ｂよりも手前にある物体である）。

【００２５】図４に示すように、時空間画像２０００に
は、座標軸として、横方向にｘ軸（ｘ座標）、縦方向に
ｙ軸（ｙ座標）及び奥行き方向に時間軸（ｔｉｍｅ座
標）が設定されている。上記したように、時空間画像２
０００は、時空間画像生成手段６により二次元（ｘ−ｙ
面）の静止画像を時間的に重ね合わせて連続画像１００
０とし、この連続画像１０００から時間軸を新たな座標
軸とする三次元座標の画像情報として生成されたもので
ある。従って、時空間画像２０００を時間軸で切断した
ｘ−ｙ面が２次元の静止画像である。静止面の画素数
は、一般的に横５１２、縦５１２であるため、時空間画
像２０００のｘｙ座標の座標数もこの画素数に対応し
て、横５１２、縦５１２である。一方、時間軸の座標数
は、連続画像撮像手段１の撮像時間によって異なる。こ
のように設定された時空間画像２０００の３次元座標に
は、輝度値などの画像データや時間データなどが格納さ
れる。

【００２６】次に動作について説明する。 （１）まず、連続画像撮像手段１が移動しながら監視対
象４Ａ，４Ｂを撮像する動作について説明する。図１に
示したように、連続画像撮像手段１が、移動手段２の走
行軸２Ａに沿って移動しながら連続的に監視対象４Ａ，
４Ｂ（及び遮蔽物５Ａ〜５Ｄ）を撮像し、この撮像した
画像データをディジタル化して連続的な静止画像（デー
タ）とする。ホストコンピュータ３は、ディジタル化さ
れた連続的な静止画像を画像メモリに展開するか、ある
いはデータバスへ転送する。そして、画像メモリ内の静
止画像またはデータバスで転送された静止画像は、ホス
トコンピュータ３内の時空間画像生成手段６、時空間画
像処理手段７及び画像再構成手段８で画像処理される。
尚、図１で示したように、移動手段２が連続画像撮像手
段１を走行軸２Ａに沿って移動させる場合に限らず、移
動ロボットが連続画像撮像手段１を搭載して移動する等
の方法でも構わない。

【００２７】この実施の形態１では、移動手段２が連続
画像撮像手段１を等速で移動させる場合を示している。
しかし、移動手段２にはエンコーダが付加されているの
で、連続画像撮像手段１の移動情報をエンコーダから得
ることによって速度補正を行うことも可能であるため、
連続画像撮像手段１が等速移動である必要はない。ま
た、この実施の形態１では、連続画像撮像手段１の移動
方向と撮像方向とは垂直である場合を示している。しか
し、移動手段２にはジャイロが付加されているので、連
続画像撮像手段１の回転運動情報をジャイロから得るこ
とによって回転運動に対する補正も可能であるため、連
続画像撮像手段１は直線運動である必要もない。

【００２８】（２）次に、画像処理装置（即ち、時空間
画像生成手段６、時空間画像処理手段７及び画像再構成
手段８）が、連続画像撮像手段１が撮像した連続的な静
止画像を画像処理する動作を説明する。まず、画像メモ
リ内の静止画像またはデータバスで転送された静止画像
は、時空間画像生成手段６に送られる。ここで、静止画
像には、監視対象４Ａ，４Ｂの他に遮蔽物１０００Ａも
撮像されている。時空間画像生成手段６は、連続的な静
止画像を時間的に並べて連続画像１０００とし、この連
続画像１０００から時間軸を新しい座標軸とする三次元
座標の時空間画像２０００を生成する。時空間画像生成
手段６により連続的な静止画像から生成された時空間画
像２０００にも遮蔽物２０００Ａが存在するので、次
に、時空間画像処理手段７は、画像処理することによっ
て、時空間画像２０００上の遮蔽物２０００Ａを除去す
る。

【００２９】時空間画像処理手段７が時空間画像２００
０上で遮蔽物２０００Ａとその他の物体（監視対象４
Ａ，４Ｂなど）を区別するのは、基本的に次のようにし
て行われる。即ち、図４に示すように、時空間画像２０
００のｘ−ｔｉｍｅ面（時空間画像２０００をｙ軸で切
り出した面）には、ストライプ（物体の直線的な軌跡）
が現れる。このストライプの時間軸に対する角度が急で
ある程、そのストライプの物体は連続画像撮像手段１に
近い位置にあり、ストライプの時間軸に対する角度が緩
くなる程、そのストライプの物体は連続画像撮像手段１
から遠い位置にある。従って、ストライプ２０００ａが
時間軸（ｔｉｍｅ）に対して最も急な角度であるので、
ストライプ２０００ａの物体が連続画像撮像手段１に対
して最も手前の位置にあることが判断でき、一方、スト
ライプ２０００ｂはストライプ２０００ａよりも時間軸
に対する角度が緩いため、ストライプ２０００ｂの物体
はストライプ２０００ａの物体よりも奥の位置にあるこ
とが解る。このようにして、連続画像撮像手段１から物
体までの距離（位置）を判断し、時空間画像２０００上
で遮蔽物２０００Ａとその他の物体を区別する。従っ
て、ストライプ２０００ａが遮蔽物２０００Ａであると
判断できる。

【００３０】時空間画像処理手段７は、このように連続
画像撮像手段１に対する各物体の奥行き情報を得ること
によって、監視対象４Ａ，４Ｂよりも手前に位置し、部
分的に監視対象４Ａ，４Ｂを遮蔽する遮蔽物５Ａ〜５Ｄ
（時空間画像２０００上の遮蔽物２０００Ａ）を画像処
理により除去する。時空間画像処理手段７が、時空間画
像２０００上の遮蔽物２０００Ａを除去すると、時空間
画像２０００上に空白ができてしまう。そこで、時空間
画像処理手段７は、その遮蔽物２０００Ａが存在しない
時間帯における監視対象４Ａ，４Ｂの輝度値と奥行き情
報を用いて空白の除去部分の画像を置き換える。このよ
うに、時空間画像処理手段７が、実際にはその時間帯に
おいては遮蔽物５Ａ〜５Ｄの陰で見ることのできない監
視対象４Ａ，４Ｂの表面の輝度情報と奥行き情報を補う
ことにより、手前の遮蔽物５Ａ〜５Ｄを画像処理的に除
去した時空間画像３０００を生成する。画像再構成手段
８は、遮蔽物２０００Ａが除去された時空間画像３００
０を時間毎に切り出し、静止画像を連続的に重ね合わせ
た連続画像４０００に変換する。

【００３１】（３）そして、画像表示手段９は、画像再
構成手段８によって再構成された連続画像４０００を監
視員に表示する。連続画像４０００は、遮蔽物５Ａ〜５
Ｄが除去されているので、監視員にとって監視対象４
Ａ，４Ｂが見やすく監視しやすいものである。

【００３２】図５はこの画像処理装置により画像処理し
た画像例を示す図である。１００は監視対象４Ａ，４Ｂ
及び遮蔽物５Ａ〜５Ｄの鳥瞰図である。１００１〜１０
０５は連続画像撮像手段１が実際に撮影した連続的な静
止画像である。４００１〜４００５は連続的な静止画像
１００１〜１００５から、時空間画像生成手段６及び時
空間画像処理手段７により、遮蔽物５Ａ〜５Ｄが取り除
かれた連続的な静止画像である。２００は画像処理され
て鳥瞰図１００から遮蔽物を取り除かれた鳥瞰図であ
る。このように、連続的な静止画像１００１〜１００５
が画像処理されて連続的な静止画像４００１〜４００５
となり、連続的な静止画像４００１〜４００５が画像表
示手段９で表示されるので、監視員は監視対象４Ａ，４
Ｂを監視しやすくなる。

【００３３】以上のように、この実施の形態１によれ
ば、注目すべき監視対象４Ａ，４Ｂが、配管、建物の
柱、柵等の遮蔽物５Ａ〜５Ｄによって部分的に遮蔽され
ている場合でも、連続する静止画像１０００を用いて、
遮蔽物５Ａ〜５Ｄが存在しない時間帯の監視対象４Ａ，
４Ｂの輝度値を用いて置き換えることにより、実際には
その時間帯には見ることのできない監視対象４Ａ，４Ｂ
の表面の輝度情報を補って、手前の遮蔽物５Ａ〜５Ｄを
除去した時空間画像を生成するので、監視員にとって見
やすい画像を提供し、効率のよい遠隔監視環境を提供す
ることができるという効果が得られる。

【００３４】尚、この実施の形態１は、連続画像撮像手
段１が光軸に垂直な方向で、かつ一定速度で移動する場
合について説明した。このような場合、時空間画像２０
００のｘ−ｔｉｍｅ面のストライプが直線となるため、
最も精度よく遮蔽物を除去することができるためであ
る。しかし、連続画像撮像手段１が光軸に垂直な方向で
移動しない場合、または連続画像撮像手段１が一定速度
で移動しない場合でも、連続画像１０００または時空間
画像２０００を補正することにより、精度よく遮蔽物を
除去することができる。このような連続画像１０００ま
たは時空間画像２０００の補正方法を以降の実施の形態
で説明する。

【００３５】実施の形態２．連続画像撮像手段１の移動
が等速度直線運動であれば、連続画像１０００における
各物体の軌跡（時空間画像２０００のｘ−ｔｉｍｅ面の
ストライプ）が直線となる。従って、これらの直線的な
軌跡は計算式により求めることができ、また時空間画像
２０００の解析も容易である。しかし、連続画像撮像手
段１の移動が等速直線運動でない場合は、連続画像１０
００における各物体の軌跡は複雑なものとなって時空間
画像２０００の解析も容易でない。そこで、この実施の
形態２では、連続画像撮像手段１が撮影した連続画像１
０００を補正して時空間画像２０００を生成し、時空間
画像２０００の解析を容易にするものである。

【００３６】図６はそのようなこの発明の実施の形態２
による画像処理装置における時空間画像生成手段の具体
的構成を示すブロック図であり、図において、６は上記
実施の形態１で説明した時空間画像生成手段である。６
１は連続画像撮像手段１が連続画像１０００を撮像する
ときに振動している場合、連続画像撮像手段１が撮像し
た連続画像１０００から時空間画像２０００を生成する
際に、移動手段２に付加されたエンコーダから送られる
連続画像撮像手段１の移動情報に応じて、連続画像１０
００の重ね合わせる位置を補正する移動量補正手段（連
続画像位置補正手段）である。６２は連続画像撮像手段
１の振動、揺れ、移動速度のむら等がある場合、連続画
像１０００の重ね合わせる位置を補正してその振動、揺
れ、または移動速度のむら等を補正する揺れ・時間軸補
正手段（連続画像位置補正手段）である。６３は移動量
補正手段６１と揺れ・時間軸補正手段６２によって修正
された位置で連続画像１０００を時間軸に沿って重ね合
わせて三次元の時空間画像２０００を生成する連続画像
の時空間合成手段である。

【００３７】ここで、移動量補正手段６１と揺れ・時間
軸補正手段６２は、ともに連続画像撮像手段１が撮影し
た連続画像１０００の重ね合わせる位置を修正する機能
を備えたものであり、このように、移動量補正手段６１
及び揺れ・時間軸補正手段６２により連続画像１０００
を修正することにより、最終的に正確な時空間画像２０
００を生成するものである。しかし、移動量補正手段６
１と揺れ・時間軸補正手段６２の補正機能は、異なるも
のである。即ち、移動量補正手段６１は、移動手段２に
付加されたエンコーダまたはジャイロからの移動情報を
基に、連続画像１０００の大まかな位置合わせ修正を行
うものであるのに対し、揺れ・時間軸補正手段６２は、
連続画像撮像手段１で撮像された連続画像１０００を画
像処理することによって連続画像１０００のさらに細か
い位置合わせ修正を行うものである。

【００３８】揺れ・時間軸補正手段６２によってさらに
細かい位置合わせを行う必要があるのは、機械的な振動
や構造的な剛性不足による揺れや、移動機構（移動手段
２）の速度むら等の理由により生じる三次元の時空間画
像２０００の歪みに関しては、連続画像撮像手段１自身
に機械的な防振装置を付加することにより、１Ｈｚ前後
の機構的なカメラの揺れはほとんど補正できるが、これ
よりも周波数の高い機械的な振動や、移動機構の速度む
らに関しては機械的な防振装置などでは補正できないか
らである。

【００３９】次に動作について説明する。 （１）まず、移動量補正手段６１の動作について説明す
る。図７は移動量補正手段６１の動作を説明するための
図であり、同図（ａ）は連続画像撮像手段１が移動方向
に等速直線移動する場合を示し、同図（ｂ）は連続画像
撮像手段１が上下方向に波状に振動する場合を示すもの
である。図７（ａ）に示すような連続画像撮像手段１が
移動方向に等速直線運動する場合、連続画像撮像手段１
が光軸方向１ｂ１で撮像した連続画像１０１０は上下方
向にずれがないものである。従って、連続画像１０１０
の重ね合わせる位置を補正する必要がない。一方、図７
（ｂ）に示すような連続画像撮像手段１が上下方向に波
状に振動する場合、連続画像撮像手段１が光軸方向１ｂ
１で撮像した連続画像１０１１は上下方向にずれが生じ
てしまう。そこで、移動手段２に付加されたエンコーダ
からの連続画像撮像手段１の移動情報に基づいて、連続
画像１０１１の位置を上下方向に補正する。このように
補正した連続画像１０１２は、上下方向のずれがなくな
ったものとなる。

【００４０】このように、移動量補正手段６１が連続画
像１０００の大まかな位置合わせを行うことにより、連
続画像１０１２における各物体の軌跡が直線となり、連
続画像１０１２の解析も容易となる。従って、時空間画
像２０００の生成も容易となる。尚、連続画像撮像手段
１の移動量の補正は、図７に示したような上下方向には
限られず、左右の回転方向、移動方向の速度の変化に対
しても、それぞれの移動に応じた連続画像１０００の補
正を行うことにより、時間軸と空間軸を変形し、画像処
理の行いやすい時空間画像２０００を生成することがで
きる。

【００４１】（２）次に、揺れ・時間軸補正手段６２の
動作について説明する。揺れ・時間軸補正手段６２は、
振動または揺れ補正機能と時間軸補正機能（移動速度む
ら補正機能）という２つの補正機能を有している。 （ａ）図８は揺れ・時間軸補正手段６２による連続画像
撮像手段１の振動または揺れ（特に、上下方向の振動ま
たは揺れ）を補正する動作を説明するための図である。
図において、３００は監視対象４Ａ，４Ｂ及び遮蔽物５
Ａ〜５Ｄの鳥瞰図である。１０２０〜１０２３は連続画
像撮像手段１を移動させながら撮影した監視対象４Ａ，
４Ｂの連続的な静止画像、１０３０〜１０３３は連続的
な静止画像１０２０〜１０２３それぞれから水平エッジ
１０３０Ａ〜１０３３Ａを抽出した水平エッジ抽出画
像、１０４０〜１０４３は水平エッジ抽出画像１０３０
〜１０３３それぞれの水平エッジ１０３０Ａ〜１０３３
Ａを水平方向に射影（圧縮）した水平方向射影画像であ
る。

【００４２】このように、揺れ・時間軸補正手段６２
は、連続画像撮像手段１で撮影した連続的な静止画像１
０２０〜１０２３から（揺れ・時間軸補正手段６２の微
分フィルタ（図示せず）によって）水平エッジ１０３０
Ａ〜１０３３Ａを抽出した水平エッジ抽出画像１０３０
〜１０３３を生成する。そして、水平エッジ抽出画像１
０３０〜１０３３の水平エッジ１０３０Ａ〜１０３３Ａ
を水平方向に射影して水平方向射影画像１０４０〜１０
４３を生成する。この水平方向射影画像１０４０〜１０
４３を垂直方向に位置合わせすることにより、連続画像
撮像手段１の振れ（カメラ振れ）を補正する。このよう
に、連続的な静止画像１０２０〜１０２３から水平エッ
ジ１０３０Ａ〜１０３３Ａを抽出し、この水平エッジ１
０３０Ａ〜１０３３Ａを水平方向に射影するのは、より
精度よく垂直方向の位置合わせができるようにするため
である。

【００４３】（ｂ）図９は揺れ・時間軸補正手段６２に
よる移動速度のむらを補正する動作を説明するための図
である。図において、１０５０は連続的な静止画像を時
間的に重ね合わせた連続画像、５００１は連続画像１０
５０をある高さ（点線で示した部分）で切り出したスリ
ット画像、５００２はスリット画像５００１の軌跡（ス
トライプ）の直線性を調べるためにスリット画像５００
１を起こしたスリット画像、５００３はスリット画像５
００２の時間軸を変換し、軌跡が直線になるようにした
スリット画像である。スリット画像５００２の軌跡の傾
きが急な部分は、時間軸の座標間隔を狭くするように変
換することにより、スリット画像５００２のように軌跡
が直線となる。尚、軌跡の傾きが緩い部分は、時間軸の
座標間隔を広くするように変換する。このように、スリ
ット画像５０００の時間軸を変換することにより、連続
画像撮像手段１の移動速度むらを除去することができ、
その結果、正確な三次元の時空間画像２０００を得るこ
とができる。

【００４４】尚、この実施の形態２では、簡単のために
連続画像撮像手段１の移動方向が光軸に対して垂直で、
撮像素子の水平ラインに平行である場合について説明し
ているが、もしこれらの条件が異なる場合でも、連続画
像１０００を変換するか、エッジ抽出を行う方向を変更
するか、あるいは射影計算を行う方向を変更する等の方
法により、上記と同様の結果を得ることができる。

【００４５】以上のように、この実施の形態２によれ
ば、移動量補正手段６１により、連続画像１０００の大
まかな位置合わせ補正を行うと共に、揺れ・時間軸補正
手段６２により、連続画像１０００のさらに細かい位置
合わせ補正を行うので、連続画像撮像手段１の移動が等
速直線運動でない場合であっても、最終的に正確に位置
合わせされた時空間画像２０００を生成することがで
き、時空間画像２０００を容易に解析することができる
という効果が得られる。

【００４６】実施の形態３．図１０はこの発明の実施の
形態３による画像処理装置における時空間画像処理手段
の構成を示すブロック図であり、図において、７は上記
実施の形態１で示した時空間画像処理手段である。７１
は三次元の時空間画像２０００のｘ−ｙ面（横軸縦軸
面、即ち、二次元の連続画像１０００）に連続画像撮像
手段１の移動方向と光軸方向との角度に応じて複数のス
リット位置を設定し、この複数のスリット位置で時空間
画像２０００を切断してｘ−ｔｉｍｅ面（横軸時間軸
面）の複数の二次元スリット画像（図１１の５０００）
を生成するスリット画像生成手段である。７２ａ〜７２
ｇはそれぞれスリット画像生成手段７１により生成され
た複数のスリット画像それぞれに対して遮蔽物除去など
の画像処理を行うスリット画像処理手段である。７３は
それぞれのスリット画像に対応するスリット画像処理手
段７２ａ〜７２ｇにより画像処理されたスリット画像
（図１１の６０００）を、連続画像撮像手段１の移動方
向と光軸方向との角度に応じて設定した複数のスリット
位置に置き直すことにより、三次元の時空間画像３００
０を生成するスリット画像合成手段である。

【００４７】次に動作について説明する。まず、この実
施の形態３の時空間画像処理手段７の基本的な動作につ
いて説明する。図１１は時空間画像処理手段７の基本的
な動作を説明するための図である。尚、時空間画像生成
手段６により、連続的な静止画像を連続画像１０００と
し、連続画像１０００から時空間画像２０００を生成す
る動作及び画像再構成手段８により、時空間画像３００
０から連続画像４０００を生成する動作については、上
記実施の形態１で示したものと同様であるため、重複す
る説明を省略する。

【００４８】スリット画像生成手段７１は、時空間画像
生成手段６により生成された三次元座標の時空間画像２
０００（時空間画像２０００を時間軸で切断した複数の
ｘ−ｙ面１０００のそれぞれ）に、連続画像撮像手段１
の移動方向と光軸方向との角度に応じて複数のスリット
を設定し、この複数のスリットの位置で時空間画像２０
００を切断したｘ−ｔｉｍｅ面の複数の二次元スリット
画像５０００を生成する。そして、各々のスリット画像
処理手段７２ａ〜７２ｇは、スリット画像生成手段７１
で生成された複数のスリット画像それぞれについて、監
視対象４Ａ，４Ｂまでの奥行き情報を調べると同時に監
視対象４Ａ，４Ｂよりも手前に存在し、監視対象４Ａ，
４Ｂを遮蔽する遮蔽物５Ａ〜５Ｄを画像処理的に除去す
る。そして、スリット画像合成手段７３はそれぞれのス
リットの位置に対応するスリット画像処理手段７２ａ〜
７２ｇで生成された画像処理後のスリット画像６０００
を、連続画像撮像手段１の移動方向と光軸方向との角度
に応じて設定した複数のスリットの位置に置き直すこと
により、三次元の時空間画像３０００を再構成する。
尚、図１０において、スリット画像処理手段７２ａ〜７
２ｇは７つしか描かれていないが、回路規模あるいは計
算機の演算能力に応じてこれらの数を増加させることも
可能である。

【００４９】尚、図１１では、簡単のために連続画像撮
像手段１の移動方向が光軸に対して垂直で、撮像素子の
水平ラインに平行である場合を示しているが、もしこれ
らの条件が異なる場合でも、スリットの設定位置を変更
する等の方法により、同様の結果を得ることができる。

【００５０】次に、時空間画像２０００（時空間画像２
０００を時間軸で切断したｘ−ｙ面１０００のそれぞ
れ）に設ける複数のスリットの位置の設定の仕方につい
て、図１２から図１５に基づいて説明する。 （１）図１２は時空間画像２０００に設ける複数のスリ
ットの位置の設定方法の一例を説明するための図であ
り、同図（ａ）は連続画像撮像手段１の移動方向と光軸
方向とが垂直であることを示す図、同図（ｂ）はそのと
きの連続的な静止画像のそれぞれに設定されるスリット
位置を示す図である。同図（ａ）において、１ａ３は連
続画像撮像手段１の移動方向、１ｂ３は連続画像撮像手
段１の光軸方向であり、移動方向１ａ３と光軸方向１ｂ
３は垂直である。１ｃ３は連続画像撮像手段１の撮像範
囲である。また、同図（ｂ）において、１０６０は静止
画像（連続画像の一枚）、１０６０Ａは静止画像１０６
０に設定されるスリットである。同図（ａ）に示すよう
に、連続画像撮像手段１の移動方向１ａ３と光軸方向１
ｂ３が垂直である場合、静止画像１０６０上の物体は水
平方向に移動するだけであるので、静止画像１０６０に
は水平方向のスリット１０６０Ａを設定する。このよう
に、スリット１０６０Ａの位置でスリット画像５０００
を生成することにより、直線的な軌跡を得ることがで
き、その結果、スリット画像５０００を容易に解析する
ことができる。

【００５１】尚、この図１２に示した場合のスリット１
０６０Ａの数は、最大、連続画像撮像手段１から得られ
る画像の縦方向の画素数（一般的には５１２画素）まで
設定することにより、より細かな画像処理を行うことが
できる。

【００５２】（２）図１３は時空間画像２０００に設け
る複数のスリットの位置の設定方法の一例を説明するた
めの図であり、同図（ａ）は連続画像撮像手段１の移動
方向と光軸方向が鋭角αをなしていること示す図、同図
（ｂ）はそのときの連続的な静止画像のそれぞれに設定
されるスリット位置を示す図、同図（ｃ）はスリットの
位置を水平方向に変形した静止画像例である。同図
（ａ）において、１ａ４は連続画像撮像手段１の移動方
向、１ｂ４は連続画像撮像手段１の光軸方向であり、移
動方向１ａ４と光軸方向１ｂ４は鋭角αをなしている。
１ｃ４は連続画像撮像手段１の撮像範囲である。また、
同図（ｂ）において、１０６１は静止画像（連続画像の
一枚）、１０６１Ａは静止画像１０６０に設定されるス
リット、１０６１Ｂはスリット１０６１Ａが集まる消失
点である。同図（ａ）に示すように、連続画像撮像手段
１の移動方向１ａ４と光軸１ｂ４とがある鋭角αをもっ
て移動する場合、静止画像１０６０上の物体は消失点１
０６１Ｂを中心とした放射線状のスリット１０６１方向
に移動する。従って、静止画像１０６１に水平方向のス
リットを設定しても、スリット画像５０００に直線の軌
跡が現れないので、静止画像１０６１には消失点１０６
１Ｂを中心とした放射線状に延びるスリット１０６１Ａ
を設定する。このように、スリット１０６１Ａの位置で
スリット画像５０００を生成することにより、直線的な
軌跡を得ることができ、その結果、スリット画像５００
０を容易に解析することができる。

【００５３】図１３（ｂ）において、消失点１０６１Ｂ
からの距離ｒと方向θとによる極座標を直交座標に変形
し、さらに、ｒの代わりに、 ｒ’＝（ｒ＋ｆ／ｃｃｄ_x ）／（ｒｃｏｓα＋（ｆ／ｃｃｄ_x ）ｓｉｎα） 但し、ｆは焦点距離、ｃｃｄ_x は撮像素子の横方向の一画素の長さ ・・・（１） を用いることにより、図１３（ｃ）の静止画像１０６２
となる。この静止画像１０６２は、静止画像１０６０と
同様に、画像上の全てのスリットが水平線となっている
ので、スリット画像５０００を生成する画像処理が容易
となる（スリットに傾きがあると画像処理が困難となる
ものである）。

【００５４】（３）図１４は時空間画像２０００に設け
る複数のスリットの位置の設定方法の一例を説明するた
めの図であり、同図（ａ）は連続画像撮像手段１の移動
方向と光軸方向が同方向（並行）であることを示す図、
同図（ｂ）はそのときの連続的な静止画像のそれぞれに
設定されるスリット位置を示す図、同図（ｃ）はスリッ
トの位置を水平方向に変形した静止画像例である。同図
（ａ）において、１ａ５は連続画像撮像手段１の移動方
向、１ｂ５は連続画像撮像手段１の光軸方向であり、移
動方向１ａ５と光軸方向１ｂ５は同方向である。１ｃ５
は連続画像撮像手段１の撮像範囲である。また、同図
（ｂ）において、１０６３は静止画像（連続画像の一
枚）、１０６３Ａは静止画像１０６３に設定されるスリ
ット、１０６３Ｂは静止画像１０６３の中心にあるスリ
ット１０６３Ａが集まる消失点である。図１４（ａ）に
示すように、連続画像撮像手段１の移動方向１ａ５と光
軸１ｂ５とが同方向である場合、静止画像１０６３上の
物体は消失点１０６３Ｂを中心とした放射線状のスリッ
ト１０６３方向に移動する。即ち、静止画像１０６３の
中心の消失点１０６３Ｂから放射線状に物体が移動す
る。従って、静止画像１０６３には消失点１０６３Ｂを
中心とした放射線状に延びるスリット１０６３Ａを設定
する。このように、スリット１０６３Ａの位置でスリッ
ト画像５０００を生成することにより、直線的な軌跡を
得ることができ、その結果、スリット画像５０００を容
易に解析することができる。

【００５５】図１４（ｂ）において、消失点１０６３Ｂ
からの距離ｒと方向θとによる極座標を直交座標に変形
し、さらにｒの代わりに、 ｒ”＝１／ｒ ・・・（２） を用いることにより、図１４（ｃ）の静止画像１０６４
となる。この静止画像１０６４は、静止画像１０６０と
同様に、画像上の全てのスリットが水平線となっている
ので、スリット画像５０００を生成する画像処理が容易
となる。

【００５６】（４）図１５は連続画像撮像手段（カメ
ラ）１が傾いている場合、または移動手段（のレール）
２が下に傾いている場合の連続的な静止画像のそれぞれ
に設定されるスリット位置を示す図である。図１５
（ａ）は連続画像撮像手段１の移動方向と光軸方向とが
垂直であるが、連続画像撮像手段１が撮像面の水平軸と
ある角度βをもって傾いている場合のスリット位置を示
す図である。図において、１０６５は連続的な静止画
像、１０６５Ａは静止画像１０６５上に設定するスリッ
トである。図１５（ａ）に示すように、スリット位置１
０６５Ａを水平から角度βで設定することにより、スリ
ット画像５０００において直線的な軌跡を得ることがで
きる。

【００５７】図１５（ｂ）は連続画像撮像手段１の移動
方向と光軸方向とが鋭角αをなし、かつ連続画像撮像手
段１が撮像面の水平軸とある角度βをもって傾いている
場合のスリット位置を示す図である。図において、１０
６６は連続的な静止画像、１０６６Ａは静止画像１０６
６上に設定するスリットである。図１５（ｂ）の静止画
像１０６６は、図１３（ｂ）で示した静止画像１０６１
において、消失点１０６１Ｂの位置が（ｆ／ｃｃｄ_x ）
ｔａｎβだけ下にずれたものである。

【００５８】図１５（ｃ）は連続画像撮像手段１の移動
方向と光軸方向とが同方向であり、かつ連続画像撮像手
段１が撮像面の水平軸とある角度βをもって傾いている
場合のスリット位置を示す図である。図において、１０
６７は連続的な静止画像、１０６７Ａは静止画像１０６
７上に設定するスリットである。図１５（ｃ）の静止画
像１０６７は、図１４（ｂ）で示した静止画像１０６３
において、消失点１０６３Ｂの位置が（ｆ／ｃｃｄ_x ）
ｔａｎβだけ下にずれたものである。

【００５９】以上のように、この実施の形態３によれ
ば、スリット画像生成手段７１により、連続画像撮像手
段１の移動方向と光軸方向との角度に応じて複数のスリ
ット位置で時空間画像２０００を切断して複数の二次元
スリット画像５０００を生成し、スリット画像処理手段
７２ａ〜７２ｇにより、複数のスリット画像それぞれに
対して遮蔽物除去などの画像処理を行い、スリット画像
合成手段により、画像処理されたスリット画像６０００
を複数のスリット位置に置き直して三次元の時空間画像
３０００を生成するように構成したので、スリット画像
５０００上で直線的な軌跡（ストライプ）を得ることが
でき、その結果、スリット画像５０００を容易に解析す
ることができるという効果が得られる。また、スリット
画像処理手段７２ａ〜７２ｇが、各スリット画像５００
０毎のスリット画像処理を並列的に行うことにより、高
速な時空間画像処理を行うことができる。

【００６０】実施の形態４．この実施の形態４は、下記
の実施の形態５と共に、スリット画像処理手段による画
像処理に関するものである。図１６はこの発明の実施の
形態４による時空間画像処理手段におけるスリット画像
処理手段の構成を示すブロック図であり、図において、
７２は上記図１０に示したのと同様のスリット画像処理
手段である。７２１は三次元の時空間画像２０００を連
続画像撮像手段１の移動方向と光軸方向との角度に応じ
て設定した複数のスリットで分割することにより生成さ
れた、二次元のスリット画像５０００の一つを入力と
し、その二次元のスリット画像５０００から量子化され
た直線エッジ（図１９の５０３１Ａ〜５０３４Ａ）を抽
出する直線エッジ抽出手段である。７２２ａ〜７２２ｇ
はそれぞれ直線エッジ抽出手段７２１により抽出された
量子化された直線エッジを、この量子化された各エッジ
方向毎に領域統合した領域統合画像（図１９の５０３５
〜５０３８）を生成する各直線エッジ方向別の領域統合
手段である。７２３は各エッジ方向別の領域統合手段７
２２ａ〜７２２ｇで生成された領域統合画像を、最も奥
の距離に相当するエッジ方向の領域統合画像から、予め
指定したある距離に相当するエッジ方向の領域統合画像
まで、順に層状に重ね合わせることにより、二次元の層
状画像（スリット画像）６０００（図１９ではスリット
画像６００１）を生成する層状画像合成手段である。

【００６１】図１７及び図１８は直線エッジ抽出手段７
２１の直線エッジ抽出法の一例を示す図である。図１７
において、５０１０は直線エッジを抽出するスリット画
像、５０１０Ａはスリット画像５０１０中の注目領域、
５０１０Ｂは注目領域５０１０Ａの拡大図、ａ₀ 〜ａ₈
は注目領域５０１０Ｂ内の各画素の輝度値である。

【００６２】図１７に示す直線エッジ抽出手段７２１の
直線エッジの抽出方法は、局所的な微分処理、即ちディ
ジタル画像処理における局所的な領域内の画素の輝度値
の差分処理によって直線エッジの方向を求めるものであ
る。例えば注目領域５０１０Ｂの各輝度値ａ₀ 〜ａ₈ を
用いて、横方向の勾配を ｄｘ＝（ａ₂ ＋２ａ₅ ＋ａ₈ −ａ₀ −２ａ₃ −ａ₆ ） ・・・（４） 縦方向の勾配を ｄｙ＝（ａ₆ ＋２ａ₇ ＋ａ₈ −ａ₀ −２ａ₁ −ａ₂ ） ・・・（５） として求め、そして、直線エッジの方向角θを θ＝Ｔａｎ^-1（ｄｙ／ｄｘ） ・・・（６） として求める。このような方法により、量子化された直
線エッジを抽出する。

【００６３】また、図１８において、５０２０は直線エ
ッジを抽出するスリット画像、５０２０Ａはスリット画
像５０２０Ａ内の注目領域、５０２０Ｂ〜５０２０Ｈは
ある方向に放射状に設定した注目領域５０２０Ａ内の局
所領域、ｄ₀ 〜ｄ₆ は局所領域５０２０Ａ〜５０２０Ｈ
内の画素の輝度値の分散である。

【００６４】図１８に示す直線エッジ抽出手段７２１の
直線エッジの抽出方法は、注目点を中心として、各方向
別に放射状に設定した複数の局所領域内での画素の輝度
値の相関からエッジの方向を求めるものである。各方向
別に放射状に設定した複数の局所領域５０２０Ｂ〜５０
２０Ｈ内の画素の輝度値の分散ｄ₀ 〜ｄ₆ が最小となる
方向にエッジ方向とする方法である。例えば、各方向別
の放射状局所領域５０２０Ｂ〜５０２０Ｈ内の画素値の
分散ｄ₀ 〜ｄ₆ を計算し、それらのうちで最小になるも
のを検索し、その最小値を与える方向を直線エッジの方
向とする。尚、図１７及び図１８に示した直線エッジの
抽出方法は一例であって他の方法により直線エッジを抽
出するものであってもよい。

【００６５】尚、図１６において、領域統合手段７２２
ａ〜７２２ｇは７つしか描かれていないが、回路規模あ
るいは計算機の演算能力に応じてこれらエッジ方向量子
化数を増加させることも可能である。また、図１８の局
所領域５０２０Ｂ〜５０２０Ｈでは、方向は７つしか描
かれておらず、また放射状の局所領域５０２０Ｂ〜５０
２０Ｈの大きさも半径４画素しか描かれていないが、回
路規模、計算機の演算能力に応じてこれら方向数、およ
び局所領域の大きさは増加させることもできる。

【００６６】次に動作について説明する。図１９は図１
６に示したスリット画像処理手段７２の動作を説明する
ための図である。図において、５０３０は二次元のスリ
ット画像、５０３１〜５０３４はスリット画像５０３０
から量子化された直線エッジ５０３１Ａ〜５０３４Ａが
抽出された直線エッジ抽出画像、５０３５〜５０３８は
直線エッジ５０３１Ａ〜５０３４Ａが領域統合された領
域統合画像、６００１は領域統合画像５０３５〜５０３
８が層状に重ね合わされた層状画像である。

【００６７】直線エッジ抽出手段７２１は、二次元のス
リット画像５０３０から直線エッジ５０３１Ａ〜５０３
４Ａを抽出する。直線エッジ５０３１Ａ〜５０３４Ａの
抽出方法は、例えば、上記図１７及び図１８に示したも
のによる。各エッジ方向別の領域統合手段７２２ａ〜７
２２ｇは、直線エッジ抽出手段７２１により抽出された
直線エッジ５０３１Ａ〜５０３４Ａを量子化された各エ
ッジ方向毎に領域統合した領域統合画像５０３５〜５０
３８を生成する。層状画像合成手段７２３は、各エッジ
方向別の領域統合手段７２２ａ〜７２２ｇで生成された
領域統合画像５０３５〜５０３８を、最も奥の距離に相
当するエッジ方向の領域統合画像５０３５から、予め指
定したある距離に相当するエッジ方向の領域統合画像５
０３８まで順に層状に重ね合わせることにより、層状画
像６００１（スリット画像）を生成する。

【００６８】尚、図１９では、領域統合画像５０３５〜
５０３７の３枚から最終的な層状画像６００１を合成し
ているが、これに限るものではない。また、簡単のため
にエッジの方向は４方向として説明しているが、回路規
模あるいは計算機の演算能力に応じてこれらエッジ方向
量子化数を増加させることも可能である。

【００６９】以上のように、この実施の形態４によれ
ば、直線エッジ抽出手段７２１により、二次元のスリッ
ト画像５０３０から量子化された直線エッジ５０３１Ａ
〜５０３４Ａを抽出し、各エッジ方向別の領域統合手段
７２２ａ〜７２２ｇにより、量子化された各エッジ方向
毎に直線エッジ５０３１Ａ〜５０３４Ａを領域統合した
領域統合画像５０３１〜５０３４を生成し、層状画像合
成手段７２３により、各エッジ方向別の領域統合手段７
２２ａ〜７２２ｇで生成された領域統合画像５０３５〜
５０３８を、最も奥の距離に相当するエッジ方向のスリ
ット画像５０３５から、予め指定したある距離に相当す
るエッジ方向のスリット画像５０３８まで、順に層状に
重ね合わせることにより、二次元の層状画像６００１を
生成するように構成したので、的確に遮蔽物除去の画像
処理を行うことができ、最終的に監視員が見やすい連続
画像４０００を得ることができるという効果が得られ
る。

【００７０】実施の形態５．図２０はこの発明の実施の
形態５による時空間画像処理手段におけるスリット画像
処理手段の構成を示すブロック図である。図において、
７２１は二次元のスリット画像（図２１の５０４０）の
１つから量子化された直線エッジ（図２１の５０４１
Ａ）を抽出する直線エッジ抽出手段である。尚、この直
線エッジ抽出手段７２１は、上記図１５で示したものと
同様または相当するものである。上記図１５で示した直
線エッジ抽出手段７２１は、複数の直線エッジ（図１９
の５０３１Ａ〜５０３４Ａ）を抽出していたが、図２０
で示す直線エッジ抽出手段７２１は、予め指定したある
距離（位置）よりも近い距離（位置）に相当する直線エ
ッジを遮蔽物として抽出するものである。７２４は直線
エッジ抽出手段７２１により抽出された量子化された遮
蔽物の直線エッジを、量子化されたエッジ方向に領域統
合すると共に、このように領域統合した遮蔽物領域（図
２１の５０４２Ａ）の輝度情報ををスリット画像（図２
１の５０４０）から除去する指定距離対応エッジ方向領
域統合手段である。７２５は遮蔽物領域（図２１の５０
４２Ａ）の中からその代表点（図２１の５０４３Ａ）を
抽出し、スリット画像（図２１の５０４０）にその代表
点を設定する領域内代表点抽出手段、７２６は直線エッ
ジのつながりが最も自然な形になるように、輝度情報が
除去された遮蔽物領域内の代表点を中心とする局所領域
（図２１の５０５０）内部で輝度値を補う局所領域輝度
情報推定手段である。

【００７１】次に動作について説明する。図２１はこの
発明の実施の形態５によるスリット画像処理手段７２の
動作を説明するための図である。尚、図２１では、連続
画像撮像手段１の移動方向と光軸方向が垂直であって、
かつ撮像素子の水平ラインと平行な場合についての画像
例を示している。図において、５０４０は二次元のスリ
ット画像、５０４１は二次元のスリット画像５０４０か
ら予め指定したある距離よりも近い距離に相当するエッ
ジ方向を遮蔽物として、その直線エッジのみを抽出した
直線エッジ抽出画像である。５０４２は抽出された直線
エッジのみを領域統合した領域統合画像、５０４２Ａは
領域統合の結果得られた遮蔽物領域である。５０４３は
領域統合の結果得られた領域統合画像５０４２の遮蔽物
領域５０４２Ａから、その代表点５０４３Ａ（ここでは
主軸上の点の集合）を抽出した代表点抽出画像、５０４
３Ａは遮蔽物領域５０４２Ａから得られた代表点（主軸
上の点の集合）、５０４４はスリット画像５０４０から
遮蔽物領域５０４２Ａの部分の輝度情報を除去したスリ
ット画像、５０４４Ａはスリット画像５０４４の輝度情
報除去領域、５０４４Ｂは輝度情報除去領域５０４４Ａ
内の代表点（ここでは主軸）、５０５０はスリット画像
５０４４内の局所領域である。

【００７２】５０５０ａ〜５０５０ｈはスリット画像５
０４４内の局所領域である。この局所領域５０５０ａ〜
５０５０ｈは輝度情報除去領域５０４４Ａで直線エッジ
のつながりが最も自然な形になるように、輝度値を補う
処理を示すものである。また、５０６０ａ〜６０１０は
徐々に輝度値を補っていく様子を示したものである。６
０２０は最終的に輝度情報除去領域５０４４Ａの輝度値
が補われた状態を示すスリット画像である。

【００７３】直線エッジ抽出手段７２１は、二次元のス
リット画像５０４０の１つから量子化された直線エッジ
５０４１Ａを抽出する。そして、指定距離対応エッジ方
向領域統合手段７２４は、直線エッジ抽出手段７２１に
より抽出された直線エッジを、量子化されたエッジ方向
に領域統合する。そして、指定距離対応エッジ方向領域
統合手段７２４は、スリット画像５０４０から遮蔽物領
域５０４２Ａの輝度情報を除去する。このように除去さ
れた領域が、スリット画像５０４４内の輝度情報除去領
域５０４４Ｂである。領域内代表点抽出手段７２５は、
遮蔽物領域５０４２Ａからその代表点５０４３Ａを抽出
する。このようにして抽出された代表点が、スリット画
像５０４４内の代表点５０４４Ｂである。

【００７４】局所領域輝度情報推定手段７２６は、局所
領域５０５０内部で、輝度情報除去領域５０４４Ａ内の
代表点５０４４Ｂを中心に線分Ａを回転させ、線分と直
線エッジが平行になったときにその線分Ａの部分に輝度
値を補う。局所領域輝度情報推定手段７２６が、局所領
域５０５０内の輝度値を補う動作を局所領域５０５０ａ
〜５０５０ｈを基に説明する。まず、局所領域５０５０
ａでは線分Ａと直線エッジは平行でない。線分Ａを少し
回転させた局所領域５０５０ｂでは線分Ａと直線エッジ
は平行となっているので、線分Ａの部分に輝度値が補わ
れる。後は同様に、局所領域５０５０ｃ〜５０５０ｈに
示すように、線分Ａを少しずつ回転させながら、直線エ
ッジと平行になるか否かを調べる。そして、このように
して輝度値を補っていく様子を示したものが、局所領域
５０６０ａ〜６０１０である。そして、最終的にスリッ
ト画像５０４４の輝度情報除去領域５０４４Ａの輝度値
を補うと、スリット画像６０２０のようになる。

【００７５】以上のように、この実施の形態５によれ
ば、直線エッジ抽出手段７２１により、予め指定したあ
る距離（位置）よりも近い距離（位置）に相当する直線
エッジ５０４１Ａを遮蔽物と判断して抽出し、指定距離
対応エッジ方向領域統合手段７２４により、直線エッジ
抽出手段７２１により抽出された量子化された直線エッ
ジを、量子化されたエッジ方向に領域統合し、領域統合
した領域を遮蔽物領域５０４２Ａとしてスリット画像５
０４０から除去し、領域内代表点抽出手段７２５によ
り、遮蔽物領域として統合された領域の中からその代表
点５０４３Ａを抽出し、局所領域輝度情報推定手段７２
６により、遮蔽物領域内の代表点を中心とする局所領域
５０５０内部で、直線エッジのつながりが最も自然な形
になるように輝度値を補うように構成したので、的確に
遮蔽物除去の画像処理を行うことができ、最終的に監視
員が見やすい連続画像４０００を得ることができるとい
う効果が得られる。

【００７６】

【発明の効果】以上のように、この発明によれば、移動
しながら物体を撮像する連続画像撮像手段と、この連続
画像撮像手段によって連続的に撮像された二次元座標の
静止画像を時間的に積み重ねて連続画像とし、この連続
画像から時間軸を新たな座標軸とする三次元座標の時空
間画像を生成する時空間画像生成手段と、時空間画像の
横軸時間軸面に現れるストライプの時間軸に対する角度
から静止画像に写った物体の位置を判断し、予め指定し
た物体を画像処理して除去する時空間画像処理手段と、
この時空間画像処理手段によって画像処理された時空間
画像を時間毎に切り出して、画像表示手段が映像可能な
静止画像を時間的に積み重ねた連続画像に変換する画像
再構成手段とから構成したので、注目すべき監視対象
が、配管、建物の柱、柵等の遮蔽物によって部分的に遮
蔽されている場合でも、予め指定した遮蔽物を除去し、
遮蔽物が存在しない時間帯の監視対象の輝度値を置き換
えることにより、実際にはその時間帯には見ることので
きない監視対象の表面の輝度情報を補って、手前の遮蔽
物を除去した時空間画像を生成することができ、従って
監視員にとって見やすい画像を提供し、効率のよい遠隔
監視環境を提供することができる効果がある。

【００７７】また、この発明によれば、時空間画像生成
手段を、連続画像撮像手段の振動、揺れ、速度むらなど
が生じた場合に、連続画像撮像手段が撮像した連続画像
の重ね合わせる位置を補正する連続画像位置補正手段
と、この連続画像位置補正手段によって位置補正された
連続画像を時間軸に沿って重ね合わせて三次元の時空間
画像を生成する連続画像の時空間合成手段とから構成し
たので、連続画像撮像手段の移動が等速直線運動でない
場合であっても、最終的に正確に位置合わせされた時空
間画像を生成することができ、時空間画像を容易に解析
することができる効果がある。

【００７８】さらに、この発明によれば、時空間画像処
理手段を、時空間画像の横軸縦軸面に連続画像撮像手段
の移動方向と光軸方向との角度に応じて複数のスリット
位置を設定し、この複数のスリット位置で時空間画像を
切断して横軸時間軸面の複数の二次元座標のスリット画
像を生成するスリット画像生成手段と、複数のスリット
画像それぞれに対して予め指定された物体を画像処理し
て除去する複数のスリット画像処理手段と、これら複数
のスリット画像処理手段により画像処理された複数のス
リット画像を、連続画像撮像手段の移動方向と光軸方向
との角度に応じて設定した複数のスリット位置に置き直
すことにより、三次元座標の時空間画像を生成するスリ
ット画像合成手段とから構成したので、スリット画像上
で直線的なストライプを得ることができ、その結果、ス
リット画像を容易に解析することができる効果がある。
また、スリット画像処理手段を複数設けたので、各スリ
ット画像毎に画像処理を行うことができ、その結果、高
速に時空間画像処理を行うことができる効果もある。

【００７９】さらに、この発明によれば、スリット画像
処理手段を、二次元のスリット画像から量子化された複
数の直線エッジを抽出する直線エッジ抽出手段と、この
直線エッジ抽出手段により抽出された上記複数の直線エ
ッジを、この量子化された各エッジ方向毎に領域統合し
た複数の領域統合画像を生成する複数の領域統合手段
と、これら複数の領域統合手段で生成された複数の領域
統合画像を順に層状に重ね合わせることにより、二次元
の層状画像を生成する層状画像合成手段とから構成した
ので、的確に遮蔽物除去の画像処理を行うことができ、
最終的に監視員が見やすい連続画像を得ることができる
効果がある。

【００８０】さらに、この発明によれば、スリット画像
処理手段を、二次元のスリット画像から予め指定された
エッジ方向の直線エッジを抽出する直線エッジ抽出手段
と、この直線エッジ抽出手段により抽出された直線エッ
ジを、量子化されたエッジ方向に領域統合すると共に、
このように領域統合した領域の輝度情報をスリット画像
から除去する指定距離対応エッジ方向領域統合手段と、
輝度情報を除去した領域の中から代表点を抽出する領域
内代表点抽出手段と、輝度情報が除去された領域内の代
表点を中心とする局所領域内部で輝度値を補う局所領域
輝度情報推定手段とから構成したので、的確に遮蔽物除
去の画像処理を行うことができ、最終的に監視員が見や
すい連続画像を得ることができる効果がある。

【００８１】さらに、この発明によれば、連続画像撮像
手段によって連続的に撮像された二次元座標の静止画像
を時間的に積み重ねて連続画像とし、この連続画像から
時間軸を新たな座標軸とする三次元座標の時空間画像を
生成し、この時空間画像の横軸時間軸面に現れるストラ
イプの時間軸に対する角度から静止画像に写った物体の
位置を判断し、予め指定した物体を画像処理して除去
し、この時空間画像処理手段によって画像処理された時
空間画像を時間毎に切り出して、静止画像を時間的に積
み重ねた連続画像に変換するように構成したので、手前
の遮蔽物を除去した時空間画像を生成することができ、
実際にはその時間帯には見ることのできない監視対象を
見ることができるような監視員にとって見やすい画像を
提供し、効率のよい遠隔監視環境を提供することができ
る効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像処理装置
を用いた遠隔監視装置を示す概観構成図である。

【図２】 この発明の実施の形態１による画像処理装置
の構成を示すブロック図である。

【図３】 図２に示した画像処理装置による画像処理方
法（遮蔽物を除去する画像処理手法）を説明するための
図である。

【図４】 図３の時空間画像の拡大図である。

【図５】 画像処理装置により画像処理した画像例を示
す図である。

【図６】 この発明の実施の形態２による画像処理装置
における時空間画像生成手段の具体的構成を示すブロッ
ク図である。

【図７】 移動量補正手段の動作を説明するための図で
あり、（ａ）は連続画像撮像手段が移動方向に等速直線
移動する場合を示し、（ｂ）は連続画像撮像手段が上下
方向に波状に振動する場合を示す図である。

【図８】 揺れ・時間軸補正手段による連続画像撮像手
段の振動または揺れを補正する動作を説明するための図
である。

【図９】 揺れ・時間軸補正手段による移動速度のむら
を補正する動作を説明するための図である。

【図１０】 この発明の実施の形態３による画像処理装
置における時空間画像処理手段の構成を示すブロック図
である。

【図１１】 時空間画像処理手段の基本的な動作を説明
するための図である。

【図１２】 時空間画像に設ける複数のスリットの位置
の設定方法の一例を説明するための図であり、（ａ）は
連続画像撮像手段の移動方向と光軸方向とが垂直である
ことを示す図、（ｂ）はそのときの連続的な静止画像の
それぞれに設定されるスリット位置を示す図である。

【図１３】 時空間画像に設ける複数のスリットの位置
の設定方法の一例を説明するための図であり、（ａ）は
連続画像撮像手段の移動方向と光軸方向が鋭角αをなし
ていること示す図、（ｂ）はそのときの連続的な静止画
像のそれぞれに設定されるスリット位置を示す図、
（ｃ）はスリットの位置を水平方向に変形した静止画像
例を示す図である。

【図１４】 時空間画像に設ける複数のスリットの位置
の設定方法の一例を説明するための図であり、（ａ）は
連続画像撮像手段の移動方向と光軸方向が同方向（並
行）であること示す図、（ｂ）はそのときの連続的な静
止画像のそれぞれに設定されるスリット位置を示す図、
（ｃ）はスリットの位置を水平方向に変形した静止画像
例を示す図である。

【図１５】 連続画像撮像手段が傾いている場合、また
は移動手段が下に傾いている場合の連続的な静止画像の
それぞれに設定されるスリット位置を示す図である。

【図１６】 この発明の実施の形態４による時空間画像
処理手段におけるスリット画像処理手段の構成を示すブ
ロック図である。

【図１７】 直線エッジ抽出手段の直線エッジ抽出法の
一例を示す図である。

【図１８】 直線エッジ抽出手段の直線エッジ抽出法の
一例を示す図である。

【図１９】 図１６に示したスリット画像処理手段の動
作を説明するための図である。

【図２０】 この発明の実施の形態５による時空間画像
処理手段におけるスリット画像処理手段の構成を示すブ
ロック図である。

【図２１】 この発明の実施の形態５によるスリット画
像処理手段の動作を説明するための図である。

【図２２】 従来技術１の画像処理装置の構成を示すブ
ロック図である。

【図２３】 従来技術２の画像処理装置の構成を示すブ
ロック図である。

【図２４】 従来技術３の画像処理装置の構成を示すブ
ロック図である。

【符号の説明】

１ 連続画像撮像手段、４Ａ，４Ｂ 監視対象（物
体）、５Ａ〜５Ｄ 遮蔽物（物体）、６ 時空間画像生
成手段、７ 時空間画像処理手段、８ 画像再構成手
段、９ 画像表示手段、６１ 移動量補正手段（連続画
像位置補正手段）、６２ 揺れ・時間軸補正手段（連続
画像位置補正手段）、６３ 時空間合成手段、７１ ス
リット画像生成手段、７２ａ〜７２ｇ スリット画像処
理手段、７３スリット画像合成手段、７２１ 直線エッ
ジ抽出手段、７２２ａ〜７２２ｇ 領域統合手段、７２
３ 層状画像合成手段、７２４ 指定距離対応エッジ方
向領域統合手段、７２５ 領域内代表点抽出手段、７２
６ 局所領域輝度情報推定手段、１０００，４０００
連続画像、２０００，３０００ 時空間画像、２０００
ａ，２０００ｂ ストライプ、５０００，６０００ ス
リット画像。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 関 明伸 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 黒田 伸一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 移動しながら物体を撮像する連続画像撮
   像手段と、この連続画像撮像手段によって連続的に撮像
   された二次元座標の静止画像を時間的に積み重ねて連続
   画像とし、この連続画像から時間軸を新たな座標軸とす
   る三次元座標の時空間画像を生成する時空間画像生成手
   段と、上記時空間画像の横軸時間軸面に現れるストライ
   プの上記時間軸に対する角度から上記静止画像に写った
   物体の位置を判断し、予め指定した物体を画像処理して
   除去する時空間画像処理手段と、この時空間画像処理手
   段によって画像処理された時空間画像を時間毎に切り出
   して、画像表示手段が映像可能な静止画像を時間的に積
   み重ねた連続画像に変換する画像再構成手段とを備えた
   画像処理装置。
2. 【請求項２】 時空間画像生成手段は、連続画像撮像手
   段の振動、揺れ、速度むらなどが生じた場合に、上記連
   続画像撮像手段が撮像した連続画像の重ね合わせる位置
   を補正する連続画像位置補正手段と、この連続画像位置
   補正手段によって位置補正された上記連続画像を時間軸
   に沿って重ね合わせて三次元の時空間画像を生成する連
   続画像の時空間合成手段とから構成されたことを特徴と
   する請求項１記載の画像処理装置。
3. 【請求項３】 時空間画像処理手段は、時空間画像の横
   軸縦軸面に連続画像撮像手段の移動方向と光軸方向との
   角度に応じて複数のスリット位置を設定し、この複数の
   スリット位置で上記時空間画像を切断して横軸時間軸面
   の複数の二次元座標のスリット画像を生成するスリット
   画像生成手段と、上記複数のスリット画像それぞれに対
   して予め指定された物体を画像処理して除去する複数の
   スリット画像処理手段と、これら複数のスリット画像処
   理手段により画像処理された複数のスリット画像を、連
   続画像撮像手段の移動方向と光軸方向との角度に応じて
   設定した上記複数のスリット位置に置き直すことによ
   り、三次元座標の時空間画像を生成するスリット画像合
   成手段とから構成されたことを特徴とする請求項１記載
   の画像処理装置。
4. 【請求項４】 スリット画像処理手段は、二次元のスリ
   ット画像から量子化された複数の直線エッジを抽出する
   直線エッジ抽出手段と、この直線エッジ抽出手段により
   抽出された上記複数の直線エッジを、この量子化された
   各エッジ方向毎に領域統合した複数の領域統合画像を生
   成する複数の領域統合手段と、これら複数の領域統合手
   段で生成された上記複数の領域統合画像を順に層状に重
   ね合わせることにより、二次元の層状画像を生成する層
   状画像合成手段とから構成されたことを特徴とする請求
   項３記載の画像処理装置。
5. 【請求項５】 スリット画像処理手段は、二次元のスリ
   ット画像から予め指定されたエッジ方向の直線エッジを
   抽出する直線エッジ抽出手段と、この直線エッジ抽出手
   段により抽出された直線エッジを、量子化されたエッジ
   方向に領域統合すると共に、このように領域統合した領
   域の輝度情報を上記スリット画像から除去する指定距離
   対応エッジ方向領域統合手段と、輝度情報を除去した上
   記領域の中から代表点を抽出する領域内代表点抽出手段
   と、輝度情報が除去された上記領域内の上記代表点を中
   心とする局所領域内部で輝度値を補う局所領域輝度情報
   推定手段とから構成されたことを特徴とする請求項３記
   載の画像処理装置。
6. 【請求項６】 連続画像撮像手段によって連続的に撮像
   された二次元座標の静止画像を時間的に積み重ねて連続
   画像とし、この連続画像から時間軸を新たな座標軸とす
   る三次元座標の時空間画像を生成し、この時空間画像の
   横軸時間軸面に現れるストライプの上記時間軸に対する
   角度から上記静止画像に写った物体の位置を判断し、予
   め指定した物体を画像処理して除去し、この時空間画像
   処理手段によって画像処理された時空間画像を時間毎に
   切り出して、静止画像を時間的に積み重ねた連続画像に
   変換することを特徴とする画像処理方法。