JPH11120352A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法Info
- Publication number
- JPH11120352A JPH11120352A JP9282401A JP28240197A JPH11120352A JP H11120352 A JPH11120352 A JP H11120352A JP 9282401 A JP9282401 A JP 9282401A JP 28240197 A JP28240197 A JP 28240197A JP H11120352 A JPH11120352 A JP H11120352A
- Authority
- JP
- Japan
- Prior art keywords
- image
- slit
- continuous
- image processing
- spatio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
って取り除いた監視員にとって見やすい動画像を生成で
きず、また奥行き情報を信頼性高く推定するのが困難で
あり、さらにカメラの振動や移動速度のむらが、距離測
定の精度に大きく影響するなどの課題があった。 【解決手段】 連続画像撮像手段で撮像された二次元の
静止画像を時間的に積み重ねた連続画像から三次元の時
空間画像を生成する時空間画像生成手段と、時空間画像
の横軸時間軸面に現れるストライプの時間軸に対する角
度から静止画像に写った物体の位置を判断して遮蔽物を
除去する時空間画像処理手段と、時空間画像を時間毎に
切り出して連続画像に変換する画像再構成手段とを備え
た。
Description
機器や公共システムの遠隔監視装置に使用される画像処
理装置及び画像処理方法に関するものである。
は、一台のテレビカメラを揺動させて撮像し、この撮像
した信号を立体テレビ受像機に表示することにより、電
力プラントを安全かつ正確に自動点検監視ができるよう
にする画像処理手法が提案されている。図22はそのよ
うな従来の画像処理装置の構成を示すブロック図であ
り、図において、101は立体視用のテレビカメラなど
の立体映像撮像手段、102は立体映像撮像手段101
を操作員の両眼間の距離だけ左右に揺動する左右視差間
カメラ移動手段、103は立体視のための画像に変換す
る画像処理手段、104は画像処理手段103により変
換された画像を表示し、監視員に立体映像を見せる立体
テレビ受像手段である。
器内を走行する遠隔操作車には、マニピュレータ等の他
に立体映像撮像手段101が備えられている。この立体
映像撮像手段101は左右視差間カメラ移動手段102
により、操作員の両眼間の距離だけ左右に揺動するよう
に形成されている。そして立体映像撮像手段101で撮
像された左及び右画像信号は画像処理手段103に送ら
れて画像処理された後、操作卓に設けられた立体テレビ
受像手段104に表示される。操作員はこの画像を見な
がら操作車を操作することにより、中央監視室にいる監
視員が、遠隔にある監視現場の監視対象の映像を、あた
かも監視現場にいるかの如く、忠実に提示して見せるこ
とができる。結果として、電力プラントを安全且つ正確
に遠隔操作で自動点検監視ができる。
lson:“Layered Representation for Motion Analysi
s”,Proc.of the IEEE Comp. Vis. and Pat. Rec.(CVP
R),pp.361-366, 1993には、一台のカメラを移動しなが
ら撮影した連続的な画像に対して、それぞれの中から隣
接する二枚の画像を順次選択しながら、それら二枚の画
像間で各点の動きベクトルを計算し、手前の物体は大き
く動き、奥の物体はあまり大きく動かないことを利用し
て奥行きを推定し、動画像をアニメーションのセル画の
ように奥行き毎に分割された複数のレイヤによって表現
し、奥行きの順序に従って重ね合わせた上で、相互に動
かすことにより動画像を表現する画像処理手法が提案さ
れている。図23はそのような従来の画像処理装置の構
成を示すブロック図であり、図において、105は連続
画像を撮像する連続画像撮像手段、106は連続画像撮
像手段を移動する移動手段、107は移動手段106に
よって連続画像撮像手段105を移動させながらとらえ
た連続画像のうちの二枚から画像間の輝度情報の動きで
あるオプティカルフローを抽出する二枚画像間オプティ
カルフロー抽出手段、108は二枚画像間オプティカル
フロー抽出結果を領域分割、領域統合する領域分割統合
手段、109は領域分割統合された結果から、画像をそ
れぞれの領域毎に移動速度に応じた奥行きの層状構造に
変換する画像再構成手段、110は再構成された画像を
提供する画像表示手段である。
手段105は、移動手段106によって移動させられな
がら、連続画像を撮像する。連続画像撮像手段105に
よって得られた連続画像のうち時間的に隣接する二枚の
画像が順次選択されて、二枚画像間オプティカルフロー
抽出手段107によりオプティカルフローが抽出され
る。オプティカルフロー抽出結果は、領域分割統合手段
108で領域分割、領域統合され、画像再構成手段10
9で領域毎の移動速度に応じた奥行きの層状構造に変換
される。そして、再構成された画像は、画像表示手段1
10で提示される。
17号公報には、一定微小距離毎に撮像した複数枚の対
象物体の画像を合成して得る直線エッジの傾きを検出す
ることにより、細かく簡単にカメラと対象物体間の距離
を算出する画像処理手法が提案されている。図24はそ
のような従来の画像処理装置の構成を示すブロック図で
あり、図において、111は対象を撮影する連続画像撮
像手段、112は連続画像撮像手段111を直線上で移
動させる移動手段、113は移動手段112により移動
させられた連続画像撮像手段111から一定微小移動距
離ごとに撮像された複数枚の画像を時間毎に積み重ね
て、水平軸、垂直軸及び時間軸から構成される箱状の三
次元画像データを合成する画像合成手段、114は画像
合成手段113から直線エッジを抽出する直線エッジ検
出手段である。
手段111は移動手段112によって直線上を移動し、
一定微小移動距離ごとに連続画像を撮像する。画像合成
手段113は一定微小移動距離ごとに撮像された複数枚
の画像を時間毎に積み重ねて、水平軸、垂直軸及び時間
軸から構成される箱状の三次元画像データを合成する。
直線エッジ検出手段114は画像合成手段113で合成
された箱状の三次元画像データを、ある水平ラインで切
断した二次元の画像データから直線エッジを抽出し、そ
の直線エッジの方向から注目点の距離を推定する処理を
各水平ライン毎に行う。
動手段112により駆動して、直線上を移動しながら一
定微小移動距離ごとに撮像された複数枚の画像から画像
合成手段113を用いて距離画像を合成し、このように
合成して得られた距離画像から直線エッジ方向を検出す
ることにより、直線エッジの方向を得て、距離を求め、
エッジに対応する物体上の点に対して細かく距離測定を
することができる。
以上のように構成されているので、次のような課題があ
った。従来技術1では、遠隔にある監視現場の監視対象
の映像を、中央監視室にある監視員に対して、あたかも
監視現場にいるかの如く、忠実に提示して見せることに
より、監視対象の遠隔監視を行うものであるが、監視員
にとっては、監視対象の立体的な映像が実際に見やすい
ものであるとは限らず、効率的に遠隔監視を行うことが
できないなどの課題があった。例えば複雑な配管や建物
の柱が注目する監視対象を部分的に遮蔽し、細かい部分
の監視の妨げになるような場合である。従って、この場
合には、監視員にとっては見やすい画像であるとは言え
ないため、注目対象よりも手前にある遮蔽物を画像処理
によって取り除く等により、監視員にとって見やすい動
画像を生成することが望まれる。
対象までの距離を推定した後、アニメーションのセル画
のように、層状に重ね合わせた表現を行うことができる
が、動画像中の各点の奥行きを知るための、動画像中の
各点のオプティカルフローである動きベクトルを、連続
する二枚の画像だけを用いて求めているため、奥行き情
報を信頼性高く距離推定するのが困難であり、信頼性高
く距離推定を行うためには、二枚の画像だけでなく、よ
り多くの画像を用いる必要があるなどの課題があった。
を、直線上を移動させながら、一定微小移動距離ごとに
撮像された複数枚の画像によって生成される時空間画像
から直線エッジの方向を抽出し、エッジ方向に相当する
距離を求めるため、細かく距離測定を行うことができる
が、この手法により得られる距離情報は、エッジに対応
する部分の距離情報でしかなく、エッジカメラの振動や
移動速度のむらが、距離測定の精度に大きく影響するた
め、物理的に強固な構造を持つ移動機構が必要となり、
プラント等の点検において、機動性を損なうなどの課題
があった。このため、直線エッジの方向が明瞭に抽出で
きない部分の距離情報を、周辺の輝度情報あるいは時間
的に前後する精度情報を用いて補う何らかの手法が望ま
れる。また、カメラの移動に伴う振動や移動速度のむら
を抑制する何らかの手段が望まれる。
めになされたもので、注目対象よりも手前にある遮蔽物
を画像処理によって取り除くことにより、見やすい動画
像を生成することができる画像処理装置及び画像処理方
法を得ることを目的とする。
瞭に抽出できない部分の距離情報を、周辺の輝度情報あ
るいは時間的に前後する精度情報を用いて補うことによ
り、見やすい動画像を生成することができる画像処理装
置及び画像処理方法を得ることを目的とする。
振動や移動速度のむらを抑制することにより、見やすい
動画像を生成することができる画像処理装置及び画像処
理方法を得ることを目的とする。
装置は、移動しながら物体を撮像する連続画像撮像手段
と、この連続画像撮像手段によって連続的に撮像された
二次元座標の静止画像を時間的に積み重ねて連続画像と
し、この連続画像から時間軸を新たな座標軸とする三次
元座標の時空間画像を生成する時空間画像生成手段と、
時空間画像の横軸時間軸面に現れるストライプの時間軸
に対する角度から静止画像に写った物体の位置を判断
し、予め指定した物体を画像処理して除去する時空間画
像処理手段と、この時空間画像処理手段によって画像処
理された時空間画像を時間毎に切り出して、画像表示手
段が映像可能な静止画像を時間的に積み重ねた連続画像
に変換する画像再構成手段とを備えたものである。
像生成手段を、連続画像撮像手段の振動、揺れ、速度む
らなどが生じた場合に、連続画像撮像手段が撮像した連
続画像の重ね合わせる位置を補正する連続画像位置補正
手段と、この連続画像位置補正手段によって位置補正さ
れた連続画像を時間軸に沿って重ね合わせて三次元の時
空間画像を生成する連続画像の時空間合成手段とから構
成したものである。
像処理手段を、時空間画像の横軸縦軸面に連続画像撮像
手段の移動方向と光軸方向との角度に応じて複数のスリ
ット位置を設定し、この複数のスリット位置で時空間画
像を切断して横軸時間軸面の複数の二次元座標のスリッ
ト画像を生成するスリット画像生成手段と、複数のスリ
ット画像それぞれに対して予め指定された物体を画像処
理して除去する複数のスリット画像処理手段と、これら
複数のスリット画像処理手段により画像処理された複数
のスリット画像を、連続画像撮像手段の移動方向と光軸
方向との角度に応じて設定した複数のスリット位置に置
き直すことにより、三次元座標の時空間画像を生成する
スリット画像合成手段とから構成したものである。
画像処理手段を、二次元のスリット画像から量子化され
た複数の直線エッジを抽出する直線エッジ抽出手段と、
この直線エッジ抽出手段により抽出された上記複数の直
線エッジを、この量子化された各エッジ方向毎に領域統
合した複数の領域統合画像を生成する複数の領域統合手
段と、これら複数の領域統合手段で生成された複数の領
域統合画像を順に層状に重ね合わせることにより、二次
元の層状画像を生成する層状画像合成手段とから構成し
たものである。
画像処理手段を、二次元のスリット画像から予め指定さ
れたエッジ方向の直線エッジを抽出する直線エッジ抽出
手段と、この直線エッジ抽出手段により抽出された直線
エッジを、量子化されたエッジ方向に領域統合すると共
に、このように領域統合した領域の輝度情報をスリット
画像から除去する指定距離対応エッジ方向領域統合手段
と、輝度情報を除去した領域の中から代表点を抽出する
領域内代表点抽出手段と、輝度情報が除去された領域内
の代表点を中心とする局所領域内部で輝度値を補う局所
領域輝度情報推定手段とから構成したものである。
撮像手段によって連続的に撮像された二次元座標の静止
画像を時間的に積み重ねて連続画像とし、この連続画像
から時間軸を新たな座標軸とする三次元座標の時空間画
像を生成し、この時空間画像の横軸時間軸面に現れるス
トライプの時間軸に対する角度から静止画像に写った物
体の位置を判断し、予め指定した物体を画像処理して除
去し、この時空間画像処理手段によって画像処理された
時空間画像を時間毎に切り出して、静止画像を時間的に
積み重ねた連続画像に変換するようにしたものである。
説明する。 実施の形態1.図1はこの発明の実施の形態1による画
像処理装置を用いた遠隔監視装置を示す概観構成図であ
り、図において、1は移動手段2の上を移動しながら監
視対象4A,4B(及び遮蔽物5A〜5D)を連続的に
撮像する連続画像撮像手段、2は連続画像撮像手段1を
走行軸2Aに沿って移動させる移動手段であり、この移
動手段2には、エンコーダが付加されて連続画像撮像手
段1の移動を読み取ることができると共に、ジャイロが
付加されて連続画像撮像手段1の回転運動を読み取るこ
とができるようになっている。3は連続画像撮像手段1
で撮影した画像データ、エンコーダからの移動データ及
びジャイロからの回転運動データをディジタル化して画
像メモリ(図示せず)に展開するか、あるいはデータバ
スへ転送するホストコンピュータである。4A,4Bは
注目すべき監視対象(物体)、5A〜5Dは配管、建物
の柱または柵等のように、監視対象4A,4Bを部分的
に遮蔽する遮蔽物(物体)である。
処理装置の構成を示すブロック図であり、図において、
1は上記図1で示した連続画像撮像手段、2も上記図1
で示した移動手段である。6は連続画像撮像手段1によ
って連続的に撮像された二次元座標(横軸と縦軸)の静
止画像を時間的に積み重ねて連続画像(図3の100
0)とし、この連続画像から時間軸を新たな座標軸とす
る三次元座標(横軸、縦軸及び時間軸)の時空間画像
(図3の2000)を生成する時空間画像生成手段、7
は時空間画像生成手段6によって生成された時空間画像
を画像処理して遮蔽物(図3の2000A)を除去する
時空間画像処理手段、8は時空間画像処理手段7によっ
て画像処理された時空間画像(図3の3000)を時間
毎に切り出して、静止画像が時間的に積み重ねた連続画
像(図3の4000)に変換する画像再構成手段であ
る。尚、これら時空間画像生成手段6、時空間画像処理
手段7及び画像再構成手段8は上記図1で示したホスト
コンピュータ3内に設けられている。9は画像再構成手
段8によって再構成された連続画像を監視員に表示する
画像表示手段である。尚、この発明の実施の形態1によ
る画像処理装置は、時空間画像生成手段6、時空間画像
処理手段7及び画像再構成手段8により構成される。
像処理方法(遮蔽物を除去する画像処理手法)を説明す
るための図である。図において、1000は連続画像撮
像手段1により撮像した連続的な静止画像を時間的に積
み重ねた連続画像、1000Aは連続画像1000の一
つである静止画像上に写っている遮蔽物である。200
0は時空間画像生成手段6により連続画像1000から
生成された三次元座標の時空間画像、2000Aは時空
間画像2000の時間軸断面(x−y面)上の遮蔽物で
ある。3000は時空間画像2000を時空間画像処理
手段7で画像処理することにより、遮蔽物2000Aを
取り除いた時空間画像である。4000は画像再構成手
段8により時空間画像3000を時間毎に切り出されて
変換された、静止画像を時間的に積み重ねた連続画像で
ある。尚、この図3に示した連続画像1000,400
0及び時空間画像2000,3000は、連続画像撮像
手段1の移動方向と連続画像撮像手段1の撮像方向であ
る光軸とが垂直であって、連続画像移動手段1が等速度
で直線運動している場合の画像例である。
であり、図において、2000Aは時空間画像2000
のx−y面上の遮蔽物、2000a,2000bは時空
間画像2000のx−time面(横軸時間軸面)に現
れるストライプである。連続画像撮像手段1が移動しな
がら物体(監視対象4A,4B、遮蔽物5A〜5D)を
撮像するため、連続的な静止画像上の物体の位置も移動
するので、時空間画像2000のx−time面に時間
軸(time)に沿った物体の移動の軌跡としてストラ
イプ2000a,2000bが現れるものである。従っ
て、連続画像撮像手段1の移動速度が早くなる程、スト
ライプ2000a,2000bの時間軸(time)に
対する角度が急になり、また物体が連続画像撮像手段1
から近い程(手前にある程)、時間軸に対する角度が急
になる(従って、ストライプ2000aはストライプ2
000bよりも手前にある物体である)。
は、座標軸として、横方向にx軸(x座標)、縦方向に
y軸(y座標)及び奥行き方向に時間軸(time座
標)が設定されている。上記したように、時空間画像2
000は、時空間画像生成手段6により二次元(x−y
面)の静止画像を時間的に重ね合わせて連続画像100
0とし、この連続画像1000から時間軸を新たな座標
軸とする三次元座標の画像情報として生成されたもので
ある。従って、時空間画像2000を時間軸で切断した
x−y面が2次元の静止画像である。静止面の画素数
は、一般的に横512、縦512であるため、時空間画
像2000のxy座標の座標数もこの画素数に対応し
て、横512、縦512である。一方、時間軸の座標数
は、連続画像撮像手段1の撮像時間によって異なる。こ
のように設定された時空間画像2000の3次元座標に
は、輝度値などの画像データや時間データなどが格納さ
れる。
象4A,4Bを撮像する動作について説明する。図1に
示したように、連続画像撮像手段1が、移動手段2の走
行軸2Aに沿って移動しながら連続的に監視対象4A,
4B(及び遮蔽物5A〜5D)を撮像し、この撮像した
画像データをディジタル化して連続的な静止画像(デー
タ)とする。ホストコンピュータ3は、ディジタル化さ
れた連続的な静止画像を画像メモリに展開するか、ある
いはデータバスへ転送する。そして、画像メモリ内の静
止画像またはデータバスで転送された静止画像は、ホス
トコンピュータ3内の時空間画像生成手段6、時空間画
像処理手段7及び画像再構成手段8で画像処理される。
尚、図1で示したように、移動手段2が連続画像撮像手
段1を走行軸2Aに沿って移動させる場合に限らず、移
動ロボットが連続画像撮像手段1を搭載して移動する等
の方法でも構わない。
画像撮像手段1を等速で移動させる場合を示している。
しかし、移動手段2にはエンコーダが付加されているの
で、連続画像撮像手段1の移動情報をエンコーダから得
ることによって速度補正を行うことも可能であるため、
連続画像撮像手段1が等速移動である必要はない。ま
た、この実施の形態1では、連続画像撮像手段1の移動
方向と撮像方向とは垂直である場合を示している。しか
し、移動手段2にはジャイロが付加されているので、連
続画像撮像手段1の回転運動情報をジャイロから得るこ
とによって回転運動に対する補正も可能であるため、連
続画像撮像手段1は直線運動である必要もない。
画像生成手段6、時空間画像処理手段7及び画像再構成
手段8)が、連続画像撮像手段1が撮像した連続的な静
止画像を画像処理する動作を説明する。まず、画像メモ
リ内の静止画像またはデータバスで転送された静止画像
は、時空間画像生成手段6に送られる。ここで、静止画
像には、監視対象4A,4Bの他に遮蔽物1000Aも
撮像されている。時空間画像生成手段6は、連続的な静
止画像を時間的に並べて連続画像1000とし、この連
続画像1000から時間軸を新しい座標軸とする三次元
座標の時空間画像2000を生成する。時空間画像生成
手段6により連続的な静止画像から生成された時空間画
像2000にも遮蔽物2000Aが存在するので、次
に、時空間画像処理手段7は、画像処理することによっ
て、時空間画像2000上の遮蔽物2000Aを除去す
る。
0上で遮蔽物2000Aとその他の物体(監視対象4
A,4Bなど)を区別するのは、基本的に次のようにし
て行われる。即ち、図4に示すように、時空間画像20
00のx−time面(時空間画像2000をy軸で切
り出した面)には、ストライプ(物体の直線的な軌跡)
が現れる。このストライプの時間軸に対する角度が急で
ある程、そのストライプの物体は連続画像撮像手段1に
近い位置にあり、ストライプの時間軸に対する角度が緩
くなる程、そのストライプの物体は連続画像撮像手段1
から遠い位置にある。従って、ストライプ2000aが
時間軸(time)に対して最も急な角度であるので、
ストライプ2000aの物体が連続画像撮像手段1に対
して最も手前の位置にあることが判断でき、一方、スト
ライプ2000bはストライプ2000aよりも時間軸
に対する角度が緩いため、ストライプ2000bの物体
はストライプ2000aの物体よりも奥の位置にあるこ
とが解る。このようにして、連続画像撮像手段1から物
体までの距離(位置)を判断し、時空間画像2000上
で遮蔽物2000Aとその他の物体を区別する。従っ
て、ストライプ2000aが遮蔽物2000Aであると
判断できる。
画像撮像手段1に対する各物体の奥行き情報を得ること
によって、監視対象4A,4Bよりも手前に位置し、部
分的に監視対象4A,4Bを遮蔽する遮蔽物5A〜5D
(時空間画像2000上の遮蔽物2000A)を画像処
理により除去する。時空間画像処理手段7が、時空間画
像2000上の遮蔽物2000Aを除去すると、時空間
画像2000上に空白ができてしまう。そこで、時空間
画像処理手段7は、その遮蔽物2000Aが存在しない
時間帯における監視対象4A,4Bの輝度値と奥行き情
報を用いて空白の除去部分の画像を置き換える。このよ
うに、時空間画像処理手段7が、実際にはその時間帯に
おいては遮蔽物5A〜5Dの陰で見ることのできない監
視対象4A,4Bの表面の輝度情報と奥行き情報を補う
ことにより、手前の遮蔽物5A〜5Dを画像処理的に除
去した時空間画像3000を生成する。画像再構成手段
8は、遮蔽物2000Aが除去された時空間画像300
0を時間毎に切り出し、静止画像を連続的に重ね合わせ
た連続画像4000に変換する。
構成手段8によって再構成された連続画像4000を監
視員に表示する。連続画像4000は、遮蔽物5A〜5
Dが除去されているので、監視員にとって監視対象4
A,4Bが見やすく監視しやすいものである。
た画像例を示す図である。100は監視対象4A,4B
及び遮蔽物5A〜5Dの鳥瞰図である。1001〜10
05は連続画像撮像手段1が実際に撮影した連続的な静
止画像である。4001〜4005は連続的な静止画像
1001〜1005から、時空間画像生成手段6及び時
空間画像処理手段7により、遮蔽物5A〜5Dが取り除
かれた連続的な静止画像である。200は画像処理され
て鳥瞰図100から遮蔽物を取り除かれた鳥瞰図であ
る。このように、連続的な静止画像1001〜1005
が画像処理されて連続的な静止画像4001〜4005
となり、連続的な静止画像4001〜4005が画像表
示手段9で表示されるので、監視員は監視対象4A,4
Bを監視しやすくなる。
ば、注目すべき監視対象4A,4Bが、配管、建物の
柱、柵等の遮蔽物5A〜5Dによって部分的に遮蔽され
ている場合でも、連続する静止画像1000を用いて、
遮蔽物5A〜5Dが存在しない時間帯の監視対象4A,
4Bの輝度値を用いて置き換えることにより、実際には
その時間帯には見ることのできない監視対象4A,4B
の表面の輝度情報を補って、手前の遮蔽物5A〜5Dを
除去した時空間画像を生成するので、監視員にとって見
やすい画像を提供し、効率のよい遠隔監視環境を提供す
ることができるという効果が得られる。
段1が光軸に垂直な方向で、かつ一定速度で移動する場
合について説明した。このような場合、時空間画像20
00のx−time面のストライプが直線となるため、
最も精度よく遮蔽物を除去することができるためであ
る。しかし、連続画像撮像手段1が光軸に垂直な方向で
移動しない場合、または連続画像撮像手段1が一定速度
で移動しない場合でも、連続画像1000または時空間
画像2000を補正することにより、精度よく遮蔽物を
除去することができる。このような連続画像1000ま
たは時空間画像2000の補正方法を以降の実施の形態
で説明する。
が等速度直線運動であれば、連続画像1000における
各物体の軌跡(時空間画像2000のx−time面の
ストライプ)が直線となる。従って、これらの直線的な
軌跡は計算式により求めることができ、また時空間画像
2000の解析も容易である。しかし、連続画像撮像手
段1の移動が等速直線運動でない場合は、連続画像10
00における各物体の軌跡は複雑なものとなって時空間
画像2000の解析も容易でない。そこで、この実施の
形態2では、連続画像撮像手段1が撮影した連続画像1
000を補正して時空間画像2000を生成し、時空間
画像2000の解析を容易にするものである。
による画像処理装置における時空間画像生成手段の具体
的構成を示すブロック図であり、図において、6は上記
実施の形態1で説明した時空間画像生成手段である。6
1は連続画像撮像手段1が連続画像1000を撮像する
ときに振動している場合、連続画像撮像手段1が撮像し
た連続画像1000から時空間画像2000を生成する
際に、移動手段2に付加されたエンコーダから送られる
連続画像撮像手段1の移動情報に応じて、連続画像10
00の重ね合わせる位置を補正する移動量補正手段(連
続画像位置補正手段)である。62は連続画像撮像手段
1の振動、揺れ、移動速度のむら等がある場合、連続画
像1000の重ね合わせる位置を補正してその振動、揺
れ、または移動速度のむら等を補正する揺れ・時間軸補
正手段(連続画像位置補正手段)である。63は移動量
補正手段61と揺れ・時間軸補正手段62によって修正
された位置で連続画像1000を時間軸に沿って重ね合
わせて三次元の時空間画像2000を生成する連続画像
の時空間合成手段である。
軸補正手段62は、ともに連続画像撮像手段1が撮影し
た連続画像1000の重ね合わせる位置を修正する機能
を備えたものであり、このように、移動量補正手段61
及び揺れ・時間軸補正手段62により連続画像1000
を修正することにより、最終的に正確な時空間画像20
00を生成するものである。しかし、移動量補正手段6
1と揺れ・時間軸補正手段62の補正機能は、異なるも
のである。即ち、移動量補正手段61は、移動手段2に
付加されたエンコーダまたはジャイロからの移動情報を
基に、連続画像1000の大まかな位置合わせ修正を行
うものであるのに対し、揺れ・時間軸補正手段62は、
連続画像撮像手段1で撮像された連続画像1000を画
像処理することによって連続画像1000のさらに細か
い位置合わせ修正を行うものである。
細かい位置合わせを行う必要があるのは、機械的な振動
や構造的な剛性不足による揺れや、移動機構(移動手段
2)の速度むら等の理由により生じる三次元の時空間画
像2000の歪みに関しては、連続画像撮像手段1自身
に機械的な防振装置を付加することにより、1Hz前後
の機構的なカメラの揺れはほとんど補正できるが、これ
よりも周波数の高い機械的な振動や、移動機構の速度む
らに関しては機械的な防振装置などでは補正できないか
らである。
る。図7は移動量補正手段61の動作を説明するための
図であり、同図(a)は連続画像撮像手段1が移動方向
に等速直線移動する場合を示し、同図(b)は連続画像
撮像手段1が上下方向に波状に振動する場合を示すもの
である。図7(a)に示すような連続画像撮像手段1が
移動方向に等速直線運動する場合、連続画像撮像手段1
が光軸方向1b1で撮像した連続画像1010は上下方
向にずれがないものである。従って、連続画像1010
の重ね合わせる位置を補正する必要がない。一方、図7
(b)に示すような連続画像撮像手段1が上下方向に波
状に振動する場合、連続画像撮像手段1が光軸方向1b
1で撮像した連続画像1011は上下方向にずれが生じ
てしまう。そこで、移動手段2に付加されたエンコーダ
からの連続画像撮像手段1の移動情報に基づいて、連続
画像1011の位置を上下方向に補正する。このように
補正した連続画像1012は、上下方向のずれがなくな
ったものとなる。
像1000の大まかな位置合わせを行うことにより、連
続画像1012における各物体の軌跡が直線となり、連
続画像1012の解析も容易となる。従って、時空間画
像2000の生成も容易となる。尚、連続画像撮像手段
1の移動量の補正は、図7に示したような上下方向には
限られず、左右の回転方向、移動方向の速度の変化に対
しても、それぞれの移動に応じた連続画像1000の補
正を行うことにより、時間軸と空間軸を変形し、画像処
理の行いやすい時空間画像2000を生成することがで
きる。
動作について説明する。揺れ・時間軸補正手段62は、
振動または揺れ補正機能と時間軸補正機能(移動速度む
ら補正機能)という2つの補正機能を有している。 (a)図8は揺れ・時間軸補正手段62による連続画像
撮像手段1の振動または揺れ(特に、上下方向の振動ま
たは揺れ)を補正する動作を説明するための図である。
図において、300は監視対象4A,4B及び遮蔽物5
A〜5Dの鳥瞰図である。1020〜1023は連続画
像撮像手段1を移動させながら撮影した監視対象4A,
4Bの連続的な静止画像、1030〜1033は連続的
な静止画像1020〜1023それぞれから水平エッジ
1030A〜1033Aを抽出した水平エッジ抽出画
像、1040〜1043は水平エッジ抽出画像1030
〜1033それぞれの水平エッジ1030A〜1033
Aを水平方向に射影(圧縮)した水平方向射影画像であ
る。
は、連続画像撮像手段1で撮影した連続的な静止画像1
020〜1023から(揺れ・時間軸補正手段62の微
分フィルタ(図示せず)によって)水平エッジ1030
A〜1033Aを抽出した水平エッジ抽出画像1030
〜1033を生成する。そして、水平エッジ抽出画像1
030〜1033の水平エッジ1030A〜1033A
を水平方向に射影して水平方向射影画像1040〜10
43を生成する。この水平方向射影画像1040〜10
43を垂直方向に位置合わせすることにより、連続画像
撮像手段1の振れ(カメラ振れ)を補正する。このよう
に、連続的な静止画像1020〜1023から水平エッ
ジ1030A〜1033Aを抽出し、この水平エッジ1
030A〜1033Aを水平方向に射影するのは、より
精度よく垂直方向の位置合わせができるようにするため
である。
よる移動速度のむらを補正する動作を説明するための図
である。図において、1050は連続的な静止画像を時
間的に重ね合わせた連続画像、5001は連続画像10
50をある高さ(点線で示した部分)で切り出したスリ
ット画像、5002はスリット画像5001の軌跡(ス
トライプ)の直線性を調べるためにスリット画像500
1を起こしたスリット画像、5003はスリット画像5
002の時間軸を変換し、軌跡が直線になるようにした
スリット画像である。スリット画像5002の軌跡の傾
きが急な部分は、時間軸の座標間隔を狭くするように変
換することにより、スリット画像5002のように軌跡
が直線となる。尚、軌跡の傾きが緩い部分は、時間軸の
座標間隔を広くするように変換する。このように、スリ
ット画像5000の時間軸を変換することにより、連続
画像撮像手段1の移動速度むらを除去することができ、
その結果、正確な三次元の時空間画像2000を得るこ
とができる。
連続画像撮像手段1の移動方向が光軸に対して垂直で、
撮像素子の水平ラインに平行である場合について説明し
ているが、もしこれらの条件が異なる場合でも、連続画
像1000を変換するか、エッジ抽出を行う方向を変更
するか、あるいは射影計算を行う方向を変更する等の方
法により、上記と同様の結果を得ることができる。
ば、移動量補正手段61により、連続画像1000の大
まかな位置合わせ補正を行うと共に、揺れ・時間軸補正
手段62により、連続画像1000のさらに細かい位置
合わせ補正を行うので、連続画像撮像手段1の移動が等
速直線運動でない場合であっても、最終的に正確に位置
合わせされた時空間画像2000を生成することがで
き、時空間画像2000を容易に解析することができる
という効果が得られる。
形態3による画像処理装置における時空間画像処理手段
の構成を示すブロック図であり、図において、7は上記
実施の形態1で示した時空間画像処理手段である。71
は三次元の時空間画像2000のx−y面(横軸縦軸
面、即ち、二次元の連続画像1000)に連続画像撮像
手段1の移動方向と光軸方向との角度に応じて複数のス
リット位置を設定し、この複数のスリット位置で時空間
画像2000を切断してx−time面(横軸時間軸
面)の複数の二次元スリット画像(図11の5000)
を生成するスリット画像生成手段である。72a〜72
gはそれぞれスリット画像生成手段71により生成され
た複数のスリット画像それぞれに対して遮蔽物除去など
の画像処理を行うスリット画像処理手段である。73は
それぞれのスリット画像に対応するスリット画像処理手
段72a〜72gにより画像処理されたスリット画像
(図11の6000)を、連続画像撮像手段1の移動方
向と光軸方向との角度に応じて設定した複数のスリット
位置に置き直すことにより、三次元の時空間画像300
0を生成するスリット画像合成手段である。
施の形態3の時空間画像処理手段7の基本的な動作につ
いて説明する。図11は時空間画像処理手段7の基本的
な動作を説明するための図である。尚、時空間画像生成
手段6により、連続的な静止画像を連続画像1000と
し、連続画像1000から時空間画像2000を生成す
る動作及び画像再構成手段8により、時空間画像300
0から連続画像4000を生成する動作については、上
記実施の形態1で示したものと同様であるため、重複す
る説明を省略する。
生成手段6により生成された三次元座標の時空間画像2
000(時空間画像2000を時間軸で切断した複数の
x−y面1000のそれぞれ)に、連続画像撮像手段1
の移動方向と光軸方向との角度に応じて複数のスリット
を設定し、この複数のスリットの位置で時空間画像20
00を切断したx−time面の複数の二次元スリット
画像5000を生成する。そして、各々のスリット画像
処理手段72a〜72gは、スリット画像生成手段71
で生成された複数のスリット画像それぞれについて、監
視対象4A,4Bまでの奥行き情報を調べると同時に監
視対象4A,4Bよりも手前に存在し、監視対象4A,
4Bを遮蔽する遮蔽物5A〜5Dを画像処理的に除去す
る。そして、スリット画像合成手段73はそれぞれのス
リットの位置に対応するスリット画像処理手段72a〜
72gで生成された画像処理後のスリット画像6000
を、連続画像撮像手段1の移動方向と光軸方向との角度
に応じて設定した複数のスリットの位置に置き直すこと
により、三次元の時空間画像3000を再構成する。
尚、図10において、スリット画像処理手段72a〜7
2gは7つしか描かれていないが、回路規模あるいは計
算機の演算能力に応じてこれらの数を増加させることも
可能である。
像手段1の移動方向が光軸に対して垂直で、撮像素子の
水平ラインに平行である場合を示しているが、もしこれ
らの条件が異なる場合でも、スリットの設定位置を変更
する等の方法により、同様の結果を得ることができる。
000を時間軸で切断したx−y面1000のそれぞ
れ)に設ける複数のスリットの位置の設定の仕方につい
て、図12から図15に基づいて説明する。 (1)図12は時空間画像2000に設ける複数のスリ
ットの位置の設定方法の一例を説明するための図であ
り、同図(a)は連続画像撮像手段1の移動方向と光軸
方向とが垂直であることを示す図、同図(b)はそのと
きの連続的な静止画像のそれぞれに設定されるスリット
位置を示す図である。同図(a)において、1a3は連
続画像撮像手段1の移動方向、1b3は連続画像撮像手
段1の光軸方向であり、移動方向1a3と光軸方向1b
3は垂直である。1c3は連続画像撮像手段1の撮像範
囲である。また、同図(b)において、1060は静止
画像(連続画像の一枚)、1060Aは静止画像106
0に設定されるスリットである。同図(a)に示すよう
に、連続画像撮像手段1の移動方向1a3と光軸方向1
b3が垂直である場合、静止画像1060上の物体は水
平方向に移動するだけであるので、静止画像1060に
は水平方向のスリット1060Aを設定する。このよう
に、スリット1060Aの位置でスリット画像5000
を生成することにより、直線的な軌跡を得ることがで
き、その結果、スリット画像5000を容易に解析する
ことができる。
060Aの数は、最大、連続画像撮像手段1から得られ
る画像の縦方向の画素数(一般的には512画素)まで
設定することにより、より細かな画像処理を行うことが
できる。
る複数のスリットの位置の設定方法の一例を説明するた
めの図であり、同図(a)は連続画像撮像手段1の移動
方向と光軸方向が鋭角αをなしていること示す図、同図
(b)はそのときの連続的な静止画像のそれぞれに設定
されるスリット位置を示す図、同図(c)はスリットの
位置を水平方向に変形した静止画像例である。同図
(a)において、1a4は連続画像撮像手段1の移動方
向、1b4は連続画像撮像手段1の光軸方向であり、移
動方向1a4と光軸方向1b4は鋭角αをなしている。
1c4は連続画像撮像手段1の撮像範囲である。また、
同図(b)において、1061は静止画像(連続画像の
一枚)、1061Aは静止画像1060に設定されるス
リット、1061Bはスリット1061Aが集まる消失
点である。同図(a)に示すように、連続画像撮像手段
1の移動方向1a4と光軸1b4とがある鋭角αをもっ
て移動する場合、静止画像1060上の物体は消失点1
061Bを中心とした放射線状のスリット1061方向
に移動する。従って、静止画像1061に水平方向のス
リットを設定しても、スリット画像5000に直線の軌
跡が現れないので、静止画像1061には消失点106
1Bを中心とした放射線状に延びるスリット1061A
を設定する。このように、スリット1061Aの位置で
スリット画像5000を生成することにより、直線的な
軌跡を得ることができ、その結果、スリット画像500
0を容易に解析することができる。
からの距離rと方向θとによる極座標を直交座標に変形
し、さらに、rの代わりに、 r’=(r+f/ccdx )/(rcosα+(f/ccdx )sinα) 但し、fは焦点距離、ccdx は撮像素子の横方向の一画素の長さ ・・・(1) を用いることにより、図13(c)の静止画像1062
となる。この静止画像1062は、静止画像1060と
同様に、画像上の全てのスリットが水平線となっている
ので、スリット画像5000を生成する画像処理が容易
となる(スリットに傾きがあると画像処理が困難となる
ものである)。
る複数のスリットの位置の設定方法の一例を説明するた
めの図であり、同図(a)は連続画像撮像手段1の移動
方向と光軸方向が同方向(並行)であることを示す図、
同図(b)はそのときの連続的な静止画像のそれぞれに
設定されるスリット位置を示す図、同図(c)はスリッ
トの位置を水平方向に変形した静止画像例である。同図
(a)において、1a5は連続画像撮像手段1の移動方
向、1b5は連続画像撮像手段1の光軸方向であり、移
動方向1a5と光軸方向1b5は同方向である。1c5
は連続画像撮像手段1の撮像範囲である。また、同図
(b)において、1063は静止画像(連続画像の一
枚)、1063Aは静止画像1063に設定されるスリ
ット、1063Bは静止画像1063の中心にあるスリ
ット1063Aが集まる消失点である。図14(a)に
示すように、連続画像撮像手段1の移動方向1a5と光
軸1b5とが同方向である場合、静止画像1063上の
物体は消失点1063Bを中心とした放射線状のスリッ
ト1063方向に移動する。即ち、静止画像1063の
中心の消失点1063Bから放射線状に物体が移動す
る。従って、静止画像1063には消失点1063Bを
中心とした放射線状に延びるスリット1063Aを設定
する。このように、スリット1063Aの位置でスリッ
ト画像5000を生成することにより、直線的な軌跡を
得ることができ、その結果、スリット画像5000を容
易に解析することができる。
からの距離rと方向θとによる極座標を直交座標に変形
し、さらにrの代わりに、 r”=1/r ・・・(2) を用いることにより、図14(c)の静止画像1064
となる。この静止画像1064は、静止画像1060と
同様に、画像上の全てのスリットが水平線となっている
ので、スリット画像5000を生成する画像処理が容易
となる。
ラ)1が傾いている場合、または移動手段(のレール)
2が下に傾いている場合の連続的な静止画像のそれぞれ
に設定されるスリット位置を示す図である。図15
(a)は連続画像撮像手段1の移動方向と光軸方向とが
垂直であるが、連続画像撮像手段1が撮像面の水平軸と
ある角度βをもって傾いている場合のスリット位置を示
す図である。図において、1065は連続的な静止画
像、1065Aは静止画像1065上に設定するスリッ
トである。図15(a)に示すように、スリット位置1
065Aを水平から角度βで設定することにより、スリ
ット画像5000において直線的な軌跡を得ることがで
きる。
方向と光軸方向とが鋭角αをなし、かつ連続画像撮像手
段1が撮像面の水平軸とある角度βをもって傾いている
場合のスリット位置を示す図である。図において、10
66は連続的な静止画像、1066Aは静止画像106
6上に設定するスリットである。図15(b)の静止画
像1066は、図13(b)で示した静止画像1061
において、消失点1061Bの位置が(f/ccdx )
tanβだけ下にずれたものである。
方向と光軸方向とが同方向であり、かつ連続画像撮像手
段1が撮像面の水平軸とある角度βをもって傾いている
場合のスリット位置を示す図である。図において、10
67は連続的な静止画像、1067Aは静止画像106
7上に設定するスリットである。図15(c)の静止画
像1067は、図14(b)で示した静止画像1063
において、消失点1063Bの位置が(f/ccdx )
tanβだけ下にずれたものである。
ば、スリット画像生成手段71により、連続画像撮像手
段1の移動方向と光軸方向との角度に応じて複数のスリ
ット位置で時空間画像2000を切断して複数の二次元
スリット画像5000を生成し、スリット画像処理手段
72a〜72gにより、複数のスリット画像それぞれに
対して遮蔽物除去などの画像処理を行い、スリット画像
合成手段により、画像処理されたスリット画像6000
を複数のスリット位置に置き直して三次元の時空間画像
3000を生成するように構成したので、スリット画像
5000上で直線的な軌跡(ストライプ)を得ることが
でき、その結果、スリット画像5000を容易に解析す
ることができるという効果が得られる。また、スリット
画像処理手段72a〜72gが、各スリット画像500
0毎のスリット画像処理を並列的に行うことにより、高
速な時空間画像処理を行うことができる。
の実施の形態5と共に、スリット画像処理手段による画
像処理に関するものである。図16はこの発明の実施の
形態4による時空間画像処理手段におけるスリット画像
処理手段の構成を示すブロック図であり、図において、
72は上記図10に示したのと同様のスリット画像処理
手段である。721は三次元の時空間画像2000を連
続画像撮像手段1の移動方向と光軸方向との角度に応じ
て設定した複数のスリットで分割することにより生成さ
れた、二次元のスリット画像5000の一つを入力と
し、その二次元のスリット画像5000から量子化され
た直線エッジ(図19の5031A〜5034A)を抽
出する直線エッジ抽出手段である。722a〜722g
はそれぞれ直線エッジ抽出手段721により抽出された
量子化された直線エッジを、この量子化された各エッジ
方向毎に領域統合した領域統合画像(図19の5035
〜5038)を生成する各直線エッジ方向別の領域統合
手段である。723は各エッジ方向別の領域統合手段7
22a〜722gで生成された領域統合画像を、最も奥
の距離に相当するエッジ方向の領域統合画像から、予め
指定したある距離に相当するエッジ方向の領域統合画像
まで、順に層状に重ね合わせることにより、二次元の層
状画像(スリット画像)6000(図19ではスリット
画像6001)を生成する層状画像合成手段である。
21の直線エッジ抽出法の一例を示す図である。図17
において、5010は直線エッジを抽出するスリット画
像、5010Aはスリット画像5010中の注目領域、
5010Bは注目領域5010Aの拡大図、a0 〜a8
は注目領域5010B内の各画素の輝度値である。
直線エッジの抽出方法は、局所的な微分処理、即ちディ
ジタル画像処理における局所的な領域内の画素の輝度値
の差分処理によって直線エッジの方向を求めるものであ
る。例えば注目領域5010Bの各輝度値a0 〜a8 を
用いて、横方向の勾配を dx=(a2 +2a5 +a8 −a0 −2a3 −a6 ) ・・・(4) 縦方向の勾配を dy=(a6 +2a7 +a8 −a0 −2a1 −a2 ) ・・・(5) として求め、そして、直線エッジの方向角θを θ=Tan-1(dy/dx) ・・・(6) として求める。このような方法により、量子化された直
線エッジを抽出する。
ッジを抽出するスリット画像、5020Aはスリット画
像5020A内の注目領域、5020B〜5020Hは
ある方向に放射状に設定した注目領域5020A内の局
所領域、d0 〜d6 は局所領域5020A〜5020H
内の画素の輝度値の分散である。
直線エッジの抽出方法は、注目点を中心として、各方向
別に放射状に設定した複数の局所領域内での画素の輝度
値の相関からエッジの方向を求めるものである。各方向
別に放射状に設定した複数の局所領域5020B〜50
20H内の画素の輝度値の分散d0 〜d6 が最小となる
方向にエッジ方向とする方法である。例えば、各方向別
の放射状局所領域5020B〜5020H内の画素値の
分散d0 〜d6 を計算し、それらのうちで最小になるも
のを検索し、その最小値を与える方向を直線エッジの方
向とする。尚、図17及び図18に示した直線エッジの
抽出方法は一例であって他の方法により直線エッジを抽
出するものであってもよい。
a〜722gは7つしか描かれていないが、回路規模あ
るいは計算機の演算能力に応じてこれらエッジ方向量子
化数を増加させることも可能である。また、図18の局
所領域5020B〜5020Hでは、方向は7つしか描
かれておらず、また放射状の局所領域5020B〜50
20Hの大きさも半径4画素しか描かれていないが、回
路規模、計算機の演算能力に応じてこれら方向数、およ
び局所領域の大きさは増加させることもできる。
6に示したスリット画像処理手段72の動作を説明する
ための図である。図において、5030は二次元のスリ
ット画像、5031〜5034はスリット画像5030
から量子化された直線エッジ5031A〜5034Aが
抽出された直線エッジ抽出画像、5035〜5038は
直線エッジ5031A〜5034Aが領域統合された領
域統合画像、6001は領域統合画像5035〜503
8が層状に重ね合わされた層状画像である。
リット画像5030から直線エッジ5031A〜503
4Aを抽出する。直線エッジ5031A〜5034Aの
抽出方法は、例えば、上記図17及び図18に示したも
のによる。各エッジ方向別の領域統合手段722a〜7
22gは、直線エッジ抽出手段721により抽出された
直線エッジ5031A〜5034Aを量子化された各エ
ッジ方向毎に領域統合した領域統合画像5035〜50
38を生成する。層状画像合成手段723は、各エッジ
方向別の領域統合手段722a〜722gで生成された
領域統合画像5035〜5038を、最も奥の距離に相
当するエッジ方向の領域統合画像5035から、予め指
定したある距離に相当するエッジ方向の領域統合画像5
038まで順に層状に重ね合わせることにより、層状画
像6001(スリット画像)を生成する。
5037の3枚から最終的な層状画像6001を合成し
ているが、これに限るものではない。また、簡単のため
にエッジの方向は4方向として説明しているが、回路規
模あるいは計算機の演算能力に応じてこれらエッジ方向
量子化数を増加させることも可能である。
ば、直線エッジ抽出手段721により、二次元のスリッ
ト画像5030から量子化された直線エッジ5031A
〜5034Aを抽出し、各エッジ方向別の領域統合手段
722a〜722gにより、量子化された各エッジ方向
毎に直線エッジ5031A〜5034Aを領域統合した
領域統合画像5031〜5034を生成し、層状画像合
成手段723により、各エッジ方向別の領域統合手段7
22a〜722gで生成された領域統合画像5035〜
5038を、最も奥の距離に相当するエッジ方向のスリ
ット画像5035から、予め指定したある距離に相当す
るエッジ方向のスリット画像5038まで、順に層状に
重ね合わせることにより、二次元の層状画像6001を
生成するように構成したので、的確に遮蔽物除去の画像
処理を行うことができ、最終的に監視員が見やすい連続
画像4000を得ることができるという効果が得られ
る。
形態5による時空間画像処理手段におけるスリット画像
処理手段の構成を示すブロック図である。図において、
721は二次元のスリット画像(図21の5040)の
1つから量子化された直線エッジ(図21の5041
A)を抽出する直線エッジ抽出手段である。尚、この直
線エッジ抽出手段721は、上記図15で示したものと
同様または相当するものである。上記図15で示した直
線エッジ抽出手段721は、複数の直線エッジ(図19
の5031A〜5034A)を抽出していたが、図20
で示す直線エッジ抽出手段721は、予め指定したある
距離(位置)よりも近い距離(位置)に相当する直線エ
ッジを遮蔽物として抽出するものである。724は直線
エッジ抽出手段721により抽出された量子化された遮
蔽物の直線エッジを、量子化されたエッジ方向に領域統
合すると共に、このように領域統合した遮蔽物領域(図
21の5042A)の輝度情報ををスリット画像(図2
1の5040)から除去する指定距離対応エッジ方向領
域統合手段である。725は遮蔽物領域(図21の50
42A)の中からその代表点(図21の5043A)を
抽出し、スリット画像(図21の5040)にその代表
点を設定する領域内代表点抽出手段、726は直線エッ
ジのつながりが最も自然な形になるように、輝度情報が
除去された遮蔽物領域内の代表点を中心とする局所領域
(図21の5050)内部で輝度値を補う局所領域輝度
情報推定手段である。
発明の実施の形態5によるスリット画像処理手段72の
動作を説明するための図である。尚、図21では、連続
画像撮像手段1の移動方向と光軸方向が垂直であって、
かつ撮像素子の水平ラインと平行な場合についての画像
例を示している。図において、5040は二次元のスリ
ット画像、5041は二次元のスリット画像5040か
ら予め指定したある距離よりも近い距離に相当するエッ
ジ方向を遮蔽物として、その直線エッジのみを抽出した
直線エッジ抽出画像である。5042は抽出された直線
エッジのみを領域統合した領域統合画像、5042Aは
領域統合の結果得られた遮蔽物領域である。5043は
領域統合の結果得られた領域統合画像5042の遮蔽物
領域5042Aから、その代表点5043A(ここでは
主軸上の点の集合)を抽出した代表点抽出画像、504
3Aは遮蔽物領域5042Aから得られた代表点(主軸
上の点の集合)、5044はスリット画像5040から
遮蔽物領域5042Aの部分の輝度情報を除去したスリ
ット画像、5044Aはスリット画像5044の輝度情
報除去領域、5044Bは輝度情報除去領域5044A
内の代表点(ここでは主軸)、5050はスリット画像
5044内の局所領域である。
044内の局所領域である。この局所領域5050a〜
5050hは輝度情報除去領域5044Aで直線エッジ
のつながりが最も自然な形になるように、輝度値を補う
処理を示すものである。また、5060a〜6010は
徐々に輝度値を補っていく様子を示したものである。6
020は最終的に輝度情報除去領域5044Aの輝度値
が補われた状態を示すスリット画像である。
リット画像5040の1つから量子化された直線エッジ
5041Aを抽出する。そして、指定距離対応エッジ方
向領域統合手段724は、直線エッジ抽出手段721に
より抽出された直線エッジを、量子化されたエッジ方向
に領域統合する。そして、指定距離対応エッジ方向領域
統合手段724は、スリット画像5040から遮蔽物領
域5042Aの輝度情報を除去する。このように除去さ
れた領域が、スリット画像5044内の輝度情報除去領
域5044Bである。領域内代表点抽出手段725は、
遮蔽物領域5042Aからその代表点5043Aを抽出
する。このようにして抽出された代表点が、スリット画
像5044内の代表点5044Bである。
領域5050内部で、輝度情報除去領域5044A内の
代表点5044Bを中心に線分Aを回転させ、線分と直
線エッジが平行になったときにその線分Aの部分に輝度
値を補う。局所領域輝度情報推定手段726が、局所領
域5050内の輝度値を補う動作を局所領域5050a
〜5050hを基に説明する。まず、局所領域5050
aでは線分Aと直線エッジは平行でない。線分Aを少し
回転させた局所領域5050bでは線分Aと直線エッジ
は平行となっているので、線分Aの部分に輝度値が補わ
れる。後は同様に、局所領域5050c〜5050hに
示すように、線分Aを少しずつ回転させながら、直線エ
ッジと平行になるか否かを調べる。そして、このように
して輝度値を補っていく様子を示したものが、局所領域
5060a〜6010である。そして、最終的にスリッ
ト画像5044の輝度情報除去領域5044Aの輝度値
を補うと、スリット画像6020のようになる。
ば、直線エッジ抽出手段721により、予め指定したあ
る距離(位置)よりも近い距離(位置)に相当する直線
エッジ5041Aを遮蔽物と判断して抽出し、指定距離
対応エッジ方向領域統合手段724により、直線エッジ
抽出手段721により抽出された量子化された直線エッ
ジを、量子化されたエッジ方向に領域統合し、領域統合
した領域を遮蔽物領域5042Aとしてスリット画像5
040から除去し、領域内代表点抽出手段725によ
り、遮蔽物領域として統合された領域の中からその代表
点5043Aを抽出し、局所領域輝度情報推定手段72
6により、遮蔽物領域内の代表点を中心とする局所領域
5050内部で、直線エッジのつながりが最も自然な形
になるように輝度値を補うように構成したので、的確に
遮蔽物除去の画像処理を行うことができ、最終的に監視
員が見やすい連続画像4000を得ることができるとい
う効果が得られる。
しながら物体を撮像する連続画像撮像手段と、この連続
画像撮像手段によって連続的に撮像された二次元座標の
静止画像を時間的に積み重ねて連続画像とし、この連続
画像から時間軸を新たな座標軸とする三次元座標の時空
間画像を生成する時空間画像生成手段と、時空間画像の
横軸時間軸面に現れるストライプの時間軸に対する角度
から静止画像に写った物体の位置を判断し、予め指定し
た物体を画像処理して除去する時空間画像処理手段と、
この時空間画像処理手段によって画像処理された時空間
画像を時間毎に切り出して、画像表示手段が映像可能な
静止画像を時間的に積み重ねた連続画像に変換する画像
再構成手段とから構成したので、注目すべき監視対象
が、配管、建物の柱、柵等の遮蔽物によって部分的に遮
蔽されている場合でも、予め指定した遮蔽物を除去し、
遮蔽物が存在しない時間帯の監視対象の輝度値を置き換
えることにより、実際にはその時間帯には見ることので
きない監視対象の表面の輝度情報を補って、手前の遮蔽
物を除去した時空間画像を生成することができ、従って
監視員にとって見やすい画像を提供し、効率のよい遠隔
監視環境を提供することができる効果がある。
手段を、連続画像撮像手段の振動、揺れ、速度むらなど
が生じた場合に、連続画像撮像手段が撮像した連続画像
の重ね合わせる位置を補正する連続画像位置補正手段
と、この連続画像位置補正手段によって位置補正された
連続画像を時間軸に沿って重ね合わせて三次元の時空間
画像を生成する連続画像の時空間合成手段とから構成し
たので、連続画像撮像手段の移動が等速直線運動でない
場合であっても、最終的に正確に位置合わせされた時空
間画像を生成することができ、時空間画像を容易に解析
することができる効果がある。
理手段を、時空間画像の横軸縦軸面に連続画像撮像手段
の移動方向と光軸方向との角度に応じて複数のスリット
位置を設定し、この複数のスリット位置で時空間画像を
切断して横軸時間軸面の複数の二次元座標のスリット画
像を生成するスリット画像生成手段と、複数のスリット
画像それぞれに対して予め指定された物体を画像処理し
て除去する複数のスリット画像処理手段と、これら複数
のスリット画像処理手段により画像処理された複数のス
リット画像を、連続画像撮像手段の移動方向と光軸方向
との角度に応じて設定した複数のスリット位置に置き直
すことにより、三次元座標の時空間画像を生成するスリ
ット画像合成手段とから構成したので、スリット画像上
で直線的なストライプを得ることができ、その結果、ス
リット画像を容易に解析することができる効果がある。
また、スリット画像処理手段を複数設けたので、各スリ
ット画像毎に画像処理を行うことができ、その結果、高
速に時空間画像処理を行うことができる効果もある。
処理手段を、二次元のスリット画像から量子化された複
数の直線エッジを抽出する直線エッジ抽出手段と、この
直線エッジ抽出手段により抽出された上記複数の直線エ
ッジを、この量子化された各エッジ方向毎に領域統合し
た複数の領域統合画像を生成する複数の領域統合手段
と、これら複数の領域統合手段で生成された複数の領域
統合画像を順に層状に重ね合わせることにより、二次元
の層状画像を生成する層状画像合成手段とから構成した
ので、的確に遮蔽物除去の画像処理を行うことができ、
最終的に監視員が見やすい連続画像を得ることができる
効果がある。
処理手段を、二次元のスリット画像から予め指定された
エッジ方向の直線エッジを抽出する直線エッジ抽出手段
と、この直線エッジ抽出手段により抽出された直線エッ
ジを、量子化されたエッジ方向に領域統合すると共に、
このように領域統合した領域の輝度情報をスリット画像
から除去する指定距離対応エッジ方向領域統合手段と、
輝度情報を除去した領域の中から代表点を抽出する領域
内代表点抽出手段と、輝度情報が除去された領域内の代
表点を中心とする局所領域内部で輝度値を補う局所領域
輝度情報推定手段とから構成したので、的確に遮蔽物除
去の画像処理を行うことができ、最終的に監視員が見や
すい連続画像を得ることができる効果がある。
手段によって連続的に撮像された二次元座標の静止画像
を時間的に積み重ねて連続画像とし、この連続画像から
時間軸を新たな座標軸とする三次元座標の時空間画像を
生成し、この時空間画像の横軸時間軸面に現れるストラ
イプの時間軸に対する角度から静止画像に写った物体の
位置を判断し、予め指定した物体を画像処理して除去
し、この時空間画像処理手段によって画像処理された時
空間画像を時間毎に切り出して、静止画像を時間的に積
み重ねた連続画像に変換するように構成したので、手前
の遮蔽物を除去した時空間画像を生成することができ、
実際にはその時間帯には見ることのできない監視対象を
見ることができるような監視員にとって見やすい画像を
提供し、効率のよい遠隔監視環境を提供することができ
る効果がある。
を用いた遠隔監視装置を示す概観構成図である。
の構成を示すブロック図である。
法(遮蔽物を除去する画像処理手法)を説明するための
図である。
す図である。
における時空間画像生成手段の具体的構成を示すブロッ
ク図である。
あり、(a)は連続画像撮像手段が移動方向に等速直線
移動する場合を示し、(b)は連続画像撮像手段が上下
方向に波状に振動する場合を示す図である。
段の振動または揺れを補正する動作を説明するための図
である。
を補正する動作を説明するための図である。
置における時空間画像処理手段の構成を示すブロック図
である。
するための図である。
の設定方法の一例を説明するための図であり、(a)は
連続画像撮像手段の移動方向と光軸方向とが垂直である
ことを示す図、(b)はそのときの連続的な静止画像の
それぞれに設定されるスリット位置を示す図である。
の設定方法の一例を説明するための図であり、(a)は
連続画像撮像手段の移動方向と光軸方向が鋭角αをなし
ていること示す図、(b)はそのときの連続的な静止画
像のそれぞれに設定されるスリット位置を示す図、
(c)はスリットの位置を水平方向に変形した静止画像
例を示す図である。
の設定方法の一例を説明するための図であり、(a)は
連続画像撮像手段の移動方向と光軸方向が同方向(並
行)であること示す図、(b)はそのときの連続的な静
止画像のそれぞれに設定されるスリット位置を示す図、
(c)はスリットの位置を水平方向に変形した静止画像
例を示す図である。
は移動手段が下に傾いている場合の連続的な静止画像の
それぞれに設定されるスリット位置を示す図である。
処理手段におけるスリット画像処理手段の構成を示すブ
ロック図である。
一例を示す図である。
一例を示す図である。
作を説明するための図である。
処理手段におけるスリット画像処理手段の構成を示すブ
ロック図である。
像処理手段の動作を説明するための図である。
ロック図である。
ロック図である。
ロック図である。
体)、5A〜5D 遮蔽物(物体)、6 時空間画像生
成手段、7 時空間画像処理手段、8 画像再構成手
段、9 画像表示手段、61 移動量補正手段(連続画
像位置補正手段)、62 揺れ・時間軸補正手段(連続
画像位置補正手段)、63 時空間合成手段、71 ス
リット画像生成手段、72a〜72g スリット画像処
理手段、73スリット画像合成手段、721 直線エッ
ジ抽出手段、722a〜722g 領域統合手段、72
3 層状画像合成手段、724 指定距離対応エッジ方
向領域統合手段、725 領域内代表点抽出手段、72
6 局所領域輝度情報推定手段、1000,4000
連続画像、2000,3000 時空間画像、2000
a,2000b ストライプ、5000,6000 ス
リット画像。
Claims (6)
- 【請求項1】 移動しながら物体を撮像する連続画像撮
像手段と、この連続画像撮像手段によって連続的に撮像
された二次元座標の静止画像を時間的に積み重ねて連続
画像とし、この連続画像から時間軸を新たな座標軸とす
る三次元座標の時空間画像を生成する時空間画像生成手
段と、上記時空間画像の横軸時間軸面に現れるストライ
プの上記時間軸に対する角度から上記静止画像に写った
物体の位置を判断し、予め指定した物体を画像処理して
除去する時空間画像処理手段と、この時空間画像処理手
段によって画像処理された時空間画像を時間毎に切り出
して、画像表示手段が映像可能な静止画像を時間的に積
み重ねた連続画像に変換する画像再構成手段とを備えた
画像処理装置。 - 【請求項2】 時空間画像生成手段は、連続画像撮像手
段の振動、揺れ、速度むらなどが生じた場合に、上記連
続画像撮像手段が撮像した連続画像の重ね合わせる位置
を補正する連続画像位置補正手段と、この連続画像位置
補正手段によって位置補正された上記連続画像を時間軸
に沿って重ね合わせて三次元の時空間画像を生成する連
続画像の時空間合成手段とから構成されたことを特徴と
する請求項1記載の画像処理装置。 - 【請求項3】 時空間画像処理手段は、時空間画像の横
軸縦軸面に連続画像撮像手段の移動方向と光軸方向との
角度に応じて複数のスリット位置を設定し、この複数の
スリット位置で上記時空間画像を切断して横軸時間軸面
の複数の二次元座標のスリット画像を生成するスリット
画像生成手段と、上記複数のスリット画像それぞれに対
して予め指定された物体を画像処理して除去する複数の
スリット画像処理手段と、これら複数のスリット画像処
理手段により画像処理された複数のスリット画像を、連
続画像撮像手段の移動方向と光軸方向との角度に応じて
設定した上記複数のスリット位置に置き直すことによ
り、三次元座標の時空間画像を生成するスリット画像合
成手段とから構成されたことを特徴とする請求項1記載
の画像処理装置。 - 【請求項4】 スリット画像処理手段は、二次元のスリ
ット画像から量子化された複数の直線エッジを抽出する
直線エッジ抽出手段と、この直線エッジ抽出手段により
抽出された上記複数の直線エッジを、この量子化された
各エッジ方向毎に領域統合した複数の領域統合画像を生
成する複数の領域統合手段と、これら複数の領域統合手
段で生成された上記複数の領域統合画像を順に層状に重
ね合わせることにより、二次元の層状画像を生成する層
状画像合成手段とから構成されたことを特徴とする請求
項3記載の画像処理装置。 - 【請求項5】 スリット画像処理手段は、二次元のスリ
ット画像から予め指定されたエッジ方向の直線エッジを
抽出する直線エッジ抽出手段と、この直線エッジ抽出手
段により抽出された直線エッジを、量子化されたエッジ
方向に領域統合すると共に、このように領域統合した領
域の輝度情報を上記スリット画像から除去する指定距離
対応エッジ方向領域統合手段と、輝度情報を除去した上
記領域の中から代表点を抽出する領域内代表点抽出手段
と、輝度情報が除去された上記領域内の上記代表点を中
心とする局所領域内部で輝度値を補う局所領域輝度情報
推定手段とから構成されたことを特徴とする請求項3記
載の画像処理装置。 - 【請求項6】 連続画像撮像手段によって連続的に撮像
された二次元座標の静止画像を時間的に積み重ねて連続
画像とし、この連続画像から時間軸を新たな座標軸とす
る三次元座標の時空間画像を生成し、この時空間画像の
横軸時間軸面に現れるストライプの上記時間軸に対する
角度から上記静止画像に写った物体の位置を判断し、予
め指定した物体を画像処理して除去し、この時空間画像
処理手段によって画像処理された時空間画像を時間毎に
切り出して、静止画像を時間的に積み重ねた連続画像に
変換することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28240197A JP3715091B2 (ja) | 1997-10-15 | 1997-10-15 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28240197A JP3715091B2 (ja) | 1997-10-15 | 1997-10-15 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11120352A true JPH11120352A (ja) | 1999-04-30 |
JP3715091B2 JP3715091B2 (ja) | 2005-11-09 |
Family
ID=17651938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28240197A Expired - Fee Related JP3715091B2 (ja) | 1997-10-15 | 1997-10-15 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3715091B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008117305A (ja) * | 2006-11-07 | 2008-05-22 | Olympus Corp | 画像処理装置 |
CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
JP2016180681A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社フジタ | 地盤崩壊検知システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266827A (ja) * | 1993-03-11 | 1994-09-22 | Toppan Printing Co Ltd | 視差画像作成方法および装置 |
JPH07294215A (ja) * | 1994-04-25 | 1995-11-10 | Canon Inc | 画像処理方法及び装置 |
-
1997
- 1997-10-15 JP JP28240197A patent/JP3715091B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266827A (ja) * | 1993-03-11 | 1994-09-22 | Toppan Printing Co Ltd | 視差画像作成方法および装置 |
JPH07294215A (ja) * | 1994-04-25 | 1995-11-10 | Canon Inc | 画像処理方法及び装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008117305A (ja) * | 2006-11-07 | 2008-05-22 | Olympus Corp | 画像処理装置 |
US8098897B2 (en) | 2006-11-07 | 2012-01-17 | Olympus Corporation | Multi dimensional imaging system |
CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
JP2016180681A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社フジタ | 地盤崩壊検知システム |
Also Published As
Publication number | Publication date |
---|---|
JP3715091B2 (ja) | 2005-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9109891B2 (en) | Stereo camera | |
CN109348119B (zh) | 一种全景监控系统 | |
JP3886769B2 (ja) | 補正画像生成装置および補正画像生成プログラム | |
US6084979A (en) | Method for creating virtual reality | |
US9210312B2 (en) | Virtual mask for use in autotracking video camera images | |
US8212872B2 (en) | Transformable privacy mask for video camera images | |
US20070076090A1 (en) | Device for generating three dimensional surface models of moving objects | |
US7180536B2 (en) | Method for producing stereoscopic images from monoscopic images | |
CN102984453B (zh) | 利用单摄像机实时生成半球全景视频图像的方法及系统 | |
US20170171525A1 (en) | Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method | |
US20120249730A1 (en) | Stereoscopic panoramic video capture system using surface identification and distance registration technique | |
EP3606032B1 (en) | Method and camera system combining views from plurality of cameras | |
CN105678693A (zh) | 全景视频浏览播放方法 | |
US9756277B2 (en) | System for filming a video movie | |
JP2004015106A (ja) | 画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体 | |
CN111060008B (zh) | 一种3d智能视觉设备 | |
US20120194514A1 (en) | Image processing apparatus and method, and program | |
WO2009093136A2 (en) | Image capture and motion picture generation | |
WO2011030771A1 (ja) | 変位計測方法、変位計測装置及び変位計測プログラム | |
JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
Aykut et al. | A stereoscopic vision system with delay compensation for 360 remote reality | |
JP3328478B2 (ja) | カメラシステム | |
CN106934110B (zh) | 一种由聚焦堆栈重建光场的反投影方法和装置 | |
JP3715091B2 (ja) | 画像処理装置 | |
WO2003021967A2 (en) | Image fusion systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050824 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |