JP3263794B2 - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP3263794B2 JP3263794B2 JP35309092A JP35309092A JP3263794B2 JP 3263794 B2 JP3263794 B2 JP 3263794B2 JP 35309092 A JP35309092 A JP 35309092A JP 35309092 A JP35309092 A JP 35309092A JP 3263794 B2 JP3263794 B2 JP 3263794B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- detecting
- filter
- image
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図４） 作用（図４） 実施例 （１）動き方向検出の原理（図１〜図３） （２）実施例による画像処理装置（図１〜図５） （３）他の実施例 発明の効果
【０００２】
【産業上の利用分野】本発明は画像処理装置に関し、例
えばテレビジヨンカメラや監視装置等の撮像装置に適用
して好適なものである。
えばテレビジヨンカメラや監視装置等の撮像装置に適用
して好適なものである。
【０００３】
【従来の技術】従来、この種の撮像装置においては、撮
影画像中の最大輝度部分を検出することにより、この輝
度部分を基準にしてユーザの選択した所望の被写体を追
跡し得るようになされたものがある。このように所望の
物体を追跡することができれば、この被写体を中心にし
て自動的に焦点合わせや絞り調整等を行うことができ、
撮像装置全体として使い勝手を向上し得る。
影画像中の最大輝度部分を検出することにより、この輝
度部分を基準にしてユーザの選択した所望の被写体を追
跡し得るようになされたものがある。このように所望の
物体を追跡することができれば、この被写体を中心にし
て自動的に焦点合わせや絞り調整等を行うことができ、
撮像装置全体として使い勝手を向上し得る。
【０００４】
【発明が解決しようとする課題】ところで移動する被写
体においては、単に被写体が左右に移動して位置が変化
するだけでなく、前後に移動して大きさ自体が変化する
場合があり、またユーザがズームレンズを操作して被写
体の大きさが変化する場合もある。このような場合、画
像中において被写体の領域と背景とを分離することがで
きれば、被写体の動きをさらに一段と確実に追跡し得る
と考えられる。
体においては、単に被写体が左右に移動して位置が変化
するだけでなく、前後に移動して大きさ自体が変化する
場合があり、またユーザがズームレンズを操作して被写
体の大きさが変化する場合もある。このような場合、画
像中において被写体の領域と背景とを分離することがで
きれば、被写体の動きをさらに一段と確実に追跡し得る
と考えられる。
【０００５】この画像の領域を分割する際に、代表点マ
ツチングやブロツクマツチング等によつて求めた動きベ
クトルを使う方法や、周波数領域で求めた動きベクトル
を使う方法があるが、このような動きベクトルを算出す
るためには相当量の演算処理が必要とされる。このうち
代表点マツチングは比較的演算量の少ない動き検出方法
として用いられており、手ぶれ補正等に応用されている
が、得られる動きベクトルの空間分解能が低いという欠
点があり領域分割の用途には向かないと考えられる。
ツチングやブロツクマツチング等によつて求めた動きベ
クトルを使う方法や、周波数領域で求めた動きベクトル
を使う方法があるが、このような動きベクトルを算出す
るためには相当量の演算処理が必要とされる。このうち
代表点マツチングは比較的演算量の少ない動き検出方法
として用いられており、手ぶれ補正等に応用されている
が、得られる動きベクトルの空間分解能が低いという欠
点があり領域分割の用途には向かないと考えられる。
【０００６】またこのように被写体の追跡などに応用す
る領域分割の目的に動き情報を用いる場合、動きの大き
さや方向の精度はそれほど重要でないにも係わらず、相
当量の演算処理を実行するために、構成が複雑かつ処理
時間が長くなることは、実用上未だ不十分であつた。
る領域分割の目的に動き情報を用いる場合、動きの大き
さや方向の精度はそれほど重要でないにも係わらず、相
当量の演算処理を実行するために、構成が複雑かつ処理
時間が長くなることは、実用上未だ不十分であつた。
【０００７】本発明は以上の点を考慮してなされたもの
で、簡易な動き方向検出方法で確実に動く物体を背景か
ら分離し得る画像処理装置を提案しようとするものであ
る。
で、簡易な動き方向検出方法で確実に動く物体を背景か
ら分離し得る画像処理装置を提案しようとするものであ
る。
【０００８】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、順次入力される画像データＶＤか
ら、第１のフイルタ係数によつて水平方向のエツジを検
出する第１のフイルタ手段３と、画像データＶＤから、
第２のフイルタ係数によつて垂直方向のエツジを検出す
る第２のフイルタ手段４と、画像データＶＤのフレーム
間の差分画像Ｓ１を得る差分手段８、９と、第１及び第
２のフイルタ手段３、４の出力Ｙ１、Ｙ２に基づいて、
エツジのタイプを検出するエツジタイプ識別手段５、６
と、エツジタイプ識別手段５、６によつて検出されたエ
ツジのタイプθ及び差分手段８、９によつて得られた差
分画像Ｓ１から、画像データＶＤの各座標における動き
方向ＭＤを検出する動き方向特定手段７とを設けるよう
にした。
め本発明においては、順次入力される画像データＶＤか
ら、第１のフイルタ係数によつて水平方向のエツジを検
出する第１のフイルタ手段３と、画像データＶＤから、
第２のフイルタ係数によつて垂直方向のエツジを検出す
る第２のフイルタ手段４と、画像データＶＤのフレーム
間の差分画像Ｓ１を得る差分手段８、９と、第１及び第
２のフイルタ手段３、４の出力Ｙ１、Ｙ２に基づいて、
エツジのタイプを検出するエツジタイプ識別手段５、６
と、エツジタイプ識別手段５、６によつて検出されたエ
ツジのタイプθ及び差分手段８、９によつて得られた差
分画像Ｓ１から、画像データＶＤの各座標における動き
方向ＭＤを検出する動き方向特定手段７とを設けるよう
にした。
【０００９】また本発明においては、順次入力される画
像データＶＤから、目的物体の位置を指定する検出領域
設定手段１１を有し、検出領域設定手段１１で設定した
検出領域と他の領域で、動き方向特定手段７によつて検
出した各座標における動き方向ＭＤが同じで検出領域か
ら近いほどスコアを高くし、そのスコアがしきい値ＴＨ
以上の場合に検出領域と同一物体であるとして特定する
ようにした。
像データＶＤから、目的物体の位置を指定する検出領域
設定手段１１を有し、検出領域設定手段１１で設定した
検出領域と他の領域で、動き方向特定手段７によつて検
出した各座標における動き方向ＭＤが同じで検出領域か
ら近いほどスコアを高くし、そのスコアがしきい値ＴＨ
以上の場合に検出領域と同一物体であるとして特定する
ようにした。
【００１０】さらに本発明においては、第１のフイルタ
手段３及び第２のフイルタ手段４を、１次微分フイルタ
リングを行うフイルタで構成するようにした。
手段３及び第２のフイルタ手段４を、１次微分フイルタ
リングを行うフイルタで構成するようにした。
【００１１】また本発明において、エツジタイプ識別手
段５、６によつて識別されるエツジのタイプは、２次元
画像におけるエツジの傾き角θであつて、第１及び第２
のフイルタ手段３、４の出力Ｙ１、Ｙ２の成す角を、予
め算出した角度テーブル６を参照して、量子化されたエ
ツジのタイプを検出するようにした。
段５、６によつて識別されるエツジのタイプは、２次元
画像におけるエツジの傾き角θであつて、第１及び第２
のフイルタ手段３、４の出力Ｙ１、Ｙ２の成す角を、予
め算出した角度テーブル６を参照して、量子化されたエ
ツジのタイプを検出するようにした。
【００１２】さらに本発明において、エツジタイプ識別
手段５によつて識別されるエツジのタイプは、２次元画
像におけるエツジの傾き角θであつて、動き方向特定手
段７は、動き方向ＭＤがエツジの傾き角θを基準に＋90
°の方向か又は−90°の方向かを特定するようにした。
手段５によつて識別されるエツジのタイプは、２次元画
像におけるエツジの傾き角θであつて、動き方向特定手
段７は、動き方向ＭＤがエツジの傾き角θを基準に＋90
°の方向か又は−90°の方向かを特定するようにした。
【００１３】さらにまた本発明においては、ローパスフ
イルタ２１、２３、２５が複数個を直列接続されてな
り、順次入力される画像データＶＤ（Ｓ１０）につい
て、各ローパスフイルタ２１、２３、２５から間引き出
力Ｓ１１、Ｓ１２、Ｓ１３を送出する間引き手段２１、
２２、２３、２４、２５、２６と、各間引き出力Ｓ１
１、Ｓ１２、Ｓ１３について、第１のフイルタ係数によ
つて水平方向のエツジを検出する第１のフイルタ手段３
と、各間引き出力Ｓ１１、Ｓ１２、Ｓ１３について、第
２のフイルタ係数によつて垂直方向のエツジを検出する
第２のフイルタ手段４と、各間引き出力Ｓ１１、Ｓ１
２、Ｓ１３のフレーム間の差分画像Ｓ１を得る差分手段
８、９と、第１及び第２のフイルタ手段３、４の出力Ｙ
１、Ｙ２から、エツジのタイプを検出するエツジタイプ
識別手段５、６と、エツジタイプ識別手段５、６によつ
て検出されたエツジのタイプと、差分手段８、９によつ
て得られた差分画像Ｓ１から、各間引き出力Ｓ１１、Ｓ
１２、Ｓ１３について各座標における動き方向を検出す
る動き方向特定手段７とを設け、各間引き出力Ｓ１１、
Ｓ１２、Ｓ１３に対応して異る大きさの動きを検出する
ようにした。
イルタ２１、２３、２５が複数個を直列接続されてな
り、順次入力される画像データＶＤ（Ｓ１０）につい
て、各ローパスフイルタ２１、２３、２５から間引き出
力Ｓ１１、Ｓ１２、Ｓ１３を送出する間引き手段２１、
２２、２３、２４、２５、２６と、各間引き出力Ｓ１
１、Ｓ１２、Ｓ１３について、第１のフイルタ係数によ
つて水平方向のエツジを検出する第１のフイルタ手段３
と、各間引き出力Ｓ１１、Ｓ１２、Ｓ１３について、第
２のフイルタ係数によつて垂直方向のエツジを検出する
第２のフイルタ手段４と、各間引き出力Ｓ１１、Ｓ１
２、Ｓ１３のフレーム間の差分画像Ｓ１を得る差分手段
８、９と、第１及び第２のフイルタ手段３、４の出力Ｙ
１、Ｙ２から、エツジのタイプを検出するエツジタイプ
識別手段５、６と、エツジタイプ識別手段５、６によつ
て検出されたエツジのタイプと、差分手段８、９によつ
て得られた差分画像Ｓ１から、各間引き出力Ｓ１１、Ｓ
１２、Ｓ１３について各座標における動き方向を検出す
る動き方向特定手段７とを設け、各間引き出力Ｓ１１、
Ｓ１２、Ｓ１３に対応して異る大きさの動きを検出する
ようにした。
【００１４】
【作用】順次入力される画像データＶＤについて、第１
のフイルタ手段３によつて水平方向のエツジを検出する
と共に、第２のフイルタ手段４によつて垂直方向のエツ
ジを検出し、これらのエツジに基づいてエツジタイプ識
別手段５、６によつて検出されたエツジのタイプと、差
分手段８、９によつて得られる画像データＶＤのフレー
ム間の差分画像Ｓ１から、動き方向特定手段７で画像デ
ータＶＤの各座標の動き方向ＭＤを検出するようにした
ことにより、容易に画像データＶＤ中の動く物体の動き
方向を検出できる。
のフイルタ手段３によつて水平方向のエツジを検出する
と共に、第２のフイルタ手段４によつて垂直方向のエツ
ジを検出し、これらのエツジに基づいてエツジタイプ識
別手段５、６によつて検出されたエツジのタイプと、差
分手段８、９によつて得られる画像データＶＤのフレー
ム間の差分画像Ｓ１から、動き方向特定手段７で画像デ
ータＶＤの各座標の動き方向ＭＤを検出するようにした
ことにより、容易に画像データＶＤ中の動く物体の動き
方向を検出できる。
【００１５】
【実施例】以下図面について、本発明の一実施例を詳述
する。
する。
【００１６】（１）動き方向検出の原理 本発明による画像処理装置は、画像中のエツジが存在す
る部分の動きの方向を特定するものであり、まず１次元
信号について、図１に示すように、本発明の原理を説明
する。すなわち１次元信号の場合、エツジは右下がり
（図１（Ａ））か又は右上がり（図１（Ｂ））かのどち
らかであり、動きの方向は右か左である。従つてまず画
像中のエツジを検出してそのタイプを特定し、つぎに差
分画像の符号を調べることによつてエツジの動き方向を
検出する。
る部分の動きの方向を特定するものであり、まず１次元
信号について、図１に示すように、本発明の原理を説明
する。すなわち１次元信号の場合、エツジは右下がり
（図１（Ａ））か又は右上がり（図１（Ｂ））かのどち
らかであり、動きの方向は右か左である。従つてまず画
像中のエツジを検出してそのタイプを特定し、つぎに差
分画像の符号を調べることによつてエツジの動き方向を
検出する。
【００１７】このエツジのタイプとしてタイプ１を右下
がり（図１（Ａ））、タイプ２を右上がり（図１
（Ｂ））の空間（Spatial ）エツジとすると、フイルタ
係数（１，０，−１）でなるフイルタをかけることによ
つていずれのエツジのタイプかを識別することができ
る。実際の計算は、図１（Ａ）に示すようなタイプ１
で、次式
がり（図１（Ａ））、タイプ２を右上がり（図１
（Ｂ））の空間（Spatial ）エツジとすると、フイルタ
係数（１，０，−１）でなるフイルタをかけることによ
つていずれのエツジのタイプかを識別することができ
る。実際の計算は、図１（Ａ）に示すようなタイプ１
で、次式
【数１】 で表されるようなエツジに対して、次式
【数２】 でフイルタ係数でなるフイルタの出力、ｙ＿OUT（Ｘ
１）は、次式
１）は、次式
【数３】 となる。
【００１８】また図１（Ｂ）に示すようなタイプ２で、
次式
次式
【数４】 で表されるようなエツジに対して、フイルタ出力ｙ＿OU
T（Ｘ２）は、（３）式と同様にして、次式
T（Ｘ２）は、（３）式と同様にして、次式
【数５】 となる。
【００１９】まとめると右下がりの空間エツジについて
は、フイルタ出力がｄ／２となりこれを空間エツジタイ
プ１と呼び、右上がりの空間エツジについては、フイル
タ出力が−ｄ／２となりこれを空間エツジタイプ２と呼
ぶ。従つてスレシヨールドを例えば０に設定すれば、こ
れら２つのエツジを識別できる。
は、フイルタ出力がｄ／２となりこれを空間エツジタイ
プ１と呼び、右上がりの空間エツジについては、フイル
タ出力が−ｄ／２となりこれを空間エツジタイプ２と呼
ぶ。従つてスレシヨールドを例えば０に設定すれば、こ
れら２つのエツジを識別できる。
【００２０】時間方向には、フイルタ係数（１，−１）
でなるフイルタを用いる。すなわち、現フレームと前フ
レームの差分画像を使い、差分が正なら時間（Tempora
l）エツジタイプ１と呼び、差分が負なら時間エツジタ
イプ２と呼ぶ。このようにすると、図２に示すように、
２つの空間エツジのタイプについて、右向き及び左向き
の２種類の動きを考えたとき、合計４つの場合における
時間エツジとの対応関係が導かれる。ノイズに対して強
い検出をするために、差分がＤｅｌｔａ（＞０）より大
きい場合と、−Ｄｅｌｔａより小さい場合に分けるよう
にしても良い。このような、動きの方向と時空間エツジ
のタイプとの対応関係をまとめると、次式
でなるフイルタを用いる。すなわち、現フレームと前フ
レームの差分画像を使い、差分が正なら時間（Tempora
l）エツジタイプ１と呼び、差分が負なら時間エツジタ
イプ２と呼ぶ。このようにすると、図２に示すように、
２つの空間エツジのタイプについて、右向き及び左向き
の２種類の動きを考えたとき、合計４つの場合における
時間エツジとの対応関係が導かれる。ノイズに対して強
い検出をするために、差分がＤｅｌｔａ（＞０）より大
きい場合と、−Ｄｅｌｔａより小さい場合に分けるよう
にしても良い。このような、動きの方向と時空間エツジ
のタイプとの対応関係をまとめると、次式
【数６】 のように表すことができ、動きの方向が分類されて特定
することができる。
することができる。
【００２１】２次元画像信号の場合、１次元信号におけ
るエツジのタイプは、図３（Ａ）に示すようにエツジの
傾き角θ0 に相当する。そこでフイルタを２種類用いて
エツジＥＧの傾き角θ0 を検出し、動きの方向はそのエ
ツジＥＧの傾き角θ0 と直角の二つの方向のいずれかで
あることを、差分画像を使つて判定する。すなわち図３
（Ｂ）に示すように、ある角度のエツジＥＧが存在する
ときに、図中ａ又はｂの方向の動きを検出する。
るエツジのタイプは、図３（Ａ）に示すようにエツジの
傾き角θ0 に相当する。そこでフイルタを２種類用いて
エツジＥＧの傾き角θ0 を検出し、動きの方向はそのエ
ツジＥＧの傾き角θ0 と直角の二つの方向のいずれかで
あることを、差分画像を使つて判定する。すなわち図３
（Ｂ）に示すように、ある角度のエツジＥＧが存在する
ときに、図中ａ又はｂの方向の動きを検出する。
【００２２】なお２次元画像信号のエツジの傾き角を算
出する際には、「Steerable Filters for Early Visio
n, Image Analysis and Wavelet Decomposition By Wi
lliamT, Freeman, Edward H. Adelson, ICCV, 1991 」
等で記載されている方法を用いるようになされている。
出する際には、「Steerable Filters for Early Visio
n, Image Analysis and Wavelet Decomposition By Wi
lliamT, Freeman, Edward H. Adelson, ICCV, 1991 」
等で記載されている方法を用いるようになされている。
【００２３】実際上２つの２次元空間フイルタについて
は、両者が直交するようなフイルタ係数の組を選択する
ようになされ、次式
は、両者が直交するようなフイルタ係数の組を選択する
ようになされ、次式
【数７】 及び次式
【数８】 のようないわゆるソーベルのフイルタの組がある。これ
らのフイルタは、係数として１と２しか含まないため、
ハードウエアでの実現が極めて容易である。
らのフイルタは、係数として１と２しか含まないため、
ハードウエアでの実現が極めて容易である。
【００２４】まずエツジの傾き角を算出するためには、
入力画像でなる２次元画像信号について２次元フイルタ
として（７）及び（８）式で示すようなフイルタ係数で
なる第１及び第２のフイルタをかける。次に第１及び第
２のフイルタの出力を、それぞれＹ１（ｉ，ｊ）及びＹ
２（ｉ，ｊ）として、第２のフイルタの出力Ｙ２（ｉ，
ｊ）が０でないとき、第１及び第２のフイルタの出力Ｙ
１（ｉ，ｊ）及びＹ２（ｉ，ｊ）の比Ｒを次式
入力画像でなる２次元画像信号について２次元フイルタ
として（７）及び（８）式で示すようなフイルタ係数で
なる第１及び第２のフイルタをかける。次に第１及び第
２のフイルタの出力を、それぞれＹ１（ｉ，ｊ）及びＹ
２（ｉ，ｊ）として、第２のフイルタの出力Ｙ２（ｉ，
ｊ）が０でないとき、第１及び第２のフイルタの出力Ｙ
１（ｉ，ｊ）及びＹ２（ｉ，ｊ）の比Ｒを次式
【数９】 で求め、エツジの傾き角θを、次式
【数１０】 によつて求める。
【００２５】実際の回路では、エツジの傾き角θは第１
及び第２のフイルタの出力Ｙ１（ｉ，ｊ）及びＹ２
（ｉ，ｊ）に対して、予め算出されたテーブルを参照す
ることにより求めるようになされている。例えば第１及
び第２のフイルタの出力Ｙ１（ｉ，ｊ）及びＹ２（ｉ，
ｊ）が、８ビツトである場合、最大 256× 256（64Ｋ）
の２次元テーブルを必要とするが、動きによる領域分割
のために動きの方向を求める場合は、角度の精度は低く
て良いので例えば４方向や８方向のみに限定してテーブ
ルも小さくするようにしても良い。
及び第２のフイルタの出力Ｙ１（ｉ，ｊ）及びＹ２
（ｉ，ｊ）に対して、予め算出されたテーブルを参照す
ることにより求めるようになされている。例えば第１及
び第２のフイルタの出力Ｙ１（ｉ，ｊ）及びＹ２（ｉ，
ｊ）が、８ビツトである場合、最大 256× 256（64Ｋ）
の２次元テーブルを必要とするが、動きによる領域分割
のために動きの方向を求める場合は、角度の精度は低く
て良いので例えば４方向や８方向のみに限定してテーブ
ルも小さくするようにしても良い。
【００２６】次に現フレームの画像と前フレームの画像
に対して１次元ハイパスフイルタをかける。このときの
フイルタ係数は（１，−１）に選定し、これによりフレ
ーム間差分を求める。エツジが検出されている位置にお
いて、この差分画像の正負を調べることによつて、動き
の方向がエツジの傾き角θを基準に＋90°の方向か又は
−90°の方向かを特定でき、このようにして簡易に画像
の動きの方向を求めることができ、この動き方向を参照
して領域を分割できる。
に対して１次元ハイパスフイルタをかける。このときの
フイルタ係数は（１，−１）に選定し、これによりフレ
ーム間差分を求める。エツジが検出されている位置にお
いて、この差分画像の正負を調べることによつて、動き
の方向がエツジの傾き角θを基準に＋90°の方向か又は
−90°の方向かを特定でき、このようにして簡易に画像
の動きの方向を求めることができ、この動き方向を参照
して領域を分割できる。
【００２７】（２）実施例による画像処理装置 図４において１は全体として、上述した本発明による動
き検出の原理を用いた画像処理装置を示し、例えばテレ
ビジヨンカメラ等の画像入力装置２より入力された画像
信号ＶＤが、（７）及び（８）式で上述したフイルタ係
数でなる第１及び第２のフイルタ３及び４に入力され、
その出力Ｙ１（ｉ，ｊ）及びＹ２（ｉ，ｊ）が、エツジ
タイプ識別回路５に入力される。
き検出の原理を用いた画像処理装置を示し、例えばテレ
ビジヨンカメラ等の画像入力装置２より入力された画像
信号ＶＤが、（７）及び（８）式で上述したフイルタ係
数でなる第１及び第２のフイルタ３及び４に入力され、
その出力Ｙ１（ｉ，ｊ）及びＹ２（ｉ，ｊ）が、エツジ
タイプ識別回路５に入力される。
【００２８】エツジタイプ識別回路５は、第１及び第２
のフイルタ３及び４の出力Ｙ１（ｉ，ｊ）及びＹ２
（ｉ，ｊ）を用いて、（９）式に基づいてエツジの傾き
角θを算出するようになされ、実際には角度テーブル６
を参照してエツジの傾き角θを求め、この傾き角θを動
き方向特定回路７に送出する。
のフイルタ３及び４の出力Ｙ１（ｉ，ｊ）及びＹ２
（ｉ，ｊ）を用いて、（９）式に基づいてエツジの傾き
角θを算出するようになされ、実際には角度テーブル６
を参照してエツジの傾き角θを求め、この傾き角θを動
き方向特定回路７に送出する。
【００２９】また画像入力装置２より入力された画像信
号ＶＤは、差分回路８及びフレームメモリ９に入力さ
れ、差分回路８において現フレームと前フレームの画像
の差分を計算しその符号Ｓ１を、動き方向特定回路７に
出力する。
号ＶＤは、差分回路８及びフレームメモリ９に入力さ
れ、差分回路８において現フレームと前フレームの画像
の差分を計算しその符号Ｓ１を、動き方向特定回路７に
出力する。
【００３０】これにより動き方向特定回路７において
は、エツジの傾き角θと差分画像の符号Ｓ１に基づい
て、エツジの傾き角θを基準に＋90°の方向か又は−90
°の方向かを特定し、これを動き方向データＭＤとし
て、続く動きメモリ１０を通じて、動き方向を用いた領
域分割回路１１に送出し、これによりこの動き方向デー
タを用いて物体追跡のための領域分割が実行される。
は、エツジの傾き角θと差分画像の符号Ｓ１に基づい
て、エツジの傾き角θを基準に＋90°の方向か又は−90
°の方向かを特定し、これを動き方向データＭＤとし
て、続く動きメモリ１０を通じて、動き方向を用いた領
域分割回路１１に送出し、これによりこの動き方向デー
タを用いて物体追跡のための領域分割が実行される。
【００３１】実際上領域分割回路１１においては、動き
メモリ１０中の画面内の動きの方向を表す動き方向を用
いて領域分割を行うようになされ、例えば画面内の位置
（ｉ，ｊ）における動き方向をＤ（ｉ，ｊ）とすると、
指定された位置を中心に探索を行ない、各点でのスコア
を次式
メモリ１０中の画面内の動きの方向を表す動き方向を用
いて領域分割を行うようになされ、例えば画面内の位置
（ｉ，ｊ）における動き方向をＤ（ｉ，ｊ）とすると、
指定された位置を中心に探索を行ない、各点でのスコア
を次式
【数１１】 で算出する。ここで（ｉ，ｊ）は探索中の点の座標を表
し、（ｉ０，ｊ０）は、ユーザによつて指定された位置
の座標を表す。また（１１）式中のＲＦは、探索が画面
全体に及ばないようにするための距離ファクタであり、
距離が指定された位置から離れるとＲＦが大きくなつて
スコアはさがる。
し、（ｉ０，ｊ０）は、ユーザによつて指定された位置
の座標を表す。また（１１）式中のＲＦは、探索が画面
全体に及ばないようにするための距離ファクタであり、
距離が指定された位置から離れるとＲＦが大きくなつて
スコアはさがる。
【００３２】そして、あらかじめ定めたスレシヨールド
ＴＨを使つて、次式
ＴＨを使つて、次式
【数１２】 を満足する領域を抽出し、次に抽出された領域を囲むよ
うに枠を設定する。
うに枠を設定する。
【００３３】このようにして、画像内のユーザが指定し
た位置の近傍における動き方向を使つて、同じ方向に動
いている領域を追跡すべき物体の境界であるとして物体
追跡のための枠を設定する。この追跡枠を毎フレーム更
新することによつて物体を追跡するようになされてい
る。
た位置の近傍における動き方向を使つて、同じ方向に動
いている領域を追跡すべき物体の境界であるとして物体
追跡のための枠を設定する。この追跡枠を毎フレーム更
新することによつて物体を追跡するようになされてい
る。
【００３４】以上の構成によれば、順次入力される画像
ＶＤについて、第１及び第２のフイルタ３及び４によつ
て水平及び垂直方向のエツジを検出し、これらのエツジ
に基づいて求めたエツジの傾き角θと、フレーム間の差
分画像の符号Ｓ１から、画像の各座標の動き方向ＭＤを
検出するようにしたことにより、容易に画像中の動く物
体の動き方向を検出でき、かくするにつき、簡易な動き
方向検出方法で確実に動く物体を背景から分離し得る画
像処理装置を実現できる。
ＶＤについて、第１及び第２のフイルタ３及び４によつ
て水平及び垂直方向のエツジを検出し、これらのエツジ
に基づいて求めたエツジの傾き角θと、フレーム間の差
分画像の符号Ｓ１から、画像の各座標の動き方向ＭＤを
検出するようにしたことにより、容易に画像中の動く物
体の動き方向を検出でき、かくするにつき、簡易な動き
方向検出方法で確実に動く物体を背景から分離し得る画
像処理装置を実現できる。
【００３５】（３）他の実施例 なお上述の実施例においては、互いに直交する３×３の
フイルタ係数でなる第１及び第２のフイルタとしてソー
ベルのフイルタを用いた場合について述べたが、第１及
び第２のフイルタの係数はこれに限らず、互いに直交す
るようなものであれば例えばロバーツのフイルタやプレ
ヴイツトのフイルタ等を用いるようにしても良く、さら
に大きさの異なるフイルタ係数を何種類か持つようなフ
イルタを用いるようにしても上述の実施例と同様の効果
を実現できる。
フイルタ係数でなる第１及び第２のフイルタとしてソー
ベルのフイルタを用いた場合について述べたが、第１及
び第２のフイルタの係数はこれに限らず、互いに直交す
るようなものであれば例えばロバーツのフイルタやプレ
ヴイツトのフイルタ等を用いるようにしても良く、さら
に大きさの異なるフイルタ係数を何種類か持つようなフ
イルタを用いるようにしても上述の実施例と同様の効果
を実現できる。
【００３６】また上述の実施例においては、画像につい
て１つの動き方向を求めるようにした場合について述べ
たが、これに限らず、画像をピラミツドのように成分ご
とに階層的に分割し、各々について動き方向を求めるよ
うにしても良く、このようにすれば大きさの異なるエツ
ジと動きに対応でき、結果的に異なる大きさの動きを検
出できる。
て１つの動き方向を求めるようにした場合について述べ
たが、これに限らず、画像をピラミツドのように成分ご
とに階層的に分割し、各々について動き方向を求めるよ
うにしても良く、このようにすれば大きさの異なるエツ
ジと動きに対応でき、結果的に異なる大きさの動きを検
出できる。
【００３７】因に、例えば図５に示すような動き検出装
置２０においては、入力画像Ｓ１０をローパスフイルタ
及びダウンコンバータ２１及び２２、２３及び２４、２
５及び２６を通しつつ間引いていくことによつて、解像
度のことなる画像を作成し、各々の画像について、図４
について上述したような動き検出回路２７Ａ、２７Ｂ、
２７Ｃで動き方向を算出し、その結果を統合する。この
ようにすれば動き検出回路２７Ａ、２７Ｂ、２７Ｃから
は、それぞれ異なる大きさのエツジが検出され、結果的
には異なる大きさの動きが検出されることになる。
置２０においては、入力画像Ｓ１０をローパスフイルタ
及びダウンコンバータ２１及び２２、２３及び２４、２
５及び２６を通しつつ間引いていくことによつて、解像
度のことなる画像を作成し、各々の画像について、図４
について上述したような動き検出回路２７Ａ、２７Ｂ、
２７Ｃで動き方向を算出し、その結果を統合する。この
ようにすれば動き検出回路２７Ａ、２７Ｂ、２７Ｃから
は、それぞれ異なる大きさのエツジが検出され、結果的
には異なる大きさの動きが検出されることになる。
【００３８】さらに上述の実施例においては、本発明を
テレビジヨンカメラ等の撮像装置に適用した場合につい
て述べたが、本発明はこれに限らず、要は簡易な構成で
画像中の動きを検出するようになされた画像処理装置に
広く適用して好適なものである。
テレビジヨンカメラ等の撮像装置に適用した場合につい
て述べたが、本発明はこれに限らず、要は簡易な構成で
画像中の動きを検出するようになされた画像処理装置に
広く適用して好適なものである。
【００３９】
【発明の効果】上述のように本発明によれば、順次入力
される画像データについて、それぞれ水平方向及び垂直
方向のエツジを検出し、これらのエツジに基づくエツジ
のタイプと画像データのフレーム間の差分から、画像デ
ータの各座標の動き方向を検出するようにしたことによ
り、簡易な動き方向検出方法で確実に動く物体を背景か
ら分離し得る画像処理装置を実現できる。
される画像データについて、それぞれ水平方向及び垂直
方向のエツジを検出し、これらのエツジに基づくエツジ
のタイプと画像データのフレーム間の差分から、画像デ
ータの各座標の動き方向を検出するようにしたことによ
り、簡易な動き方向検出方法で確実に動く物体を背景か
ら分離し得る画像処理装置を実現できる。
【図１】本発明の原理として１次元信号のエツジの説明
に供する略線図である。
に供する略線図である。
【図２】図１と同様に本発明の原理として１次元信号に
おける空間エツジと時間エツジの関係の説明に供する略
線図である。
おける空間エツジと時間エツジの関係の説明に供する略
線図である。
【図３】図１と同様に本発明の原理として２次元画像信
号のエツジの説明に供する略線図である。
号のエツジの説明に供する略線図である。
【図４】本発明の一実施例による画像処理装置を示すブ
ロツク図である。
ロツク図である。
【図５】画像の階層化を用いた動き検出装置を示すブロ
ツク図である。
ツク図である。
１……画像処理装置、２……画像入力装置、３、４……
フイルタ、５……エツジタイプ識別回路、６……角度テ
ーブル、７……動き方向特定回路、８……差分回路、９
……フレームメモリ、１０……動きメモリ、１１……領
域分割回路。
フイルタ、５……エツジタイプ識別回路、６……角度テ
ーブル、７……動き方向特定回路、８……差分回路、９
……フレームメモリ、１０……動きメモリ、１１……領
域分割回路。
Claims (6)
- 【請求項１】順次入力される画像データから、第１のフ
イルタ係数によつて水平方向のエツジを検出する第１の
フイルタ手段と、 上記画像データから、第２のフイルタ係数によつて垂直
方向のエツジを検出する第２のフイルタ手段と、 上記画像データのフレーム間の差分画像を得る差分手段
と、 上記第１及び第２のフイルタ手段の出力に基づいて、上
記エツジのタイプを検出するエツジタイプ識別手段と、 上記エツジタイプ識別手段によつて検出された上記エツ
ジのタイプ及び上記差分手段によつて得られた上記差分
画像から、上記画像データの各座標における動き方向を
検出する動き方向特定手段とを具えることを特徴とする
画像処理装置。 - 【請求項２】上記順次入力される画像データから、目的
物体の位置を指定する検出領域設定手段を有し、 当該検出領域設定手段で設定した検出領域と他の領域
で、上記動き方向特定手段によつて検出した上記各座標
における動き方向が同じで検出領域から近いほどスコア
を高くし、当該スコアがしきい値以上の場合に検出領域
と同一物体であるとして特定するようにしたことを特徴
とする請求項１に記載の画像処理装置。 - 【請求項３】上記第１のフイルタ手段及び上記第２のフ
イルタ手段を、１次微分フイルタリングを行うフイルタ
で構成するようにしたことを特徴とする請求項１に記載
の画像処理装置。 - 【請求項４】上記エツジタイプ識別手段によつて識別さ
れる上記エツジのタイプは、２次元画像におけるエツジ
の傾き角であつて、 上記第１及び第２のフイルタ手段の出力の成す角を、予
め算出した角度テーブルを参照して、量子化されたエツ
ジのタイプを検出するようにしたことを特徴とする請求
項１に記載の画像処理装置。 - 【請求項５】上記エツジタイプ識別手段によつて識別さ
れる上記エツジのタイプは、２次元画像におけるエツジ
の傾き角であつて、上記動き方向特定手段は、上記動き方向が上記エツジの
傾き角を基準に＋90°の方向か又は−90°の方向かを特
定する ことを特徴とする請求項１に記載の画像処理装
置。 - 【請求項６】ローパスフイルタが複数個を直列接続され
てなり、順次入力される画像データについて、上記各ロ
ーパスフイルタから間引き出力を送出する間引き手段
と、 上記各間引き出力について、第１のフイルタ係数によつ
て水平方向のエツジを検出する第１のフイルタ手段と、 上記各間引き出力について、第２のフイルタ係数によつ
て垂直方向のエツジを検出する第２のフイルタ手段と、 上記各間引き出力のフレーム間の差分画像を得る差分手
段と、 上記第１及び第２のフイルタ手段の出力から、エツジの
タイプを検出するエツジタイプ識別手段と、 上記エツジタイプ識別手段によつて検出された上記エツ
ジのタイプと、上記差分手段によつて得られた上記差分
画像から、上記各間引き出力について各座標における動
き方向を検出する動き方向特定手段とを具え、上記各間
引き出力に対応して異る大きさの動きを検出するように
したことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35309092A JP3263794B2 (ja) | 1992-12-10 | 1992-12-10 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35309092A JP3263794B2 (ja) | 1992-12-10 | 1992-12-10 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06176152A JPH06176152A (ja) | 1994-06-24 |
| JP3263794B2 true JP3263794B2 (ja) | 2002-03-11 |
Family
ID=18428497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35309092A Expired - Fee Related JP3263794B2 (ja) | 1992-12-10 | 1992-12-10 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3263794B2 (ja) |
-
1992
- 1992-12-10 JP JP35309092A patent/JP3263794B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06176152A (ja) | 1994-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmed | Comparative study among Sobel, Prewitt and Canny edge detection operators used in image processing | |
| US8508599B2 (en) | Motion vector detection apparatus, motion vector detection method, and image capturing apparatus | |
| CN109313799B (zh) | 图像处理方法及设备 | |
| EP3798975A1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
| US6968094B1 (en) | Method of estimating and correcting camera rotation with vanishing point location | |
| JP3164121B2 (ja) | 動きベクトル検出装置 | |
| JPH1023452A (ja) | 画像抽出装置および方法 | |
| JP2004334819A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
| CN109479082A (zh) | 图象处理方法及装置 | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| CN114926514B (zh) | 一种事件图像与rgb图像的配准方法及装置 | |
| JP2003304561A (ja) | ステレオ画像処理装置 | |
| JPH09116809A (ja) | テレビフィルム走査における画像ステディネスエラーの補正方法及びテレビ画像内の所定の画像対象物のモーションシーケンスの変化方法並びに前記補正方法を実施するための装置 | |
| JPH11150676A (ja) | 画像処理装置及び追尾装置 | |
| CN115861975B (zh) | 障碍物车辆位姿估计方法及设备 | |
| JPH07249128A (ja) | 車両用画像処理装置 | |
| JPH0422280A (ja) | 画像の動き検出装置 | |
| JP3263794B2 (ja) | 画像処理装置 | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| JP3104645B2 (ja) | 道路白線検出方法及び道路白線検出装置 | |
| Jagadeeswari et al. | A comparative study based on video stitching methods | |
| JPH0875454A (ja) | 測距装置 | |
| JPH05120428A (ja) | 運動パラメータ抽出方式 | |
| WO2020199198A1 (zh) | 图像采集控制方法，图像采集控制设备和可移动平台 | |
| JP2019192048A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071228 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081228 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091228 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |