JP3083379B2 - ニューラルネットワークを用いた動画像処理装置 - Google Patents

ニューラルネットワークを用いた動画像処理装置

Info

Publication number
JP3083379B2
JP3083379B2 JP03328949A JP32894991A JP3083379B2 JP 3083379 B2 JP3083379 B2 JP 3083379B2 JP 03328949 A JP03328949 A JP 03328949A JP 32894991 A JP32894991 A JP 32894991A JP 3083379 B2 JP3083379 B2 JP 3083379B2
Authority
JP
Japan
Prior art keywords
neural network
block
moving image
image
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03328949A
Other languages
English (en)
Other versions
JPH06162197A (ja
Inventor
敏英 渡辺
祥尚 磯部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP03328949A priority Critical patent/JP3083379B2/ja
Publication of JPH06162197A publication Critical patent/JPH06162197A/ja
Application granted granted Critical
Publication of JP3083379B2 publication Critical patent/JP3083379B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像中の動き情報を
正確に抽出することのできるニューラルネットワークを
用いた動画像処理装置に関する。
【0002】[発明の概要]本発明は、動画像中の移動
物体の速度ベクトルの算出及び移動物体領域の自動抽出
をニューラルネットワークを用いて行う技術に関するも
ので、画像をブロック分割し、ブロック毎の速度ベクト
ルの候補にニューロンを割り当てたニューラルネットで
各ブロックの速度ベクトルを並列に演算するニューラル
ネットワークを用いることにより、速度ベクトルを正確
に求めるとともに、速度ベクトルに基づいて画像中の移
動物体領域を正確に抽出できるようにしたものである。
【0003】
【従来の技術】従来、この種の画像中の動きベクトルや
動物体領域等の動き情報を抽出する方法としては、例え
ば、B.K.P.Horn and B.G.Schunk,“Determing optical
flow”,Artificial Intelligence,Vol.17,pp185-203(19
81) やJ.Hutchinson他“Computing Motion Using Analo
g and Binary Resistive Networks ”,IEEE Computer V
ol.21,No3,pp52-63,(1988)等に示されるように、各画素
毎に速度ベクトルを求めるものが知られている。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来の方法では、動画像中の速度場を求める場合、各画素
毎に速度ベクトルを計算するため計算量が膨大になる。
【0005】また、動画像中の移動物体により生じる移
動物体背影の隠蔽領域、出現領域を考慮していないた
め、速度場の不連続部分での速度見積りに大きな誤差を
生じるとともに、速度ベクトルに基づいた動画像中から
の移動物体の抽出精度が悪くなるという問題点があっ
た。
【0006】一方、上記従来技術で提案される方法をホ
ップフィールドタイプやボルツマンマシンタイプ等のニ
ューラルネットワークを使用して実現することも知られ
ている。
【0007】しかしながら、このニューラルネットワー
クを用いる従来方法では、速度ベクトルを水平方向、垂
直方向の各成分に分けて計算するために、ニューラルネ
ットワーク構成が複雑になるとともに、正確な移動物体
の抽出が困難になる等の欠点があった。
【0008】本発明は、上記事情に鑑みてなされたもの
であり、その目的は、動画像中の速度場を正確に求め、
その速度場により移動物体領域を抽出することのできる
ニューラルネットワークを用いた動画像処理装置を提供
することにある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に本発明は、動画像中の移動物体の速度ベクトルの演算
及び移動物体の抽出をする動画像処理装置において、前
記動画像における現フレーム画像及び次フレーム画像を
それぞれ複数のブロックに分割する手段と、ブロック分
割された各ブロック画像を入力し、ブロックマッチング
によってニューラルネットワークに供給されるバイアス
入力を演算する手段と、ブロック分割された画像のそれ
ぞれの2次元的速度ベクトルを表現する複数個のニュー
ロンブロックを備えるとともに、互いに隣接し合うニュ
ーロンブロックを相互に結合して構成され、前記バイア
ス入力に基づいて並列に速度ベクトルを演算するニュー
ラルネットワークと、求められた速度ベクトルに基づい
てフレーム画像中の移動物体を自動抽出する手段とを具
備することを特徴としている。
【0010】また、前記バイアス入力演算手段は、マッ
チング誤差が所定値以上の画素に対してはマッチングに
寄与しない処理をすることを特徴としている。
【0011】
【作用】上記の構成によれば、現フレーム画像と次フレ
ーム画像をそれぞれ複数のブロックに分割し、各ブロッ
ク画像のブロックマッチング処理を行う。その結果をニ
ューラルネットワークに導き速度ベクトルを並列演算す
る。そして、演算された速度ベクトルに基づいてフレー
ム画像中の移動物体が自動抽出される。
【0012】また、ブロックマッチングの誤差が所定以
上の画素は、マッチングに寄与されないことにより背景
画像が隠蔽される領域を考慮した処理がされるので、速
度ベクトル見積り精度および動画像抽出精度が向上す
る。
【0013】
【実施例】図1は本発明に係るニューラルネットワーク
を用いた動画像処理装置の一実施例構成を示すブロック
図、図2はニューロンブロックの構成例を示すブロック
図、図3はニューラルネットワークの構成例を示すブロ
ック図である。
【0014】初めに本発明の原理を説明する。ニューラ
ルネットワークは、ある最適化問題において、あるエネ
ルギー評価関数を最小化する過程で解を求めることがで
きることが知られている(例えば、高木他監修「画像解
析ハンドブック」、東京大学出版会(1991)、pp
190−196参照)。
【0015】今、画像を図4に示すように、適当なブロ
ックに分割する。ここで、画素単位の座標を(i,
j)、ブロック単位の座標を(x,y)で表わす。
【0016】次に、図5に示すように、ブロック(x,
y)にブロックの速度ベクトルを表わすk個の速度ベク
トル(UCm ,VCm )(m=1,2,…,k)用ニュ
ーロンNEUxym を割り当てる。即ち、ある速度ベクト
ル用ニューロンNEUxyn のみの出力が“1”であり、
他は全て“0”の場合、そのブロックの速度ベクトルは
(UCn ,VCn )であるとする。このように、各ニュ
ーロンNEUxym の出力Oxym は“0”か“1”の2値
をとるものとする。なお、図5は、1ブロックが5×5
=25画素の速度ベクトルを表現できる例を示し、点P
は水平1画素、垂直2画素/フレームの2次元速度ベク
トルに対応している。
【0017】このとき、ブロック(x,y)に対するニ
ューロンブロックを示したのが図2である。この図2
は、ブロック(x,y)に対してニューロン2個、即ち
速度ベクトル2個を表現できるニューロンブロックの例
であり、2個の出力線、1個のノイズ入力線、4組(各
組2本)の隣接ブロックのニューロン出力からの入力
線、2個のバイアス入力線、4組(各組4個)の乗算器
係数(ウエイト)入力線及び2個のニューロンから成っ
ている。
【0018】このニューロンブロックは、図3に示すよ
うなニューラルネットワークを構成し、互いに隣接した
上下左右の4個のニューロンブロックに接続される。な
お、図3では、図面の簡単化のため、図2で示される各
ニューロンブロックの出力線及び隣接ニューロンブロッ
クからの入力線のみを示している。
【0019】このように構成されたニューラルネットワ
ークは、次の(1)式で示すエネルギー評価関数Eを最
小にするように定常状態に収束することが知られてい
る。
【0020】 ΔVmm' 2 =min{(ucm −ucm'2 +(vcm −vcm'2 ,Vt2 } ……(3) ここで、Vtは速度最小値のしきい値、f(・),g
(・)はそれぞれ現フレーム、次フレームの各画素の輝
度信号とする。
【0021】(1)式中、第1項はマッチング誤差の小
さいニューロンが発火しやすくなるように働き、第2
項、第3項は、各々水平方向、垂直方向の速度ベクトル
を平滑化するように働く。ここで、αは、平滑化を行う
程度を示すパラメータである。図2中、係数W
xymx'y'm' 入力線は、(x,y)ブロックのニューロン
NEUx'y'm'の入力とを結ぶ結合重みWxymx'y'm' を入
力するものである。バイアスには、 θxym =(−1)×MExym ……(4) が入力される。また、ノイズ入力線を介して、 Tmp×noise ……(5) がノイズとして入力される。ここで、Tmpはアニーリン
グ温度、noise は平均0、分散1のガウシアンノイズで
あり、Tmpは時間とともに指数関数的に減少させてゆく
ものである。
【0022】図3中のニューロンNEUxym への入力
は、次式で与えられることがわかる。 また出力は、
【数1】 図3に示したニューラルネットワークは、定常状態に達
すると、それぞれのニューロンブロックからの出力O
xym が各ブロックの速度ベクトルを表わしており、その
値を読み取ることにより動画像中の各ブロックの速度場
が求められることになる。
【0023】以上の例で示したニューラルネットワーク
を用いた動画像処理装置を図1を参照して説明する。
【0024】現フレーム画像メモリ1に蓄積された現フ
レームの動画像は、帯域フィルタ2を通してフィルタリ
ングされた後、ブロック分割部3によりブロック分割さ
れる。同様に、次フレーム画像メモリ4に蓄積された次
フレーム画像も、帯域フィルタ5を通してフィルタリン
グされた後、ブロック分割部6によりブロック分割され
る。
【0025】こうして、ブロック分割された現フレーム
および次フレームは、ブロックマッチング部7に供給さ
れ、このブロックマッチング部7により、各ブロック毎
に(2)式に基づいてMExym が計算される。
【0026】 MExym =Σ{|g(i+ucm ,j+vcm )−f(i,j)|}…(2) こうして計算された各MExym は、ニューラルネットワ
ーク8にバイアス入力としてバイアス入力線を介して供
給される。
【0027】一方、速度誤差演算部9では、各ニューロ
ンブロック間の速度差ΔVmm' 2 が(3)式によりブロ
ック毎に計算される。
【0028】 ΔVmm' 2 =min{(ucm −ucm'2 +(vcm −vcm'2 ,Vt2 } ……(3) こうして計算されたΔVmm' 2 は、ニューラルネットワ
ーク8の係数Wxymx'y 'm' からの入力線を介して入力さ
れる。
【0029】また、ノイズ発生部10からは、ニューラ
ルネットワーク8に対して、時間的に指数関数的に減少
するノイズが供給されている。
【0030】この状態において、ニューラルネットワー
ク8は、一定時間後に定常状態になり、各ニューロンブ
ロックからの出力Oxym は一定値に収束するが、それぞ
れの値を各ブロックの速度ベクトルとして速度分布メモ
リ11に蓄える。この速度分布メモリ11に蓄えられた
情報が、動画像の速度分布になる。次に、速度差しきい
値処理部12では、ある一定値以上の速度分布を持った
ブロックのみを表示することにより動画像中から移動物
体のみが自動抽出される。
【0031】このように、本実施例によれば、動画像の
速度分布を正確に求めることができ、また、速度分布か
ら精度の高い移動物体の自動切り出しが可能となる。
【0032】以上の作用効果をさらに具体的に説明する
と、今、図6に示すようなテレビジョン画像から移動物
体の速度分布を求めた後、移動物体領域を自動抽出する
例を説明する。図6(A)は現フレーム画像を示し、図
6(B)は次フレーム画像を示しており、模型の汽車が
左から右に約13画素/フレームで移動しているものと
する。図6の各画像をブロック分割した例を図7に示
す。これら画像を入力とし、本発明のニューラルネット
ワークで処理し、速度ベクトル分布を示したものが図8
である。ほぼ模型の汽車の部分が左から右へ13画素/
フレームの速度ベクトルを示している。更に、この速度
分布をある一定値以上の速度分布のみのブロックを表示
するためのしきい値処理をした結果を図9に示す。以上
の結果より本実施例によれば、動画像中の移動物体の速
度分布を正確に求めることができ、また速度分布より移
動物体領域の自動抽出が可能であることが確認された。
【0033】次に本発明の他の実施例について説明す
る。
【0034】移動物体によっては背景が隠蔽される領域
が存在するが、現フレーム画像と次フレーム画像のブロ
ックマッチングを行って、前記実施例のように(2)式
のMExym を計算すると、隠蔽された部分では、ME
xym に非常に大きな誤差を生じる。このため、マッチン
グ誤差がm+以上の画素はマッチングに寄与しないよう
な処理を行うことにより、更に速度見積り、移動物体抽
出の精度を向上させることができる。これは、図1のブ
ロックマッチング部において、MExym を計算する代わ
りに、 を計算した後、これをニューラルネットワークに入力す
るように構成すれば良い。
【0035】
【発明の効果】以上説明したように本発明によれば、簡
単なニューラルネットワーク構成により動画像中の速度
場を正確に求めることができ、その速度場から移動物体
領域を精度良く自動抽出することが可能となる。
【図面の簡単な説明】
【図1】本発明に係るニューラルネットワークを用いた
動画像処理装置の一実施例構成を示すブロック図であ
る。
【図2】ニューロンブロックの構成例を示すブロック図
である。
【図3】ニューラルネットワークの構成例を示すブロッ
ク図である。
【図4】画像のブロック分割例を示す説明図である。
【図5】ブロックの動きベクトルを表現する動きベクト
ル候補点の例を示す説明図である。
【図6】本発明の効果を確認するためのテレビジョン画
像を示す写真である。
【図7】図6に示すテレビジョン画像をブロック分割し
た場合を示す写真である。
【図8】図6に示すテレビジョン画像の速度分布を示す
説明図である。
【図9】図8に示す速度分布から移動物体領域を自動抽
出した例を示す写真である。
【符号の説明】
1,4 フレーム画像メモリ 2,5 帯域フィルタ 3,6 ブロック分割部 7 ブロックマッチング部 8 ニューラルネットワーク 9 ブロック速度誤差演算部 10 ノイズ発生部 11 速度分布メモリ 12 速度しきい値処理部
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 G06T 7/20 G06F 15/18 560 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像中の移動物体の速度ベクトルの演
    算及び移動物体の抽出をする動画像処理装置において、 前記動画像における現フレーム画像及び次フレーム画像
    をそれぞれ複数のブロックに分割する手段と、 ブロック分割された各ブロック画像を入力し、ブロック
    マッチングによってニューラルネットワークに供給され
    るバイアス入力を演算する手段と、 ブロック分割された画像のそれぞれの2次元的速度ベク
    トルを表現する複数個のニューロンブロックを備えると
    ともに、互いに隣接し合うニューロンブロックを相互に
    結合して構成され、前記バイアス入力に基づいて並列に
    速度ベクトルを演算するニューラルネットワークと、 求められた速度ベクトルに基づいてフレーム画像中の移
    動物体を自動抽出する手段と、 を具備することを特徴とするニューラルネットワークを
    用いた動画像処理装置。
  2. 【請求項2】 前記バイアス入力演算手段は、マッチン
    グ誤差が所定値以上の画素に対してはマッチングに寄与
    しない処理をすることを特徴とする請求項1記載のニュ
    ーラルネットワークを用いた動画像処理装置。
JP03328949A 1991-12-12 1991-12-12 ニューラルネットワークを用いた動画像処理装置 Expired - Fee Related JP3083379B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03328949A JP3083379B2 (ja) 1991-12-12 1991-12-12 ニューラルネットワークを用いた動画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03328949A JP3083379B2 (ja) 1991-12-12 1991-12-12 ニューラルネットワークを用いた動画像処理装置

Publications (2)

Publication Number Publication Date
JPH06162197A JPH06162197A (ja) 1994-06-10
JP3083379B2 true JP3083379B2 (ja) 2000-09-04

Family

ID=18215906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03328949A Expired - Fee Related JP3083379B2 (ja) 1991-12-12 1991-12-12 ニューラルネットワークを用いた動画像処理装置

Country Status (1)

Country Link
JP (1) JP3083379B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6889653B2 (ja) * 2017-11-24 2021-06-18 Kddi株式会社 動画像圧縮装置及び動画像圧縮方法

Also Published As

Publication number Publication date
JPH06162197A (ja) 1994-06-10

Similar Documents

Publication Publication Date Title
CN111241989B (zh) 图像识别方法及装置、电子设备
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN109902565B (zh) 多特征融合的人体行为识别方法
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN113822134B (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN113065506B (zh) 一种人体姿态识别方法及系统
CN113705307A (zh) 图像处理方法、装置、设备及存储介质
CN113569809A (zh) 一种图像处理方法、设备及计算机可读存储介质
CN111680573B (zh) 人脸识别方法、装置、电子设备和存储介质
CN115909452A (zh) 人脸影像增益方法与系统
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法
CN119445639A (zh) 一种基于图神经网络的多域特征级融合表情识别方法
Zamri et al. Vision-based human action recognition on pre-trained AlexNet
CN112052771A (zh) 一种对象重识别方法及装置
CN111523406B (zh) 一种基于生成对抗网络改进结构的偏转人脸转正方法
KR20220098310A (ko) 관련 대상 검출 방법 및 장치
Garcia-D’Urso et al. Accurate estimation of parametric models of the human body from 3D point clouds
JP3083379B2 (ja) ニューラルネットワークを用いた動画像処理装置
CN118379586B (zh) 关键点预测模型的训练方法、装置、设备、介质及产品
CN111709945B (zh) 一种基于深度局部特征的视频拷贝检测方法
Padmakala et al. Hyperparameter tuning of deep convolutional neural network for hand gesture recognition
CN108701206B (zh) 用于面部对准的系统和方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees