JPH11331643A - 動き劣化補正処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 高いフレームレートで撮影が可能な画像入力
装置を用いて処理することにより、動画像を表示する
際、動きによる劣化を取り除いた明瞭な画像とするため
の画像処理装置を提供する。 【解決手段】 一連の動画像を処理することにより、画
像上に設定した各局所領域毎に動きベクトルを抽出する
動きベクトル抽出部１と、一定時間中における前記各局
所領域毎の動きベクトル群を解析することにより、この
時間内における移動軌跡を前記各局所領域毎に求める移
動軌跡抽出部２と、前記各局所領域の移動軌跡に基づ
き、動き劣化を補正した画像を生成する劣化補正画像生
成部３とから構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば動画像を表
示する装置または方法において、動きによる劣化を取り
除いた明瞭な画像として表示するための動き劣化補正処
理装置、その方法及びそれを記録した記録媒体に関す
る。

【０００２】

【従来の技術】テレビカメラで撮影された動画像を逐時
表示する際には、画像情報を表す電気信号を電子ビーム
の加速電圧または偏向強度に変換して蛍光面上に可視化
するＣＲＴ(Cathode Ray Tube)を用いるのが一般的であ
る。

【０００３】ＣＲＴへの動画表示方法としては、ランダ
ム走査方式、ラスタ走査方式があるが、いずれも毎秒３
０フレームのレートで表示し、一回の走査で走査線を１
本おきにフィールド走査し２回のフィールド走査で１フ
レームの画像を表示するインタレース（飛び越し）走査
方式が標準的に採用されている。

【０００４】また、近年、半導体材料に電圧を印加して
発行させることによるプラズマディスプレイ、液晶ディ
スプレイなどの平面ディスプレイが利用されるようにな
ってきている。

【０００５】画像を入力するＴＶカメラとしては、ＣＣ
Ｄ(Charge Coupled Device）撮像デバイスの上に画像を
結像させ、電子的走査を行って得られた電気信号の形で
画像の入力を行うＣＣＤ固体撮像素子が産業用、民生用
に広く普及している。一方、計算機の能力が上がっても
画像の取り込み速度がネックとなり、画像情報に基づい
た高速な機器の制御を実現することは困難である。

【０００６】これに対して、感度可変素子を利用した新
しいタイプのセンサを提案している（特開平６−１３９
３６１号）。

【０００７】この感度可変素子には、画像処理回路が搭
載されており、簡単な画像処理を行なった結果を１秒間
に１００枚程度の割合で出力することが可能である。

【０００８】しかし、チップに搭載されているのはアナ
ログの処理回路であり、処理可能な演算は比較的簡単な
ものである。例えば、画像ラボ１９９８年３月号に掲載
された“ジェスチャー入力型インタラクティブゲーム”
では３２画素×３２画素の人工網膜チップを利用して対
象物体の動きを求めているが、得られる動き情報は精
度、個数とも複雑な画像処理に利用するには不十分であ
る。

【０００９】また、画像ラボ１９９７年１２月号では、
スマート・ビジョン・センサが紹介されている。このス
マート・ビジョン・センサはデジタル回路を使って画像
を処理しており、領域のラベリングや重心計算などの簡
単な画像処理を高速に行なうことができる。

【００１０】しかし、このセンサはライン毎の並列処理
性能に重点がおかれており、２次元に広がる領域内の動
き情報を高速に精度良く求めることは困難である。

【００１１】さらに、応用物理学会誌第６７巻第１号に
掲載された超並列・超高速視覚情報処理システム（石川
その他著）は、デジタル処理を行なう回路をセンサに搭
載して２次元画像内の領域を１秒間に１０００枚の速度
で追跡することが可能である。

【００１２】しかし、このシステムは近傍演算のみです
べての画像処理を行うように設計されているため、対象
物体の複雑さや速度が増すと十分な精度の演算結果を得
ることが出来ない可能性がある。

【００１３】

【発明が解決しようとする課題】現在普及しているＣＣ
Ｄ方式のＴＶカメラ・ＣＲＴシステムで高速に動く対象
を含むシーンを撮影・表示しようとすると、動きにより
撮像面上の電荷蓄積位置が広がることによる輪郭の劣化
・薄れが画像に重畳してしまうという問題点がある。

【００１４】また、インタレース走査方法では、偶数フ
ィールドと奇数フィールドの間で輪郭位置がずれるた
め、ちらつき・揺らぎが生じる。

【００１５】このような効果は、動物体の視認性の劣
化、目の疲れの原因となるといった課題があった。

【００１６】リフレッシュサイクルを２倍に高めたノン
インタレース走査方式による画像表示装置も存在する
が、価格が高く、かつ高速に動く対象の輪郭の劣化・薄
れの問題は解決できない。

【００１７】一方、各画像に対して動き劣化を補正する
フィルタを施すことにより対処しようという試みもあ
る。

【００１８】例えば、ｆ（x ，y ）を本来の明度関数と
し、蓄積時間Ｔの間にｘ，ｙ方向に各々α（ｔ），β
（ｔ）の関数で与えられる移動をしたとすると、実際に
得られる劣化画像は、

【数１】 となる。

【００１９】この両辺をフーリエ変換した結果は、 Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｈ（ｕ，ｖ） となる。ここでＨ（ｕ，ｖ）は伝達関数で、

【数２】 で与えられる。

【００２０】従って、劣化の無い理想画像はこの伝達関
数Ｈ（ｕ，ｖ）の逆関数を計算し、観測結果をフーリエ
変換した結果Ｇ（ｕ，ｖ）に乗じた後、逆フーリエ変換
することによって求められる。

【００２１】例えば、動きがｘ方向に速度Ｖの直線運動
をする場合は、 α（ｔ）＝Ｖｔ β（ｔ）＝０ となり、伝達関数は、 Ｈ（ｘ，ｙ）＝(sin（πｕＶＴ））／πｕＶ＝Ｔsinc
（πｕＶＴ） となる。

【００２２】しかし、このようなフィルタリングで補正
できるものは、動きが一定でモデル化できる単純な対象
に限定される。対象の動きが既知でないとフィルタの設
計が困難になる。更に、シーンに動物体が複数存在する
場合は、これらを個別に切り出し独立にフィルタリング
せねばならず、計算コストが増加するという問題点があ
る。

【００２３】一方、今後はポストＣＣＤとして前記のよ
うなデジタル処理回路を搭載したセンサの開発が更に進
むと考えられ、１秒間に１０００枚以上の速度でカラー
や濃淡の画像を処理した結果を出力することが実現でき
る。しかし、このようなセンサを用いても単純に間引い
て表示するだけでは、ちらつきは無くなるものの、動き
領域部分の薄れなどの劣化・ＳＮ劣化は補正できない。

【００２４】本発明は以上の点を鑑み、高いフレームレ
ートで撮影が可能な画像入力装置から得られた時系列画
像群を動画像処理することにより、表示する際、動きに
よる劣化を取り除いた明瞭な画像とするための画像処理
方法及びその装置を提供することを目的とする。

【００２５】

【課題を解決するための手段】請求項１の発明は、時系
列において連続した動画像の各画像上に局所領域を設定
し、この設定した各局所領域毎に動きベクトルを抽出す
る動きベクトル抽出手段と、一定時間中における前記各
局所領域毎の動きベクトル群を解析することにより、こ
の一定時間中における移動軌跡を前記各局所領域毎に求
める移動軌跡抽出手段と、前記各局所領域の移動軌跡に
基づき、動き劣化を補正した画像を生成する劣化補正画
像生成手段と、を具備したことを特徴とする動き劣化補
正処理装置である。なお、動き劣化とは、動きボケとも
いえる。

【００２６】動きベクトル抽出手段は、時系列において
連続した動画像の各画像上に局所領域を設定し、この設
定した各局所領域毎に動きベクトルを抽出する。

【００２７】移動軌跡抽出手段は、一定時間中における
前記各局所領域毎の動きベクトル群を解析することによ
り、この一定時間中における移動軌跡を前記各局所領域
毎に求める。

【００２８】劣化補正画像生成手段は、前記各局所領域
の移動軌跡に基づき、動き劣化を補正した画像を生成す
る。

【００２９】本発明を用いることにより、フレームレー
ト３０のＣＲＴ等の標準の画像出力装置を用いても動き
劣化が補正された動画像を逐時表示する装置を簡便に実
施することが可能となる。

【００３０】請求項２の発明は、前記劣化補正画像生成
手段において、前記各画像中の各点の動き劣化を修正し
た後の表示位置を計算する表示位置計算手段と、前記修
正表示位置に表示する明度を計算する表示明度計算手段
と、を具備したことを特徴とする請求項１記載の動き劣
化補正処理装置である。

【００３１】表示位置計算手段は、前記各画像中の各点
の動き劣化を修正した後の表示位置を計算する。

【００３２】表示明度計算手段は、前記修正表示位置に
表示する明度を計算する。

【００３３】請求項３の発明は、前記表示位置計算手段
は、前記動き劣化の点を含む局所領域の移動軌跡を求
め、この移動軌跡に基づいて表示位置を計算することを
特徴とする請求項２記載の動き劣化補正処理装置であ
る。

【００３４】請求項４の発明は、前記表示明度計算手段
は、前記動き劣化の点を含む局所領域の移動軌跡を求
め、この移動軌跡に基づいて表示明度を計算することを
特徴とする請求項２記載の動き劣化補正処理装置であ
る。

【００３５】請求項５の発明は、時系列において連続し
た動画像の各画像上に局所領域を設定し、この設定した
各局所領域毎に動きベクトルを抽出する動きベクトル抽
出ステップと、一定時間中における前記各局所領域毎の
動きベクトル群を解析することにより、この一定時間中
における移動軌跡を前記各局所領域毎に求める移動軌跡
抽出ステップと、前記各局所領域の移動軌跡に基づき、
動き劣化を補正した画像を生成する劣化補正画像生成ス
テップと、を具備したことを特徴とする動き劣化補正処
理方法である。

【００３６】請求項６の発明は、時系列において連続し
た動画像の各画像上に局所領域を設定し、この設定した
各局所領域毎に動きベクトルを抽出する動きベクトル抽
出機能と、一定時間中における前記各局所領域毎の動き
ベクトル群を解析することにより、この一定時間中にお
ける移動軌跡を前記各局所領域毎に求める移動軌跡抽出
機能と、前記各局所領域の移動軌跡に基づき、動き劣化
を補正した画像を生成する劣化補正画像生成機能と、を
記録した記録媒体よりなることを特徴とする動き劣化補
正処理方法を記録した記録媒体である。

【００３７】

【発明の実施の形態】以下、本発明の一実施形態につい
て、図１〜図４を用いて説明する。

【００３８】図１に本実施形態の動き劣化補正処理装置
の構成を示す。

【００３９】動きベクトル抽出部１は、高いフレームレ
ート（例えば、フレームレート９００）で撮影が可能な
画像入力装置から得られる画像信号をディジタル化して
取り込み、この各入力画像中に設定した各局所領域毎
に、連続画像間の動きベクトルを抽出する。

【００４０】移動軌跡抽出部２は、一定時間内における
前記連続画像間の動きベクトルを用いて、この時間内に
おける移動軌跡を前記各局所領域毎に求める。

【００４１】劣化補正画像生成部３は、前記各局所領域
の移動軌跡に基づき、動き劣化を補正した画像を生成す
る。

【００４２】以下、各部の具体的な構成例について述べ
る。

【００４３】（動きベクトル抽出部１）図２に、動きベ
クトル抽出部１の構成例を示す。

【００４４】ディジタル画像入力部４は、高いフレーム
レートで撮影が可能な画像入力装置から得られる画像信
号を逐時ディジタル化して取り込む。例えばフレームレ
ート９００の画像入力装置の場合は、従来の秒３０フレ
ームのＴＶカメラの場合に比べて３０倍のタイムサンプ
ル画像が得られる。

【００４５】局所部分領域分割部５は、これら各入力画
像の一部、または全体を、動き補正を行う単位の複数個
の局所領域に分割する。この部分領域はＮ画素×Ｎ画素
の正方領域と設定することが可能である。Ｎは２以上画
像標本化サイズ以下の自然数である。またＮ＝１として
画素そのものを用いてもよい。各部分領域の配置は、互
いに重複しないように設定してもよい。またこの一部が
重なるように設定することも可能である。

【００４６】類似度計算部６は、この設定された各局所
領域毎に、時系列において連続画像間の類似度を計算す
る。類似度として、本実施形態では、局所領域間の対応
する画素の明度の差の絶対値の和を採ることとする。こ
の類似指標は、連続画像間で類似した明度分布を持つ局
所領域間では小さい値を持つ特性がある。これを各局所
領域の組み合わせ毎に計算する。

【００４７】動きベクトル抽出部７は、前記各局所領域
の組み合わせ毎に得られた類似度のうちで最小値となる
局所領域の重心（領域の中心）の位置の差を計算し、該
局所領域の動きベクトル値として記憶する。

【００４８】（移動軌跡抽出部２）図３に、移動軌跡抽
出部２の構成例を示す。

【００４９】領域動きベクトル読み出し部８は、動きベ
クトル抽出部７で求めた各局所領域の動きベクトルを基
に、この領域の各タイムサンプル画像における動きを求
める。

【００５０】具体的には、次のように継続している。

【００５１】領域Ｒ(x,y) のタイムサンプリングｔにお
ける動きベクトルを(u(t),v(t)) とする。

【００５２】タイムサンプリングｔ＋１では、領域Ｒ(x
+u(t),y+v(t)）の動きベクトル(u(t+1),v(t+1)) を読
む。

【００５３】タイムサンプリングｔ＋２では、領域Ｒ(x
+u(t)+u(t+1),y+v(t)+v(t+1)) の動きベクトル(u(t+2),
v(t+2)) を読む、というように継続している。

【００５４】移動軌跡記録部９は、前記の移動軌跡を記
録し、この時間範囲における最終到達領域Ｒ(x+ Σu
(t),y+ Σv(t)) を求める。

【００５５】（劣化補正画像生成部３）ここで、画像の
劣化を補正する基本的な考え方を説明する。

【００５６】例えば、物体が移動して劣化ている場合に
は、高いフレームレート（例えば、フレームレート９０
０）の画像を用いている場合には、その１のフレームレ
ートの画像を使用すれば、移動による位置ずれが全くな
く、いわゆる劣化は発生していない。ところが、この１
のフレームレートの画像においては、移動している物体
の明度は低く、それをそのまま使用することはできな
い。

【００５７】したがって、画像の劣化を補正するには、
第１に表示位置を補正し、第２に表示明度を補正（明度
を上げる）する必要がある。

【００５８】そのために、劣化補正画像生成部３は上記
２点の基本的考え方に基づいて動作する。

【００５９】図４に、劣化補正画像生成部３の構成例を
示す。

【００６０】表示位置計算部１０は、移動軌跡抽出部９
で得られた各局所領域の移動軌跡に基づき、劣化を取り
除き表示するための表示位置をこの局所領域の各画素毎
に求める。

【００６１】具体的には例えば、各点の初期位置(x(0),
y(0)) と前記最終到達位置(x(0)+Σu(t),y(0)+Σv(t))
との中点(x(0)+1/2 Σu(t),y(0)+1/2 Σv(t)) を表示位
置にとることが可能である。

【００６２】表示明度計算部１１は、前記各点の表示位
置に出力すべき画像明度を計算する。各タイムサンプル
画像は、動きによる投影位置のズレのため明度値が低下
し、ＳＮ比が劣化している。

【００６３】これを補正する方法として例えば、前記各
タイムサンプル画像におけるこの点の軌跡を用いて各対
応点の総和を各々計算し、この最大値が表示可能な最大
輝度になるように正規化した値を用いることが可能であ
る。この場合、ＳＮ比は加算（タイムサンプル）枚数を
ＮとするとＮ^1/2 倍向上する。

【００６４】劣化補正画像出力部１２は、表示位置計算
部１０、表示明度計算部１１で得られた結果を１枚の画
像として作成し、標準出力装置に送信する。

【００６５】この結果、例えば標準出力装置として従来
のフレームレート３０のＣＲＴを用いた場合でも、動き
による劣化・ちらつきのない明瞭な動画像が表示できる
ことになる。

【００６６】変 更 例 なお、本発明は前記実施形態に記載した内容に限定され
るものではない。

【００６７】例えば、動きベクトル抽出部１において、
動きベクトルを求めるための連続画像間の類似度とし
て、本実施形態では、局所領域間の対応する画素の明度
の差の絶対値の和を用いたが、この代りに、明度の差の
２乗和、または相関係数値などの指標を用いてもよい。
また、動きベクトルを求める際、実施形態で述べたブロ
ックマッチング方式の代りに、勾配法など別種の方式に
よるオプティカルフローを採用することも可能である。

【００６８】また、劣化補正画像生成部３における表示
位置計算部１０で、各局所領域の移動軌跡に基づき、劣
化を取り除き表示するための表示位置をこの局所領域の
各画素毎に求める際、各点の初期位置(x(0),y(0)) と前
記最終到達位置(x(0)+Σu(t),y(0)+Σv(t)) との中点(x
(0)+1/2 Σu(t),y(0)+1/2 Σv(t)) を表示位置にとる方
式を用いたが、この代りに、各タイムサンプル間の動き
ベクトルの長さの差を計算し、これが最小になる点の位
置を用いてもよい。これにより各点毎に加速度が最小に
なる位置を表示することが可能になる。

【００６９】また、このように各時相Ｔで固定的な表示
方式を採る代りに、(x(0)+a(Ｔ),Y(0)+b( Ｔ))のように
時相Ｔ毎に表示位置をずらしてもよい。ここで、ａ(
Ｔ) ，ｂ( Ｔ) は時相Ｔの関数である。このように表示
位置を変化させることで、例えば高速に推移する周期的
な現象を、少しずつ位相をずらして見易く表示すること
が可能となる。

【００７０】また、劣化補正画像生成部３における表示
明度計算部１１で、前記各タイムサンプル画像における
各点の軌跡を用いて得られる各対応点の総和を正規化し
た明度を用いたが、この代りに、対応点の明度が最大と
なるタイムサンプル画像における明度値など、任意時点
の画像における、前記表示位置に対応する明度値を用い
ることも可能である。

【００７１】さらに、上記の動きベクトル抽出部１と移
動軌跡抽出部２と劣化補正画像生成部３の機能を実現す
るためのプログラムをＦＤ，ＤＶＤ，ＣＤ−ＲＯＭに記
憶させておき、これをパソコンに記憶させて、上記劣化
補正を実現してもよい。

【００７２】以上のように、本発明はその趣旨を逸脱し
ない範囲で種々変形して実施できる。

【００７３】

【発明の効果】本発明を用いることにより、フレームレ
ート３０のＣＲＴ等の標準の画像出力装置を用いても動
き劣化が補正された動画像を逐時表示する装置及び方法
を簡便に実施することが可能となり、この実用的効果は
多大である。

【図面の簡単な説明】

【図１】本実施形態の劣化補正処理装置の構成である。

【図２】動きベクトル抽出部１の構成例である。

【図３】移動軌跡抽出部２の構成例である。

【図４】劣化補正画像生成部３の構成例である。

【符号の説明】

１ 動きベクトル抽出部 ２ 移動軌跡抽出部 ３ 劣化補正画像生成部 ４ ディジタル画像入力部 ５ 局所部分領域分割部 ６ 類似度計算部 ７ 動きベクトル抽出部 ８ 領域動きベクトル読み出し部 ９ 移動軌跡抽出部 １０ 表示位置計算部 １１ 表示明度計算部 １２ 劣化補正画像出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 宏章 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 谷口 恭弘 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 田中 英治 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内

Claims (6)

【特許請求の範囲】
1. 【請求項１】時系列において連続した動画像の各画像上
   に局所領域を設定し、この設定した各局所領域毎に動き
   ベクトルを抽出する動きベクトル抽出手段と、 一定時間中における前記各局所領域毎の動きベクトル群
   を解析することにより、この一定時間中における移動軌
   跡を前記各局所領域毎に求める移動軌跡抽出手段と、 前記各局所領域の移動軌跡に基づき、動き劣化を補正し
   た画像を生成する劣化補正画像生成手段と、を具備した
   ことを特徴とする動き劣化補正処理装置。
2. 【請求項２】前記劣化補正画像生成手段において、 前記各画像中の各点の動き劣化を修正した後の表示位置
   を計算する表示位置計算手段と、 前記修正表示位置に表示する明度を計算する表示明度計
   算手段と、を具備したことを特徴とする請求項１記載の
   動き劣化補正処理装置。
3. 【請求項３】前記表示位置計算手段は、 前記動き劣化の点を含む局所領域の移動軌跡を求め、こ
   の移動軌跡に基づいて表示位置を計算することを特徴と
   する請求項２記載の動き劣化補正処理装置。
4. 【請求項４】前記表示明度計算手段は、 前記動き劣化の点を含む局所領域の移動軌跡を求め、こ
   の移動軌跡に基づいて表示明度を計算することを特徴と
   する請求項２記載の動き劣化補正処理装置。
5. 【請求項５】時系列において連続した動画像の各画像上
   に局所領域を設定し、この設定した各局所領域毎に動き
   ベクトルを抽出する動きベクトル抽出ステップと、 一定時間中における前記各局所領域毎の動きベクトル群
   を解析することにより、この一定時間中における移動軌
   跡を前記各局所領域毎に求める移動軌跡抽出ステップ
   と、 前記各局所領域の移動軌跡に基づき、動き劣化を補正し
   た画像を生成する劣化補正画像生成ステップと、を具備
   したことを特徴とする動き劣化補正処理方法。
6. 【請求項６】時系列において連続した動画像の各画像上
   に局所領域を設定し、この設定した各局所領域毎に動き
   ベクトルを抽出する動きベクトル抽出機能と、 一定時間中における前記各局所領域毎の動きベクトル群
   を解析することにより、この一定時間中における移動軌
   跡を前記各局所領域毎に求める移動軌跡抽出機能と、 前記各局所領域の移動軌跡に基づき、動き劣化を補正し
   た画像を生成する劣化補正画像生成機能と、を記録した
   記録媒体よりなることを特徴とする動き劣化補正処理方
   法を記録した記録媒体。