JP4099850B2 - 画像信号処理装置 - Google Patents

画像信号処理装置 Download PDF

Info

Publication number
JP4099850B2
JP4099850B2 JP04345798A JP4345798A JP4099850B2 JP 4099850 B2 JP4099850 B2 JP 4099850B2 JP 04345798 A JP04345798 A JP 04345798A JP 4345798 A JP4345798 A JP 4345798A JP 4099850 B2 JP4099850 B2 JP 4099850B2
Authority
JP
Japan
Prior art keywords
block
activity
blocks
circuit
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04345798A
Other languages
English (en)
Other versions
JPH11242747A (ja
Inventor
哲二郎 近藤
秀雄 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP04345798A priority Critical patent/JP4099850B2/ja
Publication of JPH11242747A publication Critical patent/JPH11242747A/ja
Application granted granted Critical
Publication of JP4099850B2 publication Critical patent/JP4099850B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Description

【0001】
【発明の属する技術分野】
この発明は、画像を分割してなるブロック単位の動きを検出する動き検出装置、並びに動き検出の結果から画面全体の移動またはシーンチェンジを判定する画像信号処理装置に関する。
【0002】
【従来の技術】
従来、画像信号を圧縮するための符号化において、画面全体の移動またはシーンチェンジを検出し、検出結果を符号化の際に参照して符号化の方法を切り替え、それによって、圧縮効率を向上させ、また、符号化による画質の劣化を防止することができる。符号化に限らず、撮影時のパン、チルト操作と手触れとを区別することによって、手触れ補正を行うことも可能となる。このように、パン、チルト等による画面全体の移動、シーンチェンジを検出することは、画像処理にとって有用である。
【0003】
【発明が解決しようとする課題】
しかしながら、従来では、画像信号に基づいて、パン、チルトまたはシーンチェンジを簡単に判定する方法がなかった。例えば動きベクトルを用いる方法は、動きベクトルを検出するためのメモリ、演算回路等のハードウエアの規模が大きくなる問題がある。また、画素単位のフレーム間差を用いる方法では、誤検出が多いという問題がある。
【0004】
従って、この発明の目的は、小規模のハードウエアと、簡単な処理によって、画面全体の動きまたはシーンチェンジを検出することが可能な信号処理装置を提供することにある。
【0006】
請求項の発明は、時間的に画面が連続する入力画像を複数のブロックに分割する手段と、ブロックのそれぞれのアクティビティを検出し、時間的に連続する2フレームに含まれ、空間的に同一位置のアクティビティの画面間の差を、ブロックごとにしきい値とし、差がしきい値よりも大きい場合を動きブロックとブロックごとに判定し、静止/動きを示すフラグをブロックごとに発生する検出手段と、検出手段からのあるフレームにおける複数のフラグのパターンと1フレーム前のフレームにおける複数のフラグのパターンとのマッチングをとることによって、画面全体の動きを判定する判定手段とからなることを特徴とする画像信号処理装置である。
【0007】
ブロックのアクティビティに基づいて、ブロック単位に動きブロックか否かを簡単且つ高精度に検出することができる。そして、ブロック単位の動き検出結果であるフラグを画面間で比較することによって、画面全体の動きを検出する。画面全体における動きを調べることによって、パン、チルト、ズーム拡大、ズーム縮小またはシーンチェンジを検出することができる。
【0008】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態について説明する。図1は、一実施形態の全体の構成を示す。一例として1/30秒周期でフレームが連続する入力画像信号がブロック化回路1に供給される。画面であるフレームの周期は、1/30秒以外のものでも良い。ブロック化回路1において、入力画像信号の1フレームの複数の2次元ブロックに分割される。ブロックのサイズは、適宜選定できる。例えば(8×8)、(16×16)等のサイズとされる。
【0009】
ブロック化回路1の出力がアクティビティ検出回路2に供給される。アクティビティ検出回路2において、各ブロックのアクティビティが検出され、また、検出されたアクティビティのフレーム差が計算され、フレーム差がしきい値と比較される。アクティビティ検出回路2の具体的例については後述する。アクティビティのフレーム差がしきい値より大きい場合には、"1" (論理的1)となり、アクティビティのフレーム差がしきい値より小さい場合には、"0" (論理的0)となるフラグft がアクティビティ検出回路2から出力される。このようにフラグは、各ブロックの動き/静止と対応して1ビット発生する。
【0010】
フラグft がフレームメモリ3およびマッチング回路4に供給され、フレームメモリ3によって、1フレーム期間遅延されたフラグft-1 がマッチング回路4に供給される。マッチング回路4では、予め設定されたサーチ範囲で、複数のフラグft のパターンと複数のフラグft-1 のパターンとのマッチング処理が行われる。1フレーム全体のフラグのパターンを使用しても良いが、この一実施形態では、1フレームを複数ブロックからなるマクロブロックに分割し、マクロブロック単位でマッチング処理がなされる。例えば(8×8=64ブロック)のサイズのマクロブロックを構成する。このマクロブロックに含まれる64個のフラグのパターンに関してフレーム間で一致を検出する。勿論、この場合の一致は、完全に一致のみならず、略一致することも含まれる。
【0011】
マクロブロック単位のマッチング処理によって、マクロブロック単位の動きベクトルv(i,j)を検出する。(i,j)は、1フレーム内のマクロブロックの位置の座標である。また、動きベクトルv(i,j)は、水平方向(x)および垂直方向(y)の成分を含む。マッチング回路4からは、1フレーム内のマクロブロックの総数と等しい数の動きベクトルが得られる。動きベクトルは、一般的には、動きの方向と動きの大きさの両成分を含むが、動きの大きさを無視して、動きの有無と動きの方向からなる動きベクトルを発生しても良い。
【0012】
マッチング回路4からの動きベクトルv(i,j)が判定回路5に供給される。判定回路5では、1フレームで検出された動きベクトルに基づいて、画面全体の動きを判定し、シーンIDを出力する。例えば1フレームのマクロブロック単位で検出された動きベクトルの中で、同一の動きベクトルの個数をそれぞれ計数する。計数された動きベクトルの個数をしきい値と比較する。しきい値以上の動きベクトルで示される方向を画面全体の動きの方向と判定する。つまり、しきい値以上の動きベクトルが水平方向を示すのであれば、パン画像と判定する。これが垂直方向を示すのであれば、チルト画像と判定する。これが中心から放射状に外側に向かう方向を示すのであれば、ズーム拡大と判定し、外側から中心に向かう方向を示すのであれば、ズーム縮小と判定する。動きがない場合には、静止画像と判定する。これらの何れの場合にも該当しない場合には、シーンチェンジと判定する。
【0013】
判定回路5から出力されるシーンIDは、上述したように、パン、チルト、ズーム拡大、ズーム縮小、静止、シーンチェンジを識別するためのコード信号である。なお、判定回路5が行う上述した判定処理は、一例であって、他の判定の方法も可能である。
【0014】
以下に、アクティビティ検出回路2のいくつかの例について説明する。図2は、アクティビティとしてブロックのダイナミックレンジを使用する場合の構成を示す。ブロック化されたデータが最大値検出回路31および最小値検出回路32に供給される。ブロック毎に検出された最大値MAXt および最小値MINt が減算回路33に供給される。(MAXt −MINt =DRt )で表されるダイナミックレンジが計算される。
【0015】
ダイナミックレンジDRt が減算回路34に供給されると共に、フレームメモリ35により1フレーム遅延されて減算回路34に供給される。減算回路34は、時間的に連続する2フレームに含まれ、空間的に同一位置のダイナミックレンジDRt およびDRt-1 の差を演算する。このフレーム差が絶対値回路36によって絶対値に変換され、比較回路37に供給される。比較回路37では、フレーム差の絶対値と適切に選ばれたしきい値Tdとが比較される。フレーム差の絶対値がしきい値Tdより大きい時に、"1" となり、逆の場合に"0" となるフラグft が比較回路37から出力される。
【0016】
図3は、アクティビティとしてブロックの平均値を使用する場合の構成を示す。ブロック化されたデータが平均値検出回路41に供給される。平均値検出回路41は、ブロック内の画素データ(輝度値)を累積する加算回路42と、累積結果をブロック内の画素数で割り算する割り算回路43とから構成される。平均値回路41によりブロックの平均値Avt が計算される。
【0017】
平均値Avt が減算回路44に供給されると共に、フレームメモリ45により1フレーム遅延されて減算回路44に供給される。減算回路44は、時間的に連続する2フレームに含まれ、空間的に同一位置の平均値Avt およびAvt-1 の差を演算する。このフレーム差が絶対値回路46によって絶対値に変換され、比較回路47に供給される。比較回路47では、フレーム差の絶対値と適切に選ばれたしきい値Td´とが比較される。フレーム差の絶対値がしきい値Td´より大きい時に、"1" となり、逆の場合に"0" となるフラグft が比較回路47から出力される。
【0018】
ブロックのアクティビティとしては、ブロックの輝度の分散値または標準偏差を使用しても良い。そして、分散値または標準偏差のフレーム差が求められ、フレームの絶対値がしきい値と比較され、1ビットのフラグが形成される。また、絶対値回路36、46に代えて自乗回路を使用しても良い。
【0019】
図4は、上述したこの発明の一実施形態において、アクティビティ検出回路2からマッチング回路4に対して供給されるフラグの一例である。図4は、ブロック毎のフラグを示し、斜線を付したブロックのフラグが"1" (アクティビティのフレーム間の変化がしきい値より大きいブロック)であるものとしている。図4は、例えばフレーム内の大面積の動き物体が図面に向かって左方向に移動している場合に発生するフラグのパターンである。"1" のフラグの位置は、動き物体のエッジ部分に対応している。
【0020】
(t−1)フレームのフラグのパターン(図4で下側に示す)とtフレームのフラグのパターン(図4で上側に示す)とがマッチング回路4でマッチング処理される。画面全体、またはこの一実施形態のように、マクロブロックに分割されたフラグのパターンのマッチング処理によって、動きが検出される。それによって、画面全体の動き(図4の例では左方向のパン)が検出される。
【0021】
【発明の効果】
従って、この発明に依れば、ブロック毎に、ブロックの画像の特徴を表すアクティビティを検出し、アクティビティの画面間の差をしきい値と比較することによって、ブロックの動きの有無と対応したフラグを生成するので、高精度にブロックの動きの有無を検出することができる。さらに、この検出されたフラグのパターンをマッチング処理することによって、画面全体の動きを検出するので、マッチング処理の対象のデータ数が少なくなり、簡単に動きを検出することが可能となる。
【図面の簡単な説明】
【図1】この発明の一実施形態のブロック図である。
【図2】この発明の一実施形態におけるアクティビティ検出回路の一例のブロック図である。
【図3】この発明の一実施形態におけるアクティビティ検出回路の他の例のブロック図である。
【図4】この発明の説明に用いる、時間的に連続するフレームのフラグのパターンの一例を示す略線図である。
【符号の説明】
2・・・アクティビティ検出回路、4・・・マッチング回路、5・・・判定回路

Claims (4)

  1. 時間的に画面が連続する入力画像を複数のブロックに分割する手段と、上記ブロックのそれぞれのアクティビティを検出し、時間的に連続する2フレームに含まれ、空間的に同一位置の上記アクティビティの画面間の差を、上記ブロックごとにしきい値とし、上記差が上記しきい値よりも大きい場合を動きブロックと上記ブロックごとに判定し、静止/動きを示すフラグを上記ブロックごとに発生する検出手段と、
    上記検出手段からのあるフレームにおける複数の上記フラグのパターンと1フレーム前のフレームにおける複数の上記フラグのパターンとのマッチングをとることによって、画面全体の動きを判定する判定手段と
    からなることを特徴とする画像信号処理装置。
  2. 請求項1において、
    上記アクティビティが上記ブロックのそれぞれのダイナミックレンジであることを特徴とする画像信号処理装置。
  3. 請求項1において、
    上記アクティビティが上記ブロックのそれぞれの輝度平均値であることを特徴とする画像信号処理装置。
  4. 請求項1において、
    上記アクティビティが上記ブロックのそれぞれの輝度の分散または標準偏差であることを特徴とする画像信号処理装置。
JP04345798A 1998-02-25 1998-02-25 画像信号処理装置 Expired - Fee Related JP4099850B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04345798A JP4099850B2 (ja) 1998-02-25 1998-02-25 画像信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04345798A JP4099850B2 (ja) 1998-02-25 1998-02-25 画像信号処理装置

Publications (2)

Publication Number Publication Date
JPH11242747A JPH11242747A (ja) 1999-09-07
JP4099850B2 true JP4099850B2 (ja) 2008-06-11

Family

ID=12664245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04345798A Expired - Fee Related JP4099850B2 (ja) 1998-02-25 1998-02-25 画像信号処理装置

Country Status (1)

Country Link
JP (1) JP4099850B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001268575A (ja) 2000-03-14 2001-09-28 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
JP4696577B2 (ja) * 2005-02-04 2011-06-08 ソニー株式会社 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP5263763B2 (ja) * 2008-08-21 2013-08-14 株式会社ザクティ 電子カメラ
JP5177284B2 (ja) * 2009-03-30 2013-04-03 富士通株式会社 被写体動き検出装置および方法
JP2012075088A (ja) 2010-09-03 2012-04-12 Pentax Ricoh Imaging Co Ltd 画像処理システムおよび画像処理方法

Also Published As

Publication number Publication date
JPH11242747A (ja) 1999-09-07

Similar Documents

Publication Publication Date Title
JP3226020B2 (ja) 動きベクトル検出装置
US8054881B2 (en) Video stabilization in real-time using computationally efficient corner detection and correspondence
US9444977B2 (en) Method and device for adaptive noise measurement of a video signal
CN106170087B (zh) 异常像素检测
JP2861249B2 (ja) 画像変化検出方法および画像変化検出装置
KR20030008150A (ko) 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식
KR20050089886A (ko) 배경 움직임 벡터 검출
JPH05233815A (ja) 動きベクトル検出装置
JP5044886B2 (ja) ブロックノイズ低減装置および画像表示装置
JP4099850B2 (ja) 画像信号処理装置
JP5059855B2 (ja) 大域的動き推定方法
JP6603123B2 (ja) 動物体の検出装置、検出方法及びプログラム
JPH04309078A (ja) ビデオデータの動き検出装置および方法
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
Suter et al. Historical film restoration and video coding
JP2008118340A (ja) 動きベクトル検出装置及びビデオ信号処理装置
JPH0614316A (ja) 動きベクトル検出装置
JP3067422B2 (ja) 動き検出装置
US20050185716A1 (en) Device and method for preprocessing prior to coding of a sequence of images
JP4253909B2 (ja) 画像処理装置および画像処理方法
JP2000270329A (ja) オブジェクト指向符号化における領域分割方法および領域分割装置
JP2006129326A (ja) 動きベクトル検出装置
JPH05145828A (ja) 画像の手振れ判定装置
JP2005124212A (ja) 画像処理システムの損失ブロック特性判断装置及びその方法
JP3200900B2 (ja) 画像の手振れ判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080310

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees