JP5979145B2 - 動画領域検出装置 - Google Patents

動画領域検出装置 Download PDF

Info

Publication number
JP5979145B2
JP5979145B2 JP2013523773A JP2013523773A JP5979145B2 JP 5979145 B2 JP5979145 B2 JP 5979145B2 JP 2013523773 A JP2013523773 A JP 2013523773A JP 2013523773 A JP2013523773 A JP 2013523773A JP 5979145 B2 JP5979145 B2 JP 5979145B2
Authority
JP
Japan
Prior art keywords
block
moving image
frame
natural image
natural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013523773A
Other languages
English (en)
Other versions
JPWO2013008374A1 (ja
Inventor
巡 高田
巡 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013523773A priority Critical patent/JP5979145B2/ja
Publication of JPWO2013008374A1 publication Critical patent/JPWO2013008374A1/ja
Application granted granted Critical
Publication of JP5979145B2 publication Critical patent/JP5979145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G09G5/346—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling for systems having a bit-mapped display memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Description

本発明は映像信号の領域分離技術に関し、特に、入力映像から自然画の動画領域を検出する装置と方法に関する。
映像信号から動画領域を検出する技術が種々考案されている。
例えば特許文献１では、まず、入力映像の現フレームと前フレームとを画素毎に比較してフレーム間画素情報を生成する。次に、このフレーム間画素情報に基づいて現フレーム画像の前フレーム画像に対する移動方向及び移動量を求めて１つ又は複数の動きベクトルを検出する。そして、この動きベクトルおよび上記フレーム間画素情報に基づいて現フレーム中の１つ又は複数の動画像領域を検出している。
他方、映像信号から自然画の領域を検出する技術が種々考案されている。
例えば特許文献２では、まず、入力映像の各フレーム単位で、画像データの所定単位の全部または一部の画素の輝度レベルを検出する。次に、この検出結果に基づいて上記輝度レベルを検出された各画素間の輝度レベル変動量の累積値を算出する。そして、この算出した累積値、または累積値を画素数で割って求めた画素間の輝度レベル変動量の平均値、または各画素間の輝度レベル変動量が所定範囲にあるエッジの個数に基づいて、入力映像が自然画であるか否かを判別している。
また特許文献３では、映像の現フレームと前フレームとを比較して１または複数の更新領域を検出し、各更新領域について、カラーエントロピーに基づいて自然画像か否かを判断している。
特開２００４−３４１３５６号公報 特開２００２−２４７６１１号公報 特開２００５−２８７０３５号公報
特許文献１では、各領域で動きを伴うオブジェクトがあるかどうかに注目しているが、オブジェクトが自然画であるかどうかの判別は行っていない。このため、非自然画である文字や図形が移動している領域と自然画が移動している領域との区別が付かない。従って、入力映像から自然画かつ動画の領域を正しく検出することはできない。
他方、特許文献２では、入力映像が自然画か否かを検出しているが、入力映像のフレーム間の関係を考慮していないため、自然画の静止画像か、自然画の動画像かの区別が付かない。従って、入力映像から自然画かつ動画の領域を正しく検出することはできない。また特許文献３では、入力映像のフレーム毎に更新領域を検出しているが、自然画の静止画が最初に表示されたときと、自然画の動画が最初に表示されたときとの区別が付かないため、入力映像から自然画かつ動画の領域を正しく検出することはできない。
本発明の目的は、上述したような課題、すなわち入力映像から自然画かつ動画の領域を正しく検出するのは困難である、という課題を解決する動画領域検出装置を提供することにある。
本発明の一形態にかかる動画領域検出装置は、
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
を有する、といった構成を採る。
本発明は上述したような構成を有するため、入力映像から自然画かつ動画の領域を正しく検出することが可能である。
本発明の第２の実施形態のブロック図である。 本発明の第２の実施形態における更新ブロック検出手段の動作の具体例を示す図である。 本発明の第２の実施形態における自然画更新ブロック判定手段の動作の具体例を示す図である。 本発明の第２の実施形態における動画ブロック判定手段の動作の第１の具体例を示す図である。 本発明の第２の実施形態における動画ブロック判定手段の動作の第２の具体例を示す図である。 本発明の第２の実施形態における動画領域シード生成手段の動作の具体例を示す図である。 本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。 本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。 本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。 本発明の第２の実施形態の動作を示すフローチャートである。 本発明の第２の実施形態における動画ブロック判定手段の動作の第１の具体例に対応する数式を示す図である。 本発明の第２の実施形態における動画ブロック判定手段の動作の第２の具体例に対応する数式を示す図である。 本発明の第２の実施形態における動画領域境界決定手段の動作の具体例に対応する数式を示す図である。 本発明の第１の実施形態のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１４を参照すると、本発明の第１の実施形態にかかる動画領域検出装置１は、入力映像を入力し、入力映像中から自然画かつ動画の領域を検出し、検出結果を出力する機能を有する。この動画領域検出装置１は、更新ブロック検出手段２と、自然画更新ブロック判定手段３と、動画ブロック抽出手段４とを有する。
更新ブロック検出手段２は、入力映像のフレームをブロック状の一定の大きさのブロックに分割する。また更新ブロック検出手段２は、入力映像のフレーム毎に、そのフレームを現フレーム、１つ前のフレームを前フレームとする。そして、更新ブロック検出手段２は、入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含む現フレームのブロックを更新ブロックとして検出する機能を有する。ブロックのサイズと個数は、全てのフレームで同一であれば任意でよい。
自然画更新ブロック判定手段３は、更新ブロック検出手段２において更新ブロックとして検出された各ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出する。そして、自然画更新ブロック判定手段３は、この算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する機能を有する。ブロック内での画素値の変化の連続性は、同じフレーム内での隣接する画素間の画素値の変化の連続性と、前後するフレームの同一画素間の画素値の変化の連続性との二種類存在する。自然画更新ブロック判定手段３は、前者の空間的な連続性の程度を表す指標値を算出してもよいし、後者の時間的な連続性の程度を表す指標値を算出してもよいし、前者と後者の２通りの指標値を算出してもよい。
動画ブロック抽出手段４は、入力映像のフレーム毎に、直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する機能を有する。直近の複数フレームの数は２以上であれば任意でよい。また、一定回数は１また２以上であれば任意でよい。好ましくは、現フレームを少なくとも含む２以上のフレームにおいて自然画の更新ブロックと判定されていることが望ましい。
次に本実施形態にかかる動画領域検出装置１の動作を説明する。
入力映像が入力されると、更新ブロック検出手段２は、入力映像の現フレームと前回入力されたフレーム（前フレーム）との間で画素値を比較し、値が変化した画素を少なくとも１画素でも含むブロックを更新ブロックとして検出する。
次に自然画更新ブロック判定手段３は、更新ブロック検出手段２において更新ブロックとして検出された各ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、この算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する。一般に、自然画の場合、非自然画に比べて、空間的にも時間的にも画素値の変化の連続性は高くなる傾向が有る。自然画更新ブロック判定手段３は、この特性を利用して更新ブロックが自然画の更新ブロックか否かを判定する。
次に動画ブロック抽出手段４は、入力映像のフレーム毎に、直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する。一般に、動画の場合、静止画と異なり、各フレーム毎に内容が変化する傾向が強い。動画ブロック抽出手段４は、この特性を利用して動画ブロックか否かを判定する。
このように本実施形態によれば、入力映像から自然画かつ動画の領域を正しく検出することが可能である。その理由は、更新ブロックのうち、自然画でないブロックは自然画更新ブロック判定手段３の段階で取り除かれ、動画でないブロックは動画ブロック抽出手段４の段階で取り除かれ、結果として、自然画かつ動画のブロックだけが検出されるためである。
[第２の実施形態]
図１を参照すると、本発明の第２の実施の形態は、信号入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、動画領域情報出力装置１４とから構成されている。
信号入力装置１１は、２次元信号としての画像をフレーム単位で入力するための装置であり、例えばグラフィック描画ボードや通信装置などで構成される。
データ記憶装置１２は、前フレームメモリ１２１と、現フレームメモリ１２２と、自然画更新ブロックメモリ１２３と、動画ブロックメモリ１２４と、動画領域座標メモリ１２５とを含む。
前フレームメモリ１２１は、信号入力装置１１から前回入力されたフレームの画像を保持している。
現フレームメモリ１２２は、信号入力装置１１から今回入力されたフレームの画像を保持する。
自然画更新ブロックメモリ１２３は、連続するフレーム間で画素値の更新があり、かつ、自然画らしさの高いブロックの位置を、直近のＮフレーム（Ｎ：自然数）について記憶する。
動画ブロックメモリ１２４は、自然画更新ブロックメモリ１２３に格納された直近Ｎフレームの状態から導出された、自然画の動画ブロックの位置を記憶する。
動画領域座標メモリ１２５は、動画ブロックメモリ１２４に格納された動画ブロック、および、前フレームメモリ１２１と現フレームメモリ１２２に格納された各フレームの画素値に基づいて導出された、自然画の動画領域の座標を記憶する。
データ処理装置１３は、更新ブロック検出手段１３１と、自然画更新ブロック判定手段１３２と、動画ブロック抽出手段１３３と、動画領域シード生成手段１３４と、動画領域境界決定手段１３５とを含む。
更新ブロック検出手段１３１は、前フレームメモリ１２１に格納された前フレームの画像と、現フレームメモリ１２２に格納された現フレームの画像とを読み出して比較し、画面内の各部分領域（ブロック）について、画素値に変化があったかどうかを判定する。画素値に変化があったブロックは更新ブロックとして、その座標情報を自然画更新ブロック判定手段１３２に通知する。
自然画更新ブロック判定手段１３２は、更新ブロック検出手段１３１から更新ブロックの座標情報が通知されると、前フレームメモリ１２１および現フレームメモリ１２２から各更新ブロックの画素値を読み出し、画素値の空間方向および時間方向の連続性を求める。連続性が一定以上であるブロックを自然画更新ブロックとして、その座標情報を自然画更新ブロックメモリ１２３へ出力する。
動画ブロック抽出手段１３３は、自然画更新ブロックメモリ１２３から直近Ｎフレームの自然画更新ブロックの状態を読み出して、頻繁に自然画更新ブロックとして検出されているブロックを自然画の動画ブロックと判定し、その座標情報を動画ブロックメモリ１２４へ出力する。
動画領域シード生成手段１３４は、動画ブロックメモリ１２４から自然画の動画ブロックの情報を読み出して、空間的に近接する自然画の動画ブロック同士を連結・統合する。統合によって得られた領域を自然画の動画領域シードとして、その座標情報を動画領域座標メモリ１２５へ出力する。
動画領域境界決定手段１３５は、動画領域座標メモリ１２５から自然画の動画領域シードの座標を、自然画更新ブロックメモリ１２３から直近Ｎフレームの状態を、前フレームメモリ１２１および現フレームメモリ１２２から自然画の動画領域シードの周辺の画素値を、それぞれ読み出す。そして、動画領域境界決定手段１３５は、これらの読み出したデータに基づいて、自然画の動画領域の境界の座標を画素単位で決定する。また、得られた自然画の動画領域座標を動画境界座標メモリ１２５に格納するとともに、動画領域情報出力装置１４へ出力する。
動画領域情報出力装置１４は、生成された自然画の動画領域の座標を記憶する記憶装置や、生成された自然画の動画領域の情報を参照して領域を符号化する映像符号化装置などで構成される。映像符号化に関しては、自然画の動画領域はMPEG、文字領域にはPNG、自然画の静止画領域にはJPEGを用いることで、文字のエッジを鮮明に保ちつつ、静止画や動画を良好な圧縮率で符号化することが期待される。
図２に、更新ブロック検出手段１３１の動作の具体例を示す。
図中のZ121は、前フレームメモリ１２１に格納された前フレームの画面であり、Z122は現フレームメモリ１２２に格納された現フレームの画面である。網掛けあるいはドットが付されている部分は自然画である。また、画面上部にテロップがスクロールしている様子が示されている。
更新ブロック検出手段１３１は、フレームを一定の大きさのブロック（たとえば32画素×32画素）に分割し、そのブロックごとに、画素値に変化が生じているかどうかを判定し、なんらかの差分が存在するブロックを更新ブロック、まったく差分が発生していないブロックを非更新ブロックとする。こうして処理された結果、現フレームは、更新ブロックZ1311と非更新ブロックZ1312とに分離される。
図３および図１１の数式１（数式１−１〜１−４）に、自然画更新ブロック判定手段１３２の動作の第１の具体例を示す。
Z1221は、現フレームメモリのブロックの一つを示している。
自然画更新ブロック判定手段１３２は、更新ブロック内の各座標(x,y)の画素について、水平方向に隣接する画素との差分の絶対値DL(x,y)および垂直方向に隣接する画素との差分の絶対値DU(x,y)を求め、そのうち小さくない方の値を選択する。次に、選択された値が非ゼロであるものについてブロック内で平均値を求め、結果を指標値Evalとする。最後に、この指標値が一定値未満であるブロックを、自然画の更新ブロックと判定する。
図４および図１２の数式２（数式２−１〜２−６）に、自然画更新ブロック判定手段１３２の動作の第２の具体例を示す。
Z1211は、前フレームメモリのブロックの一つ、Z1221は、現フレームメモリのZ1211に対応するブロックを、それぞれ示している。
自然画更新ブロック判定手段１３２は、まず、更新ブロック内の各座標(x,y)の画素について、水平方向に隣接する画素との差分の絶対値DL(x,y)、および、前フレームの同一座標の画素との差分の絶対値DP(x,y)を求める。次に、DL(x,y)およびDP(x,y)について、直前の座標(x-1,y)で求めたDL(x-1,y)およびDP(x-1,y)との間で変移EL(x,y),EP(x,y)の絶対値を求め、EL,EPのうち大きくない方の値を選択する。最後に、選択された値が非ゼロであるものについてブロック内で平均値を求め、指標値Evalとする。そして、この指標値が一定値未満であるブロックを、自然画の更新ブロックと判定する。
図５に、動画ブロック判定手段１３３の動作の具体例を示す。
Z1230,Z1231,Z1232,Z1233は、自然画更新ブロックメモリ１２３に格納された直近Nフレーム(図５の例ではN=4)の自然画更新ブロックの様子を示している。このうちZ1233が現フレームにおける自然画更新ブロックである。
まず、動画ブロック判定手段１３３は、各ブロックにおける、直近４フレームの自然画更新ブロック判定回数をカウントし、各ブロック毎のカウント数のリストZ1240を得る。次に、カウント数がm以上（ここではm=2）となるブロックを自然画の更新ブロックの候補とする（Z1241）。次に、自然画の更新ブロックの候補のうち、現フレームで自然画更新領域と判定されているブロックを、自然画の更新ブロックに決定する（Z1242）。こうして得られたブロックが自然画の動画ブロックとして動画ブロックメモリ１２４に出力される。
図６に、動画領域シード生成手段１３４の動作の具体例を示す。
動画領域シード生成手段１３４は、動画ブロックメモリ１２４をスキャンして、動画ブロックの存在する行のまとまりを検出する。Z1243は、上から１行目と２行目、および、４，５，６行目に動画ブロックが存在する様子を示している。この場合、第１〜２行と第４〜６行が、行のまとまりとして検出される。さらに、動画領域シード生成手段１３４は、分割された行のまとまりをスキャンして、動画ブロックの存在する列のまとまりを検出する。これにより、第１〜２行については左から第１〜２列目、第４〜６行については左から第３〜６列目が動画ブロックの存在する列のまとまりとして検出される。動画領域シード生成手段１３４は、こうして検出されたまとまり（Z1250およびZ1251）を自然画の動画領域シードとして、その座標を動画領域座標メモリ１２５へ出力する。
図７および図８、図９、図１３の数式３に、動画領域境界決定手段１３５の動作の具体例を示す。
動画領域境界決定手段１３５は、自然画の動画領域シードのそれぞれについて、正確な領域の境界を確定し、動画領域情報出力装置１４へ出力する。
動画領域境界決定手段１３５は、まず四辺それぞれについて、ブロック単位での拡大を試行する。ここでは上辺について、１ブロック分上へ境界を拡大する例をあげて説明する。
図７のZ1252は、3×4ブロックの動画領域シードの上辺が拡大される様子を示している。この場合、動画領域境界決定手段１３５は、自然画更新ブロックメモリ１２３および動画領域座標メモリ１２５を参照して、動画領域シードの１行上のブロックのそれぞれについて、直近Ｎフレーム内で自然画更新ブロックとして検出された回数を算出する。図７は、シードの１行上のブロック４つについて、自然画ブロックとして検出された回数が２，３，２，１である様子を示している。
さらに、この数を幅ブロック数で除して注目行での平均的な自然画更新ブロック数を求める。これがm以上（０＜ｍ≦Ｎ）であった場合、上辺を１ブロック分拡大する。以上の処理を、上辺方向への拡大ができなくなるまで継続する。図では、注目行での平均的な自然画更新ブロック数は(2+3+2+1)/4=2となるため、たとえばm=2の場合、2≧mとなることから、上辺が１ブロック分拡大され、引き続き上辺の拡大が試行される。
さらに、動画領域境界決定手段１３５は、以上と同様の処理を下辺、左辺、右辺についても行ってブロック単位での境界を算出し、得られた境界座標を動画領域座標メモリ１２５に出力する。
次に動画領域境界決定手段１３５は、画素単位での境界の探索を行う。図８および図９、数式３は、画素単位での探索の例を示している。
動画領域境界決定手段１３５は、前フレームメモリ１２１、現フレームメモリ１２２、動画領域座標メモリ１２５を参照しながら、境界四辺の内外１ブロック分（計２ブロック分）について、画素単位での境界を探索する。各辺を1画素ずつ動かしながら評価指標Evalを求め、サーチ範囲のうち指標値が最大となるラインを動画領域の境界として確定する。動画領域境界決定手段１３５は、各辺の境界が確定するごとに、動画領域座標メモリ１２５を書き換える。
図８は、境界四辺の内外１ブロック分（計２ブロック分）について、画素単位での境界が探索される様子を示している。Z12531では上辺の境界探索が行われ、Z12532では下辺、Z12533では左辺、Z12534では右辺について境界探索が行われている。それぞれ、すでに確定している辺の境界を保ちつつ、内外１ブロック分について評価指標が算出され、指標値が最大となるラインを探索される。
図９および図１３の数式３（数式３−１〜３−５）は、下辺の境界探索における指標値の導出過程を示している。y行目における指標値Eval(y)は、動画領域のy行目の各座標におけるDP,DN,DNL,DPNの値から算出される。
DPは、現フレームにおける注目座標の画素値と、前フレームにおける同一座標の画素値との差分である。
DNは、現フレームにおける注目座標の画素値と、その１ライン外側の画素値との差分である。
DNLは、現フレームにおける、注目座標から１ライン外側での、サーチ方向と直交する方向（この場合水平方向）での画素値の差分である。
DPNは、注目座標から１ライン外側の座標での、現フレームの画素値と前フレームの画素値との差分である。
以上のDP,DN,DNL,DPNを図１３の数式３−５に基づいて１行分累積して、y行目における指標値Eval(y)が算出される。
最後に、内外２ブロック分の中で、Eval(y)が最大になるラインが境界として選択される。その理由は、図９において、領域内側(y行目)が自然画、領域外側が非自然画(例えば、空白行や黒帯など）の場合、DNLとDPNとが0になる確率が高くなるのに対してDNとDPとは或る程度大きな値になる確率が高くなるので、Eval(y)はDN＋DPの値になる。これに対して、領域内側(y行目)と領域外側とが共に自然画か、または共に非自然画の場合、DP,DN,DNL,DPNの全てが或る程度大きな値になる確率が高くなるので、Eval(y)は0に近い値になる確率が高くなるためである。
以上の処理が上下左右の各辺に対して行われ、画素単位での境界が決定される。
次に、図10のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
更新ブロック検出手段１３１は、前フレームメモリ１２１に格納された前フレームの画像と、現フレームメモリ１２２に格納された現フレームの画像とを読み出して比較し、画面内の各部分領域（ブロック）について、画素値に変化があったかどうかを判定する。画素値に変化があったブロックは更新ブロックとして、その座標情報を自然画更新ブロック判定手段１３２に通知する（ステップＳ１０１）。
次に、自然画更新ブロック判定手段１３２は、更新ブロック検出手段１３１から更新ブロックの座標情報が通知されると、前フレームメモリ１２１および現フレームメモリ１２２から各更新ブロックの画素値を読み出し、画素値の空間連続性および時間連続性を求める。連続性が一定以上であるブロックを自然画更新ブロックとして、その座標情報を自然画更新ブロックメモリ１２３へ出力する（ステップＳ１０２）。
次に、動画ブロック抽出手段１３３は、自然画更新ブロックメモリ１２３の内容を読み出し、現フレームにおいて自然画更新ブロックが検出されたかを判定する（ステップＳ１０３）。検出されていなければ（ステップＳ１０３のＮ）処理を終了する。検出されていれば（ステップＳ１０３のＹ）、自然画更新ブロックメモリ１２３から直近Ｎフレームの自然画更新ブロックの状態を読み出して、頻繁に自然画更新ブロックとして検出されているブロックを自然画の動画ブロックと判定し、その座標情報を動画ブロックメモリ１２４へ出力する（ステップＳ１０４）
次に、動画領域シード生成手段１３４は、動画ブロックメモリ１２４の内容を読み出し、現フレームにおいて自然画の動画ブロックが検出されたかを判定する（ステップＳ１０５）検出されていなければ（ステップＳ１０５のＮ）処理を終了する。検出されていれば（ステップＳ１０５のＹ）、動画ブロックメモリ１２４から自然画の動画ブロックの情報を読み出して、空間的に近接する自然画の動画ブロック同士を連結・統合する。統合によって得られた領域を自然画の動画領域シードとして、その座標情報を動画領域座標メモリ１２５へ出力する（ステップＳ１０６）。
次に、動画領域境界決定手段１３５は、動画領域シード生成手段１３４が生成した自然画の動画領域シードの座標情報を動画領域座標メモリ１２５からひとつずつ順次抽出し、注目動画領域シードとして設定する（ステップＳ１０７）。
次に、動画領域境界決定手段１３５は、動画領域座標メモリ１２５から注目動画領域シードの座標を、自然画更新ブロックメモリ１２３から直近Ｎフレームの状態を、前フレームメモリ１２１および現フレームメモリ１２２から動画領域シードの周辺の画素値を読み出し、自然画の動画領域の境界の座標を画素単位で決定する。また、得られた自然画の動画領域の座標を動画境界座標メモリ１２５に格納するとともに、動画領域情報出力装置１４へ出力する。
次に、動画領域境界決定手段１３５は、他の未処理の自然画の動画領域シードがあるかどうかを判定し（ステップＳ１０９）、もしあれば（ステップＳ１０９のＹ）、ステップＳ１０７に戻って処理を継続する。なければ（ステップＳ１０９のＮ）処理を終了する。
なお、上記説明では、動画領域シード生成手段１３４の連結手法として、空行・空列を区切りとして列・行方向に領域を統合する方法を示したが、他の方法であってもよい。たとえば、空間的に隣接する自然画の動画ブロック同士を連結し、連結領域に対してラベリングを行った上で、各ラベル値を持つ領域に対して外接矩形を求めて自然画の動画領域シードとする方法であってもよい。連結およびラベリングの手法としては、全ブロックのラベルが確定するまで４近傍の隣接ブロックを逐次連結し続ける方法があるが、これに加えて、1/8,1/4,1/2といった解像度から再帰的に処理単位を細かくしてブロックを連結する方法を採ってもよい。
またこのとき、動画領域シード生成手段１３４は、過度に小さい自然画の動画領域シードが多数発生しないようなフィルタ処理を加えてもよい。たとえば一定面積以下の自然画の動画領域シードは採択せず動画領域座標メモリ１２５へ出力しないようにしてもよい。また、フレーム内で最大面積の自然画の動画領域シードのみ採択するようにしてもよい。
本実施の形態の効果について説明する。
本実施の形態によれば、グラフィックと動画が混在するコンピュータ画面映像から、自然画の動画である領域を高精度に検出することができる。
また、動画領域を検出するために動き検索処理が不要であり、検出の負荷を低く抑えることができる。
その理由は、空間的および時間的に連続的に変化する領域をブロック単位で安定的に検出した後、周辺の画素状況に応じて細部の境界を探索しているためである。
[その他の実施形態]
以上、本発明の実施の形態について説明したが、本発明は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における各手段として機能させる。
なお、本発明は、日本国にて２０１１年７月１３日に特許出願された特願２０１１−１５４３８９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明は、入力映像から自然画の動画領域を検出し、自然画の動画領域をMPEGを用いて符号化する分野などに利用可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
を有することを特徴とする動画領域検出装置。
（付記２）
空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を動画領域シードとして求める動画領域シード生成手段、
を有する付記１に記載の動画領域検出装置。
（付記３）
前記動画領域シードの上下左右の四辺について、動画領域の境界を画素単位で探索し決定する動画領域境界決定手段
を有する付記２に記載の動画領域検出装置。
（付記４）
前記動画領域境界決定手段は、ブロック単位で与えられた動画領域の上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに領域に加わると見込まれる座標のブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に該辺を１ブロック分拡大する
付記３に記載の動画領域検出装置。
（付記５）
前記動画領域境界決定手段は、ブロック単位で与えられた動画領域の上下左右の四辺それぞれについて、画素単位で境界を決定する画素単位領域境界決定手段を備え、
前記画素単位領域境界決定手段は、与えられた領域境界の内外１ブロック分をライン単位でスキャンし、注目ラインの外側と内側とで時間および空間方向の画素値の変化の不連続性が最も高くなるラインを動画領域境界として選択する
付記３に記載の動画領域検出装置。
（付記６）
前記画素単位領域境界決定手段は、注目ラインの各座標について、現フレームにおける注目座標の画素値と前フレームにおける同一座標の画素値との差分としてDPを算出し、現フレームにおける注目座標の画素値とその１ライン外側の画素値との差分としてDNを算出し、現フレームにおける注目座標から１ライン外側でのサーチ方向と直交する方向での画素値の差分としてDNLを算出し、注目座標から１ライン外側の座標での現フレームの画素値と前フレームの画素値との差分としてDPNを算出し、注目ラインについて(DN-DNL+DP-DPN)の総和を算出し、算出された総和が最大となるラインを境界として選択する
付記５に記載の動画領域検出装置。
（付記７）
前記自然画更新ブロック判定手段は、現フレームにおける注目ブロック内の画素値の空間的な変移の大きさを算出して、算出された変移の平均値が小さいブロックを自然画更新ブロックとして判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記８）
前記自然画更新ブロック判定手段は、非ゼロの変移のみを選択して平均値を算出する
付記７に記載の動画領域検出装置。
（付記９）
前記自然画更新ブロック判定手段は、更新ブロック内の各座標について、水平隣接画素との差分絶対値と垂直隣接画素との差分絶対値のうち小さくない方の値をエッジ値として算出し、非ゼロのエッジ値についてブロック内で平均値を求め、平均値が一定値未満となるブロックを自然画の更新ブロックと判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１０）
前記自然画更新ブロック判定手段は、現フレーム内での画素値の空間方向の変移、および、前フレームと現フレームの同一画素間の画素値の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１１）
前記自然画更新ブロック判定手段は、現フレームの更新ブロック内の各画素について、現フレーム内での隣接画素の画素値との第１の差分と、前フレームの同一画素との第２の差分とを算出し、当該画素について算出した前記第１の差分と当該画素の直前の画素について算出した前記第１の差分との間の差分と、当該画素について算出した前記第２の差分と当該画素の直前の画素について算出した前記第２の差分との間の差分のうち、大きくない方の値を選択し、該選択された値が非ゼロとなるものについて、ブロック内で平均値を求め、平均値が一定値未満となるブロックを自然画の更新ブロックと判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１２）
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出し、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定し、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する
ことを特徴とする動画領域検出方法。
（付記１３）
コンピュータを、
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
して機能させるためのプログラム。
１…動画領域検出装置
２…更新ブロック検出装置
３…自然画更新ブロック判定手段
４…動画ブロック抽出手段

Claims (7)

  1. 入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出する更新ブロック検出手段と、
    前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
    前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、前記自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と、
    前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求める動画領域シード生成手段と、
    前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定する動画領域境界決定手段と、
    を有し、
    前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
    前記ブロック単位領域拡大手段は、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
    ことを特徴とする動画領域検出装置。
  2. 前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、画素単位で境界を決定する画素単位領域境界決定手段を備え、
    前記画素単位領域境界決定手段は、与えられた領域境界の内外１ブロック分の複数のラインのうち、ラインの外側と内側とで時間および空間方向の画素値の変化の不連続性が最も高くなるラインを動画領域境界として選択する
    請求項１に記載の動画領域検出装置。
  3. 前記画素単位領域境界決定手段は、前記複数のラインについて、前記フレームの当該ラインの画素値と前記フレームの前フレームにおける当該ラインの画素値との差分DPを算出し、前記フレームの当該ラインの画素値と当該ラインより１ライン外側のラインの画素値との差分DNを算出し、前記フレームの当該ラインより１ライン外側のライン上での当該ラインと平行する方向での画素値の差分DNLを算出し、前記フレームの当該ラインより１ライン外側のラインにおける、前記フレームの画素値と前記フレームの前フレームの画素値との差分DPNを算出し、DN-DNL+DP-DPNによって計算される値が最大となるラインを前記動画領域境界として選択する
    請求項２に記載の動画領域検出装置。
  4. 前記自然画更新ブロック判定手段は、前記フレーム内での画素値の空間方向の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
    請求項１乃至３の何れかに記載の動画領域検出装置。
  5. 前記自然画更新ブロック判定手段は、前記フレーム内での画素値の空間方向の変移、および、前記フレームと前記フレームの前フレームの同一画素間の画素値の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
    請求項１乃至３の何れかに記載の動画領域検出装置。
  6. 入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出し、
    前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定し、
    前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出し、
    前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求め、
    前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行した後、前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定し、
    前記拡大の試行では、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
    ことを特徴とする動画領域検出方法。
  7. コンピュータを、
    入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出する更新ブロック検出手段と、
    前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
    前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と、
    前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求める動画領域シード生成手段と、
    前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定する動画領域境界決定手段と、して機能させるためのプログラムであって、
    前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
    前記ブロック単位領域拡大手段は、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
    プログラム。
JP2013523773A 2011-07-13 2012-05-10 動画領域検出装置 Active JP5979145B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013523773A JP5979145B2 (ja) 2011-07-13 2012-05-10 動画領域検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011154389 2011-07-13
JP2011154389 2011-07-13
JP2013523773A JP5979145B2 (ja) 2011-07-13 2012-05-10 動画領域検出装置
PCT/JP2012/003045 WO2013008374A1 (ja) 2011-07-13 2012-05-10 動画領域検出装置

Publications (2)

Publication Number Publication Date
JPWO2013008374A1 JPWO2013008374A1 (ja) 2015-02-23
JP5979145B2 true JP5979145B2 (ja) 2016-08-24

Family

ID=47505686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523773A Active JP5979145B2 (ja) 2011-07-13 2012-05-10 動画領域検出装置

Country Status (3)

Country Link
US (1) US9367927B2 (ja)
JP (1) JP5979145B2 (ja)
WO (1) WO2013008374A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672584B2 (en) 2012-09-06 2017-06-06 Imagination Technologies Limited Systems and methods of partial frame buffer updating
JP6340949B2 (ja) * 2014-06-23 2018-06-13 富士通株式会社 電話端末装置、情報処理方法及び情報処理システム
CN105096321B (zh) * 2015-07-24 2018-05-18 上海小蚁科技有限公司 一种基于图像边缘的低复杂度视频移动侦测方法
CN110062596B (zh) * 2016-12-20 2022-08-16 奥林巴斯株式会社 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
JP6907888B2 (ja) * 2017-10-30 2021-07-21 富士通株式会社 情報処理システム、情報処理装置および情報処理プログラム
CN117280378A (zh) 2021-07-13 2023-12-22 三星电子株式会社 用于在图形显示器上渲染差分视频的系统和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3609236B2 (ja) 1997-05-16 2005-01-12 日本電信電話株式会社 映像テロップ検出方法および装置
US6766037B1 (en) * 1998-10-02 2004-07-20 Canon Kabushiki Kaisha Segmenting moving objects and determining their motion
JP2002140711A (ja) 2000-10-31 2002-05-17 Hitachi Kokusai Electric Inc 侵入物体検出装置の大きさ設定方法及び侵入物体検出方法及び侵入物体検出装置。
JP2002247611A (ja) 2001-02-16 2002-08-30 Matsushita Electric Ind Co Ltd 画像判別回路、画質補正装置、画像判別方法、画質補正方法、およびプログラム
JP4490626B2 (ja) 2002-11-29 2010-06-30 株式会社日立国際電気 映像配信システム
JP2004341356A (ja) 2003-05-16 2004-12-02 Nec Plasma Display Corp 信号処理方法、画像表示方法、及び画像表示装置
TWI260511B (en) 2004-03-26 2006-08-21 Arcadyan Technology Corp Method and apparatus for displaying multimedia information
JP2006324979A (ja) 2005-05-19 2006-11-30 Fujitsu Ltd 画像静止領域判定装置
JP4253327B2 (ja) * 2006-03-24 2009-04-08 株式会社東芝 字幕検出装置及び字幕検出方法ならびにプルダウン信号検出装置
JP4758272B2 (ja) 2006-04-19 2011-08-24 富士通株式会社 移動物体追跡装置及びプログラム
JP2009003598A (ja) 2007-06-20 2009-01-08 Sony Corp 画像生成装置および方法、学習装置および方法、並びにプログラム
JP2010213180A (ja) 2009-03-12 2010-09-24 Seiko Epson Corp テレシネ映像信号検出装置、映像処理装置、テレシネ映像信号検出方法、およびコンピュータープログラム
US8396302B2 (en) * 2011-01-11 2013-03-12 Intel Corporation Method of detecting logos, titles, or sub-titles in video frames

Also Published As

Publication number Publication date
US20140147044A1 (en) 2014-05-29
JPWO2013008374A1 (ja) 2015-02-23
WO2013008374A1 (ja) 2013-01-17
US9367927B2 (en) 2016-06-14

Similar Documents

Publication Publication Date Title
JP5979145B2 (ja) 動画領域検出装置
US6987866B2 (en) Multi-modal motion estimation for video sequences
JP5445467B2 (ja) クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム
WO2005084036A1 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
US11758082B2 (en) System for automatic video reframing
US20110249904A1 (en) Face clustering device, face clustering method, and program
JP4555690B2 (ja) 軌跡付加映像生成装置及び軌跡付加映像生成プログラム
JP2011141824A (ja) 画像処理装置、画像処理方法、およびプログラム
EP3376470B1 (en) Moving body tracking method, moving body tracking device, and program
JP2010034997A (ja) 動きベクトル検出装置、動きベクトル検出方法及びプログラム
JP4626158B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
WO2011074121A1 (ja) 動きベクトル検出装置及び方法
US20130235274A1 (en) Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
JP4525064B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
JP4622264B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP4622265B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム
JP4207764B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP5377649B2 (ja) 画像処理装置および映像再生装置
JP2008072665A (ja) 映像評価装置、映像フレームレート決定装置、映像評価方法、映像フレームレート決定方法、映像評価プログラム及び映像フレームレート決定プログラム
JP2009266169A (ja) 情報処理装置及び方法、並びにプログラム
JP2006146823A (ja) 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム
JP4525063B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP5397372B2 (ja) テロップ移動ベクトル算出方法、装置及びプログラム
JP2010219715A (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160711

R150 Certificate of patent or registration of utility model

Ref document number: 5979145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150