TWI390468B - 影像處理設備及影像處理方法 - Google Patents

影像處理設備及影像處理方法 Download PDF

Info

Publication number
TWI390468B
TWI390468B TW97139362A TW97139362A TWI390468B TW I390468 B TWI390468 B TW I390468B TW 97139362 A TW97139362 A TW 97139362A TW 97139362 A TW97139362 A TW 97139362A TW I390468 B TWI390468 B TW I390468B
Authority
TW
Taiwan
Prior art keywords
plane
block
image
reduction
sad value
Prior art date
Application number
TW97139362A
Other languages
English (en)
Other versions
TW200937351A (en
Inventor
Satoshi Numata
Tohru Kurata
Kimitaka Wada
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200937351A publication Critical patent/TW200937351A/zh
Application granted granted Critical
Publication of TWI390468B publication Critical patent/TWI390468B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

影像處理設備及影像處理方法 相關申請案之對照
本發明包含與2007年10月22日在日本專利局中所申請之日本專利申請案JP2007-273606相關連的標的物,該申請案之全部內容將結合於本文,以供參考。
本發明有關用以偵測兩個不同螢幕或螢幕影像間之移動向量的影像處理設備及影像處理方法。在本說明書中,〝螢幕〞或〝螢幕影像〞之用語意指由一像框或一圖場的影像資料所形成且顯示為顯示設備上之影像的影像。
從影像資訊之本身來決定二螢幕影像間之移動向量的區塊匹配方法係具有長遠歷史的技術;主要地,區塊匹配方法已與電視攝影機之目標跟踪的寬幅偵測或影像拾訊,MPEG(動像專家群)法之動像編碼,及其類似者相關連地發展。在進入1990年代之後,區塊匹配方法係針對諸如無感測器相機幌動校正及在低照度影像拾訊時透過影像重疊而降低雜訊之各式各樣的應用。
該區塊匹配法係其中包含參考螢幕影像與基本螢幕影像(下文中稱為目標螢幕影像)之二影像間的移動向量係由計算該參考螢幕影像與該目標螢幕影像間之有關預定尺寸之矩形區的區塊之相關性而計算出的方法,該參考螢幕影像係注目螢幕影像以及該參考螢幕影像中之移動將根據目標螢幕影像而決定。參考螢幕影像及目標螢幕影像可具有此一暫時的關係,亦即,目標螢幕影像暫時在參考螢幕影像之前,如在例如藉由MPEG法之移動偵測的情況中,或另一暫時的關係,亦即,參考螢幕影像暫時在目標螢幕影像之前,如在下文中所描述之藉由影像像框的重疊之降低雜訊的情況中。
應注意的是,雖然在本說明書中,如上述地,螢幕或螢幕影像意指由一像框或一圖場之影像資料所形成的影像,但下文說明中將以螢幕影像係由一像框所形成且為說明便利起見,在下文中將稱呼螢幕影像為像框來做為前提。因此,參考螢幕影像將在下文中稱為參考像框,以及目標螢幕影像將在下文中稱為目標像框。
第51A至56圖描繪先前技藝之區塊匹配法的輪廓。例如,在此處所描述的區塊匹配法之中,如第51A圖中所示地,目標像框或基本像框100係劃分成為複數個所謂區塊之矩形區,該區塊具有預定的尺寸並包含複數個像素於水平方向中以及預定的線於垂直方向中。在目標像框中之複數個區塊102的各個區塊在下文中將稱為目標區塊。
在區塊匹配法之中,具有與目標區塊102高相關性的區塊係搜尋自參考像框101之內;搜尋之結果,在參考像框101中被偵測為具有最高相關性之區塊的區塊103(請參閱第51B圖)稱為移動補償區塊。進一步地,在目標區塊102與移動補償區塊103之間的位置位移量係稱為移動向量(請參閱第51B圖中之參考符號104)。
對應於目標區塊102與移動補償區塊103間之位置位移而包含位置位移量及位置位移方向二者的移動向量104對應於,目標像框100之各個目標區塊102的投影區塊109之位置(例如,中心的位置)與移動補償區塊103之位置(例如,中心的位置)間的位置位移,其中在該處係假定目標區塊102的投影區塊109成為在與參考像框101中之目標區塊102的位置相同之位置處。進一步地,在此例子中之位置位移具有位置位移量及位移的方向分量。
將敘述區塊匹配法之輪廓。請參閱第52圖,如斷線所示地,假定目標區塊的投影區塊109成為在參考像框101中之與目標像框100的目標區塊102之位置相同的位置處,且將目標區塊的投影區塊109中心的座標界定為用於移動偵測之原點105;然後,以移動向量104存在於包含用於移動偵測之原點105的範圍內做為前提,可將定中心於該原點105的預定範圍設定以做為預定搜尋範圍106(請參閱第52圖中之交變的長短虛線)。
其次,設定與目標區塊102之尺寸相同尺寸的區塊(參考區塊)108於參考螢幕影像之上;接著,在該搜尋範圍106中的水平方向及垂直方向之中,例如以一像素之距離或複數個像素之距離為單位而移動參考區塊108的位置,因而,可設定複數個參考區塊108於搜尋範圍106之中。
此處,在搜尋範圍106中移動參考區塊108意指在搜尋範圍106之中移動參考區塊108的中心位置,因為在本實例中之原點105係目標區塊的中心位置;因此,構成參考區塊108之某些像素偶爾會自搜尋範圍106突出。
接著,針對設定於搜尋範圍106中之該等參考區塊108的各個,在下文中稱為參考向量的向量107(請參閱第52圖)係設定表示參考區塊108與目標區塊102之間的位置位移量和位置位移方向;然後,評估由各個參考向量107所示位置處的參考區塊108之影像內容與目標區塊102之影像內容間的相關性。
請參閱第53圖,當其中在水平方向或X方向中之參考區塊108的位置位移量係由Vx所表示,以及在水平方向或Y方向中之參考區塊108的位置位移量係由Vy所表示時,可將參考向量107表示為向量(Vx,Vy)。當諸如例如參考區塊108之中心位置座標的座標與諸如例如目標區塊102之中心位置座標的座標係彼此相同時,則將參考向量107表示為向量(0,0)。
例如,若參考區塊108係在X方向中之自目標區塊102的位置位移一像素距離之位置處時,如第53圖中所示地,則參考向量107係向量(1,0);同時,若參考區塊108係在X方向中之自目標區塊102的位置位移量三像素距離且在Y方向中自目標區塊102的位置位移二像素距離之位置處時,如第54圖中所示地,則參考向量107係向量(3,2)。
尤其,當其中目標區塊102及參考區塊108的位置係如第54圖之實例中似地界定為該等區塊的中心位置時,參考向量107意指參考區塊108之中心位置與目標區塊102之中心位置間的位置位移,亦即,具有位置位移量及位移之方向的向量。
當參考區塊108移動於搜尋範圍106之中時,該參考區塊108的中心位置亦移動於該搜尋範圍106中。如上述地,因為參考區塊108係由水平方向及垂直方向中之複數個像素所構成,所以其係具有目標區塊102之區塊匹配法的目的之參考區塊108的最大移動範圍係比如第54圖中所看到之搜尋範圍106更大的匹配處理範圍110。
然後,偵測為具有與目標區塊102之影像內容最大相關性的區塊之參考區塊108的位置係決定為在移動目標像框100的目標區塊102於參考像框101上之後的位置,且將所偵測的參考區塊決定為如上述之移動補償區塊103;接著,偵測該移動補償區塊103之所偵測位置與目標區塊102之位置間的位置位移量,以成為例如包含方向分量之總計的移動向量104(請參閱第51B圖)。
此處,基本上,表示目標區塊102與在搜尋範圍106中移動之參考區塊108間的相關性大小之相關值係使用目標區塊102與參考區塊108的對應像素值而計算。針對該計算,已提出有各式各樣的方法,且該等方法之一使用均方根。
例如,做為一般使用於移動向量之計算中的相關值,係使用關於該等區塊中的所有像素之目標區塊102中的像素之光亮度值與搜尋範圍106中的對應像素之光亮度值之間的差之絕對值的總和(請參閱第55圖)。差之絕對值的總和稱為差絕對值之和,且在下文中稱為SAD值(絕對差值之和)。
當其中在該處使用SAD值以做為相關值時,SAD值愈低,則相關性會愈高。因此,當參考區塊108係定位於SAD值顯示最低值時,在搜尋範圍106中所移動的參考區塊108變成最高相關參考區塊,所以將該最高相關參考區塊偵測為移動補償區塊103,且將所偵測之移動補償區塊103相對於目標區塊102之位置的位置位移量偵測為移動向量。
如上述地,在區塊匹配法之中,設定於搜尋範圍106中之複數個參考區塊108的各個相對於目標區塊102之位置的位置位移量係表示為例如包含方向分量之總計的參考向量107,各個參考區塊108之參考向量107根據該參考區塊108在目標區塊102上的位置而具有一值。如上述地,在區塊匹配法之中,係偵測顯示最小值之SAD值以做為相關值的參考區塊108之參考向量來當作移動向量104。
因此,在區塊匹配法之中,如第56圖中所示地,通常採用如下文中所描述之此一偵測方法。特別地,在設定於搜尋範圍106中的複數個參考區塊108與目標區域102之間的SAD值(為簡化說明起見,該等SAD值將在下文中稱為參考區塊108的SAD值)係以與對應於參考區塊108之位置的參考向量107之對應關係(為簡化說明起見,對應於參考區塊108之位置的該等參考向量107將在下文中稱為參考區塊108的參考向量107)而儲存在記憶體之內;然後,從儲存於記憶體中之所有參考區塊108的SAD值中偵測出顯示最小SAD值之該等參考區塊108的其中之一參考區塊108,以偵測移動向量104。
其中以與對應於設定在搜尋範圍106中的該等參考區塊108之位置的參考向量107之個別對應關係而儲存諸如參考區塊108的SAD值之相關值的記憶體或記憶體區係稱為相關值表。在本實例中,因為其係差絕對值之和的SAD值被使用以做為相關值,所以可將相關值表形成為絕對差值之和的表,而在下文中稱為SAD表。
在第56圖中,SAD表係表示為SAD表TBL。請參閱第56圖,在所示的SAD表TBL之中,各個參考區塊108的相關值,亦即,在所示之實例中之SAD值係稱相關值表元件。在第56圖的實例中,由參考符號111所表示的SAD值係其中在該處之參考向量為向量(0,0)的SAD值;此外,在第56圖的實例中,因為SAD值的最小值係〝7〞,其中在該處之參考向量係向量(3,2),自然地,將被決定的移動向量104係向量(3,2)。
應注意的是,目標區塊102和參考區塊108之任一的位置意指區塊中之任意特殊的位置,例如該區塊之中心的位置,且參考向量107表示目標區塊102之投影區塊109的位置與參考像框101中之參考區塊108的位置間之包含方向的位移量。
其次,對應於各個參考區塊108之參考向量107係參考區塊108距離參考像框101上之對應於目標區塊102的投影區塊109位置之位置位移,且因此,若指定參考區塊108的位置時,則亦可依據該參考區塊108的位置而指出參考向量之值。從而,若指定SAD表TBL之記憶體中的參考區塊之相關值表的元件位址時,則可指出對應之參考向量。
應注意的是,可同時地計算SAD值以供二或更多個區塊用。若將被同時處理之目標區塊的數目增加時,則處理的速度會增加;然而,因為用以計算SAD值的硬體標度會增加,所以處理速度之增加與電路標度之增加具有相互交換的關係。
順便一提地,在上述區塊匹配法之中,當所處理目標之影像的解析度增加時,關於在二影像或二螢幕影像間之移動被偵測的像素數目會增加;因此,為了要追踪該移動,必須使用更寬廣的搜尋範圍於移動向量,亦即,必須增加將被包含於搜尋範圍中之像素的數目。
然而,當其中以此方式而使用更寬廣的搜尋範圍於該處時,則所處理目標的每一區塊之自像框記憶體中讀取像素資訊的次數會增加,而造成需增加處理時間的問題。
相反地,當其中所處理目標之影像的解析度低,或其中像框率高時,因為像素間之移動小,所以必須偵測比一像素更小的子像素準確度之小的移動;因此,需使用到過取樣之影像以偵測移動向量,藉以偵測比一像素更小的移動向量。然而,此方法的使用將由於過取樣而產生電路標度增加,且處理時間亦增加之問題。
如上述地,區塊匹配法指出的是,處理時間及電路標度將增加以回應於寬廣搜尋範圍及小於一像素之很小移動的需求;因此,極需消除處理時間及電路標度之此一增加。
同時,近年來,已進行高清晰度動像影像的發展,且針對更高解析度及更高圖像品質之影像的需求正漸增著。所以與此一起地,亦漸增地需要區塊匹配法,以實施更寬廣的搜尋範圍和比一像素更小的子像素準確度之很小移動的偵測。
為了要解決諸如上述之該等問題,在過去已提出各式各樣的方法,例如己提出且揭示於日本專利公開申請案特開平7-95585號中之用以在小於一像素之很小移動的偵測中達成有效率之處理的方法,以及揭示於日本專利公開申請案特開2006-160829號中之用以藉由取樣參考影像而縮減像框記憶體及計算量的另外方法。
被認為最實用的進一步方法係揭示於日本專利公開申請案特開平5-91492號之中。依據該方法,係使用SAD表中之最小的SAD值以及在與該最小SAD值的位置之鄰接位置處的複數個SAD表以執行內插法,使得SAD值的最小值係以低於SAD表之準確度,亦即,低於目標像框及參考像框之像素間距準確度的高準確度而計算。具備所述的該方法,參考影像無需予以預處理,且同時,電路標度的影響會變小。
如上述地,區塊匹配法係根據所處理的目標之影像的解析度或像框率,而以不同的方式來應用;特別地,該區塊匹配法應足以偵測一像素準確度的移動,或該區塊匹配法需用以偵測比一像素更小的子像素準確度之很小的移動。
進一步地,例如在靜像的情況中,所欲的是子像素準確度之移動偵測,但在動像的情況中,可使用一像素準確度(像素準確度)之移動偵測。此外,雖然在動像的情況中,因為要求即時的情質,所以處理速度被認為係重要的,但在靜像的情況中,應取準確度為優先。
例如,在相機系統之中,已提出各式各樣的應用以做為功能之進展,且因此,如上述之該等各式各樣的情勢會關於所處理的目標之影像或影像的處理而發生。然而,已備妥以供如上述之該等各式各樣的需求用之區塊匹配法亦無法由單一種之區塊匹配法所實施。
因此,需提供一種影像處理設備及影像處理方法,藉其可執行適當的區塊匹配法,以回應於有關所處理的目標之影像或影像的處理之各式各樣的情勢。
依據本發明之實施例,提供一種影像處理設備,用以計算二螢幕影像間之移動向量,該二螢幕影像包含目標螢幕影像和參考螢幕影像,該影像處理設備包含以下之部:基準面移動向量計算部,係組構以自複數個參考區塊中來偵測具有與預定尺寸的目標區塊高相關性之最大相關基準面參考區塊,該預定尺寸的目標區塊係設定於該目標螢幕影像上之一預定位置處,該複數個參考區塊分別地具有與該目標區塊之尺寸相同的尺寸且係設定於該參考螢幕影像上所設定之第一搜尋範圍中,並根據該螢幕影像上之所偵測的最大相關基準面參考區塊相對於該目標區塊之位置位移量,以計算基準面移動向量;高準確度基準面移動向量計算部,係組構以使用該最大相關基準面參考區塊的相關值及定位於與該最大相關基準面參考區塊鄰接的位置處之該複數個參考區塊的相關值,來執行內插法,以偵測高準確度最大相關基準面參考區塊之位置,且根據該螢幕影像上之高準確度最大相關基準面參考區塊相對於該目標區塊之位置位移量,以計算高準確度基準面移動向量;縮小面移動向量計算部,係組構以由預定之縮小比例來縮小目標螢幕影像及參考螢幕影像,以產生縮小目標螢幕影像及縮小參考螢幕影像,自複數個縮小面參考區塊中來偵測具有與縮小面目標區塊高相關性之最大相關縮小面參考區塊,該縮小面目標區塊具有預定的尺寸且係設定於該縮小目標螢幕影像上之一預定位置處,該複數個縮小面參考區塊分別具有與該縮小面目標區塊之尺寸相同的尺寸且係設定於縮小參考螢幕影像上所設定之第二搜尋範圍中,並根據螢幕影像上所偵測的最大相關縮小面參考區塊相對於該縮小面目標區塊之位置位移量,以計算縮小面移動向量;高準確度縮小面移動向量計算部,係組構以使用最大相關縮小面參考區塊的相關值及定位於與該最大相關縮小面參考區塊鄰接的位置處之該複數個縮小面參考區塊的相關值,來執行內插法,以偵測高準確度最大相關縮小面參考區塊之位置,且根據螢幕影像上之高準確度最大相關縮小面參考區塊相對於該目標區塊之位置位移量,以計算高準確度縮小面移動向量;第一基準面搜尋範圍決定部,係組構以根據由縮小面移動向量計算部所計算之縮小面移動向量,以決定該第一搜尋範圍;第二基準面搜尋範圍決定部,係組構以根據由高準確度縮小面移動向量計算部所計算之高準確度縮小面移動向量,以決定該第一搜尋範圍;以及選擇部,係組構以自基準面移動向量計算部,高準確度基準面移動向量計算部,縮小面移動向量計算部,及高準確度縮小面移動向量計算部之中選擇將被使用之計算部,並選擇第一或第二基準面搜尋範圍決定部是否應被使用,然後當其中決定使用該等決定部之任一於該處,則自第一與第二基準面搜尋範圍決定部之間選擇將被使用之決定部。
依據本發明之另一實施例,提供有一種影像處理方法,用以計算二螢幕影像間之移動向量,該二螢幕影像包含目標螢幕影像及參考螢幕影像,該影像處理方法係由影像處理設備所執行,該影像處理設備包含基準面移動向量計算裝置,高準確度基準面移動向量計算裝置,縮小面移動向量計算裝置,高準確度縮小面移動向量計算裝置,第一基準面搜尋範圍決定裝置,及第二基準面搜尋範圍決定裝置,該影像處理方法包含以下步驟:基準面移動向量計算步驟,係由基準面移動向量計算裝置所執行,用以設定複數個參考區塊於參考螢幕影像上所設定的第一搜尋範圍中,以自複數個參考區塊來偵測具有與目標區塊高相關性之最大相關基準面參考區塊,該複數個參考區塊分別具有與具有預定尺寸且設定於目標螢幕影像上之預定位置處的目標區塊之尺寸相同的尺寸,並根據螢幕影像上之所偵測的最大相關基準面參考區塊相對於該目標區塊之位置位移量,以計算基準面移動向量;高準確度基準面移動向量計算步驟,係由高準確度基準面移動向量計算裝置所執行,用以使用最大相關基準面參考區塊的相關值及定位於與該最大相關基準面參考區塊鄰接的位置處之該複數個參考區塊的相關值,來執行內插法,以偵測高準確度最大相關基準面參考區塊之位置,且根據螢幕影像上之高準確度最大相關基準面參考區塊相對於該目標區塊之位置位移量,以計算高準確度基準面移動向量;縮小面移動向量計算步驟,係由縮小面移動向量計算裝置所執行,用以由預定之縮小比例來縮小目標螢幕影像及參考螢幕影像,以產生縮小目標螢幕影像及縮小參考螢幕影像,設定複數個縮小面參考區塊於該縮小參考螢幕影像上所設定之第二搜尋範圍中,以自複數個縮小面參考區塊來偵測具有與縮小面目標區塊高相關性之最大相關縮小面參考區塊,該複數個縮小面參考區塊分別具有與具有預定尺寸且係設定於縮小目標螢幕影像上之預定位置處的縮小面目標區塊的尺寸相同之尺寸,並根據螢幕影像上所偵測的最大相關縮小面參考區塊相對於該縮小面目標區塊之位置位移量,以計算縮小面移動向量;高準確度縮小面移動向量計算步驟,係由高準確度縮小面移動向量計算裝置所執行,用以使用最大相關縮小面參考區塊的相關值及定位於與該最大相關縮小面參考區塊鄰接的位置處之複數個縮小面參考區塊的相關值,來執行內插法,以偵測高準確度最大相關縮小面參考區塊之位置,而根據螢幕影像上之高準確度最大相關縮小面參考區塊相對於該目標區塊之位置位移量,以計算高準確度縮小面移動向量;第一基準面搜尋範圍決定步驟,由第一基準面搜尋範圍決定裝置所執行,用以根據由縮小面移動向量計算裝置所計算之該縮小面移動向量,以決定第一搜尋範圍;第二基準面搜尋範圍決定步驟,由第二基準面搜尋範圍決定裝置所執行,用以根據由高準確度縮小面移動向量計算裝置所計算之該高準確度縮小面移動向量,以決定第二搜尋範圍;以及選擇步驟,用以當二螢幕影像間之移動向量將被計算時,自該縮小面移動向量計算步驟,高準確度縮小面移動向量計算步驟。基準面移動向量計算步驟,及高準確度基準面移動向量計算步驟中,選擇將被使用之計算步驟,選擇第一或第二基準面搜尋範圍決定步驟是否應被使用,然後當其中決定使用該等決定步驟之任一於該處,則自第一或第二基準面搜尋範圍決定步驟之間選擇將被使用之決定步驟。
在該影像處理設備中,製備複數個不同的區塊匹配法,且適當的區塊匹配法係由選擇部選擇自所製備的區塊匹配法之中,以回應於所處理的目標之影像或影像的處理之情勢。
概言之,具有該影像處理設備,適當的區塊匹配法係選擇自所製備的區塊匹配法之中,以回應於所處理的目標之影像或影像的處理之情勢。
本發明之上述及其他目的,特性,及優點將從結合附圖之說明及附錄的申請專利範圍而呈更為明顯,其中相同的部件或元件係由相同的參考符號所表示。
在下文中,將參照附圖而採用影像拾取設備做為實例以敘述依據本發明實施例之使用影像處理方法的影像處理設備於下文。此外,在該影像處理方法中,係採用其中將複數個影像重疊以降低雜訊的方法做為實例來敘述使用偵測之移動向量而執行的方法。
[依據本發明實施例之影像處理設備]
在依據本發明實施例之影像拾取設備中,例如,第2圖中所示之連續所拾取之諸如影像P1,P2,及P3的複數個影像係使用移動偵測及移動補償而相對地定位,且然後相互地重疊,以獲得具有降低之雜訊的影像Pmix;特別地,因為雜訊係隨機地包含於複數個影像之中,所以若相似內容之影像互相重疊時,則雜訊會隨著所生成的影像而降低。
在以下說明中,使用移動偵測及移動補償以重疊複數個影像而降低雜訊係稱為雜訊降低(NR),且具有由此雜訊降低所降低之雜訊的影像係稱為降低雜訊之影像。
在本說明書中,將應用雜訊降低之螢幕影像稱為目標螢幕影像或目標像框,且將被重疊的螢幕影像係界定為參考螢幕影像或參考影像。連續拾取之影像係由於影像拾取者的相機幌動而在應有的位置位移,而為了要重疊二影像,該等影像的定位係重要的。除了有如由於手的相機幌動之整個螢幕影像的相機幌動之外,此處應考慮的是,存在有螢幕中之影像拾取目標的移動。
因此,為了要同時增強關於影像拾取目標的雜訊降低功效,必須將目標像框100劃分成為複數個目標區塊102,如第3圖中所示,且以目標區塊102為單位而執行定位。此處,該等目標區塊102的各個包含水平方向中之複數個像素×垂直方向中之複數條線。
在本實施例中,以區塊為單位之移動向量(下文中稱為區塊移動向量)104B係偵測自所有的目標區塊102,使得用於該等目標區域102的定位係使用區塊移動向量104B而定位,以重疊影像。
本實施例之影像拾取設備具有用以拾取靜像之模式,及用以拾取動像之另一模式。
當影像拾取設備係在靜像拾取模式之中時,複數個影像係高速地連續拾取且重疊,而設定第一拾取影像為目標像框100,且設定預定數目之隨後的拾取影像,包含第二及後繼的拾取影像,以做為參考像框101,如第4圖中所示,而且各個生成的影像係以靜像拾取影像而記錄。特別地,若影像拾取者按壓影像拾取設備的快門按鈕時,則預定數目的影像被高速地連續拾取,且在時間上稍後所拾取的複數個影像或像框會重疊在首先所拾取的影像或像框之上。
相反地,當影像拾取設備係在動像拾取模式之中時,可將目前正從影像拾取裝置所輸出之像框的影像決定為目標像框100的影像,且將過去之正好前一像框的影像決定為參考像框101,如第5圖中所示。因此,為了要執行目前像框之影像的雜訊降低,係將前一像框的影像重疊在目前像框的影像之上。
應注意的是,在第4及5圖中之影像的重疊方法之說明中,當將被記錄之動像影像的像框速率係60fps(像框/秒)時,可將來自影像處理裝置之60fps像框速率的二影像像框重疊,以獲得具有降低雜訊之60fps像框速率的拾取影像信號。
然而,當其中拾取之影像係以例如240fps之更高的像框速率自影像拾取裝置輸出時,可藉由重疊每四個影像以產生一動像像框而獲得60fps像框速率之拾取影像信號。自然地,藉由以相似的方式來重疊每兩個240fps之拾取動像影像,可獲得具有降低雜訊之240fps像框速率的拾取影像信號。
在此方式中,針對靜像及動像二者,本實施例之影像拾取設備係由影像重疊而立即適用於雜訊降低。通常,雖然針對藉由靜像之影像重疊的雜訊降低需要高的準確度,但針對藉由動像之影像重疊的雜訊降低則需要即時性質,,亦即,高速度的處理速度。
因此,例如針對靜像的雜訊降低,需子像素準確度的移動偵測於寬的搜尋範圍上;同時,針對動像的雜訊降低,則所需的是,像素準確度的移動偵測可高速地執行,且用於匯流排帶的負荷變低。此處,匯流排帶係資料速率,資料可以以該資料速率來轉移於資料的傳輸路徑上,而免於擁塞。
因而,用於移動偵測之區塊匹配法較佳地準備至少二不同之操作模式,包含用於靜像影像拾取模式中之靜像雜訊降低的操作模式,及用於動像影像拾取模式中之動像雜訊降低的另一操作模式。
近年來,伴隨著相機系統之高功能性的進展,已提出各式各樣的應用,且將該等應用實際地結合於影像拾取裝置中;因此,較佳地,在雜訊降低系統中之用於移動偵測的區塊匹配技術不僅應準備二操作模式以供靜像雜訊降低及動像雜訊降低二者用,而且應依據處理速度、匯流排帶、像素尺寸、搜尋範圍、像框速率、移動向量之偵測準確度、及其類似者以準備複數個額外的操作模式。
綜觀上述,本實施例之影像拾取設備具有多於二個的操作模式以做為用以執行移動偵測之區塊匹配法的操作模式,以及可自動地選擇適當的區塊匹配操作模式以回應於例如,透過使用者操作輸入單元3所執行之靜像影像拾取模式與動像影像拾取模式間的影像拾取模式之選擇操作,且亦回應於處理速度、匯流排帶、用於移動向量之偵測準確度的選擇性指定操作等。
[影像拾取設備之硬體組態的實例]
第1圖顯示做為依據本發明之影像處理設備的實施例之影像拾取設備的實例。
請參閱第1圖,所顯示的影像拾取設備包含連接至系統匯流排2之中央處理單元(CPU)1。該影像拾取設備進一步包含拾取影像信號處理系統10,使用者操作輸入單元3,影像記憶體單元4,以及連接至系統匯流排2之記錄及再生設備單元5。應注意的是,雖然共未顯示,但CPU1包含其中儲存程式以供執行各式各樣之軟體方法用的ROM(僅讀記憶體),用於工作區之RAM(隨機存取記憶體),及其類似物。
第1圖之影像拾取設備的拾取影像信號處理系統10透過使用者操作輸入單元3而接收影像拾取記錄起始操作,且如下文中所述地執行此一拾取影像資料記錄過程;進一步地,第1圖之影像拾取設備的拾取影像信號處理系統10透過使用者操作輸入單元3而接收所拾取之記錄影像的再生起始操作,且執行記錄及再生設備單元5之記錄媒體中所記錄的拾取影像資料之再生過程。應注意的是,在下文中所述之拾取影像信號處理系統10的組件透過控制暫存器單元7而接收來自CPU1的控制命令,且在CPU1的控制下執行個別的過程。
如第1圖中所示地,在拾取影像像信號處理系統10之中,來自影像拾取目標而透過包含影像拾取鏡頭10L之相機光學系統(未顯示)的輸入光係照射在藉其可拾取影像之影像拾取裝置11上。在本實例中,影像拾取裝置11係由CCD(電荷耦合裝置)成像器所形成;應注意的是,該影像拾取裝置11可另外地由CMOS(互補金屬氧化物半導體)成像器所形成。
在影像拾取設備中,若執行影像記錄起始操作時,則透過影像拾取鏡頭10L所輸入的影像係由影像拾取裝置11而轉換成為拾取影像信號。因此,做為拜爾(Bayer)陣列的原始信號之由紅色(R),綠色(G)及藍色(B)三原色的信號分量所組成之類比拾取影像信號會以與來自時序信號產生單元12之時序信號同步地自影像拾取裝置11輸出。所輸出之類比拾取影像信號係供應至預處理單元13,而由該預處理單元13使所輸出之類比拾取影像信號接受諸如缺陷校正及γ校正之預處理;然後,將所生成之信號供應至資料轉換單元14。
資料轉換單元14轉換以原始信號之形式而輸入至該處的類比拾取影像信號成為由亮度信號分量Y及色差信號分量Cb/Cr所組成之數位拾取影像信號或YC資料,且將數位拾取影像信號供應至影像校正及解析度轉換單元15。該影像校正及解析度轉換單元15轉換數位拾取影像信號成為透過使用者操作輸入單元3所指定之解析度的信號,且透過系統匯流排2將所生成之數位拾取影像信號供應至影像記憶體單元4。
若透過使用者操作輸入單元3所接收之影像拾取指令係源自快門按鈕之按壓的靜像影像拾取指令時,則具有由影像校正及解析度轉換單元15所轉換之解析度的數位拾取影像信號係針對上文中所述之複數個像框而寫入至影像記憶體單元4之內。在將複數個像框之影像寫入至影像記憶體單元4內之後,目標像框之影像資料及參考像框之影像資料係由藉其可執行如下文中所述之區塊匹配法以偵測移動向量之移動偵測及移動補償單元16所讀取;然後,影像重疊單元17根據所偵測之移動向量來執行如下文中所述之影像的重疊過程,因而成為該重疊的結果之具有降低雜訊之降低雜訊的影像之影像資料被儲存至影像記憶體單元4之內。
接著,儲存於影像記憶體單元4中的重疊結果之降低雜訊的影像之影像資料係由靜像codec單元18所codec轉換,且然後透過系統匯流排2而記錄於例如,諸如DVD(數位多功能碟片)或硬碟之記錄及再生設備單元5的記錄媒體之上。在本實施例中,該靜像codec單元18執行影像壓縮編碼法,以供JPEG(聯合圖像專家群)系統之靜像用。
進一步地,當在按壓快門按鈕之前的影像拾取設備係在靜像影像拾取模式之中時,來自影像校正及解析度轉換單元15之影像資料係透過影像記憶體單元4而供應至NTSC(國家電視系統委員會)編碼器20,藉該NTSC編碼器20可將影像資料轉換成為NTSC系統的標準彩色視頻信號,該標準彩色視頻信號被供應至例如可為LCD(液晶顯示器)設備之監測顯示器6,且在該監測顯示器6的顯示螢幕之上以靜像影像拾取模式來顯示監測影像。
相反地,若透過使用者操作輸入單元3所輸入之影像拾取指令係源自動像影像記錄按鈕之按壓的動像影像拾取指令時,則將解析度轉換後之影像資料寫入至影像記憶體單元4之內且同時傳送至移動偵測及移動補償單元16;因此,如下文中所述之區塊匹配法係針對該影像資料而由移動偵測及移動補償單元16所執行,以偵測移動向量,且影像重疊單元17根據所偵測之移動向量來執行如下文中所述之影像的重疊過程,因而成為該重疊的結果之具有降低雜訊之降低雜訊的影像之影像資料被儲存至影像記憶體單元4之內。
儲存於影像記憶體單元4中的重疊結果之該等降低雜訊的影像之影像資料係透過NTSC編碼器20而輸出至監測顯示器6的顯示螢幕,且同時由動像codec單元19所codec轉換;然後,codec轉換的影像資料透過系統匯流排2而供應至記錄及再生設備單元5,藉由該記錄及再生設備單元5可將codec轉換的影像資料記錄於諸如DVD或硬碟的記錄媒體之上。在本實施例中,動像codec單元19依據MPEG(動像專家群)系統以執行用於動像的影像壓縮編碼過程。
記錄於記錄及再生設備單元5的記錄媒體上之拾取影像資料係回應於透過使用者操作輸入單元3所執行的再生起始操作而讀出,且供應至動像codec單元19以及由該動像codec單元19所解碼,以供再生之用;然後,解碼的影像資料透過NTSC編碼器20而供應至監測顯示器6,藉由該監測顯示器6可根據影像資料而將再生影像顯示於顯示螢幕上。應注意的是,雖然並未顯示於第1圖中,但自NTSC編碼器20所輸出之視頻信號可透過視頻輸出端子而引出至外部。
上述之移動偵測及移動補償單元16可由硬體所組構,或可使用DSP(數位信號處理器)來予以組構。選擇性地,該移動偵測及移動補償單元16可由CPU1而組構成為軟體方法。
相似地,上述之影像重疊單元17亦可由硬體所組構,或可使用DSP來予以組構。選擇性地,該影像重疊單元17可由CPU1而組構成為軟體方法。此亦可相似地應用至靜像codec單元18及動像codec單元19。
[移動偵測及移動補償單元16]
基本上,移動偵測及移動補償單元16使用上文中參照第51至56圖所敘述之SAD值來實施區塊匹配法,以執行移動向量偵測;然而,在本實施例中,該移動偵測及移動補償單元16係由諸如下文中所述之硬體所組構,使得區塊匹配法之二或更多個操作模式可由共同的硬體所執行。首先,將敘述本實施例中所使用之用於區塊匹配法的複數個不同的操作模式。
<縮小面匹配處理模式>
在一般相關技藝之區塊匹配法中的移動向量偵測方法包含以一像素或多像數為單位,亦即,以一像素為單位或以複數個像素為單位之參考區塊的移動,在各個移動位置處之參考區塊的SAD值之計算,自所計算的SAD值中偵測顯示最小值之一SAD值,以及根據指示最小SAD值之處的參考區塊位置以偵測移動向量。
然而,具有此一相關技藝之移動向量偵測方法,因為參考區塊係以一像素或多像素為單位而移動於搜尋範圍之內,所以用以計算SAD值之匹配方法的次數會與搜尋範圍成比例地增加,此將造成需增加時間以供匹配方法之用,且亦需增加容量以供SAD表之用。此外,用以透過系統匯流排2來存取影像記憶體的次數會增加,且此需增加滙流排帶。
在動像雜訊降低方法中,即使犧牲移動向量的偵測準確度,亦需要在處理速度上及在滙流排帶之降低上佔優勢的方法。應注意的是,此處變成問題之滙流排帶係當移動偵測及移動補償單元16透過系統匯流排2而存取影像記憶體單元4時之滙流排帶。
綜觀上述,在本實施例之中,提供縮小面匹配處理模式,其中縮小影像係針對目標影像或目標像框以及參考影像或參考像框而產生,且區塊匹配係使用所產生之縮小影像而執行。應注意的是,縮小影像稱為縮小面,且並未縮小的原始影像稱為基準面。
第6及7圖分別地描繪目標像框或螢幕影像及參考像框及螢幕影像的影像縮減。特別地,例如在本實施例中,如第6圖中所示,基準面目標像框130係在水平方向及垂直方向二者中縮小至1/n(n係正數),以產生縮小面目標像框132;從而,由劃分基準面目標像框130成為複數個部分所產生的基準面目標區塊131被轉換成為在水平方向及垂直方向二者中縮小為1/n的縮小面目標區塊133。
接著,參考像框係依據目標像框的縮小比例1/n而縮小;尤其,如第7圖中所示,基準面參考像框134係在水平及垂直方向二者中縮小至1/n,而產生縮小面參考像框135。然後,在縮小面參考像框135之上偵測該基準面參考像框134上所偵測之移動補償區塊103的基準面移動向量104,以做為縮小至1/n×1/n的縮小面移動向量136。
注意的是,在上述實例中,雖然目標像框及參考像框的影像縮小比例係彼此相等,但可使用不同的影像縮小比例於目標像框或影像和參考像框或影像,使得針對計算量之縮小,可由像素內插之方法或類似方法而使二者像框的像素數目彼此相等,以執行匹配法。
進一步地,雖然在水平方向及垂直方向中的縮小比例係彼此相等,但可應用不同的縮小比例於水平及垂直方向;例如,若施加1/n的縮小比例至水平方向,且施加1/m(m係正數,且n≠m)之另一縮小比例至垂直方向時,則縮小的影像具有1/n×1/m之原始螢幕影像的尺寸之尺寸。
第8A,8B,及8C圖描繪縮小面參考向量138與基準面參考向量之間的關係。若移動偵測原點105及搜尋範圍106係如第8A圖中所示地決定於基準面參考像框134之上時,則在縮小至1/n×1/n的縮小面參考像框135之上,搜尋範圍係縮小至1/n×1/n的縮小面搜尋範圍137,如第8B圖中所示。
進一步地,在本實施例中,在縮小面參考像框135上之表示距離移動偵測原點105之位置位移量的縮小面參考向量138係設定於縮小面搜尋範圍137之內,以評估由該縮小面參考向量138所示之位置的縮小面參考區塊139與並未顯示於第8B圖中的縮小面目標區塊133之間的相關性。
在此例子中,因為區塊匹配係執行於縮小的影像之上,所以相關於SAD值將被計算於縮小面參考像框135中之縮小面參考區塊位置或縮小面參考向量138的數目會降低;因此,當SAD數的計算次數,亦即,匹配處理的次數減少時,可提升處理速度且可縮減SAD表的比例。
藉由設定於由縮小面搜尋範圍137所界定之縮小面匹配處理範圍中的複數個縮小面參考區塊139與一縮小面目標區塊133之間的區塊匹配的相關性評估,可計算出縮小面參考像框135上之未顯示於第8B圖中的縮小面移動向量136。該縮小面移動向量136的準確度會降低成為等於一像素之準確度的n倍低之準確度,因為影像縮小至1/n×1/n之故。
若以此方式所決定的縮小面移動向量136如第8C圖中所示地乘以影像縮小比例的倒數時,則可獲得基準面上之移動向量(在下文中稱為移動向量104’);然而,該基準面移動向量104’的準確度變成對應於影像縮小比例的準確度,例如若執行區塊匹配於在垂直及水平方向二者中縮小為1/4的縮小面上時,則基準面移動向量104’會變成四像素之準確度的移動向量。
可是,明顯的是,在基準面參考像框134中,一像素準確度之基準面移動向量104存在於由增加該縮小面移動向量136至n倍所獲得的基準面移動向量104’的附近。
在用於動像的雜訊降低系統中,需即時性能,亦即,速度與準確度在一起。在其中如上文中參照第1圖所述之連接各式各樣的處理部至系統匯流排2且並聯地執行各式各樣過程之此一系統中,滙流排帶亦被認為係重要的。
速度及滙流排帶與移動偵測中的準確度具有交換的關係,且若嘗試以達成處理速度之提升或滙流排帶之減少,而同時要求移動偵測中的準確度時,則亦必須考慮成本相對於功效的問題。此縮小面匹配處理模式係適用於其中嘗試以達成例如處理速度之提升或滙流排帶之減少於動像雜訊降低過程中,而即使忽視移動偵測準確度亦可的情況之處理模式。
<縮小面匹配法+內插法處理模式>
在縮小面匹配處理模式中,移動向量的偵測準確度具有依據影像縮小比例之值,其中盡可能地維持處理速度或滙流排帶的降低,以提高移動向量之準確度的模式係此縮小面匹配法+內插法的處理模式。
在此縮小面匹配法+內插法處理模式之中,內插法係在執行區塊匹配法於縮小面及SAD值的位置資訊上之後,使用縮小面參考區塊139的SAD值而執行於所計算之縮小面移動向量136所指示的縮小面參考區塊位置之附近,以執行像素準確度之縮小面移動向量偵測。
例如,若區塊匹配法係執行於如第9圖中所示之在垂直及水平方向二者中縮小為1/4的縮小面之上時,則縮小面移動向量136具有四像素之準確度。然而,明顯的是,在基準面參考像框134之中,一像素準確度之基準面移動向量104存在於藉由將縮小面移動向量136乘以n所獲得之基準面移動向量104’的附近。
因此,當其中在縮小面上之最小SAD值149係如第10圖中所示地決定於該處時,似乎可使用例如諸如在向上、向下、向左、及向右方向中所鄰接之四個SAD值150、151、152及153的複數個鄰接之SAD值來執行內插法,以偵測像素準確度的移動向量。在此例子中,需四次之內插放大。
例如,使用二次曲線來內插SAD表,而自藉由以例如n像素為單位來執行匹配法所獲得的縮小面SAD表,以計算像素準確度之移動向量似乎係可行的想法。在此實例中,即使不使用二次曲線近似內插法,也可使用線性內插法或等於或高於三次之更高次的近似曲線內插法;然而,在此實例中,二次曲線近似內插法係依準確度與硬體組態間的平衡而使用。
如第10圖中所示,在此二次曲線近似內插法之中,係使用由n像素準確度之縮小面移動向量136所指示的縮小面SAD表之SAD值的最小SAD值Smin(請參閱第10圖中之參考符號149),以及在該最小SAD值Smin之位置周圍的鄰接位置處之複數個SAD值(在下文中稱為鄰接縮小面SAD值),在此實例中,係X方向或水平方向及Y方向或垂直方向中之最小SAD值Smin的位置附近之四個鄰接的SAD值Sx1、Sx2、及Sy1、Sy2(請參閱參考符號150、151、152及153)。
若使用縮小面SAD值的最小SAD值Smin以及在X方向或水平方向中之兩鄰接點的鄰接縮小面SAD值Sx1及Sx2以應用如第11圖中所示之二次近似曲線118時,則在該二次近似曲線118以最小值作為前提之X座標變成縮小面移動向量之X座標Vx,亦即,高準確度縮小面移動向量,在該處之像素準確度的SAD值以最小值SXmin為前提。在此例子中之二次曲線近似內插法的表示係由下式(1)所示:
SXmin=1/2×(Sx2-Sx1)/(Sx2-2Smin+Sx1)……(1)
以依據該計算式(1)所決定之像素準確度的SAD值之最小值SXmin在SAD表上作為前提的X座標係X座標Vx,其係像素準確度之縮小面SAD值的最小值。
該計算式(1)之除法可由執行減法複數次而予以實施,若將被決定之像素準確度係例如1/4縮小面像素間距的像素間距之準確度時,則因為可由兩次的減法來決定,所以電路比例變低以及計算時間變短,且可實施僅與三次曲線內插法之性能稍微不同的性能,而該三次曲線內插法比二次曲線內插法更為複雜。
相似地,若使用縮小面SAD值的最小SAD值Smin以及在Y方向或垂直方向中之兩鄰接點的鄰接縮小面SAD值Sy1及Sy2以應用二次近似曲線時,則在該二次曲線以最小值作為前提之Y座標變成Y座標Vy,在該處之像素準確度的SAD值假定為最小值。在此例子中之二次曲線近似內插法的表示係由下式(2)所示:
SYmin=1/2×(Sy2-Sy1)/(Sy2-2Smin+Sy1)……(2)
藉由以如上述之此一方式在X方向及Y方向中執行二次曲線的近似法兩次,可決定像素準確度之高準確度縮小面移動向量(Vx,Vy)。
在上述說明中,雖然使用縮小面SAD值的最小值及在X或水平方向及Y或垂直方向的各個方向中之該最小值點的二鄰接點之縮小面SAD值,但在該等方向的各個方向中之縮小面SAD值的數目可為二以上。進一步地,可不應用二次曲線至X方向及Y方向,而是可應用近似曲線於斜方向之中;此外,除了X及Y方向之外,可應用近似曲線於斜方向之中。
在第12圖中描繪的是,由使用如上述之該手段及程序,可由n像素單位之準確度的SAD表之值來獲得像素準確度的向量偵測結果於第12圖中;第12圖之橫軸表示內插放大率,且顯示應以一維方向來施加放大率至解析度。因為該SAD表係二維之表,所以表區域會平方比地減少,但因由於內插法的誤差會線性地或實質線性地增加,所以可辨識上述內插法的實用性。
該縮小面匹配法+內插法處理模式係適合於其中雖然嘗試以達成處理速度的提升或滙流排帶的減少,但亦嘗試以施加例如像素準確度於動像雜訊降低過程中以成為移動偵測準確度的處理模式。
<階層匹配處理模式1>
具有縮小面匹配法+內插法處理模式,可施加像素準確度以做為移動偵測準確度,而同時可達成處理速度之提升或滙流排帶的減少;然而,因為像素準確度係由內插法所決定,所以其將更加依賴內插放大率及使用於內插法的近似曲線。
因此,做為其中移動偵測準確度係設定為更高準確度之像素準確度的處理模式,係提供階層匹配處理模式1於本實施例中。
在此階層匹配處理模式1之中,如第13A及13B圖中所示地,先以預定的縮小比例來縮小基準面目標影像和基準面參考影像,且然後,執行上文中所述之縮小面匹配法以實施縮小面移動向量136的偵測。
如第14圖中所示地,在縮小面參考訊框135中之複數個縮小面移動向量136係由縮小面目標區塊133與設定於縮小面匹配處理範圍143中之複數個縮小面參考區塊139間的區塊匹配之相關性評估所計算,該縮小面匹配處理範圍143係根據縮小面搜尋範圍137而定。
如上文中所敘述地,由於各個縮小面移動向量136因為影像縮小至1/n×1/n而具有等於一像素準確度之n倍低的準確度;因此,即使將所計算之縮小面移動向量136乘以n,亦無法獲得一像素準確度之基準面移動向量104於基準面參考像框134之內。然而,明顯的是,在基準面參考像框134中,一像素準確度之基準面移動向量104存在於由增加該縮小面移動向量136至n倍所獲得的移動向量的附近。
因此,在該階層匹配處理模式1之中,如第13C及14圖中所示,基準面搜尋範圍140係設定於其中該基準面移動向量104被評估為存在於由增加縮小面移動向量136至n倍所獲得之移動向量(基準面參考向量141)所示的位置周圍之小範圍內,且基準面匹配處理範圍144係回應於所設定之基準面搜尋範圍140而設定。
接著,如第13C及14圖中所示地,將基準面參考像框134中的基準面參考向量141設定為指示元件,而指示基準面搜尋範圍140中的位置,同時將基準面參考區塊142設定至各個基準面參考向量141所指示的位置,以執行該基準面參考像框134的區塊匹配。此處,當然的是,偵測於此之基準面移動向量的準確度係像素準確度。
當與由增加縮小面搜尋範圍137及縮小面匹配處理範圍143至n倍所獲得的搜尋範圍137’及匹配處理範圍143’相比較時,以此方式所設定的基準面搜尋範圍140及基準面匹配處理範圍144可為很小的範圍,其中該n倍係縮小比例之倒數的倍數。
從而,若僅執行區塊匹配法於基準面之上而未執行階層匹配時,則在基準面之上必須設定複數個參考區塊於搜尋範圍137’及匹配處理範圍143’之中,以執行用以決定與目標區塊之相關值的計算;可是,在階層匹配過程中,匹配可僅執行於很小的範圍之內,如第13c及14圖中所示。
因此,設定於如上述之小範圍的基準面搜尋範圍140及基準面匹配處理範圍144中之基準面參考區塊142的數目會很小;從而,可有效地減少匹配過程執行之次數,亦即,減少相關值計算的次數,以及減少將被保持之SAD值。因此,可達成提升處理速度及在標度上降低SAD表之功效。
此階層匹配處理模式1係適合於例如其中即使犧牲處理速度的增加或滙流排帶的減少於動像雜訊降低過程中至某一程度,也要將移動偵測準確度設定為像素準確度之處理模式。
<階層匹配處理模式2>
在上述之階層匹配處理模式1之中,在基準面匹配過程中之搜尋範圍,亦即,基準面搜尋範圍係根據縮小比例1/n之倒數的n像素準確度的縮小面移動向量136而決定;然而,因為縮小面參考向量142的準確度比像素準確度更低,所以即使基準面移動向量可以以像素準確度而偵測,亦存在以下的問題。
尤其,例如若縮小比例係1/4時,基準面搜尋範圍係根據縮小面匹配處理模式中所偵測之四像素準確度的縮小面移動向量136而決定;因此,該基準面搜尋範圍之中心座標僅可針對每四個像素而決定,此係描繪於第15A及15B圖之中。在第15A及15B圖中,目標區塊之尺寸係8像素×8線,且縮小比例係1/4。
根據縮小面移動向量136所決定之縮小面移動補償區塊161,亦即,縮小面參考區塊139可為諸如由第15A圖中之斜線所表示者;特別地,因為縮小面移動補償區塊161係圍繞著由縮小面移動向量136所指示之位置為中心而決定,所以設定基準面搜尋範圍以便包含縮小面移動補償區塊161於其中心處。此處,第15A圖中之一胞格代表縮小面上的一胞格,且具有等於第15B圖之基準面上的一像素之四倍的尺寸。
若由基準面搜尋範圍所決定之基準面匹配處理範圍係設定比縮小面移動補償區塊161的範圍更大四個像素於基準面之上時,則在基準面匹配過程的搜尋範圍中之基準面匹配處理範圍144可決定為如第15B圖所示之遮影的粗線框架所指示之此一範圍。
然而,在其中實際的基準面移動向量係以高度可能性所偵測的部分162係在縮小面參考區塊139,亦即,縮小面移動補償區塊161之中間而定位於如第15A圖中所示的基準面之上時,則其中基準面移動向量係以高度可能性所偵測的該部分162會位移至靠近所設定之基準面匹配處理範圍144的一端之位置,而非定位於如第15B圖中所示的搜尋範圍之內。
若此情勢發生時,則基準面移動向量會對應於具有最高相關性於所設定之基準面匹配處理範圍144中的參考區塊,而造成無法計算出具有高準確度之基準面移動向量。
階層匹配處理模式2係改善關於上述問題,且使用決定於縮小面匹配法+內插法處理模式中之像素準確度的高準確度縮小面移動向量136’來決定基準面匹配過程中之基準面搜尋範圍的處理模式。
在此例子中,因為基準面搜尋範圍的中心座標係針對每一個像素而決定,所以若基準面移動向量係以高度可能性所決定的部分162係如第16A圖中所示之此一位置時,則可獲得如第16A圖中所示之此一高準確度縮小面移動向量136’。因此,縮小面移動補償區塊161的位置係在基準面之上,自基準面移動向量係以高度可能性所偵測的部分162位移一像素之距離。
然後,在本處理模式中,由高準確度縮小面移動向量136’所決定之基準面匹配處理範圍144變成如第16B圖中的遮影所示之此一範圍,且可將基準面移動向量係以高度可能性所偵測的部分162自基準面匹配處理範圍144偏離之此一情勢消除。
此階層匹配處理模式2係適合於其中即使犧牲例如處理速度之提升或滙流排帶之減少於動像雜訊降低過程中至某一程度,也要將移動偵測準確度設定為像素準確度,且打算以比階層匹配處理模式1中更高度的準確度來執行移動偵測之處理模式。
<階層匹配法十內插法處理模式1及2>
如上述地,依據階層匹配處理模式1或階層匹配處理模式2,可執行像素準確度之基準面移動向量的偵測;然而,如上文中所敘述地,在靜像雜訊降低過程中,所需求的是,執行比像素準確度更高的子像素準確度之移動偵測。
因此,在本實施例之中,係使用階層匹配法+內插法處理模式以做為子像素準確度的處理模式。此處,因為提出階層匹配處理模式1和階層匹配處理模式2以供本實施例中之階層匹配用,所以亦製備有關之階層匹配法+內插法處理模式,階層匹配法+內插法處理模式1,以及另一之階層匹配法+內插法處理模式2。
在階層匹配法+內插法處理模式1之中,若成功地偵測出像素準確度之基準面移動向量104於階層匹配處理模式1之中時,則在此例子中亦使用由基準面移動向量104所指示之參考區塊的SAD值,亦即,使用基準面最小SAD值及鄰接的SAD值來執行二次曲線近似內插法,以計算子像素準確度之高準確度移動向量。
將敘述子像素準確度之高準確度移動向量。由於在上述區塊匹配法之中,區塊匹配係以像素為單位而執行,所以移動向量係僅以像素準確度而計算;如上文中參照第56圖所描述地,執行匹配法之點,亦即,參考區塊的位置係以像素準確度而存在,且為了要計算更高準確度的移動向量,需要子像素為單位的匹配法。
若以N像素為單位而執行匹配法以計算出N倍更高之像素準確度(1/N的像素間距),則SAD表的尺寸約變成N2 倍,且記憶體之容量需變大;進一步地,為了要執行區塊匹配法,必須產生增加至N倍的上取樣之影像,且因此,將大大地增加硬體的比例。
因此,所嘗試的是,使用二次曲線來內插SAD表,使得子像素準確度的移動向量係由以像素為單位來執行匹配法所獲得的SAD表所計算;而且,在此情況中,即使不使用二次曲線近似內插法,也可使用線性內插法或三次或更高次的近似曲線內插法。在本實例中,二次曲線近似內插法係依準確度與硬體實施間的平衡而使用。
如第17圖中所示,在本實例中的二次曲線近似內插法之中,係使用由像素準確度之基準面移動向量104所指示的基準面SAD表的最小SAD值SSmin(基準面最小SAD值;請參閱第17圖中之參考符號113),以及在該基準面最小SAD值SSmin之位置的鄰接位置處之複數個SAD值(在下文中稱為基準面鄰接SAD值),在本實例中,係X方向或水平方向及Y方向或垂直方向中之與該基準面最小SAD值SSmin的位置鄰接之四個基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2(請參閱參考符號114,115,116,及117)。
如第18圖中所示,若使用基準面最小SAD值SSmin 以及在X方向中之兩鄰接點的基準面鄰接SAD值SSx1及SSx2以應用二次近似曲線118時,則在該二次近似曲線118以最小值作為前提之X座標係移動向量的X座標Vx,亦即,具備子像素準確度的SAD值之最小值SSXmin的高準確度移動向量。在此例子中之二次曲線近似內插法的表示係相似於上文中所給定之計算式(1),且由下式(3)所表示:
SSXmin=1/2×(SSx2-SSx1)/(SSx2-2SSmin+SSx1)……(3)
以依據該計算式(3)所決定之子像素準確度的SAD值之最小值SSXmin在SAD表上作為前提的X座標係X座標Vx,在該X座標Vx處可提供子像素準確度之SAD值的最小值。
該計算式(3)之除法可由執行減法複數次而予以實施,若將被決定之像素準確度係例如1/4原始像素間距之像素間距的準確度時,則因為可僅由兩次的減法來決定,所以電路比例變低以及計算時間變短,且可實施僅與三次曲線內插法之性能稍微不同的性能,而該三次曲線內插法比二次曲線內插法更為複雜。
相似地,若使用基準面最小SAD值SSmin以及在Y方向或垂直方向中之兩鄰接點的基準面鄰接SAD值SSy1及SSy2以應用二次近似曲線時,則在該二次曲線以最小值SSYmin作為前提之Y座標變成Y座標Vy,在該處之子像素準確度的SAD值假定為最小值。在此例子中之二次曲線近似內插法的表示係相似於上文中所給定之計算式(2),且由下式(4)所表示:
SSYmin=1/2×(SSy2-SSy1)/(SSy2-2SSmin+SSy1)……(4)
藉由以如上述之此一方式在X方向及Y方向中執行二次曲線的近似法兩次,可決定子像素準確度之高準確度移動向量(Vx,Vy)。
在上述說明中,雖然使用準確面最小SAD值及在X或水平方向及Y或垂直方向中之最小值點的四鄰接點之基準面鄰接SAD值,但在該等方向的各個方向中之鄰接SAD值的數目可大於二。進一步地,可不應用二次曲線至X方向及Y方向,而是可應用近似曲線於斜方向之中;此外,除了X及Y方向之外,可應用近似曲線於斜方向之中。
由使用如上述之該手段及程序,可自上文中參照第12圖所給定的說明而明顯地獲得,由像素之單位的準確度之SAD表的值所獲得之子像素準確度的向量偵測結果。
在本實施例中,上文中所敘述之該複數個區塊匹配法係使用硬體而由軟體處理所執行,該硬體包含移動偵測及移動補償單元16、影像重疊單元17、及影像記憶體單元4,該影像記憶體單元4係透過系統匯流排2而連接至移動偵測及移動補償單元16和影像重疊單元17。現將敘述該移動偵測及移動補償單元16及影像重疊單元17之硬體組態的實例。
<移動偵測及移動補償單元16之硬體組態的實例>
第19圖顯示移動偵測及移動補償單元16之硬體組態的實例。請參閱第19圖,所顯示之移動偵測及移動補償單元16包含目標區塊緩衝器部161,用以保持目標區塊102之像素資料;參考區塊緩衝器部162,用以保持參考區塊108之像素資料;以及匹配處理部163,用以計算目標區塊102及參考區塊108之對應像素的SAD值。該移動偵測及移動補償單元16進一步包含移動向量計算部164,用以自輸出自匹配處理部163的SAD值資訊來計算移動向量;以及控制部165,用以控制該移動偵測及移動補償單元16之組件區塊。
移動偵測及移動補償單元16及影像記憶體單元4係由系統匯流排2而相互連接;特別地,在本實例中,滙流排介面單元21及另一滙流排介面單元22係分別地連接於系統匯流排2與目標區塊緩衝器部161及參考區塊緩衝器部162之間。此處,該系統匯流排2使用AXI(先進之可擴充式介面)互連以做為其協議。
在靜像影像的拾取上,來自影像記憶體單元4之中所儲存的縮小面目標影像Prt或基準面目標影像Pbt之像框的縮小面目標區塊或基準面目標區塊係寫入至目標區塊緩衝器部161之內。當其中縮小面目標影像Prt或基準面目標影像Pbt係第一者時,在按壓快門按鈕之後的第一拾取像框的影像係寫入至目標區塊緩衝器部161之內以做為目標像框102。在根據區塊匹配法而執行與參考影像的影像重疊之後,影像重疊後之降低雜訊的影像係寫入至影像記憶體單元4之內,且該目標區塊緩衝器部161的目標區塊102被重寫為降低雜訊的影像。
在縮小面匹配處理範圍或基準面匹配處理範圍內之來自影像記憶體單元4之中所儲存的縮小面參考影像Prr或基準面參考影像Pbr之像框的影像資料係自影像記憶體單元4讀出,且寫入至參考區塊緩衝器部162之內。做為縮小面參考影像Prr或基準面參考影像Pbr,係將上述第一像框之後的像框寫入至影像記憶體單元4之內以做為參考像框101。
在此情況中,若執行影像重疊過程而同時提取所連續拾取之複數個拾取影像(在下文中將稱此重疊為影像拾取期間的相加),以做為基準面參考影像及基準面參考影像時,則在第一拾取像框後之拾取像框係一個一個地連續提取至影像記憶體單元4之內;因而,該影像記憶體單元4可大致地僅保持一基準面參考影像及一縮小面參考影像。
然而,當其中在將連續所拾取之複數個拾取影像提取至影像記憶體單元4之內後,移動偵測及移動補償單元16以及影像重疊單元17執行移動向量偵測且執行影像重疊(在下文中將稱此重疊為影像拾取之後的相加)時,必須諸存緊跟在第一拾取像框後面之所有的複數個拾取像框至影像記憶體單元4之內,且保持於該影像記憶體單元4之中。
雖然影像拾取設備可使用影像拾取期間的相加及影像拾取之後的相加之其中任一者,但在本實施例中,由於考慮到需要其中降低雜訊之清晰影像。所以採用影像拾取之後的相加,雖然需要稍微長的處理時間。在下文中,將詳細敘述本實施例中之靜像雜訊降低過程的操作。
相反地,在動像影像拾取模式中,來自影像校正及解析度轉換單元15之拾取像框係輸入至移動偵測及移動補償單元16之內以做為目標區塊102。從目標像框所提取之目標區塊係自影像校正及解析度轉換單元15寫入至目標區塊緩衝器部161之內;同時,儲存於影像記憶體單元4之中且正好在目標像框之前的拾取像框被決定成為參考像框101,以及來自其係基準面參考影像Pbr或縮小面參考影像Prr之參考像框101的基準面匹配處理範圍或縮小面匹配處理範圍係寫入至參考區塊緩衝器部162之內。
在動像影像拾取模式中,僅必須保持正好在目前之拾取像框之前的拾取像框以做為基準面參考影像Pbr及縮小面參考影像Prr,而來自影像校正及解析度轉換單元15之目標像框的區塊匹配應以其而執行,且將被保持於影像記憶體單元4之中的影像資訊可僅針對一影像或一像框;因此,在本實例中,該基準面參考影像Pbr及縮小面參考影像Prr並非以壓縮影像資料為形式。
匹配處理部163係針對儲存於目標區塊緩衝器部161中之目標區塊及儲存於參考區塊緩衝器部162中之參考區塊來執行縮小面匹配過程及基準面匹配過程。
此處,當其中縮小面目標區塊之影像資料係儲存於目標區塊緩衝器部161之中,且在縮小面匹配處理範圍內之自縮小面參考螢幕所提取的影像資料係儲存於參考區塊緩衝器部162之中時,則匹配處理部163執行縮小面匹配過程;相反地,當其中基準面目標區塊之影像資料係儲存於目標區塊緩衝器部161之中,且在基準面匹配處理範圍內之自基準面參考螢幕所提取的影像資料係儲存於參考區塊緩衝器部162之中時,則匹配處理部163執行基準面匹配過程。
為了要使匹配處理部163偵測出區塊匹配中之目標區塊與參考區塊間的相關性之強度,在本實施例中係使用影像資料的光亮度資訊來執行SAD值計算,以偵測最小SAD值,且將顯示該最小SAD值之參考區塊偵測為最高相關性參考區塊。
應注意的是,該SAD值之計算當然可不使用光亮度資訊,而是使用色差信號或紅(R)、綠(G)、和藍(B)之三原色信號的資訊而執行。進一步地,在SAD值的計算中,雖然正常地係使用區塊中之所有像素,但為了要降低計算量,可由取樣或類似者而僅使用居中位置之有限像素的像素值。
移動向量計算部164自匹配處理部163之匹配過程的結果來偵測參考區塊相對於目標區塊之移動向量。在本實施例中,當縮小面匹配過程係由匹配處理部163所執行時,縮小面移動向量係由移動向量計算部164所偵測,且當基準面匹配過程係由匹配處理部163所執行時,基準面移動向量亦由移動向量計算部164所偵測。
進一步地,在本實施例中,移動向量計算部164具有以下之功能;特別地,移動向量計算部164保持SAD值之最小值,且進一步保持指示該最小SAD值的參考向量之附近的參考向量之複數個SAD值,以執行此二次曲線近似內插法。然後,在縮小面匹配過程中,移動向量計算部164偵測像素準確度之高準確度縮小面移動向量,以及在基準面匹配過程中,移動向量計算部164偵測子像素準確度之高準確度基準面移動向量。
控制部165在CPU1的控制下控制移動偵測及移動補償單元16,以決定應執行該複數個區塊匹配處理模式之何者;然後,控制部165控制所決定之區塊匹配處理模式的處理操作。
<目標區塊緩衝器部161之組態的實例>
目標區塊緩衝器部161之組態的實例係顯示於第20圖之中。請參閱第20圖,所顯示之目標區塊緩衝器部161包含基準面緩衝器部分1611,縮小面緩衝器部分1612,縮小處理部分1613,以及選擇器1614,1615,及1616。雖然未顯示於第20圖之中,但該等選擇器1614,1615,及1616係由來自控制部165的選擇控制信號所選擇性地控制。
基準面緩衝器部分1611係使用以暫時儲存基準面目標區塊。該基準面緩衝器部分1611不僅供應基準面目標區塊至影像重疊單元17,而且供應該基準面目標區塊至選擇器1616。
縮小面緩衝器部分1612係使用以暫時儲存縮小面目標區塊。該縮小面緩衝器部分1612供應縮小面目標區塊至選擇器1616。
縮小處理部分1613係設置以由目標區塊來產生縮小面目標區塊;如上述地,該目標區塊係在動像影像拾取模式中自影像校正及解析度轉換單元15來傳送至該處。來自該縮小處理部分1613之縮小面目標區塊係供應至選擇器1615。
選擇器1614依據來自控制部165之選擇控制信號,在動像影像拾取模式中,自影像校正及解析度轉換單元15來選擇目標區塊,亦即,基準面目標區塊;而在靜像影像拾取模式中,自影像記憶體單元4來選擇基準面目標區塊或縮小面目標區塊。然後,該選擇器1614輸出且供應所選擇的區塊至基準面緩衝器部分1611,縮小處理部分1613,及選擇器1615。
選擇器1615依據來自控制部165之選擇控制信號,在動像影像拾取模式中,自影像校正及解析度轉換單元15來選擇縮小面目標區塊;而在靜像影像拾取模式中,自影像記憶體單元4來選擇縮小面目標區塊。然後,該選擇器1615輸出且供應所選擇的區塊至縮小面緩衝器部分1612。
選擇器1616依據來自控制部165之選擇控制信號,在縮小面上的區塊匹配中,自縮小面緩衝器部分1612來選擇縮小面目標區塊;而在基準面上的區塊匹配中,自基準面緩衝器部分1611來選擇基準面目標區塊。然後,該選擇器1616輸出且傳送所選擇的縮小面目標區塊或基準面目標區塊至匹配處理部163。
<參考區塊緩衝器部162之組態的實例>
第21圖顯示參考區塊緩衝器部162之組態的實例。請參閱第21圖,該參考區塊緩衝器部162包含基準面緩衝器部分1621,縮小面緩衝器部分1622,及選擇器1623。雖然並未顯示於第21圖之中,但選擇器1623係由來自控制部165的選擇控制信號所選擇性地控制。
基準面緩衝器部分1621暫時地儲存來自影像記憶體單元4之基準面參考區塊,且供應該基準面參考區塊至選擇器1623。該基準面緩衝器部分1621進一步地傳送基準面參考區塊至影像重疊單元17,以做為移動補償區塊。
縮小面緩衝器部分1622係使用以暫時儲存來自影像記憶體單元4之縮小面參考區塊。該縮小面緩衝器部分1622供應該縮小面參考區塊至選擇器1623。
一旦區塊匹配於縮小面之上時,該選擇器1623依據來自控制部165之選擇控制信號而自縮小面緩衝器部分1622選擇性地輸出縮小面參考區塊,但是區塊匹配於基準面之上時,則自基準面緩衝器部分1621選擇性地輸出基準面參考區塊。選擇性地輸出之縮小面參考區塊或基準面參考區塊係傳送至匹配處理部163。
<影像重疊單元17之組態的實例>
影像重疊單元17之組態的實例係顯示於第22圖之中。請參閱第22圖,所顯示之影像重疊單元17包含相加比例計算部171,相加部172,基準面輸出緩衝器部173,縮小面產生部174,及縮小面輸出緩衝器部175。
影像重疊單元17及影像記憶體單元4係由系統匯流排2而相互連接。特別地,在第22圖中所示的實例之中,匯流排介面單元23及另一匯流排介面單元24係分別地連接於系統匯流排2與基準面輸出緩衝器部173及縮小面輸出緩衝器部175之間。
相加比例計算部171自移動偵測及移動補償單元16接收目標區塊及移動補償區塊,以決定該二區塊的相加比例,而回應於將被採用的相加方法是否簡單相加方法或平均相加方法。然後,該相加比例計算部171將所決定的相加比例以及目標區域及移動補償區塊一起供應至相加部172。
當複數個影像重疊時,若該等影像係以1:1之光亮度比而重疊時,動態範圍會加倍;因此,當意圖重疊低的光照度之影像以便施加雜訊降低及超敏化時,則所企望的是,使用其中將該等影像以1:1之光亮度比來相加之方法。此係簡單相加方法。
相反地,當其中以可確保光照度之條件而施加雜訊降低法至所拾取的影像時,則可企望的是,使用其中將該等影像相加以致使總光亮度變成1而無需增加動態範圍之另一方法。此係平均相加方法。
由於相加部172之相加結果的基準面降低雜訊的影像係透過基準面輸出緩衝器部173及匯流排介面單元23而寫入至影像記憶體單元4;進一步地,由於相加部172之相加結果的基準面降低雜訊的影像係由縮小面產生部174而轉換成為縮小面降低雜訊的影像。因此,來自縮小面產生部174之縮小面降低雜訊的影像係透過縮小面輸出緩衝器部175及匯流排介面單元24而寫入至影像記憶體單元4之內。
[移動向量計算部164之硬體組態的實例]
現將敘述移動向量計算部164之硬體組態的若干實例及其之操作;進一步地,將敘述使用與先前技術相似之SAD表的第一實例,以做為本發明實施例中之移動向量計算部164的硬體組態之實例。
<第一實例>
第23圖顯示移動向量計算部164之組態的第一實例。請參閱第23圖,第一實例之移動向量計算部164包含SAD值寫入部分1641,SAD表TBL,SAD值比較部分1642,及SAD值保持部分1643。該移動向量計算部164進一步包含X方向(水平方向)鄰接值提取部分1644,Y方向(垂直方向)鄰接值提取部分1645,及二次曲線近似內插處理部分1646。
在此第一實例之移動向量計算部164中,SAD值寫入部分1641接收及儲存自匹配處理部163傳送至該處之縮小面參考區塊或基準面參考區塊,亦即,縮小面參考向量或基準面參考向量的位置資訊,以及縮小面參考區塊或基準面參考區塊的SAD值至SAD表TBL之內。在完成由匹配處理部163之用於整個搜尋範圍的匹配過程之後,SAD值比較部分1642執行該SAD 表 TBL之所有SAD值的比較過程以搜尋最小SAD值;然後,SAD值比較部分1642將所偵測之最小SAD值及顯示該最小SAD值之縮小面參考區塊或基準面參考區塊的位置資訊,亦即,縮小面參考向量或基準面參考向量保持至SAD值保持部分1643之內。
在此情況中,若影像拾取設備係在上文中所敘述之縮小面匹配處理模式之中時,則對應於在縮小面匹配過程後所保持於SAD值保持部分1643中之最小SAD值Smin的參考向量之資訊,亦即,縮小面移動向量之資訊自移動向量計算部164供應至控制部165,所供應之資訊係由控制部165使用以自參考區塊緩衝器部162讀出移動補償區塊。
相反地,在上文中所敘述之階層匹配處理模式1之中,對應於在縮小面匹配過程後所保持於SAD值保持部分1643中之最小SAD值Smin的參考向量之資訊,亦即,縮小面移動向量之資訊自移動向量計算部164供應至控制部165,所供應之資訊係使用於控制部165之中,以設定用於區塊匹配之搜尋範圍於基準面之上。
另一方面,在上文中所敘述之階層匹配處理模式2之中,對應於在基準面匹配過程後所保持於SAD值保持部分1643中之最小SAD值Smin的參考向量之資訊,亦即,基準面移動向量之資訊自移動向量計算部164供應至控制部165,所供應之資訊係由控制部165所使用,以自參考區塊緩衝器部162讀出移動補償區塊。
若在區塊匹配過程中僅需偵測縮小面移動向量或基準面移動向量時,則只需保持最小SAD值Smin或SSmin及顯示該最小SAD值Smin或SSmin之縮小面參考區塊或基準面參考區塊的位置資訊,亦即,縮小面參考區塊或基準面參考向量於SAD值保持部分1643之中。
然而,在本實施例之中,必須組構影像拾取設備使得不僅可執行縮小面匹配處理模式,而且可執行縮小面匹配法十內插法處理模式以及階層匹配法+內插法處理模式1及2;因此,必須組構移動向量計算部164,使得不僅計算動向量以做為區塊匹配過程的結果,而且可計算移動向量以做為如上文中所敘述之內插過程的結果。
尤其,在本實施例之中,移動向量計算部164必須在縮小面或基準面上的區塊匹配過程之後,使用顯示最小SAD值之參考區塊的位置之附近的複數個SAD值,以執行內插法而供計算高準確度縮小面移動向量及高準確度基準面移動向量之用。
因此,在本實施例之中,該移動向量計算部164亦具有用以執行內插法之功能;特別地,SAD值保持部分1643,X方向(水平方向)鄰接值提取部分1644,Y方向(垂直方向)鄰接值提取部分1645,及二次曲線近似內插處理部分1646係該移動向量計算部164之用以執行內插法的組件。
該移動向量計算部164係組構以致使其讀出複數個SAD值(在本實例中,係所偵測出之最小SAD值Smin或SSmin的附近之四個鄰接SAD值)以及讀出可自SAD表TBL顯示該等SAD值之參考區塊的位置資訊或參考向量,且儲存所讀出之SAD值及位置資訊至SAD值保存部分1643之內。
接著,X方向(水平方向)鄰接值提取部分1644讀出與參考區塊之位置資訊或參考向量一起儲存在SAD值保持部分1643中之所偵測的最小SAD值以及X或水平方向中之鄰接值,且將所讀出之該等SAD值傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646以如上述之此一方式根據二次曲線而執行用於X或水平方向的內插法。
之後,Y方向(垂直方向)鄰接值提取部分1645讀出與參考區塊之位置資訊或參考向量一起儲存在SAD值保持部分1643中之所偵測的最小SAD值以及Y或垂直方向中之鄰接值,且將所讀出之該等SAD值傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646以如上述之此一方式根據二次曲線而執行用於Y或垂直方向的內插法。
因此,該二次曲線近似內插處理部分1646根據二次曲線而在X方向及Y方向中執行內插法兩次;然後,該二次曲線近似內插處理部分1646針對縮小面以計算像素準確度之高準確度縮小面移動向量,但針對基準面則計算子像素準確度之高準確度基準面移動向量。
當影像拾取設備係在縮小面匹配法+內插法處理模式,階層匹配處理模式2,階層匹配法+內插法處理模式1,及階層匹配法+內插法處理模式2之中時,該二次曲線近似內插處理部分1646在控制部165的控制之下操作。該二次曲線近似內插處理部分1646供應所計算的縮小面移動向量或基準面移動向量至控制部165。
當該影像拾取設備係在縮小面匹配法+內插法處理模式之中時,控制部165使用接收自移動向量計算部164之高準確度縮小面移動向量,而自參考區塊緩衝器部162來讀出移動向量區塊。
當該影像拾取設備係在階層匹配處理模式2之中時,控制部165使用接收自移動向量計算部164之高準確度縮小面移動向量,以設定用於區塊匹配的搜尋範圍於基準面之上。
當該影像拾取設備係在階層匹配處理模式2之中時,控制部165使用接收自移動向量計算部164之高準確度基準面移動向量,而自參考區塊緩衝器部162來讀出移動補償區塊。
當該影像拾取設備係在階層匹配法+內插法處理模式1之中時,控制部165使用接收自移動向量計算部164之高準確度基準面移動向量,而自參考區塊緩衝器部162來讀出移動補償區塊。
當該影像拾取設備係在階層匹配法+內插法處理模式2之中時,控制部165使用接收自移動向量計算部164之高準確度縮小面移動向量,以設定用於區塊匹配的搜尋範圍於基準面之上。
當該影像拾取設備係在階層匹配法+內插法處理模式2之中時,控制部165使用接收自移動向量計算部164之高準確度基準面移動向量,而自參考區塊緩衝器部162來讀出移動補償區塊。
在第一實例中之縮小面或基準面上的區塊匹配過程中之操作流程的實例係顯示於第24圖之中,該第一實例之流程圖的步驟係由匹配處理部163及移動向量計算部164在控制部165的控制下所執行。
請參閱第24圖,匹配處理部163先設定參考向量(Vx,Vy)於縮小面或基準面之上,以設定縮小面或基準面參考區塊位置來供SAD值之計算用(步驟S1):接著,匹配處理部163自參考區塊緩衝器部162讀取所設定之縮小面或基準面參考區塊的像素資料(步驟S2);之後,匹配處理部163讀取目標區塊緩衝器部161之縮小面或基準面目標區塊的像素資料,且決定縮小面或基準面目標區塊與縮小面或基準面參考區塊之像素資料的絕對差值之和,亦即SAD值(步驟S3);然後,匹配處理部163將所決定的SAD值傳送至移動向量計算部164。在移動向量計算部164之中,SAD值寫入部分1641將所接收之SAD值儲存至對應之縮小面或基準面參考區塊的適當位置,亦即,對應於縮小面或基準面參考向量的位置之內(步驟S4)。
接著,匹配處理部163決定匹配過程是否完成於搜尋範圍中之所有的縮小面或基準面參考區塊處,亦即,所有的縮小面或基準面參考向量之處(步驟S5);若所決定的是,尚未處理的縮小面或基準面參考區塊仍留在搜尋範圍之中時,則該處理返回至步驟S1,以重複以步驟S1所開始之該等步驟的過程。
相反地,若匹配處理部163在步驟S5決定的是,該匹配過程已完成於搜尋範圍中之所有的縮小面或基準面參考區塊處,亦即,所有的縮小面或基準面參考向量之處時,則告知移動向量計算部164此事實。
移動向量計算部164根據來自控制部165之資訊而判定該影像拾取設備是否在其中應執行內插法的模式之中(步驟S6),若所判定的是,該影像拾取設備係在其中不應執行內插法的模式之中時,則SAD值比較部分1642比較SAD表TBL之SAD值,以偵測該SAD表TBL中之最小SAD值Smin或SSmin;然後,該SAD值比較部分1642將對應於所偵測出之最小SAD值Smin或SSmin的縮小面或基準面參考區塊之位置的資訊,亦即,縮小面或基準面移動向量之資訊傳送至控制部165(步驟S7)。在第一實施例中之其中在該處的影像拾取設備係在其中不應執行內插法之模式中的區塊匹配過程隨即完成。
相反地,若在步驟S6所判定的是該影像拾取設備係在其中應執行內插法的模式之中時,則SAD值比較部分1642比較SAD表TBL之SAD值,以偵測其係SAD表TBL中之最小值的最小SAD值Smin或SSmin;接著,該SAD值比較部分1642將所偵測之最小SAD值Smin或SSmin與對應之縮小面或基準面參考區塊的位置之資訊一起儲存至SAD值保持部分1643的最小值儲存部分之內。然後,該SAD值保持部分1643自SAD表TBL取得所偵測之最小SAD值Smin或SSmin的位置之附近位置處的縮小面鄰接SAD值Sx1,Sx2,及Sy1,Sy2,或基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2,且將其儲存至個別的儲存部分之內(步驟S8)。
接著,X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645讀出所有保持於SAD值保持部分1643中之所偵測的最小SAD值Smin或SSmin,以及縮小面鄰接SAD值Sx1,Sx2,及Sy1,Sy2,或基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2,及其位置資訊,且將所取得的值及資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646接收來自X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645所傳送值及資訊,且在X方向及Y方向中根據二次曲線來執行內插法兩次,而以如上述之此一方式計算高準確度縮小面移動向量或基準面移動向量(步驟S9)。第一實例中之區塊匹配過程隨即完成。
上述第一實例產生SAD表TBL,用以儲存所有所計算的SAD值,且自所產生之SAD 表 TBL提取最小SAD值及鄰接之四個SAD值,用於二次曲線近似內插法。因此,需要大比例之記憶體以供SAD表TBL用。
在下文所述之其他實例中,並不產生用以儲存所有所計算之SAD值的SAD表TBL,且因此,可降低電路比,而且亦可降低處理時間。
<移動向量計算部164之硬體組態的第二實例>
如上述地,區塊匹配法將參考向量所指示之位置設定為參考區塊的位置,並計算目標區塊之參考區塊的各個像素之SAD值,以及執行計算過程用於由搜尋範圍中之所有參考向量所指示之位置的參考區塊。
此處,當改變搜尋範圍中之參考區塊的位置以搜尋移動補償區塊時,該搜尋可由各式各樣的方法所執行,使得可依序地自螢幕影像之一端或依序地自螢幕影像或像框的中心朝向外側而執行。在本實施例中,搜尋方向係以如第25A圖中之箭頭標示120所表示之此一方式而設定;尤其,該搜尋係以水平方向而起始自搜尋範圍的左上角,且在完成一線之搜尋後,在垂直方向中位於第一線之下方的另一線以水平方向而被搜尋自左端。然後,重複所述之程序以供所有之其他線用。
特別地,請參閱第25B圖,在搜尋範圍106中,參考區塊108係自該搜尋範圍106的左上方部分起而連續地設定及搜尋於水平方向中,以執行該等參考區塊108之SAD值的計算;因此,如第25c圖中所示,SAD表TBL之對應儲存胞格亦係自左上角起而連續地充填於水平方向中。此時,實際地使用於匹配法之像素資料的範圍依據如上文中所述之參考區塊108的尺寸,而變成匹配處理範圍110。
如第11及18圖中所示地,為了要執行像素準確度或子像素準確度之二次曲線近似內插法於本實施例中,僅需決定最小SAD值Smin或SSmin以及鄰接SAD值SX1,Sx2,及Sy1,Sy2,或在縮小面附近之基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2。
當計算SAD值用於各個參考區塊,若將所計算的SAD值與直至該時間點之最小值的SAD值相比較,且決定的是,所計算之SAD值係比直至該時之最小值的SAD值更低時,接著,若將所計算的SAD值儲存以做為最小值且然後將該時間點之SAD值及參考向量保持時,則可無需產生SAD表而決定最小值之SAD值及在以該最小值為前提下之參考區塊的位置資訊,亦即,參考向量之資訊。
接著,若保持所偵測之最小值的SAD值,且保持顯示該最小SAD值之參考區塊的位置附近之參考區塊的SAD值以成為鄰接SAD值,則亦可無需產生SAD表地保持該等SAD值。
此時,在本實例中,因為使用如上述之參照第25A圖的此一方法,所以若設置足以儲存水平方向中之一線的SAD值之容量的記憶體(在下文中稱為線記憶體)於如第26A圖中所示之先前技術的SAD表之中時,則當新近地計算參考區塊之SAD值時,先前所計算之SAD表TBL的一線之複數個參考區塊的SAD值係關於如第26B圖中的斜線所示之新近所計算的SAD值121而儲存於線記憶體中,以做為儲存資料122。
因此,若偵測出新近所計算之參考區塊的SAD值121係最小SAD值時,則可自線記憶體來取得在SAD表TBL之相對於顯示該SAD值121的參考區塊之上方一線的位置處之參考區塊的SAD值123,亦即,鄰接Sy1或SSy1,以及相對於顯示該SAD值121的參考區塊之左側位置處之參考區塊的SAD值124,亦即,鄰接SAD值Sx1或SSx1。
然後,其係相對於SAD表TBL上之最小SAD值121的參考區塊的右側位置處之參考區塊的SAD值之鄰接SAD值Sx2或SSx2(請參閱第26C圖中之參考符號125)可稍後地保持所計算之SAD值於該參考區塊的位置;同時,其係相對於新近所計算之最小SAD值121的參考區塊之下方一線的位置處之參考區塊的SAD值之鄰接SAD值Sy2或SSy2(請參閱第26C圖中之參考符號126)可稍後地保持所計算SAD值於該參考區塊的位置。
斟的上述,移動向量計算部164之第二實例具有如第27圖中所示之此一硬體組態。
請參閱第27圖,移動向量計算部164的第二實例並不包含如上文中參照第23圖所述的第一實例中之用以保持所有之所計算的SAD值之此SAD表TBL。特別地,移動向量計算部164包含SAD值寫入部分1641,SAD值比較部分1642,SAD值保持部分1643,X方向(水平方向)鄰接值提取部分1644,Y方向(垂直方向)鄰接值提取部分1645,二次曲線近似內插處理部分1646,以及具有用於SAD表TBL之一線的儲存容量之記憶體(下文中稱為線記憶體)1647。
雖然X方向(水平方向)鄰接值提取部分1644,Y方向(垂直方向)鄰接值提取部分1645,及二次曲線近似內插處理部分1646係與上文中所述之第一實例中的操作相似地操作,但SAD值寫入部分1641,SAD值比較部分1642,SAD值保持部分1643,及線記憶體1647卻與上文中所述的第一實例中之該等操作不同。
與上文中參照第23圖所述之第一實例相似地,SAD值保持部分1643包含保持部分或記憶體部分,用於最小SAD值Smin或SSmin以及縮小面鄰接SAD值Sx1,Sx2,及Sy1,Sy2,或基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2。在此第二實例中,該SAD值保持部分1643自最小SAD值保持部分供應最小SAD值Smin或SSmin至SAD值比較部分1642,且自保持於該處之中的鄰接SAD值中供應該最小SAD值Smin或SSmin之右側的鄰接SAD值Sx2或SSx2之參考區塊的位置資訊,亦即,參考向量,以及供應該最小SAD值Smin或SSmin之下方側的鄰接SAD值Sy2或SSy2之參考區塊的位置資訊,亦即,參考向量至SAD值寫入部分1641。
在第二實例中之SAD值比較部分1642自匹配處理部163接收參考區塊的位置資訊或參考向量及該參考區塊之SAD值Sin,且進一步地自SAD值保持部分1643的最小SAD值保持部分接收最小SAD值Smin或SSmin。
該SAD值比較部分1642比較來自匹配處理部163之在目前時間點所計算的SAD值Sin與來自SAD值保持部分1643之最小SAD值保持部分的最小SAD值Smin或SSmin。接著,若來自匹配處理部163之在目前時間點所計算的SAD值Sin較低,則SAD值比較部分1642將該SAD值偵測為最小SAD值;相反地,若該SAD值Sin較高時,則該SAD值比較部分1642偵測的是,保持於SAD值保持部分1643中之最小SAD值Smin或SSmin係目前時間點之最小SAD值。然後,該SAD值比較部分1642供應偵測之結果的資訊DET至SAD值寫入部分1641及SAD值保持部分1643。
SAD值寫入部分1641包含用於一像素之緩衝器記憶體,用以暫時保持來自匹配處理部163之SAD值Sin及該SAD值Sin的位置資訊或參考向量。在此第二實例中,該SAD值寫入部分1641將來自該匹配處理部163之參考區塊的位置資訊或參考向量及該參考區塊的SAD值Sin寫入至線記憶體1647之內。在此情況中,該線記憶體1647係與移位暫存器相似地操作,使得若當線記憶體1647不具有開放空間時,可將新的位置資訊及SAD值儲存至該線記憶體1647之內,而放棄該線記憶體1647中之最舊的位置資訊和SAD值。
進一步地,在此第二實例中,該SAD值寫入部分1641在將所計算之SAD值Sin及該SAD值Sin的位置資訊寫入至線記憶體1647內之前,執行諸如下文所述之此一過程。
特別地,若來自SAD值比較部分1642之比較偵測的結果之資訊DET指出的是,該SAD值Sin係最小值時,則SAD值寫入部分1641傳送來自匹配處理部163之參考區塊的位置資訊及該新區塊的SAD值Sin至SAD值保持部分1643。
該SAD值保持部分1643偵測出該SAD值Sin係最小值之來自該SAD值比較部分1642的比較偵測之結果的資訊DET,且將來自SAD值寫入部分1641之參考區塊的位置資訊或參考向量及該參考區塊的SAD值Sin儲存至最小SAD值保持部分之內。
而且,在此第二實例中,當來自匹配處理部163之參考區塊的位置資訊或參考向量與自SAD值保持部分1643所接收之鄰接SAD值Sx2或SSx2或鄰接SAD值Sy2或SSy2的位置資訊一致時,該SAD值寫入部分1641將來自匹配處理部163之參考區塊的位置資訊或參考向量及該參考區塊的SAD值Sin傳送至SAD值保持部分1643。
該SAD值保持部分1643從所接收之參考區塊的位置資訊或參考向量來辨識與所接收之位置資訊相關連的鄰接SAD值,並將該位置資訊儲存至對應的鄰接SAD值保持部分之內。
若已針對搜尋範圍中之所有參考區塊而完成上述之過程時,則最小SAD值及其位置資訊以及四個鄰接SAD值及其位置資訊會如上文中所敘述地被保持於SAD值保持部分1643之中。
因此,與上述第一實例中相似地,X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645讀出儲存於SAD值保持部分1643中之所偵測的最小SAD值Smin或SSmin以及鄰接SAD值Sx1,SX2,及Sy1,Sy2,或SSx1,SSX2,及SSy1,SSy2,及其位置資訊,且將所讀出的值及資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646接收所傳送的值及資訊,且根據二次曲線而在X方向及Y方向中執行內插法二次,以計算子像素準確度之高準確度移動向量。
在第二實例中,以如上述之此一方式,藉由使用用於SAD表TBL之一線的線記憶體來取代SAD表TBL,可偵測子像素準確度之移動向量。
在第二實例中的縮小面上之區塊匹配過程中的操作流程之實例係顯示於第28及29圖中;而且,該第二實例之流程的步驟係在控制部165的控制之下由匹配處理部163及移動向量計算部164所執行。
首先,設定用於移動向量計算部164之SAD值保持部分1643的最小SAD值Smin或SSmin的初始值(步驟S11)。針對用於該最小SAD值Smin或SSmin的初始值,例如係設定像素間之差異的最大值。
接著,匹配處理部163設定縮小面或基準面的參考向量(Vx,Vy),以設定關於將被計算之SAD值之縮小面或基準面參考區塊位置(步驟S12)。然後,匹配處理部163自參考區塊緩衝器部162讀取所設定之縮小面或基準面參考區塊的像素資料(步驟S13)。
接著,匹配處理部163自目標區塊緩衝器部161讀取縮小面或基準面目標區塊的像素資料,以決定縮小面或基準面目標區塊與縮小面或基準面參考區塊之像素資料的絕對差值之和,亦即,決定SAD值。然後,該匹配處理部163將所決定的SAD值傳送至移動向量計算部164(步驟S14)。
該移動向量計算部164利用其之SAD值寫入部分1641來將SAD值寫入至線記憶體1647之內(步驟S15)。
接著,該移動向量計算部164根據來自控制部165之資訊而判定該影像拾取設備是否在其中應執行內插法的模式之中(步驟S16),若所判定的是,該影像拾取設備係在其中不應執行內插法的模式之中時,則SAD值比較部分1642比較該匹配處理部163所計算之SAD值Sin與保持於SAD值保持部分1643中之最小SAD值Smin或SSmin,以判定所計算之該SAD值Sin是否比直至目前為止所保持的最小SAD值Smin或SSmin更低(步驟S17)。
若在步驟S17所判定的是,所計算的SAD值Sin比最小SAD值Smin或SSmin更低時,則該處理前進至步驟S18。在步驟S18處,更新儲存於SAD值保持部分1643中之最小SAD值Smin或SSmin之資訊及其位置資訊,亦即,縮小面或基準面參考向量的資訊。
相反地,若在步驟S17所判定的是,所計算的SAD值Sin比最小SAD值Smin或SSmin更高時,則處理前進至步驟S19而無需執行在步驟S18之保存資訊的更新過程。在步驟S19,該匹配處理部163判定該匹配過程是否針對搜尋範圍中之縮小面或基準面參考區塊的縮小面或基準面參考向量之所有的位置而結束;若所判定的是,尚未經處理的參考區塊仍留在搜尋範圍之中時,則處理回到步驟S12而重複如上文中所述之以步驟S12所開始之該等步驟的過程。
相反地,若在步驟S19所判定的是,匹配過程已針對搜尋範圍中之縮小面或基準面參考區塊的縮小面或基準面參考向量之所有的位置而結束時,則匹配處理部163將該判定告知移動向量計算部164。該移動向量計算部164接收該判定,且將保持於SAD值保持部分1643中之最小SAD值Smin或SSmin的位置資訊或縮小面或基準面移動向量輸出至控制部165(步驟S20)。
在此第二實例中之其中不應執行內插法的模式中之區塊匹配過程係隨即地完成。
相反地,若在步驟S16所判定的是,影像拾取設備係在其中應執行內插法的模式之中時,則在移動向量計算部164中之SAD值比較部分1642比較由匹配處理部163所計算之SAD值Sin與保持於SAD值保持部分1643中之最小SAD值Smin或SSmin,以判定所計算的SAD值Sin是否比所保存的最小SAD值Smin或SSmin更低(步驟S21)。
現請參閱第29圖,若在步驟S21所判定的是,所計算的SAD值Sin係比最小SAD值Smin或SSmin更低時,則處理前進至步驟S22。在步驟S22,更新所有保持於SAD值保持部分1643中的最小SAD值Smin或SSmin以及相對於顯示該最小SAD值Smin或SSmin之參考區塊位置的上方一像素之位置處及左側一像素之另一位置處的參考區塊之位置資訊或縮小面或基準面參考向量的資訊。
特別地,該SAD值比較部分1642傳送所計算之SAD值Sin比最小SAD值Smin或SSmin更低的比較結果之資訊DET至SAD值寫入部分1641。因此,該SAD值寫入部分1641傳送所計算的SAD值Sin及該SAD值Sin之位置資訊或基準面參考向量至SAD值保持部分1643,以成為新的最小SAD值Smin或SSmin之資訊。進一步地,例如可由第26B圖所認知地,SAD值比較部分1642分別傳送保存於線記憶體1647中之最舊SAD值及該最舊SAD值的位置資訊或縮小面或基準面參考向量,以及最新SAD值及該最新SAD值的位置資訊或縮小面或基準面參考向量至SAD值保持部分1643,以做為在相對於最小SAD值之位置的上方一像素之位置處的基準面參考區塊之SAD值Syl或SSyl的資訊,以及在相對於該最小SAD值之位置的左側一像素之位置處的基準面參考區塊之SAD值Sxl或SSxl的資訊。該SAD值保持部分1643接收新的最小SAD值Smin或SSmin之資訊,在上方一像素之位置處的基準面參考區塊之SAD值Syl或SSyl的資訊,及在左側一像素之位置處之SAD值Sxl或SSxl的資訊,且以所接收之資訊來更新個別之所保持的資訊。
之後,該處理自步驟S22前進至步驟S23。相反地,若在步驟S21所判定的是,所計算的SAD值Sin係比最小SAD值Smin或SSmin更高時,則處理直接地前進至步驟S23,而無需執行步驟S22之所保持資訊的更新過程。
在步驟S23,SAD值寫入部分1641判定由所計算之SAD值Sin的位置資訊或參考向量所指示的位置是否係相對於保持成為最小SAD值Smin或SSmin之縮小面或基準面參考區塊的位置之下方一像素的縮小面或基準面參考區塊之位置;若所判定的是,由該位置資訊所指示的位置係下方一像素的縮小面或基準面參考區塊之位置時,則SAD值寫入部分1641傳送所計算之SAD值Sin及該SAD值Sin的位置資訊或參考向量至SAD值保持部分1643。該SAD值保持部分1643接收該SAD值及其位置資訊,且以所接收之SAD值及位置資訊來更新下方一像素之位置的縮小面或基準面參考區塊的鄰接SAD值Sy2或SSy2之所保持的資訊(步驟S24)。
若在步驟S23所判定的是,由所計算之SAD值Sin的位置資訊或基準面參考向量所指示的位置並非相對於保持成為最小SAD值Smin或SSmin之縮小面或基準面參考區塊的位置之下方一像素的縮小面或基準面參考區塊之位置時,則SAD值寫入部分1641判定由所計算之SAD值Sin的位置資訊或縮小面或基準面參考向量所指示的位置是否係相對於保持成為最小SAD值Smin或SSmin之縮小面或基準面參考區塊的位置之右側一像素的縮小面或基準面參考區塊之位置(步驟S25)。
若在步驟S25所判定的是,由所計算之SAD值Sin的位置資訊或縮小面或基準面參考向量所指示的位置係相對於保持成為最小SAD值Smin或SSmin之縮小面或基準面參考區塊之右側一像素的縮小面或基準面參考區塊之位置時,則SAD值寫入部1641傳送所計算之SAD值Sin及該SAD值Sin的位置資訊或縮小面或基準面參考向量至SAD值保持部分1643。該SAD值保持部分1643以所接收之SAD值及位置資訊來更新右側一像素之位置的縮小面或基準面參考區塊周圍的鄰接SAD值Sx2或SSx2之所保持的資訊(步驟S26)。
相反地,若在步驟S25所判定的是,由所計算之SAD值Sin的位置資訊或縮小面或基準面參考向量所指示的位置並非相對於保持成為最小值Smin或SSmin之縮小面或基準面參考區塊的位置之右側一像素的縮小面或基準面參考區塊之位置時,則SAD值寫入部分1641僅將所計算之SAD值Sin及該SAD值Sin的位置資訊或縮小面或基準面參考向量寫入至線記憶體1647之內(步驟S27),而不將它們傳送至SAD值保持部分1643。
然後,匹配處理部163針對搜尋範圍內之所有的縮小面或基準面參考區塊,亦即,針對所有的縮小面或基準面參考向量來判定匹配過程是否完成(步驟S27);若該匹配處理部163判定的是,尚未經處理的基準面參考區塊仍留在搜尋範圍之中時,則處理回到第28圖之步驟S12而重複以步驟S12所開始之該等步驟的過程。
若該匹配處理部163判定的是,該匹配過程已在步驟S27針對搜尋範圍內之所有的縮小面或基準面參考區塊,亦即,針對所有的縮小面或基準面參考向量而完成時,則該匹配處理部163將該判定告知移動向量計算部164。
該移動向量計算部164接收該告知,且其之X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645讀出儲存於SAD值保持部分1643中之所偵測的最小SAD值Smin或SSmin及鄰接SAD值Sx1,Sx2,及Sy1,Sy2,或SSx1,SSx2,及SSy1,SSy2,以及其之位置資訊,並將所讀出的值及資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646接收來自X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645所傳送的資訊,且根據二次曲線而在X方向及Y方向中執行內插法兩次,以便以如上文中所敘述之此一方式來計算高準確度的縮小面或基準面移動向量(步驟S28),在其中執行內插法之模式中的第二實例之區塊匹配過程係隨即地完成。
如上述地,在此第二實例中,僅由提供用於SAD表之一線的儲存部分及保持用於一像素之SAD值於SAD值寫入部分1641中,可無需保持用以保持所有所計算的SAD值之SAD表地執行藉由內插法之高準確度的移動向量偵測。
當其中比較第二實例之方法與上文中所敘述之其中設置SAD表的第一實例之方法時,因為區塊匹配的次數相同,所以存在有處理時間相等但可降低硬體比例之優點。
應注意的是,在上述第二實例的說明中,當SAD值比較部分1642相互比較來自匹配處理部163之所計算的SAD值Sin與保持於SAD值保持部分1643中之最小SAD值Smin或SSmin時,可採用以下的組態。特別地,該SAD值比較部分1642包含用於最小SAD值的保持部分,且將所保持之最小SAD值與所計算的SAD值Sin比較;然後,當所計算的SAD值Sin較低時,則所保持的最小SAD值以該SAD值Sin來更新,且透過SAD值寫入部分1641而與該SAD值Sin的位置資訊一起傳送至SAD值保持部分1643,以致使其可保持於該SAD值保持部分1643的最小SAD值保持部分之內。
<移動向量計算部164之硬體組態的第三實例>
在移動向量計算部164的硬體組態之此第三實例中,亦將上文中所敘述的第二實例之移動向量計算部164中的線記憶體1647省略,以便達成硬體比例之進一步的降低。
在此第三實例中,搜尋範圍內之最小SAD值Smin或SSmin及該最小值之位置資訊或參考向量的偵測及保持係與上文中所敘述之第二實例中極為相似地執行;然而,關於鄰接SAD值及其位置資訊之獲得及保持,並非如第二實例中似地與最小SAD值Smin或SSmin.之偵測同時地執行,而是所偵測的最小SAD值Smin或SSmin之位置資訊被送回至匹配處理部163,因此,該匹配處理部163再計算該最小SAD值Smin或SSmin附近的四點位置處之參考區塊的SAD值,且將所計算的SAD值供應至移動向量計算部164。
該移動向量計算部164第二次地自匹配處理部163接收由區塊匹配過程所計算之鄰接四點位置的SAD值及該等SAD值之位置資訊或參考向量,且將所接收之SAD值及位置資訊儲存至SAD值保持部分1643的個別保持部分之內。
移動向量計算部164之第三實例的硬體組態係顯示於第30圖之中。請參閱第30圖,第三實例之移動向量計算部164並不包含第一實例中之SAD表TBL及第二實例中之線記憶體1647;特別地,該移動向量計算部164包含SAD值寫入部分1641,SAD值比較部分1642,SAD值保持部分1643,X方向(水平方向)鄰接值提取部分1644,Y方向(垂直方向)鄰接值提取部分1645,及二次曲線近似內插處理部分1646。
而且,在此第三實例中,X方向(水平方向)鄰接值提取部分1644,Y方向(垂直方向)鄰接值提取部分1645,及二次曲線近似內插處理部分1646係與上文中所敘述之第一實例及第二實例中之操作相似地操作;然而,SAD值寫入部分1641,SAD值比較部分1642,及SAD值保持部分1643卻與上文中所敘述之第一實例及第二實例中之該等操作不同地操作。
與第二實例中相似地,SAD值保持部分1643包含用於最小SAD值Smin或SSmin以及鄰接SAD值Sx1,Sx2,及Sy1,Sy2,或SSx1,SSx2,及SSy1,SSy2之保持部分或記憶體部分。而且進一步地,在此第三實例中,該SAD值保持部分1643自其之最小SAD值保持部分來供應最小SAD值Smin或SSmin至 SAD值比較部分1642;然而,在此第三實例之中,與該第二實例不同的是,該SAD值保持部分1643並不供應鄰接SAD值的位置資訊至SAD值寫入部分1641。
在此第三實例中,該SAD值比較部分1642比較來自匹配處理部163之在相前時間點所計算的SAD值Sin與來自SAD值保持部分1643之最小SAD值保持部分的最小SAD值Smin或SSmin;然後,若來自匹配處理部163之在目前時間點所計算的SAD值Sin係較低時,則SAD值比較部分1642將該SAD值Sin偵測成為最小SAD值。相反地,若最小SAD值Smin係較低時,則該SAD值比較部分1642偵測的是,保持於該SAD值保持部分1643之用於最小SAD值的保持部分中之最小SAD值Smin或SSmin仍係目前時間點之最小SAD值;然後,SAD值比較部分1642供應偵測結果之資訊DET至SAD值寫入部分1641及SAD值保持部分1643。
與上文中所敘述之該等實例相似地,該SAD值寫入部分1641包含用於一像素之緩衝器記憶體,用以暫時地保持來自匹配處理部163之所計算的SAD值Sin及該SAD值Sin的位置資訊或參考向量。進一步地,在此第三實例中,當來自SAD值比較部分1642之比較偵測的結果之資訊DET指示的是,該SAD值Sin係最小值時,SAD值寫入部分1641傳送來自匹配處理部163之參考區塊的位置資訊或參考向量以及該參考區塊的SAD值Sin至SAD值保持部分1643。
該SAD值保持部分1643由來自SAD值比較部分1642之比較偵測的結果之資訊DET決定的是,該SAD值Sin係最小值,並儲存自SAD值寫入部分1641所傳送至該處之參考區塊的位置資訊或參考向量以及該參考區塊的SAD值Sin至最小SAD值保持部分之內。
上述過程係執行用於由匹配處理部163針對搜尋範圍中的所有參考區塊所計算之SAD值;接著,在此第三實例中,當SAD值之計算已針對搜尋範圍中的所有參考區塊而完成時,SAD值保持部分1643供應保持於該處之中的最小SAD值Smin或SSmin之位置資訊或參考向量Vmin至匹配處理部163,且請求該匹配處理部163針對該位置資訊之位置附近的四個參考區塊來執行SAD值的重計算。
當匹配處理部163自SAD值保持部分1643接收到包含最小SAD值Smin或SSmin的位置資訊或參考向量Vmin之針對鄰接參考區塊的SAD值之重計算的請求時,其由該最小SAD值Smin或SSmin的位置資訊或參考向量Vmin來偵測鄰接四點處之鄰接參考區塊的位置;接著,該匹配處理部163執行所偵測出之位置的參考區塊之SAD值的計算。然後,該匹配處理部163將計算的SAD值與位置資訊或參考向量一起地連續供應至SAD值寫入部分1641。
在此情況中,因為匹配處理部163依序地執行區塊匹配過程於搜尋方向中,所以鄰接SAD值係以SAD值Sy1,Sx1,Sx2,及Sy2,或SSy1,SSx1,SSx2,及SSy2之順序而執行。該SAD值寫入部分1641連續地供應所接收之重計算的SAD值及其位置資訊或參考向量至SAD值保持部分1643。
該SAD值保持部分1643連續地寫入及保持重計算的SAD值及其位置資訊或參考向量至對應的儲存部分之內。
在以此方式完成所有鄰接參考區塊之SAD值的重計算之後,與上文中所敘述之第二實例中相似地,X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取電路1645讀出所有保持於SAD值保持部分1643中之所偵測的最小SAD值Smin或SSmin及鄰接SAD值,Sx1,Sx2,及Sy1,Sy2,或SSx1,SSx2,及SSy1,SSy2,以及其之位置資訊,並將所取得的值及資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646接收來自X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645所傳送的值和資訊,且根據二次曲線而在X方向及Y方向中執行內插法兩次,以便以如上述之此一方式來計算子像素準確度之高準確度移動向量。
以此方式,在此第三實例中,可無需使用SAD表TBL或線記憶體而執行高準確度縮小面或基準面移動向量的偵測。
將參照第31及32圖來敘述此第三實例中之區塊匹配過程中之操作流程的實例。
首先,設定用於移動向量計算部164之SAD值保持部分1643的最小SAD值Smin或SSmin的初始值(步驟S31)。做為用於該最小SAD值Smin或SSmin的初始值,例如係設定像素之差異的最大值。
接著,匹配處理部163設定參考向量(Vx,Vy)於縮小面或基準面之上,且設定縮小面或基準面參考區塊位置,以供計算SAD值之用(步驟S32)。然後,匹配處理部163自參考區塊緩衝器部162讀取所設定之縮小面或基準面參考區塊的像素資料(步驟S33)。接著,匹配處理部163自目標區塊緩衝器部161來讀取縮小面或基準面參考區塊的像素資料,且決定縮小面或基準面上之目標區塊與參考區塊之像素資料的絕對差值之和,亦即,決定SAD值。然後,該匹配處理部163將所決定的SAD值傳送至移動向量計算部164(步驟S34)。
在移動向量計算部164中,SAD值比較部分1642比較由匹配處理部163所計算之SAD值Sin與保持於SAD值保持部分1643中之最小SAD值Smin或SSmin,以決定所計算之SAD值Sin是否比直至目前所保持之最小SAD值Smin或SSmin更低(步驟S35)。
若在步驟S35所決定的是,所計算之SAD值Sin係比該最小SAD值Smin或SSmin更低時,則處理前進至步驟S36。在步驟S36處,將保持於SAD值保持部分1643中之該最小SAD值Smin或SSmin及其位置資訊更新。
特別地,SAD值比較部分1642傳送所計算之SAD值Sin係比最小SAD值Smin或SSmin更低之比較結果的資訊DET至SAD值寫入部分1641;因此,該SAD值寫入部分1641傳送所計算的SAD值Sin及其位置資訊或基準面參考向量至SAD值保持部分1643,而成為新的最小SAD值Smin或SSmin之資訊。該SAD值保持部分1643以所接收之新的SAD值Sin及該新的SAD值Sin之位置資訊來更新保持於該處之中的最小SAD值Smin或SSmin及其位置資訊。
然後,該處理自步驟S36前進至步驟S37。相反地,若在步驟S35決定的是,所計算之SAD值Sin係等於或高於該最小SAD值Smin或SSmin時,則處理前進至步驟S37而無需執行步驟S36之保持資訊的更新過程。
在步驟S37,匹配處理部163決定該匹配過程是否針對搜尋範圍中之所有縮小面或基準面參考區塊的位置,亦即,針對搜尋範圍中之所有縮小面或基準面參考向量而完成;若所決定的是,尚未被處理之縮小面或基準面參考區塊仍殘留在搜尋範圍之中時,則處理返回至步驟S32,以重複上文中所敘述之以步驟S32所開始之該等步驟的過程。
相反地,若在步驟S37所決定的是,該匹配過程已針對所有縮小面或基準面參考區塊的位置,亦即,針對所有參考向量而完成時,則移動向量計算部164由來自控制部165之資訊決定該影像拾取設備是否在其中應執行內插法的模式之中(在第32圖中之步驟S41)。
若在步驟S41所決定的是,該影像拾取設備係在其中不應執行內插法的模式之中時,則移動向量計算部164輸出保持於SAD值保持部分1643中之最小SAD值Smin或SSmin的位置資訊,亦即,縮小面或基準面參考向量至控制部165(步驟S42)。
在此第三實例中之其中不應執行內插法的模式中之區塊匹配過程係隨即地結束。
相反地,若在步驟S41所決定的是,該影像拾取設備係在其中應執行內插法的模式之中時,則該移動向量計算部164自SAD值保持部分1643接收最小SAD值Smin或SSmin的位置資訊,且執行關於鄰接四點之位置處的縮小面或基準面參考區塊之SAD值的重計算;然後,該移動向量計算部164透過SAD值寫入部分1641而供應重計算之鄰接SAD值至SAD值保持部分1643,以便保持於該SAD值保持部分1643之內(步驟S43)。
接著,在移動向量計算部164之中,X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645讀出保持於SAD值保持部分1643中之所偵測的最小SAD值Smin或SSmin以及鄰接SAD值Sx1,Sx2,及Sy1,Sy2,或SSx1,SSx2,及SSy1,SSy2,及其位置資訊,且將讀出之SAD值及位置資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646接收該等SAD值及位置資訊,且根據二次曲線而在X方向及Y方向中執行內插法兩次,以便以上文中所敘述之此一方式來計算高準確度之縮小面或基準面移動向量;然後,該二次曲線近似內插處理部分1646輸出所計算之縮小面或基準面移動向量至控制部165(步驟S44)。在第三實例中之其中應執行內插法的模式之中的區塊匹配過程係隨即地結束。
在此第三實例中,雖然處理時間會由SAD值之重計算所需的時間週期而增加,但因為並不需要線記憶體,所以電路比例可自第二實例中之電路比例降低。此外,因為僅只執行重計算於鄰接SAD值,且因為,在上述該實例中,重計算過程係執行最多四次而已,所以處理時間的增加小。
應注意的是,在第三實例之上述說明中,雖然將最小SAD值保持至SAD值保持部分1643之內而同時偵測其,但SAD值比較部分1642可以不同的方式來組構以便偵測及保持顯示最小SAD值之參考區塊的位置資訊或參考向量,使得在第一次區塊匹配到達終點時,最小SAD值的位置資訊係自SAD值比較部分1642供應至匹配處理部163。
於此情況中,在藉由匹配處理部163之SAD值的重計算中,除了鄰接四點的SAD值之外,亦重計算最小SAD值。在此情況中,雖然重計算操作的次數變成五次且顯示增加一次,但在第一次區塊匹配中,僅需SAD值比較部分1642來操作,而同時該SAD值寫入部分1641及SAD值保持部分1643可操作,以便保持重計算的SAD值;因此,存在有使處理操作簡單化的優點。
進一步地,藉由移動偵測及移動補償單元16的移動偵測及處理可並聯且同時地執行用於設定在目標像框上之複數個目標區塊。在此情況中,必須提供相等於將被使用於該並聯及同時過程的目標區塊之數目的若干硬體系統,以供移動偵測及移動補償單元16用。
進一步地,當其中SAD表係如第一實例中似地產生時,必須產生等於目標區塊之數目的若干SAD表,且需很大的儲存容量之記憶體。然而,在第二實例中,僅需對應於SAD表之一線的儲存容量以供一目標區塊用,所以可大大地降低記憶體容量。再者,在第三實例的情況中,並不需要線記憶體,且因此,可達成記憶體容量之有效的降低。
[用於複數個操作模式之移動偵測及移動補償單元16的功能性方塊]
如上文中所敘述地,在此實施例中,具有如上述之硬體組態的移動偵測及移動補償單元16可執行如上述之區塊匹配過程的複數個操作模式之所有操作模式。用以實施此實施例中之移動偵測及移動補償單元16的複數個操作模式之功能性方塊組態係顯示於第33圖之中。
請參閱第33圖,移動偵測及移動補償單元16包含縮小面匹配處理部201,縮小面鄰接SAD值獲取部202,縮小面SAD值內插部203,基準面匹配處理部204,基準面鄰接SAD值獲取部205,及基準面SAD值內插部206,以做為其之功能性方塊。
縮小面匹配處理部201計算縮小面匹配處理範圍143中之縮小面目標區塊133與所有縮小面參考區塊139之間的縮小面SAD值,以決定縮小面最小SAD值Smin;然後,該縮小面匹配處理部201自所決定的縮小面最小SAD值Smin來偵測縮小面移動向量,且輸出該縮小面移動向量至控制部165。
該控制部165控制使得僅只縮小面匹配處理部201操作於縮小面匹配處理模式中。
縮小面鄰接SAD值獲取部202取得縮小面鄰接SAD值SX1,Sx2,及Sy1,Sy2於如上述之由縮小面匹配處理部201所決定的縮小面最小SAD值Smin之附近的四點處。
縮小面SAD值內插部203使用縮小面最小SAD值Smin及縮小面鄰接SAD值Sx1,Sx2,及Sy1,Sy2以執行上文中所敘述之子像素準確度的二次曲線近似內插處理過程,而決定高準確度縮小面最小SAD值;然後,該縮小面SAD值內插部203自該高準確度縮小面最小SAD值來偵測高準確度縮小面移動向量,且輸出該高準確度縮小面移動向量至控制部165。
相反地,在縮小面匹配法+內插法處理模式中,控制部165控制使得縮小面匹配處理部201,縮小面鄰接SAD值獲取部202,及縮小面SAD值內插部203操作。
基準面匹配處理部204計算基準面匹配處理範圍144中之基準面目標區塊131與所有基準面參考區塊142之間的基準面SAD值,以決定基準面最小SAD值SSmin,自所決定的基準面最小SAD值SSmin來偵測基準面移動向量,且輸出該基準面移動向量至控制部165。
進一步地,在階層匹配處理模式1之中,控制部165控制使得縮小面匹配處理部201及基準面匹配處理部204操作。此時,該基準面匹配處理部204根據由該縮小面匹配處理部201所決定之縮小面移動向量以決定基準面搜尋範圍及基準面匹配處理範圍。
再者,在階層匹配處理模式2之中,控制部165控制使得縮小面匹配處理部201,縮小面鄰接SAD值獲取部202,縮小面SAD值內插部203,及基準面匹配處理部204操作。此時,該基準面匹配處理部204根據由縮小面SAD值內插部203所決定之高準確度縮小面移動向量以決定基準面搜尋範圍及基準面匹配處理範圍。
如第33圖中所示地,控制部165轉換用作功能部之轉換部207,以執行階層匹配處理模式1與階層匹配處理模式2之間的選擇性轉換控制。
基準面鄰接SAD值獲取部205取得基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2於如上述之由基準面匹配處理部204所決定的基準面最小SAD值SSmin之附近的四點處。
基準面SAD值內插部206使用基準面最小SAD值SSmin及基準面鄰接SAD值SSxI,SSx2,及SSy1,SSy2以執行上文中所敘述之子像素準確度的二次曲線近似內插處理過程,而決定高準確度基準面最小SAD值;然後,該基準面SAD值內插部206自該高準確度基準面最小SAD值來偵測高準確度基準面移動向量,且輸出該高準確度基準面移動向量至控制部165。
在階層匹配法十內插法處理模式1之中,控制部165控制使得縮小面匹配處理部201,基準面匹配處理部204,基準面鄰接SAD值獲取部205,及基準面SAD值內插部206操作。此時,該基準面匹配處理部204根據由縮小面匹配處理部201所決定之縮小面移動向量以決定基準面搜尋範圍及基準面匹配處理範圍。
相反地,在階層匹配法+內插法處理模式2之中,控制部165控制使得縮小面匹配處理部201,縮小面鄰接SAD值獲取部202,縮小面SAD值內插部203,基準面匹配處理部204,基準面鄰接SAD值獲取部205,及基準面SAD值內插部206操作。此時,該基準面匹配處理部204根據由縮小面SAD值內插部203所決定之高準確度縮小面移動向量以決定基準面搜尋範圍及基準面匹配處理範圍。
如第33圖中所示地,控制部165轉換用作功能部之轉換207,以執行階層匹配法+內插法處理模式1與階層匹配法+內插法處理模式2之間的選擇性轉換控制。
[區塊匹配過程之複數個操作模式的選擇之實例]
現將敘述此實施例中的區塊匹配過程之複數個操作模式的選擇之若干實例。
<選擇的第一實例>
第34圖描繪區塊匹配過程之複數個操作模式的選擇,以回應於靜像拾取模式與動像拾取模式之間的選擇,以及移動向量之偵測準確度或處理速度的選擇之實例。第34圖的處理步驟係由CPU1所執行。
首先,CPU1監控來自使用者操作輸入單元3之使用者操作輸入,以決定是否選擇靜像拾取模式或選擇動像拾取模式(步驟S51);若在步驟S51決定的是選擇靜像拾取模式時,則CPU1判定最高準確度是否透過使用者操作輸入單元3而選擇性地輸入以成為移動向量偵測準確度(步驟S52);若所判定的是,最高準確度並未被選擇性地輸入時,則CPU1發出指令至移動偵測及移動補償單元16的控制部165,以執行階層匹配法+內插法處理模式1(步驟S53);相反地,若在步驟S52決定的是,最高準確度被選擇性地輸入時,則CPU1發出指令至移動偵測及移動補償單元16的控制部165,以執行階層匹配法+內插法處理模式2(步驟S54)。
另一方面,若在步驟S51決定的是選擇動像拾取模式時,則CPU1判定是否低準確度透過使用者操作輸入單元3而選擇性地輸入以成為移動向量偵測準確度(步驟S55)。若所判定的是,低準確度被選擇性地輸入時,則CPU1發出指令至移動偵測及移動補償單元16的控制部165,以執行縮小面匹配處理模式(步驟S56)。
相反地,若在步驟S55判定的是,低準確度並未被選擇性地輸入時,則CPU1判定高處理速度的高準確度狀態是否透過使用者操作輸入單元3而選擇,或其中處理速度可為低速度之高準確度狀態是否被選擇(步驟S57)。
然後,若所判定的是,高處理速度的高準確度狀態被選擇時,則CPU1發出指令至移動偵測及移動補償單元16的控制部165,以執行縮小面匹配法+內插法處理模式(步驟S58)。
另一方面,若在步驟S57決定的是選擇其中處理速度可為低速度之高準確度狀態時,則CPU1發出指令至移動偵測及移動補償單元16的控制部165,以執行階層匹配處理模式1或階層匹配處理模式2(步驟S59);而且,在步驟S59之階層匹配處理模式1或階層匹配處理模式2的選擇可回應於由使用者之移動向量的偵測準確度之選擇輸入而相似地執行,使得當選擇高準確度時,選擇階層匹配處理模式2,但在任何其他的情況中,則選擇階層匹配處理模式1。
應注意的是,雖然在上述實例中,當使用者透過使用者操作輸入單元3來選擇以致使高準確度的移動向量被偵測於動像拾取模式之中時,在步驟S57決定的是,選擇縮小面匹配法+內插法處理模式及階層匹配法+內插法處理模式1或階層匹配法+內插法處理模式2的其中之一以回應於由使用者之處理速度的選擇性設定輸入,但此決定可以以另外方式而執行於以下方式中。特別地,CPU1偵測輸入至該處之拾取影像資料的像框速率,且當像框速率低時,選擇縮小面匹配法+內插法處理模式,而當像框速率高時,選擇階層匹配法+內插法處理模式1或階層匹配法+內插法處理模式2。
應注意的是,當其中像框速率係由使用者所輸入及設定時,該設定輸入係包含於由使用者之處理速度的選擇性設定輸入之中。
<選擇的第二實例>
在此實施例之影像拾取設備中,當其係在影像拾取記錄之執行模式或在影像拾取記錄的執行之前的相機EE(電眼)圖像模式之中時,可自包含省電模式及其中不執行省電之一般模式的兩模式之間來選擇操作模式。
在大部分的情況中,相機EE圖像模式係連續地執行於影像記錄狀態之前,亦即,連續地執行於圖像記錄狀態,該相機EE圖像模式係輸入且直接連接至整個影像拾取設備之省電。另一方面,在相機EE圖像模式中的圖像品質在優先序中係低的,因為影像僅顯示於液晶顯示部或電子取景器之上而未記錄;因此,在相機EE圖像模式中,可盡可能低地抑制功率消耗,且在輸入影像拾取記錄之執行模式之後,可較佳地提升圖像品質。
然後,在上述之區塊匹配的複數個操作模式中,其中移動向量之偵測準確度低的操作模式僅需更少頻繁之滙流排以接達系統匯流排2,及更小的功率消耗。
進一步地,在功率消耗及處理速度上,此實施例中之內插過程具有更小的影響。
從上文可知的是,當影像拾取設備係在影像拾取記錄之執行模式或在影像拾取記錄執行之前的相機EE(電眼)圖像模式之中時,所需的處理速度和功率消耗係根據如第35圖中所示之包含省電模式及並不涉及省電之一般模式的兩操作模式之被應用模式而定;CPU1決定移動向量之最佳偵測準確度以回應於處理速度及功率消耗,且根據該決定而轉換將被應用之區塊匹配的操作模式。
特別地,如第35圖中所示地,當影像拾取設備係在相機EE圖像模式中的省電模式之中時,因為操作向量可為n像素準確度之縮小面移動向量,所以選擇縮小面匹配處理模式以做為用於區塊匹配的操作模式。
相反地,當影像拾取設備係在相機EE圖像模式中的一般模式之中時,可將其設定以便偵測像素準確度之高準確度縮小面移動向量,且選擇縮小面匹配法+內插法處理模式以做為用於區塊匹配的操作模式。
然而,當影像拾取設備係在影像拾取記錄之執行模式中的省電模式之中時,因為移動向量可為一像素準確度之基準面移動向量,所以選擇階層匹配處理模式1或2以做為用於區塊匹配的操作模式。
相反地,當影像拾取設備係在影像拾取記錄之執行模式中的一般模式之中時,較佳地係偵測子像素準確度之高準確度基準面移動向量;因此,選擇階層匹配法+內插法處理模式1或2以做為用於區塊匹配的操作模式。
應注意的是,雖然上述的省電模式及一般模式之操作模式係由使用者所設定,但相機EE圖像模式及影像拾取記錄之執行模式係回應於影像拾取記錄之起始鈕的開啟/關閉而轉換;因此,CPU1參照該影像拾取記錄之起始钮的開啟/關閉以及省電模式或一般模式之操作模式,以決定移動向量之偵測準確度且然後決定用於區塊匹配的處理操作模式。
應注意的是,功率消耗和處理速度可不根據由使用者所輸入及設定的省電模式或一般模式之操作模式而定,而是CPU1可根據接達至系統匯流排2的滙流排是否比預設的位準更頻繁地執行以及比預設的位準過頻繁地或更少頻繁地執行而定,且然後決定移動向量的偵測準確度以決定用於區塊匹配的處理操作模式。
<選擇的其他實例>
做為從用於區塊匹配的複數個操作模式之選擇的參數,不僅可使用上述之靜像/動像,移動向量偵測準確度,及處理速度,而且可使用將被使用於系統匯流排之滙流排帶,像素大小,搜尋範圍的大小,像框速率等,或可使用該等參數的合適組合。
[拾取影像之雜訊降低過程的概略流程]
<靜像拾取模式>
由具有上述組態之此實施例的影像拾取設備之靜像拾取模式中的影像重疊之雜訊降低法係描繪於第36及37圖的流程圖之中。第36及37圖之流程圖的步驟係在CPU1的控制下且在由CPU1所控制之移動偵測及移動補償單元16的控制部165之控制下,由影像重疊單元17所執行。
首先請參閱第36圖,若先按壓快門鈕時,則在此實施例的影像拾取設備中,複數個影像之高速影像拾取係在CPU1的控制之下高速地執行。在本實例中,CPU1提取將被重疊於靜像拾取模式中之M個影像或像框的拾取影像資料(M係大於或等於2的整數),且將它們儲存至影像記憶體單元4之內(步驟S61)。
接著,雖然及時地自儲存於影像記憶體單元4中的M個像框之中來設定參考像框為第N個像框(N係大於或等於2,但小於或等於M的整數),但控制部165設定用於值N的初始值為N=2(步驟S62);然後,控制部165設定第一個像框為目標影像或目標像框,且設定第N=2影像為參考影像或參考像框(步驟S63)。
之後,控制部165設定目標區塊於目標像框之中(步驟S64),且移動偵測及移動補償單元16將目標區塊自影像記憶體單元4讀取至目標區塊緩衝器部161之內(步驟S65);然後,控制部165將匹配處理範圍中的像素資料讀取至參考區塊緩衝器部162之內(步驟S66)。
接著,控制部165自參考區塊緩衝器部162讀出搜尋範圍中的參考區塊,且匹配處理部163以如上述之此一方式來執行選擇自複數個區塊匹配處理模式中之操作模式的區塊匹配過程(步驟S67)。
然後,控制部165依據由該區塊匹配過程所偵測之移動向量而自參考區塊緩衝器部162讀出移動補償區塊(步驟S68),且以與目標區塊同步地傳送該移動補償區塊至下一級的影像重疊單元17(步驟S69)。
接著,影像重疊單元17執行目標區塊及移動補償區塊的重疊,且儲存重疊的區塊之降低雜訊的影像資料至影像記憶體單元4之內;換言之,影像重疊單元17將重疊的區塊之降低雜訊的影像資料寫入至影像記憶體單元4之內(步驟S70)。
接著,控制部165決定該區塊匹配是否針對目標像框中之所有的目標區塊而完成(步驟S71);然後,若所決定的是,該區塊匹配過程並未完成於所有的目標區塊時,則處理回到步驟S64,在該步驟處,係設定該目標像框之下一個目標區塊,使得重複步驟S64至S71之該等過程。
相反地,若所判定的是,該區塊匹配過程己針對目標像框中的所有目標區塊而完成時,則控制部165判定該處理是否已針對將被重疊之所有的參考像框而完成,亦即,是否M=N(步驟S72)。
若在步驟S72判定的是,未滿足M=N時,則將值N增量至N=N=1(步驟S73);然後,設定由步驟S70的重疊所產生之降低雜訊的影像為目標影像或目標像框,以及設定第N=N=1影像為參考影像或參考像框(步驟S74)。之後,處理回到步驟S64,使得重複以步驟S64所開始之該等步驟的過程。特別地,當其中M係大於或等於3時,將執行重疊之用於所有目標區塊的影像決定為下一目標影像,且將第三或隨後影像決定為參考像框;接著,重複上述之該等過程,此係重複直至完成第M個影像之重疊為止,然後當在步驟S72判定M=N時,則該處理常式結束。
應注意的是,M個拾取影像的重疊結果之降低雜訊的影像之影像資料係由靜像codec單元18所壓縮編碼,且被供應至記錄及再生設備單元5;藉由該記錄及再生設備單元5,可將壓縮編碼的影像資料記錄在其之記錄媒體之上。
應注意的是,雖然上述靜像之雜訊降低處理方法包含儲存M個影像的影像資料至影像記憶體單元4之內,但每次當拾取影像時,可以以另一方式來執行重疊。在此情況中,因為將被儲存至影像記憶體單元4之內的影像像框的數目僅係一,所以當與第36及37圖之處理常式的雜訊降低處理方法相比較時,雖然影像拾取間隔會變得更長,但記憶體成本可最小化。
<動像拾取模式>
現將描繪由此實施例的影像拾取設備之動像拾取模式中的影像重疊之雜訊降低法於第38圖的流程圖之中。而且,第38圖之流程圖的步驟係在CPU1的控制下以及在由CPU1所控制之移動偵測及移動補償單元16的控制部165之控制下而執行。若動像記錄鈕係由使用者所按壓時,則CPU1發出指令以自開始來起始第38圖的過程。
在本實施例中,移動偵測及移動補償單元16具有適合以目標區塊為單位而執行匹配過程的組態;因此,在CPU1的控制下,影像校正及解析度轉換單元15保持一像框影像且以目標區塊為單位而傳送影像資料至移動偵測及移動補償單元16(步驟S81)。
傳送至移動偵測及移動補償單元16之目標區塊的影像資料係儲存至目標區塊緩衝器部161之內;然後,控制部165設定對應於目標區塊之參考區塊(步驟S82),且自影像記憶體單元4來讀取匹配處理範圍內之影像資料至參考區塊緩衝器部162之內(步驟S83)。
接著,匹配處理部163及移動向量計算部164以如上文中所敘述之此一方式來執行選擇自複數個不同的區塊匹配處理模式中之操作模式的區塊匹配過程(步驟S84)。
然後,控制部165依據步驟S84所計算的移動向量而自參考區塊緩衝器部162來讀出移動補償區塊的影像資料(步驟S85),且以與目標區塊同步地傳送所讀出之影像資料至下一級的影像重疊單元17(步驟S86)。
影像重疊單元17執行目標區塊與移動補償區塊的重疊;然後,該影像重疊單元17透過NTSC編碼器20以輸出重疊的目標之降低雜訊的影像之影像資料至監測顯示器6,而執行動像記錄監測,且透過動像codec單元19而傳送影像資料至監測顯示器6,使得影像資料記錄於記錄媒體上(步驟S87)。
由影像重疊單元17所重疊的影像係儲存至影像記憶體單元4之內,以致使其變成相對於下一像框(目標像框)的參考像框(步驟S88)。
接著,CPU1判定動像記錄停止操作是否由使用者所執行(步驟S89)。若判定的是,動像記錄停止操作並未由使用者所執行時,則CPU1發出指令以使處理回到步驟S81,以便重複以步驟S81所開始之該等步驟的過程。相反地,若在步驟S89判定的是,動像記錄停止操作係由使用者所執行時,則CPU1結束該處理常式。
在上述之動像雜訊降低過程的處理常式中,雖然使用正好前一影像來做為參考像框,但可使用更前一像框的影像以做為參考像框;或者,可將正好前一像框及前面第二像框的影像儲存至影像記憶體單元4之內,使得可根據該二像框的影像資訊的內容而選擇性地決定該等影像像框之一為參考像框。
藉由使用如上述之該手段、程序、及系統組態,靜像雜訊降低過程及動像雜訊降低過程可由一共同件之硬體而執行,以供區塊匹配過程之用。
如上述地,在靜像雜訊降低過程中,複數個影像係高速地拾取,且該複數個影像的影像資料被儲存至影像記憶體單元4之中;然後,移動偵測及移動補償單元16使用儲存於影像記憶體單元4之中的影像來執行區塊匹配過程。當執行靜像雜訊降低過程時之影像拾取期間所添加的影像資料之流程係由斷線而指示於第39至42圖之中。
特別地,如第39圖中所示地,來自影像拾取裝置11之拾取影像係先接受預處理,例如由預處理單元13之感測器校正,且然後以原始信號形式而儲存至影像記憶體單元4之內,該原始信號形式係執行相機信號處理之前的資料形式。
之後,將拾取影像自影像記憶體單元4讀出,且由資料轉換單元14將其自原始信號轉換成為YC影像格式之YC影像資料;使該YC影像資料接受由影像校正及解析度轉換單元15的影像校正、解析度轉換、及類似者,且然後,以該YC影像格式而寫入至影像記憶體單元4之內。當高速連續拍攝時,所描述之程序係重複地執行複數次,該複數次的數目對應於影像的數目,以及該數目之影像的影像資料係儲存至影像記憶體單元4之內且以YC影像格式而保持於影像記憶體單元4之中。
寫入於影像記憶體單元4之中的YC影像格式的影像資料係透過移動偵測及移動補償單元16而供應至影像重疊單元17,其中該等影像資料係由第22圖中所示的縮小面產生部174所縮小。
之後,如第40圖中所示地,與來自影像拾取裝置11之第三影像的提取過程並聯地,藉由階層區塊匹配之移動向量的偵測及移動補償區塊的產生係使用第一影像為目標影像及使用第二影像為參考影像,而由移動偵測及移動補償單元16所執行;然後,使用所產生之移動補償區塊以執行藉由影像重疊單元17的影像重疊過程。
接著,當完成第一及第二拾取影像的重疊時,使用重疊的影像或降低雜訊的影像以做為下一個目標影像及使用第三影像為參考影像以執行其次的移動向量偵測及影像重疊。所描述之過程係重複用於複數次之所連續拾取的拾取影像,以獲得一靜像降低雜訊之影像。在此實施例中,所生成之靜像降低雜訊之影像的影像資料係依據JPEG系統而由如第42圖中所示之靜像codec單元18所壓縮,並儲存至記錄及再生設備單元5的記錄媒體之內。
接著,將參照第43及44圖來敘述動像雜訊降低過程中之影像資料的流程。
在動像雜訊降低過程中,目標區塊係以即時為基礎而自影像校正及解析度轉換單元15傳送至移動偵測及移動補償單元16。如第43圖中所示地,移動偵測及移動補償單元16儲存自影像校正及解析度轉換單元15傳送到該處的目標區塊至目標區塊緩衝器部161之內,自影像記憶體單元4讀出對應於該目標區塊之區塊匹配處理範圍,以及儲存該區塊匹配處理範圍至參考區塊緩衝器部162之內。
接著,移動偵測及移動補償單元16自目標區塊緩衝器部161讀出目標區塊且自區塊匹配處理範圍讀出參考區塊,並執行上述之區塊匹配過程以執行移動向量偵測及移動補償區塊的產生;然後,移動偵測及移動補償單元16供應該移動補償區塊及目標區塊及影像重疊單元17。
該影像重疊單元17連續地重疊所接收之目標區塊與移動補償區塊;然後,該影像重疊單元17將藉由影像重疊所獲得之降低雜訊的影像安置到如第43圖中所示之影像記憶體單元4之內。
如第44圖中所示地,安置於影像記憶體單元4中之降低雜訊的影像係在下一像框中(在正好前一像框中之降低雜訊的像框)而讀取至動像codec單元19之內,且壓縮及儲存至記錄及再生設備單元5的記錄媒體之內。進一步地,安置於影像記憶體單元4中之降低雜訊的影像(在正好前一像框中之降低雜訊的影像)亦自NTSC編碼器20同時地讀取,且執行輸出至監測顯示器6的監測。
在動像雜訊降低過程中,上述之過程係重複用於各個拾取之影像。
此處應注意的是,雖係使用用於一像框的參考影像,但可以以其他方式地保持用於複數個像框的參考影像,如第44圖中所示,使得可使用具有更高相關性的影像。
此外,在動像雜訊降低過程中,因為重要的是即時性質,所以並不執行如在靜像雜訊降低過程中之縮小面目標影像之產生以及進入至影像記憶體單元4之內的儲存,但縮小面目標區塊會由第20圖中所示之目標區塊緩衝器部161中的縮小處理部分1613所產生,且被依現狀地儲存至縮小面緩衝器1612之內。
[區塊匹配過程之流程的實例]
現將敘述上述之區塊匹配的複數個操作模式中之方法流程。關於縮小面匹配處理模式及縮小面匹配法+內插法處理模式,方法之流程已相對於移動向量計算部164之三個實例的說明中之方法流程而描述於上文;因此,在階層匹配法+內插法處理模式1及階層匹配法+內插法處理模式2中之操作實例將在下文中說明。注意的是,階層匹配處理模式1及階層匹配處理模式2分別對應於階層匹配法+內插法處理模式1及階層匹配法+內插法處理模式2中之不包含內插法過程的處理操作。
第45及46圖描繪本實施例中之由移動偵測及移動補償單元16在階層匹配法+內插法處理模式1中的操作實例。
應注意的是,雖然第45及46圖中所描繪的方法之流程部分地與上文中所敘述之匹配處理部163及移動向量計算部164的方法實例之流程重疊,但為了要促成瞭解本實施例之影像拾取設備的操作,所以給予流程的說明。此外,上述方法流程之實例對應於其中使用上文中所敘述之移動偵測及移動補償單元16之硬體組態的第三實例之情況
先請參閱第45圖,移動偵測及移動補償單元16讀取目標區塊之縮小影像,亦即,縮小面目標區塊(步驟S91);然後,移動偵測及移動補償單元16設定用於縮小面最小SAD值之初始值,以做為用於移動向量計算部164之SAD值保持部分1643的最小SAD值Smin之初始值(步驟S92)。做為該縮小面最小SAD值Smin,例如係設定像素之差異的最大值。
其次,匹配處理部163設定縮小面搜尋範圍且設定縮小面參考向量(Vx/n,Vy/n:1/n係縮小比例)於所設定的縮小面搜尋範圍之中,以設定用於SAD值之計算的縮小面參考區塊位置(步驟S93);接著,匹配處理部163自參考區塊緩衝器部162讀取所設定之縮小面參考區塊的像素資料(步驟S94)。之後,匹配處理部163決定縮小面目標區塊及縮小面參考區塊之像素資料的絕對差值之和,亦即,縮小面SAD值;然後,該匹配處理部163傳送所決定之縮小面SAD值至移動向量計算部164(步驟S95)。
在移動向量計算部164之中,SAD值比較部分1642相互比較由匹配處理部163所計算的縮小面SAD值Sin與保持於SAD值保持部分1643中之縮小面最小SAD值Smin,以判定所計算的縮小面SAD值Sin是否比直至目前為止所保持於SAD值保持部分1643中之縮小面最小SAD值Smin更低(步驟S96)。
若在步驟S96判定的是,所計算的縮小面SAD值Sin比該縮小面最小SAD值Smin更低時,則處理前進至步驟S97,在該步驟處,更新保持於SAD值保持部分1643中之縮小面最小SAD值Smin及其位置資訊。
特別地,該SAD值比較部分1642傳送所計算的縮小面SAD值Sin係比縮小面最小SAD值Smin更低之比較結果的資訊DET至SAD值寫入部分1641。因此SAD值寫入部分1641傳送所計算的縮小面SAD值Sin及其位置資訊或縮小面參考向量至SAD值保持部分1643,以成為縮小面最小SAD值Smin之新的資訊;該SAD值保持部分1643以所接收之新的縮小面SAD值Sin及該縮小面SAD值Sin的位置資訊來更新保持於該處之中的縮小面最小SAD值Smin及其位置資訊。
處理從步驟S97前進至步驟S98。相反地,若在步驟S96判定的是,所計算的縮小面SAD值Sin比該縮小面最小SAD值Smin更高時,則處理直接前進至步驟S98,而無需執行步驟S97之所保持資訊的更新過程。
在步驟S98,匹配處理部163判定該匹配過程是否針對縮小面搜尋範圍中的縮小面參考區塊之所有的位置或縮小面參考向量而完成。若判定的是,尚未處理的縮小面參考區塊仍殘留於縮小面搜尋範圍之中時,則處理回到步驟S93而重複以步驟S93所開始之該等步驟的過程。
相反地,若在步驟S98判定的是,該匹配過程已針對縮小面搜尋範圍中的縮小面參考區塊之所有的位置或縮小面參考向量而完成時,則匹配處理部163自SAD值保持部分1643接收該縮小面最小SAD值Smin的位置資訊或縮小面移動向量。然後,該匹配處理部163設定基準面目標區塊至定中心於藉由相乘所接收之縮小面移動向量與縮小比例的倒數,亦即,n,所獲得之向量所指示基準面目標像框中的位置座標處的位置;進一步地,該匹配處理部163設定基準面搜尋範圍為定中心於由n所乘出之向量所指示於基準面目標像框中的位置座標處之相當小的範圍(步驟S99)。之後,匹配處理部163自目標區塊緩衝器部161讀取基準面目標區塊的影像資料(步驟S100)。
接著,匹配處理部163設定用於基準面最小SAD值Smin的初始值以做為用於移動向量計算部164之SAD值保持部分1643的最小SAD值的初始值(在第46圖中之步驟S101)。用於基準面最小SAD值SSmin的初始值,例如可為像素間之差異的最大值。
其次,匹配處理部163設定基準面參考向量(Vx,Vy)於步驟S99所設定的基準面搜尋範圍之中,以設定用於SAD值之計算的基準面參考區塊位置(步驟S102);接著,匹配處理部163自參考區塊緩衝器部162讀取所設定之基準面參考區塊的像素資料(步驟103)。然後,匹配處理部163決定基準面目標區塊與基準面參考區塊間之像素資料的絕對差值之和,亦即,基準面SAD值,且將所決定之基準面SAD值傳送至移動向量計算部164(步驟S104)。
在移動向量計算部164之中,SAD值比較部分1642相互比較由匹配處理部163所計算的基準面SAD值Sin與保持於SAD值保持部分1643中之基準面最小SAD值SSmin,以判定所計算的基準面SAD值Sin是否比直至目前為止所保持的基準面最小SAD值SSmin更低(步驟S105)。
若在步驟S105判定的是,所計算的基準面SAD值Sin比該基準面最小SAD值SSmin更低時,則處理前進至步驟S106,在該步驟處,更新保持於SAD值保持部分1643中之基準面最小SAD值SSmin及其位置資訊。
特別地,該SAD值比較部分1642傳送所計算的基準面SAD值Sin係比基準面最小SAD值SSmin更低之比較結果的資訊DET至SAD值寫入部分1641。因此,該SAD值寫入部分1641傳送所計算的基準面SAD值Sin及其位置資訊或參考向量至SAD值保持部分1643,以成為基準面最小SAD值SSmin之新的資訊;該SAD值保持部分1643以所接收之新的基準面SAD值Sin及其位置資訊來更新保持於該處之中的基準面最小SAD值SSmin及其位置資訊。
處理從步驟S106前進至步驟S107。相反地,若在步驟S105判定的是,所計算的基準面SAD值Sin比基準面最小SAD值SSmin更高時,則處理直接前進至步驟S107,而無需執行步驟S106之所保持資訊的更新過程。
在步驟S107,匹配處理部163判定該匹配過程是否針對基準面搜尋範圍中的基準面參考區塊之所有的位置或基準面參考向量而完成。若判定的是,尚未處理的基準面參考區塊仍殘留於基準面搜尋範圍之中時,則處理回到步驟S102而重複以步驟S102所開始之該等步驟的過程。
相反地,若在步驟S107判定的是,該匹配過程己針對基準面搜尋範圍中的基準面參考區塊之所有的位置或基準面參考向量而完成時,則匹配處理部163自SAD值保持部分1643接收該基準面最小SAD值SSmin的位置資訊或基準面移動向量,且執行關於鄰接四點之位置的基準面參考區塊之基準面SAD值的重計算。然後,該匹配處理部163透過SAD值寫入部分1641而供應重計算之基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2至SAD值保持部分1643,以便保持於該SAD值保持部分1643之內(步驟S108)。
接著,在移動向量計算部164之中,X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645讀出保持於SAD值保持部分1643中之所偵測的基準面最小SAD值SSmin以及基準面鄰接SAD值SSx1,SSx2,及SSy1,SSy2,及其位置資訊,且將讀出之SAD值及位置資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部1646接收所傳送至該處之該等SAD值及位置資訊,且根據二次曲線而在X方向及Y方向中執行內插法兩次,以便以上文中所敘述之此一方式來計算子像素準確度之高準確度基準面移動向量(步驟S109)。用於一參考像框之階層匹配法十內插法處理模式1的實例之區塊匹配過程係隨即地完成。
應注意的是,在階層匹配處理模式1的情況中,當在步驟S107所判定的是,匹配過程已針對基準面搜尋範圍中之所有基準面參考區塊的所有之位置或基準面參考向量而完成時,則不執行步驟S108及S109的過程。取代地,基準面移動向量係從來自SAD值保持部分1643之基準面最小SAD值SSmin的位置資訊內所偵測,且輸出至控制部165。
在階層匹配法+內插法處理模式2之中的操作實例係描繪於第47及48圖中;而且,在此操作實例中,係使用第三實例做為移動偵測及移動補償單元16之硬體組態的實例。
第47圖之步驟S111至S117的處理操作係分別與第45圖之步驟S91至S97的處理操作十分相同。其次,在第47圖的實例中,若在步驟S118判定的是,該匹配並未針對縮小面搜尋範圍中之所有縮小面參考向量而執行時,則處理回到步驟S113,以便重複以步驟S113所開始之步驟的過程。
相反地,若在步驟S118判定的是,該匹配已針對縮小面搜尋範圍中的所有之縮小面參考向量而完成時,則自SAD值保持部分1643接收縮小面最小SAD值Smin的位置資訊或縮小面移動向量,且針對鄰接四點之位置處的縮小面參考區塊執行縮小面SAD值之重計算。然後,透過SAD值寫入部分1641而將重計算的縮小面鄰接SAD值Sx1,Sx2,及Sy1,Sy2供應至SAD值保持部分1643,以便保持至SAD值保持部分1643之內(步驟S119)。
接著,在移動向量計算部164之中,X方向(水平方向)鄰接值提取部分1644及Y方向(垂直方向)鄰接值提取部分1645讀出保持於SAD值保持部分1643中之所偵測的縮小面最小SAD值Smin以及鄰接縮小面SAD值Sx1,Sx2,及Sy1,Sy2,及其位置資訊,且將讀出之SAD值及位置資訊傳送至二次曲線近似內插處理部分1646。該二次曲線近似內插處理部分1646接收所傳送至該處之該等SAD值及位置資訊,且根據二次曲線而在X方向及Y方向中執行內插法兩次,以便以如上述之此一方向來計算像素準確度之高準確度縮小面移動向量(步驟S120)。
然後,該二次曲線近似內插處理部分1646設定基準面目標區塊於定中心在藉由相乘步驟S120所計算之高準確度縮小面移動向量與縮小比例的倒數,亦即,n,所獲得之向量所指示於基準面目標像框中的位置座標處的位置;進一步地,該二次曲線近似內插處理部分1646設定基準面搜尋範圍及基準面匹配處理範圍為定中心於由n所乘出之向量所指示於基準面目標像框中的位置座標處之相當小的範圍(第48圖之步驟S121)。然後,該二次曲線近似內插處理部分1646自目標區塊緩衝器部161讀取基準面目標區塊的像素資料(步驟S122)。
然後,將用於基準面最小SAD值SSmin的初始值設定做為用於移動向量計算部164的SAD值保持部分1643之最小SAD值的初始值(步驟S123)。步驟S123至步驟S131的過程係分別與上文中所敘述之第46圖的步驟S101至S109之過程十分相同。
應注意的是,在階層匹配處理模式2的情況中,當步驟S129判定的是,匹配過程已針對基準面搜尋範圍中的基準面參考區塊之所有的位置或基準面參考向量而完成時,則不執行步驟S130及S131的過程;取代地,基準面移動向量係從來自SAD值保持部分1643之基準面最小SAD值SSmin的位置資訊內所偵測,且輸出至控制部165。
現將與特殊實例相關連地敘述使用本實施例中的階層區塊匹配法之影像處理方法的功效。
第49A至49F圖顯示使用於實施例的說明中之基準面及縮小面上的參考區塊,搜尋範圍,及匹配處理範圍之特殊實例。在第49A至49F圖中所描繪的實例中,在水平方向及垂直方向中之縮小比例1/n的值n係設定為n=4。
比較性實例係顯示於第49A及49B圖之中;例如,在該比較性實例之中,並不使用縮小影像的參考區塊108具有水平×垂直=32×32像素的尺寸,以及搜尋範圍106具有水平×垂直=144×64像素的尺寸,此外,匹配處理範圍110具有水平×垂直=176×96像素的尺寸。
因此,如第49C及49D圖中所示地,在上述實施例中的水平方向及垂直方向中之縮小為1/n=1/4的縮小面之上,縮小面參考區塊139具有水平×垂直=8×8像素的尺寸;同時,縮小面搜尋範圍137具有水平×垂直=36×16像素的尺寸,以及縮小面匹配處理範圍143具有水平×垂直=44×24像素的尺寸)。
當其中區塊匹配係執行於在水平方向及垂直方向中縮小成為1/4的縮小面之上時,縮小面移動向量具有四像素準確度,且若簡單地將其乘以4時,則誤差會相對於一像素準確度的移動向量而呈現。尤其,當其中在基準面上之像素係如第9圖中所示地由圓圈所表示時,在該基準面上之所有像素變成目標而成為基準面上的匹配處理點148,但其中執行區塊匹配於縮小為1/4之縮小面上的匹配處理點受限於如第9圖中的實心圖所表示之以四像素為單位所呈現之該等匹配處理點147。
然而,可估計的是,一像素準確度的移動向量至少存在於由縮小面移動向量所指示的縮小面上之匹配處理點之周圍的四像素之範圍內。
因此,在本實施例中,於其中基準面搜尋範圍係根據所計算之縮小面移動向量而決定的基準面匹配之中,基準面目標區塊係設定於藉由將縮小面移動向量乘於縮小比例之倒數的四而獲得之參考區塊所示的像素位置所提供之中心處,且用於四像素之搜尋範圍(基準面搜尋範圍140)被決定以執行基準面區塊匹配,以便再計算移動向量。
因而,如第49E及49F圖中所示地,基準面參考區塊142具有水平×垂直=32×32像素的尺寸,以及基準面搜尋範圍140具有水平×垂直=4×4像素的尺寸,而同時,基準面匹配處理範圍144具有水平×垂直=40×40像素的尺寸。
第50A至50C圖顯示在其中執行縮小面匹配及基準面匹配之二階層匹配過程的情況中之基準面及縮小面上的SAD值之尺寸,其中假定的是,使用SAD表於該處。應注意的是,第50A至50C圖的實例對應於第49A至49F圖之特殊的實例。
在縮小前之144×64像素的搜尋範圍之情況中的SAD表TBL具有145×65點的尺寸,如第50A圖中所示。
相對地,在縮小面搜尋範圍36×16的情況中(請參閱第49D圖)之縮小面SAD表具有37×17點的尺寸,如第50B圖中所示。
相反地,在4×4之基準面搜尋範圍的情況中(請參閱第49F圖)之基準面SAD表具有5×5點的尺寸。
所以,雖然其中未應用階層匹配於該處之匹配處理的次數係145×65=9425,但其中應用於階層匹配於該處之匹配的次數係37×17+5×5=654;因此,可理解的是,處理時間可大大地降低。
其次,因為在上述移動向量偵測方法之第二實例的情況中之線記憶體具有用於縮小面SAD表之一線的容量,所以其可具有用於37個SAD值及其位置資訊的容量。另一方面,SAD表TBL必須具有用於9425個SAD值及其位置資訊的容量。因此,在儲存容量上,當與SAD表TBL相比較時,線記憶體可很小。
此外,在上文中所敘述的移動向量計算部164之第三組態實例的情況中,因為亦無需縮小面SAD表以供儲存該37個SAD值及其位置資訊之用,所以可進一步地縮減電路標度。
因此,當具有本實施例之影像拾取設備時,藉由在執行階層匹配法之後執行內插法於基準面之上,可在寬廣的搜尋範圍上執行子像素準確度的移動向量偵測。
[其他的實施例及修正例]
應注意的是,雖然上述實施例之影像拾取設備使用諸如上文所述的六個操作模式,但可額外地使用並不包含在縮小面上之區塊匹配的基準面匹配處理模式及基準面匹配法+內插法處理模式。
進一步地,在上述實施例之影像拾取設備中的移動偵測及移動補償單元16之移動向量計算部164的第二實例中,搜尋範圍中之搜尋方向係設定為水平線方向,且參考區塊係連續地移位,例如自搜尋範圍的左上角起,以執行搜尋範圍;以及提供用於SAD表之一線的記憶體。然而,可使用另一搜尋方法,其包含重複搜尋範圍中之搜尋方向的起始、設定程序於垂直方向,例如自搜尋範圍之左上角起的垂直方向中的搜尋,而在垂直方向中之一行的搜尋結束之後,水平向右地移位參考區塊的位置至右側行之一行的距離,且然後自該右側行的上端起以垂直方向來執行搜尋。當其中參考區塊係以此方式而自搜尋範圍的左上角起連續地移動於垂直方向之中時,可設置用於SAD表之一垂直行的記憶體。
此處,當考慮匹配處理部及移動向量計算部之電路標度以決定搜尋方向是否應設定為水平方向或垂直方向時,較佳地,係選擇可使得電路標度縮減相當大量的搜尋方向。
應注意的是,可使參考區塊之移動針對每一像素或每一線,或者每複數個像素或線而執行。因此,用於前者情況中之水平方向中的一線之記憶體可具有用於水平方向中之參考區塊的移動位置之容量;另一方面,用於後者情況中之垂直行中的一線之記憶體可具有用於垂直方向中之參考區塊的移動位置之容量。尤其,當其中在該處針對每一像素或針對一行而執行參考區塊的移動時,用於水平方向中之一線的記憶體必須具有用於一線中之像素數目的容量,且用於垂直方向中之一行的記憶體必須具有用於水平方向中之線數目的容量;然而,當其中在該處針對每複數個像素或行而移動參考區塊時,則針對一線之記憶體及針對一行之記憶體可縮減自當其中在該處針對每一像素或針對每一線而移動參考區塊時之記憶體。
進一步地,內插法之方法並未受限於上文中所敘述之二次曲線近似內插法,而是可應用使用三次曲線或更高次曲線的內插法。
此外,在上述實施例中,雖然將依據本發明之影像處理設備應用至影像拾取設備,但本發明之應用並未受限於影像拾取設備,而是本發明可應用至包含影像像框間之移動偵測的所有設備。
進一步地,在上述實施例中,雖然本發明係以區塊為單位而應用至移動向量的偵測,以便藉由影像之重疊而執行雜訊降低之過程,但本發明之應用並未受限於此,而是本發明亦可當然地應用至例如由於影像拾取時之相機幌動的移動向量之偵測,例如可將由於相機幌動之移動向量決定為複數個區塊移動向量的平均值。
雖然已使用特定的說法來陳述本發明之較佳實施例,但該說明僅係用於描繪性之目的,且應瞭解的是,改變和變化可予以作成而不致背離下文申請專利範圍之精神或範疇。
101...參考像框
102...目標區塊
103...移動補償區塊
100...目標像框
104...移動向量
105...用於移動偵測之原點
106...搜尋範圍
107...參考向量
108...參考區塊
109...投影區塊
110...匹配處理範圍
111,121,123,124...SAD值
1...中央處理單元(CPU)
2...系統匯流排
3...使用者操作輸入單元
4...影像記憶體單元
5...記錄及再生設備單元
10...拾取影像信號處理系統
11...影像拾取裝置
10L...影像拾取鏡頭
12...時序信號產生單元
13...預處理單元
14...資料轉換單元
15...影像校正及解析度轉換單元
16...移動偵測及移動補償單元
17...影像重疊單元
18...靜像codec單元
19...動像codec單元
20...NTSC編碼器
6...監測顯示器
130...基準面目標像框
131...基準面目標區塊
132...縮小面目標像框
133...縮小面目標區塊
134...基準面參考像框
135...縮小面參考像框
136...縮小面移動向量
137...縮小面搜尋範圍
138...縮小面參考向量
139...縮小面參考區塊
104’...基準面移動向量
149...最小SAD值
150,151,152,153...SAD值
118...二次近似曲線
143...縮小面匹配處理範圍
140...基準面搜尋範圍
144...基準面匹配處理範圍
137’...搜尋範圍
142...基準面參考區塊
143’...匹配處理範圍
141...基準面參考向量
161...縮小面移動補償區塊
162...部分
136’...高準確度縮小面移動向量
113...基準面最小SAD值
114,115,116,117...基準面鄰接SAD值
161...目標區塊緩衝器部
162...參考區塊緩衝器部
163...匹配處理部
164...移動向量計算部
165...控制部
1611,1621...基準面緩衝器部分
1612,1622...縮小面緩衝器部分
1613...縮小處理部分
1614,1615,1616,1623...選擇器
171...相加比例計算部
172...相加部
173...基準面輸出緩衝器部
174...縮小面面產生部
175...縮小面輸出緩衝器部
23...匯流排介面單元
1641...SAD值寫入部分
1642...SAD值比較部分
1643...SAD值保持部分
1644...X方向(水平方向)鄰接值提取部分
1645...Y方向(垂直方向)鄰接值提取部分
1646...二次曲線近似內插處理部分
120...搜尋方向
122...儲存資料
125,126...鄰接SAD值
1647...線記憶體
201...縮小面匹配處理部
202...縮小面鄰接SAD值獲取部
203...縮小面SAD值內插部
204...基準面匹配處理部
205...基準面鄰接SAD值獲取部
206...基準面SAD值內插部
207...轉換部
第1圖係方塊圖,顯示做為應用本發明實施例之影像處理設備的影像拾取設備之組態的實例;
第2圖係概略視圖,描繪來自由第1圖的影像拾取設備之所拾取影像的降低雜訊之影像的產生;
第3圖係概略視圖,描繪由第1圖的影像拾取設備之區塊匹配法;
第4及5圖係概略視圖,描繪由第1圖的影像拾取設備之不同的雜訊降低法;
第6,7,8A至8C,9至12,13A至13C,14,15A及15B,以及16A及16B圖係描繪由第1圖的影像拾取設備之若干影像處理法的圖式;
第17及18圖係描繪第1圖的影像拾取設備之移動偵測及移動補償單元的操作之圖式;
第19圖係方塊圖,顯示第1圖中所示的移動偵測及移動補償單元之組態的實例;
第20及21圖係方塊圖,顯示第19圖中所示的移動偵測及移動補償單元之不同部分的詳細組態的實例;
第22圖係方塊圖,顯示第1圖的影像拾取設備之影像重疊單元之組態的實例;
第23圖係方塊圖,顯示第1圖中所示的移動偵測及移動補償單元之移動向量計算部的第一實例;
第24圖係流程圖,描繪第23圖的移動向量計算部之處理操作的實例;
第25A至25C及26A至26C圖係描繪該移動偵測及移動補償單元的移動向量計算部之第二實例的操作之圖式;
第27圖係方塊圖,顯示移動偵測及移動補償單元之移動向量計算部的第一實例之組態;
第28及29圖係流程圖,描繪第27圖的移動向量計算部之處理操作的實例;
第30圖係方塊圖,顯示該移動偵測及移動補償單元的移動向量計算部之第三實例;
第31及32圖係流程圖,描繪第30圖的移動向量計算部之處理操作的實例;
第33圖係方塊圖,顯示部分之影像處理設備的功能性方塊組態;
第34圖係流程圖,描繪應用本發明的實施例且結合於第1圖的影像拾取設備中之選擇使用於影像處理方法中的複數個區塊匹配模式之一的方法實例;
第35圖係視圖,描繪使用於第34圖中所描繪的方法中之操作模式及移動向量準確度;
第36及37圖係流程圖,描繪依據本發明實施例之使用於影像處理方法中的靜像雜訊降低法之實例;
第38圖係流程圖,描繪依據本發明實施例之使用於影像處理方法中的動像雜訊降低法之實例;
第39至42圖係方塊圖,描繪依據本發明實施例之使用於影像處理方法中的靜像雜訊降低法中之影像資料的流程;
第43及44圖係方塊圖,描繪依據本發明實施例之使用於影像處理方法中的動像雜訊降低法中之影像資料的流程;
第45及46圖係流程圖,描繪依據本發明實施例之使用於影像處理方法中的階層區塊匹配處理模式的實例;
第47及48圖係流程圖,描繪依據本發明實施例之使用於影像處理方法中的階層區塊匹配處理模式的另一實例;
第49A至49F圖係概略視圖,描繪依據本發明實施例之使用於影像處理方法中的階層區塊匹配法之功效;以及
第50A至50C,51A至51B,以及52至56圖係描繪區塊匹配法的圖式。
131...基準面目標區塊
133...縮小面目標區塊
143...縮小面匹配處理範圍
144...基準面匹配處理範圍
201...縮小面匹配處理部
202...縮小面鄰接SAD值獲取部
203...縮小面SAD值內插部
204...基準面匹配處理部
205...基準面鄰接SAD值獲取部
206...基準面SAD值內插部
207...轉換部

Claims (9)

  1. 一種影像處理設備,用以計算二螢幕影像間之移動向量,該二螢幕影像包含一目標螢幕影像及一參考螢幕影像,該影像處理設備包含:基準面移動向量計算裝置,用以自複數個參考區塊中來偵測具有與一預定尺寸的目標區塊高相關性之一最大相關基準面參考區塊,該預定尺寸的目標區塊係設定於該目標螢幕影像上之一預定位置處,該複數個參考區塊分別地具有與該目標區塊之尺寸相同的尺寸且係設定於該參考螢幕影像上所設定之一第一搜尋範圍中,並根據該螢幕影像上之所偵測的最大相關基準面參考區塊相對於該目標區塊之一位置位移量,以計算一基準面移動向量;高準確度基準面移動向量計算裝置,用以使用該最大相關基準面參考區塊的相關值及定位於與該最大相關基準面參考區塊鄰接的位置處之該複數個參考區塊的相關值,來執行一內插法,以偵測一高準確度最大相關基準面參考區塊之一位置,且根據該螢幕影像上之該高準確度最大相關基準面參考區塊相對於該目標區塊之一位置位移量,以計算一高準確度基準面移動向量;縮小面移動向量計算裝置,用以由一預定之縮小比例來縮小該目標螢幕影像及該參考螢幕影像,以產生一縮小目標螢幕影像及一縮小參考螢幕影像,自複數個縮小面參 考區塊中來偵測具有與一縮小面目標區塊高相關性之一最大相關縮小面參考區塊,該縮小面目標區塊具有一預定的尺寸且係設定於該縮小目標螢幕影像上之一預定位置處,該複數個縮小面參考區塊分別地具有與該縮小面目標區塊之尺寸相同的尺寸且係設定於該縮小參考螢幕影像上所設定之一第二搜尋範圍中,並根據該螢幕影像上之所偵測的最大相關縮小面參考區塊相對於該縮小面目標區塊之一位置位移量,以計算一縮小面移動向量;高準確度縮小面移動向量計算裝置,用以使用該最大相關縮小面參考區塊的相關值及定位於與該最大相關縮小面參考區塊鄰接的位置處之該複數個縮小面參考區塊的相關值,來執行一內插法,以偵測一高準確度最大相關縮小面參考區塊之一位置,且根據該螢幕影像上之該高準確度最大相關縮小面參考區塊相對於該目標區塊之一位置位移量,以計算一高準確度縮小面移動向量;第一基準面搜尋範圍決定裝置,用以根據由該縮小面移動向量計算裝置所計算之該縮小面移動向量,以決定該第一搜尋範圍;第二基準面搜尋範圍決定裝置,用以根據由該高準確度縮小面移動向量計算裝置所計算之該高準確度縮小面移動向量,以決定該第二搜尋範圍;以及選擇裝置,用以自該基準面移動向量計算裝置,高準確度基準面移動向量計算裝置,縮小面移動向量計算裝置,及高準確度縮小面移動向量計算裝置之中選擇將被使用 之一計算裝置,並選擇該第一或第二基準面搜尋範圍決定裝置是否應被使用,然後當其中決定使用該等決定裝置之任一於該處,則自該第一或第二基準面搜尋範圍決定裝置之間選擇將被使用之一決定裝置。
  2. 如申請專利範圍第1頂之影像處理設備,其中在接收來自使用者之選擇操作輸入之後,該選擇裝置執行該選擇。
  3. 如申請專利範圍第1項之影像處理設備,其中該選擇裝置係至少根據該移動向量之處理速度及偵測準確度,而自動地執行該選擇。
  4. 如申請專利範圍第1項之影像處理設備,其中該選擇裝置係根據其之移動向量將被偵測之一目標影像是否係靜像影像或動像影像,而自動地執行該選擇。
  5. 一種影像處理方法,用以計算二螢幕影像間之移動向量,該二螢幕影像包含一目標螢幕影像及一參考螢幕影像,該影像處理方法係由一影像處理設備所執行,該影像處理設備包含基準面移動向量計算裝置,高準確度基準面移動向量計算裝置,縮小面移動向量計算裝置,高準確度縮小面移動向量計算裝置,第一基準面搜尋範圍決定裝置,及第二基準面搜尋範圍決定裝置,該影像處理方法包含:一基準面移動向量計算步驟,係由該基準面移動向量計算裝置所執行,用以設定複數個參考區塊於該參考螢幕影像上所設定之一第一搜尋範圍中,以自該複數個參考區 塊來偵測具有與目標區塊高相關性之一最大相關基準面參考區塊,該複數個參考區塊分別具有與具有一預定尺寸且設定於該目標螢幕影像上之一預定位置處的該目標區塊之尺寸相同的尺寸,並根據該螢幕影像上之所偵測的最大相關基準面參考區塊相對於該目標區塊之一位置位移量,以計算一基準面移動向量;一高準確度基準面移動向量計算步驟,係由該高準確度基準面移動向量計算裝置所執行,用以使用該最大相關基準面參考區塊的相關值及定位於與該最大相關基準面參考區塊鄰接的位置處之該複數個參考區塊的相關值,來執行一內插法,以偵測一高準確度最大相關基準面參考區塊之一位置,且根據該螢幕影像上之該高準確度最大相關基準面參考區塊相對於該目標區塊之一位置位移量,以計算一高準確度基準面移動向量;一縮小面移動向量計算步驟,係由該縮小面移動向量計算裝置所執行,用以由一預定之縮小比例來縮小該目標螢幕影像及該參考螢幕影像,以產生一縮小目標螢幕影像及一縮小參考螢幕影像,設定複數個縮小面參考區塊於該縮小參考螢幕影像上所設定之一第二搜尋範圍中,以自該複數個縮小面參考區塊來偵測具有與縮小面目標區塊高相關性之一最大相關縮小面參考區塊,該複數個縮小面參考區塊分別具有與具有一預定尺寸且係設定於該縮小目標螢幕影像上之一預定位置處的該縮小面目標區塊的尺寸相同之尺寸,並根據該螢幕影像上之所偵測的最大相關縮小面 參考區塊相對於該縮小面目標區塊之一位置位移量,以計算一縮小面移動向量;一高準確度縮小面移動向量計算步驟,係由該高準確度縮小面移動向量計算裝置所執行,用以使用該最大相關縮小面參考區塊的相關值及定位於與該最大相關縮小面參考區塊鄰接的位置處之該複數個縮小面參考區塊的相關值,來執行一內插法,以偵測一高準確度最大相關縮小面參考區塊之一位置,而根據該螢幕影像上之該高準確度最大相關縮小面參考區塊相對於該目標區塊之一位置位移量,以計算一高準確度縮小面移動向量;一第一基準面搜尋範圍決定步驟,由該第一基準面搜尋範圍決定裝置所執行,用以根據由該縮小面移動向量計算裝置所計算之該縮小面移動向量,以決定該第一搜尋範圍;一第二基準面搜尋範圍決定步驟,由該第二基準面搜尋範圍決定裝置所執行,用以根據由該高準確度縮小面移動向量計算裝置所計算之該高準確度縮小面移動向量,以決定該第二搜尋範圍;以及一選擇步驟,用以當該二螢幕影像間之該移動向量將被計算時,自該縮小面移動向量計算步驟,高準確度縮小面移動向量計算步驟,基準面移動向量計算步驟,及高準確度基準面移動向量計算步驟中選擇將被使用之一計算步驟,選擇該第一或第二基準面搜尋範圍決定步驟是否應被使用,然後當其中決定使用該等決定步驟之任一於該處, 則自該第一與第二基準面搜尋範圍決定步驟之間選擇將被使用之一決定步驟。
  6. 如申請專利範圍第5項之影像處理方法,其中,在該選擇步驟,該選擇係執行以回應於接收自使用者之選擇操作輸入。
  7. 如申請專利範圍第5項之影像處理方法,其中,在該選擇步驟,該選擇係至少根據該移動向量之處理速度及偵測準確度而自動地執行。
  8. 如申請專利範圍第5項之影像處理方法,其中,在該選擇步驟,該選擇係根據其之移動向量將被偵測之一目標影像是否係靜像影像或動像影像而自動地執行。
  9. 一種影像處理設備,用以計算二螢幕影像間之移動向量,該二螢幕影像包含一目標螢幕影像及一參考螢幕影像,該影像處理設備包含:一基準面移動向量計算部,係組構以自複數個參考區塊中來偵測具有與一預定尺寸的目標區塊高相關性之一最大相關基準面參考區塊,該預定尺寸的目標區塊係設定於該目標螢幕影像上之一預定位置處,該複數個參考區塊分別地具有與該目標區塊之尺寸相同的尺寸且係設定於該參考螢幕影像上所設定之一第一搜尋範圍中,並根據該螢幕影像上之所偵測的最大相關基準面參考區塊相對於該目標區塊之一位置位移量,以計算一基準面移動向量;一高準確度基準面移動向量計算部,係組構以使用該最大相關基準面參考區塊的相關值及定位於與該最大相關 基準面參考區塊鄰接的位置處之該複數個參考區塊的相關值,來執行一內插法,以偵測一高準確度最大相關基準面參考區塊之一位置,且根據該螢幕影像上之該高準確度最大相關基準面參考區塊相對於目標區塊之一位置位移量,以計算一高準確度基準面移動向量;一縮小面移動向量計算部,係組構以由一預定之縮小比例來縮小該目標螢幕影像及該參考螢幕影像,以產生一縮小目標螢幕影像及一縮小參考螢幕影像,自複數個縮小面參考區塊中來偵測具有與一縮小面目標區塊高相關性之一最大相關縮小面參考區塊,該縮小面目標區塊具有一預定的尺寸且係設定於該縮小目標螢幕影像上之一預定位置處,該複數個縮小面參考區塊分別地具有與該縮小面目標區塊之尺寸相同的尺寸且係設定於該縮小參考螢幕影像上所設定之一第二搜尋範圍中,並根據該螢幕影像上之所偵測的最大相關縮小面參考區塊相對於該縮小面目標區塊之一位置位移量,以計算一縮小面移動向量;一高準確度縮小面移動向量計算部,係組構以使用該最大相關縮小面參考區塊的相關值及定位於與該最大相關縮小面參考區塊鄰接的位置處之該複數個縮小面參考區塊的相關值,來執行一內插法,以偵測一高準確度最大相關縮小面參考區塊之一位置,且根據該螢幕影像上之該高準確度最大相關縮小面參考區塊相對於該目標區塊之一位置位移量,以計算一高準確度縮小面移動向量;一第一基準面搜尋範圍決定部,係組構以根據由該縮 小面移動向量計算部所計算之該縮小面移動向量,以決定該第一搜尋範圍;一第二基準面搜尋範圍決定部,係組構以根據由該高準確度縮小面移動向量計算部所計算之該高準確度縮小面移動向量,以決定該第二搜尋範圍;以及一選擇部,係組構以自該基準面移動向量計算部,高準確度基準面移動向量計算部,縮小面移動向量計算部,及高準確度縮小面移動向量計算部之中選擇將被使用之一計算部,並選擇該第一或第二基準面搜尋範圍決定部是否應被使用,然後當其中決定使用該等決定部之任一,則自該第一與第二基準面搜尋範圍決定部之間選擇將被使用之一決定部。
TW97139362A 2007-10-22 2008-10-14 影像處理設備及影像處理方法 TWI390468B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007273606A JP4882956B2 (ja) 2007-10-22 2007-10-22 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
TW200937351A TW200937351A (en) 2009-09-01
TWI390468B true TWI390468B (zh) 2013-03-21

Family

ID=40563454

Family Applications (1)

Application Number Title Priority Date Filing Date
TW97139362A TWI390468B (zh) 2007-10-22 2008-10-14 影像處理設備及影像處理方法

Country Status (5)

Country Link
US (1) US8199805B2 (zh)
JP (1) JP4882956B2 (zh)
KR (1) KR20090040844A (zh)
CN (1) CN101420613B (zh)
TW (1) TWI390468B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4633035B2 (ja) * 2006-11-07 2011-02-16 Necディスプレイソリューションズ株式会社 液晶表示装置及び液晶表示装置制御方法
JP4560805B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置及びそのプログラム
CN102187678A (zh) * 2008-10-29 2011-09-14 松下电器产业株式会社 动态图像压缩编码中的编码处理方法和编码处理装置
KR101487685B1 (ko) * 2008-11-21 2015-01-29 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP4406892B1 (ja) * 2008-11-28 2010-02-03 日本ビクター株式会社 繰り返しオブジェクト検出装置及び方法
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
JP2010288110A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像処理装置および画像処理方法
US8368771B2 (en) * 2009-12-21 2013-02-05 Olympus Imaging Corp. Generating a synthesized image from a plurality of images
TWI401409B (zh) * 2009-12-29 2013-07-11 Avermedia Information Inc 具有物體實際尺寸估計功能之實物攝影機
TWI395490B (zh) * 2010-05-10 2013-05-01 Univ Nat Central 實施於電子裝置之影像編碼方法
JP5521836B2 (ja) * 2010-07-05 2014-06-18 ソニー株式会社 撮像装置及び画像処理装置
JP5669523B2 (ja) * 2010-07-06 2015-02-12 三菱電機株式会社 フレーム補間装置及び方法、並びにプログラム及び記録媒体
US20120019512A1 (en) * 2010-07-22 2012-01-26 Dong Yang Noise suppression for cone-beam image reconstruction
JP5569357B2 (ja) * 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2012142865A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置及び画像処理方法
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN102868889A (zh) * 2011-07-06 2013-01-09 乐金电子(中国)研究开发中心有限公司 帧间图像视频编解码的运动矢量预测方法及视频编解码器
CN103033128A (zh) * 2011-10-10 2013-04-10 鸿富锦精密工业(深圳)有限公司 影像测量系统及方法
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
TW201322768A (zh) * 2011-11-24 2013-06-01 Novatek Microelectronics Corp 在動態影像中搜尋移動小物體的方法
US20130301727A1 (en) * 2012-05-14 2013-11-14 Qualcomm Incorporated Programmable and scalable integer search for video encoding
JP5684205B2 (ja) 2012-08-29 2015-03-11 株式会社東芝 画像処理装置、画像処理方法、及びプログラム
JP6137936B2 (ja) * 2013-05-10 2017-05-31 オリンパス株式会社 撮影機器,画像処理装置及び画像補正方法
US9497482B2 (en) * 2013-10-02 2016-11-15 Amlogic Co., Limited Methods for comparing a target block to a reference window for motion estimation during video encoding
JP6323185B2 (ja) * 2014-06-04 2018-05-16 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9832484B2 (en) * 2015-05-20 2017-11-28 Texas Instruments Incorporated Still block detection in a video sequence
JP6502485B2 (ja) * 2015-05-21 2019-04-17 オリンパス株式会社 撮像装置
CN106709932B (zh) * 2015-11-12 2020-12-04 创新先进技术有限公司 一种人脸位置跟踪方法、装置和电子设备
DE102016104732A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN111886869B (zh) * 2018-03-19 2023-12-05 英迪股份有限公司 图像解码方法、编码方法以及存储比特流的记录介质
US11057637B1 (en) * 2020-01-29 2021-07-06 Mellanox Technologies, Ltd. Efficient video motion estimation by reusing a reference search region
US20240147048A1 (en) * 2022-10-26 2024-05-02 Adobe Inc. Updating zoom properties of corresponding salient objects

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123130B2 (ja) 1991-06-28 2001-01-09 ソニー株式会社 動きベクトル検出装置
JP3309519B2 (ja) 1993-09-17 2002-07-29 ソニー株式会社 動きベクトル検出装置
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
GB2324428A (en) * 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
CN1243393A (zh) * 1998-07-15 2000-02-02 索尼株式会社 移动矢量测量方法及记录媒体、移动检测装置及方法
JP2001145114A (ja) * 1999-08-31 2001-05-25 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
JP3758594B2 (ja) * 2002-03-29 2006-03-22 ソニー株式会社 動きベクトル検出方法と動きベクトル検出装置及びコンピュータ読み取り可能な記録媒体と動きベクトル検出プログラム
JP4525064B2 (ja) * 2003-12-11 2010-08-18 ソニー株式会社 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP4368784B2 (ja) 2004-12-03 2009-11-18 花王株式会社 アルケニルポリエーテルの製造法
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
JP4717539B2 (ja) * 2005-07-26 2011-07-06 キヤノン株式会社 撮像装置及び撮像方法
CN100559843C (zh) * 2005-12-01 2009-11-11 索尼株式会社 图像处理装置和图像处理方法
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム

Also Published As

Publication number Publication date
TW200937351A (en) 2009-09-01
US8199805B2 (en) 2012-06-12
JP2009104284A (ja) 2009-05-14
CN101420613A (zh) 2009-04-29
JP4882956B2 (ja) 2012-02-22
KR20090040844A (ko) 2009-04-27
US20090103621A1 (en) 2009-04-23
CN101420613B (zh) 2012-10-10

Similar Documents

Publication Publication Date Title
TWI390468B (zh) 影像處理設備及影像處理方法
JP4720859B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP2063646A2 (en) Method and apparatus for predictive coding
US7834907B2 (en) Image-taking apparatus and image processing method
JP4489033B2 (ja) フレームレート変換装置、パン・チルト判定装置および映像装置
US8094230B2 (en) Image processing apparatus, image processing method, and program
EP2219366B1 (en) Image capturing device, image capturing method, and image capturing program
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
JP2009105533A (ja) 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
US20090190856A1 (en) Distortion correcting apparatus
JP2012142829A (ja) 画像処理装置および画像処理方法
JP2012142865A (ja) 画像処理装置及び画像処理方法
US20210067689A1 (en) Image processing apparatus, image processing method, and program
JP2009055410A (ja) 画像処理装置および画像処理方法
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP2014126803A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2001197512A (ja) 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
JP4020093B2 (ja) 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体
JPH1013860A (ja) 立体画像補間装置及びその方法
JP2008227562A (ja) 画像処理装置、カメラ装置、およびカメラシステム
JP2009116763A (ja) 画像処理装置および画像データのメモリアクセス方法
JP4998134B2 (ja) 画像処理装置および画像処理方法
JP2011223367A (ja) 歪み補正装置
JP3914810B2 (ja) 撮像装置、撮像方法及びそのプログラム
JP2009065323A (ja) 画像処理装置、画像処理方法、撮像装置および撮像方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees