TWI462056B - 影像處理方法,裝置及電腦程式產品 - Google Patents

影像處理方法,裝置及電腦程式產品 Download PDF

Info

Publication number
TWI462056B
TWI462056B TW100131465A TW100131465A TWI462056B TW I462056 B TWI462056 B TW I462056B TW 100131465 A TW100131465 A TW 100131465A TW 100131465 A TW100131465 A TW 100131465A TW I462056 B TWI462056 B TW I462056B
Authority
TW
Taiwan
Prior art keywords
block
value
evaluation
evaluation value
pixel
Prior art date
Application number
TW100131465A
Other languages
English (en)
Other versions
TW201225007A (en
Inventor
Nao Mishima
Takeshi Mita
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201225007A publication Critical patent/TW201225007A/zh
Application granted granted Critical
Publication of TWI462056B publication Critical patent/TWI462056B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

影像處理方法,裝置及電腦程式產品
本文描述的實施例通常相關於影像處理方法、裝置、以及電腦程式產品。
已有在多個影像之間搜尋對應點的技術。搜尋對應點之方法的一者係區塊匹配,使用其實施包括在該等影像中之特定尺寸區塊的匹配。如所描述的,在JP-A 2008-234465(Kokai)中,可能將最大絕對差(MAD)使用為區塊匹配法。根據此方法,可實現在亮度變化上穩健的區塊匹配。MAD在雜訊上甚弱,但藉由線性組合絕對差的和(SAD),也可確保雜訊穩健度。
然而,使用該等習知技術,若該等區塊包括特徵影像圖案,匹配可成功地實施,但若該等區塊不具有任何特定特徵且彼等的亮度平坦,其可能失敗。因此,已期望可實現具有高精確度之區塊匹配的技術。
實施例的目的係提供可實施具有高精確度之區塊匹配的影像處理方法、裝置、以及電腦程式產品。
通常,根據一實施例,影像處理方法包括針對第一區塊計算活動值,當該第一區塊中的像素值以較大程度變化時,該活動值指示較高活動度,並計算當該第一區塊之像素值及第二區塊的像素值之間的差較小時,指示較高評估的第一評估值。該方法另外包括計算當該第一區塊之該像素值的相對空間關係及該第二區塊之該像素值的相對空間關係之間的相關較高時,指示較高評估的第二評估值,並藉由加權該第一評估值及該第二評估值計算第三評估值,以搜尋對應於該第一區塊的該第二區塊,當該活動值較大時,該第一評估值的權重較大。
根據上述影像處理方法,可實施具有高精確度的區塊匹配。
於下文參考該等隨附圖式詳細地解釋根據實施例的影像處理方法、影像處理裝置、以及影像處理程式。
根據實施例的影像處理裝置在作為標準影像(稱為「源影像」)使用的源影像及參考影像之間實行區塊匹配,並將係包括該源影像之所有或部分像素的影像區域之區塊(稱為「目標區塊」)與高度相關於該目標區塊的參考區塊關聯,該目標區塊來自係包括該參考影像的部分像素之影像區域的區塊(稱為「參考區塊」)之間。此種關聯性的範例包括針對立體觀看取得之立體影像的關聯,其中由左眼攝影機取得的影像與由右眼攝影機取得之影像關聯、圖框關聯,其中對應於視訊影像中之時間t的影像之圖框與對應於時間t-1的影像之圖框關聯、以及區塊關聯,其中當搜尋與包括在視訊影像之任何影像中的物件相同之物件時,將對應於該物件的區塊與另一區塊關聯。通常將平均絕對差(MAD)使用為用於此種關聯操作的評估值。然而,針對立體影像,例如,係形成各左及右影像之像素的值之像素值可能由於左眼及右眼攝影機之間的特徵差等而彼此不同。MAD係基於高度相關且關聯之區塊的像素值之平均相等的假設之評估值。雖然在像素值之間有差(稱為「像素值差」),若將MAD採用為評估值,關聯可能無法精確地實行。該像素值差係亮度上的差(稱為「亮度差」)。另一方面,增量符號相關(ISC)已作為對像素值差穩健的評估值而為人所知。ISC係基於區塊中的相鄰像素之間的相對空間關係之評估值,且因此不假設像素值的平均相等。因此,其對像素值差係穩健的。然而,因為未使用像素值的平均,對準的精確度不如使用MAD的對準。根據本實施例,將MAD及ISC二者組合使用在源影像及參考影像之間的區塊匹配,使得可實現具有高精確度的區塊匹配。於下文詳細地解釋實現此匹配的結構。
首先,解釋根據本實施例之影像處理裝置的硬體結構。根據本實施例的影像處理裝置包括控制單元,諸如,控制整體裝置的中央處理單元(CPU)、主儲存單元,諸如,儲存各種類型之資料及程式的唯讀記憶體(ROM)及隨機存取記憶體(RAM)、輔助儲存單元,諸如,儲存各種類型之資料及程式的硬碟驅動器(HDD)及光碟(CD)驅動裝置、以及連接此等單元的匯流排,並具有使用普通電腦的硬體結構。此外,使用或不使用佈線將顯示資訊的顯示單元、接收來自使用者之指令輸入的操作輸入單元,諸如,鍵盤及滑鼠、以及控制與外部裝置之通訊的通訊介面連接至該影像處理裝置。在輔助儲存單元中,諸如,HDD,將上文提及之源影像及參考影像儲存為指示各像素之像素值的影像資料。該影像處理裝置可能設有接收空中電波的接收單元,並可能在該主儲存單元或該輔助儲存單元中將運載在該空中電波上的影像資料儲存為該源影像或該參考影像的影像資料。
其次,參考圖1解釋具有此種硬體結構之影像處理裝置的功能結構。該影像處理裝置包括活動值計算單元11、第一區塊評估值計算單元12、第二區塊評估值計算單元13、評估值組合單元14、以及最大評估搜尋單元15。當該影像處理裝置的CPU執行儲存在該主儲存單元及輔助儲存單元中的各種程式時,實現此等單元。
活動值計算單元11計算指示活動度的活動值,當包括在該目標區塊中的像素之像素值的變化(幅度)增加時,其變得更大。將該目標區塊在水平方向及垂直方向上的尺寸分別表示為M1及M2。該等參考區塊係從分割為多個矩形的該參考影像製備,如圖2所描繪的。將該參考區塊在水平方向及垂直方向上的索引分別表示為i及j。此外,將像素在該目標區塊及該參考區塊各者中的相對位置表示為(x,y)。另外,將在該目標區塊之位置(X,Y)的像素之像素值表示為IL (X,Y),並將在該參考區塊之位置(X,Y)的像素之像素值表示為IR (X,Y)。例如,將該目標區塊中之該等像素值的標準差採用為活動值。在此情況中,活動值計算單元11依據以下表示的方程式(1)計算活動值ACT。
此外,可能將該目標區塊中之該等像素值的分佈採用為活動值。作為活動值的另一範例,可能採用該目標區塊中的該等像素值之梯度的平均。若使用該等像素值之梯度的平均,活動值計算單元11依據以下表示的方程式(2)計算活動值ACT。
第一區塊評估值計算單元12計算當該目標區塊中之各像素的像素值及該參考區塊中之各像素的像素值之間的差較小時,指示較高評估的該第一評估值。此處假設該參考區塊具有與該目標區塊相同的形狀及尺寸。該第一評估值在位置對準上精確,但弱點係像素值差。此種第一評估值的範例包括上文提及的MAD。此處,第一區塊評估值計算單元12依據以下顯示的方程式(3)將該MAD計算為第一評估值,其中u=(ux ,uy )T (T代表轉置)代表於稍後討論之該最大評估搜尋的搜尋目標向量。
該第一評估值可能係取代其之平均的絕對差之和(SAD)。在此種情況中,第一區塊評估值計算單元12依據方程式(4)將該SAD計算為該第一評估值。
該第一評估值可能係均方誤差(MSD)。在此情況中,第一區塊評估值計算單元12依據方程式(5)將該MSD計算為該第一評估值。
另外,該第一評估值可能係取代其之平均的差方和(SSD)。在此種情況中,第一區塊評估值計算單元12依據方程式(6)將該SSD計算為該第一評估值。
第二區塊評估值計算單元13計算當該目標區塊中的像素之像素值的相對空間關係與該參考區塊中之像素的像素值之相對空間關係更緊密地相關時,指示更高評估的第二評估值。可能將相鄰像素的像素值之間的幅度關係採用為該相對空間關係。採用此種幅度關係的第二評估值之範例係上文提及的增量符號相關(ISC)。如圖3所描繪的,ISC指示相鄰像素的像素值之間的差是否為正、負、或0。藉由將該等相鄰像素的像素值之間的差轉換為指示正值、負值、或0之三值之一者,取代使用該差自身的值,可計算該第二評估值而不被該像素值差的偏移所影響。換言之,藉由採用此種第二評估值,可確保對亮度差的穩健性。於下文解釋將ISC計算為第二評估值的具體方法。第二區塊評估值計算單元13在源影像中計算水平方向上的相鄰像素之間的isc1x (x,y)及垂直方向上的相鄰像素之間的isc1y (x,y)。第二區塊評估值計算單元13也在參考影像中計算水平方向上的相鄰像素之間的iscRx (x,y)及垂直方向上的相鄰像素之間的iscRy (x,y)。藉由使用此等計算值,第二區塊評估值計算單元13依據方程式(7)將ISC計算為第二評估值。
此外,可能將像素值的梯度採用在第二評估值的計算中。在此種情況中,第二區塊評估值計算單元13分別計算在該源影像的水平方向上相鄰之像素的梯度dxL (x,y)以及在垂直方向上相鄰之像素的梯度dyL (x,y),並也分別計算在該參考影像的水平方向上相鄰之像素的梯度dxR (x,y)以及在垂直方向上相鄰之像素的梯度dyR (x,y)。然後,第二區塊評估值計算單元13依據方程式(8)使用該等計算值將該等像素值的梯度之間的差DXY計算為第二評估值。
評估值組合單元14藉由在由活動值計算單元11計算之活動值增加時,增加由第一區塊評估值計算單元12計算之第一評估值的權重,並在活動值減少時,減少第一評估值之權重,將第一評估值及藉由第二區塊評估值計算單元13得到的第二評估值組合,從而得到第三評估值。
依據該活動值改變用於第三評估值之計算的該第一評估值之權重的原因如下。如上文所討論的,基於該等像素值之差的第一評估值對改變像素值差的移位等甚弱。此係因為,例如,作為第一評估值使用的MAD係基於在高度相關且關聯之區塊中的像素值之平均彼此相等的假設。然而,若該移位由於該像素值差等而改變,該等像素值的平均在區塊之間不同。另一方面,第二評估值係基於區塊中之像素值的相對空間關係,且因此不需要與不同區塊之像素值的相等平均有關之假設。因此,第二評估值對像素值差之移位的變化等穩健。相反地,因為不能評估該等區塊之間的像素值之平均的差,對準的精確度比使用第一評估值為低。然而,即使具有移位變化,若該變化範圍顯著地小於作為第一評估值的MAD,區塊匹配仍可成功地使用此值實行。
為更詳細地解釋,將源影像及參考影像的具體模型給定為範例。圖4係顯示源影像之範例模型的圖。圖5係顯示參考影像之範例模型的圖。將在源影像之位置(x,y)的像素之像素值表示為如方程式(9)所示的IL (x,y),並將在參考影像之位置(x,y)的像素之像素值表示為如方程式(10)所示的IR (x,y)。
此處,(d=5,d=5)指示源影像及參考影像之間的位置差、α=200指示形狀分佈的尺寸、且β=0指示源影像及參考影像之間的像素值差。圖6係顯示MAD評估值之分佈的圖。在此圖中,呈現在從中心偏移(5,5)之位置上的最高評估值。圖7係顯示ISC評估值之分佈的圖。在此圖中,呈現在從中心偏移約(5,5)之位置上的最高評估值,但該曲線廣泛地散開,意謂著對準未能如使用MAD一樣地精確實行。
其次,解釋源影像及參考影像的具體模型,其中形狀分佈的尺度為α=10(亦即,形狀的變化甚小)且源影像及參考影像之間的像素值差為β=10。圖8係源影像的圖。圖9係參考影像的圖。圖10係MAD評估值之分佈的圖。可從此圖理解未能依據指示最高評估的該評估值正確地偵測位置差。圖11係ISC評估值之分佈的圖。使用ISC,即使具有像素值差,如可從此圖看到的,仍可穩健地偵測位置差。換言之,使用ISC可比使用MAD更精確地實行對準。
其次,解釋源影像及參考影像的具體模型,其中形狀分佈的尺度為α=200(亦即,形狀的變化甚大)且源影像及參考影像之間的像素值差為β=10。圖12係顯示MAD評估值之分佈的圖。如此圖式所描繪的,若形狀相關於像素值差的變化夠大,位置差可藉由使用MAD評估值精確地偵測。圖13係顯示ISC評估值之分佈的圖。
換言之,若α/β足夠大,可使用MAD得到精確評估。通常,α及β二者均為未知;然而,活動值ACT可取代α。
在上述範例中,
當α=10時,ACT=2.3
當α=100時,ACT=21.3
當α=200時,ACT=42.6
此顯示α與活動值ACT之間的相關。雖然β係完全未知的,可能假設並設定特定值。應參考滿足ACT/β>T(T係任何任意數)之ACT設定用於將α轉換為活動值的參數。已從上文理解若ACT/β的值甚小,可能不能使用第一評估值,諸如,MAD,得到精確的評估,但若ACT/β的值夠大,可使用第一評估值得到精確評估。此意謂著當將β固定為適當值時,由第一評估值指示之評估的可靠度依據ACT的值而改變。因此,根據本實施例,依據活動值改變併入用於稍後描述的最大評估搜尋之第三評估值的計算之第一評估值的權重。
將藉由正規化活動值ACT而計算的可靠度使用為併入第三評估值之計算中的第一評估值之權重。在此可靠度的計算中,例如,藉由將活動值ACT使用為變數而採用用於得到可靠度w的遞增函數。可能將高斯函數採用為遞增函數。更具體地說,從下文所示的方程式(11)計算可靠度w。應將高斯函數中的標準差δ設定成第一評估值可靠的ACT/β。例如,δ=ACT/β>T可能成立。圖14係藉由將活動值ACT使用為變數用於得到可靠度w之高斯函數的圖。
此外,可能將線性函數使用在可靠度的計算中。在此種計算中,可靠度係依據方程式(12)而得到。此處,a及b代表線的梯度及截距。圖15係藉由將活動值ACT使用為變數用於得到可靠度w之線性函數的圖。
w(i,j)=max(min(a.ACT(i,i)+b,1),0) (12)
另外,可能將如圖16所指示的遞增函數採用在可靠度的計算中。
評估值組合單元14依據方程式(13)藉由使用乘以可靠度的第一評估值及第二評估值計算第三評估值E。此處,λ0代表第一評估值及第二評估值的相對權重。
E(i,j,ux ,uy )=w(i,j)MAD(i,j,ux ,uy )+λISC(i,j,ux ,uy ) (13)
最大評估搜尋單元15藉由使用由評估值組合單元14計算的第三評估值實行最大評值搜尋。例如,在參考影像中,當從-W及W之間的矩形搜尋區域高度相關於目標區塊的參考區塊時,藉由方程式(14)指示用於得到對應於指示參考區塊之位置的索引(i,j)之向量u(i,j)的最大評估搜尋問題(區塊匹配演算法)。當第一評估值及第二評估值二者指示高評估時,誤差變得較小,且在最大評估搜尋中,將誤差最小化。因此,方程式(14)代表最小化問題。方程式符號1指示待發現之將誤差函數E最小化的ux 及uy
總之,最大評估搜尋單元15在i、j、x、以及y的所有組合型樣上實行最大評估搜尋。此外,假設區塊中的向量與區塊中的動作向量相同。因此,方程式(15)成立。
u(x,y):=u(i,j) (15)
其次,參考圖17解釋藉由根據本實施例之影像處理裝置實施的對應區塊搜尋處理的程序。該影像處理裝置藉由活動值計算單元11的功能計算目標區塊的活動值(步驟S1)。然後,該影像處理裝置從參考影像選擇用於與目標區塊區塊匹配的參考區塊(步驟S2)。待選擇的參考區塊可能係預定作為區塊匹配的選擇之參考區塊的一未使用區塊,或藉由在參考影像之水平及垂直方向之至少任一方向上將在先前循環之步驟S2中選擇的參考區塊移位一或多個像素而得到的一區塊。此處,當未選擇參考區塊時(步驟S3的否),影像處理裝置前進至步驟S8,且當選擇參考區塊時(步驟S3的是),該裝置前進至步驟S4及S5。
在步驟S4,影像處理裝置使用目標區塊及在步驟S2選擇的參考區塊藉由第一區塊評估值計算單元12的功能計算第一評估值。在步驟S5,影像處理裝置使用目標區塊及在步驟S2選擇的參考區塊藉由第二區塊評估值計算單元13的功能計算第二評估值。然後,藉由評估值組合單元14的功能,影像處理裝置將在步驟S4計算的第一評估值乘以基於在步驟S1計算之活動值的可靠度(步驟S6),並藉由使用乘以可靠度的第一評估值及在步驟S5計算的第二評估值計算第三評估值(步驟S7)。影像處理裝置將此第三評估值儲存在主儲存單元中,諸如,RAM。之後,影像處理裝置返回至步驟S2,並重複步驟S4至S7的處理,直到不再有待用於與目標區塊匹配而選擇的參考區塊。然後,當不再有待選擇的參考區塊時(步驟S3的否),影像處理裝置在步驟S8藉由使用在步驟S7針對多個參考區塊獨立計算並儲存在主儲存單元中的第三評估值藉由最大評估搜尋單元15實行最大評估值搜尋。
現在解釋第三評估值的分佈。圖18係顯示當形狀分佈的尺度為α=200,且源影像及參考影像之間的像素值差為β=10時所計算的第三評估值之分佈的圖。圖19係顯示當形狀分佈的尺度為α=10,且源影像及參考影像之間的像素值差為β=10時所計算的第三評估值之分佈的圖。在此等圖式的範例中,與α甚大或甚小無關,正確地偵測到位置差,且對準以高精確度實施。
由於使用第三評估值的最大評估搜尋,將對應於得到為方程式(14)之解u(i,j)的索引i及j之參考區塊搜尋為高度相關於目標區塊並與目標區塊關聯的區塊。
如上文所述,根據本實施例,可確保相關於對準精確度及亮度差二者的穩健性,且因此可用較高精確度實現區塊匹配。
在上述實施例中,可能將藉由影像處理裝置實作的各種程式儲存在連接至網路,諸如網際網路,的電腦中,並可能藉由經由網路下載其而提供。再者,可能在電腦可讀記錄媒體中,諸如,CD-ROM、軟式磁碟(FD)、CD-R、數位多樣化光碟(DVD),將該等程式儲存為可安裝或可執行格式的檔案,並提供為電腦程式產品。
在上述實施例中,只要目標區塊及參考區塊的形狀及尺寸係類似的,彼等的形狀並未受限於上文討論的矩形。
在上述實施例中,彼等的相關評估係由第二評估值指示之各區塊中的像素之像素值的相對空間關係可能係在水平方向上對準之像素的像素值之相對關係及在垂直方向上對準的像素之像素值的相對關係之至少任一者。
在上述實施例中,第一評估值及第二評估值並未受限於上述範例。此外,第三評估值的計算並未受限於上述範例。最大評估搜尋法也未受限於上述範例。
根據上述至少一實施例的影像處理方法,影像處理方法包括針對第一區塊計算活動值,當該第一區塊中的像素值以較大程度變化時,該活動值指示較高活動度,並計算當該第一區塊之像素值及第二區塊的像素值之間的差較小時,指示較高評估的第一評估值。該方法另外包括計算當該第一區塊之該像素值的相對空間關係及該第二區塊之該像素值的相對空間關係之間的相關較高時,指示較高評估的第二評估值,並藉由加權該第一評估值及該第二評估值計算第三評估值,以搜尋對應於該第一區塊的該第二區塊,當該活動值較大時,該第一評估值的權重較大。因此,可用高精確度實現區塊匹配。
當已然描述特定實施例時,此等實施例僅已藉由例示方式呈現,且未企圖限制本發明的範圍。實際上,本文描述的新奇實施例可能以各種其他形式體現;此外,可能無須脫離本發明的精神而以本文描述之該等實施例的形式產生各種省略、替代、及改變。隨附之申請專利範圍及彼等的等效範圍意圖涵蓋落在本發明之範圍及精神內的此種形式或修改。
11...活動值計算單元
12...第一區塊評估值計算單元
13...第二區塊評估值計算單元
14...評估值組合單元
15...最大評估搜尋單元
M1、M2...尺寸
圖1係顯示影像處理裝置的功能結構之範例的圖;
圖2係顯示參考影像中的參考區塊之範例的圖;
圖3係顯示ISC之範例的圖;
圖4係顯示模型源影像之範例的圖;
圖5係顯示模型參考影像之範例的圖;
圖6係MAD評估值的分佈圖;
圖7係ISC評估值的分佈圖;
圖8係顯示範例源影像的圖;
圖9係顯示範例參考影像的圖;
圖10係MAD評估值的分佈圖;
圖11係ISC評估值的分佈圖;
圖12係MAD評估值的分佈圖;
圖13係ISC評估值的分佈圖;
圖14係用於得到可靠度w之高斯函數的圖;
圖15係用於得到可靠度w之線性函數的圖;
圖16係用於得到可靠度w之遞增函數的圖;
圖17係顯示對應區塊搜尋處理之程序的流程圖;
圖18係第三評估值的分佈圖;
圖19係第三評估值的分佈圖。
11...活動值計算單元
12...第一區塊評估值計算單元
13...第二區塊評估值計算單元
14...評估值組合單元
15...最大評估搜尋單元

Claims (12)

  1. 一種影像處理方法,包含:針對第一區塊計算活動值,該第一區塊係包括第一影像之部分像素的影像區域,當該第一區塊中的該等像素之間的像素值以較大程度變化時,該活動值指示較高活動度;計算當該第一區塊之像素值及第二區塊的像素值之間的差較小時,指示較高評估的第一評估值,該第二區塊係包括第二影像之部分像素的影像區域;計算當該第一區塊之該像素值的相對空間關係及該第二區塊之該像素值的相對空間關係之間的相關較高時,指示較高評估的第二評估值;以及藉由加權該第一評估值及該第二評估值計算第三評估值,以搜尋對應於該第一區塊的該第二區塊,當該活動值較大時,該第一評估值的權重較大。
  2. 如申請專利範圍第1項之影像處理方法,其中,在計算該活動值時,計算針對該第一區塊之該等像素值的較大標準差指示更高程度的該活動值。
  3. 如申請專利範圍第1項之影像處理方法,其中,在計算該活動值時,計算針對該第一區塊中之該等相鄰像素值的較大平均絕對差指示更高程度的該活動值。
  4. 如申請專利範圍第1項之影像處理方法,其中,在計算該第三評估值時,該第三評估值依據將該活動值合併為變數的遞增函數藉由改變該權重而計算。
  5. 如申請專利範圍第1項之影像處理方法,其中,在計算該第二評估值時,計算針對該第一區塊中之相鄰像素的像素值之相對關係及該第二區塊中的相鄰像素之像素值的相對關係之間的較高相關指示更高評估的該第二評估值。
  6. 如申請專利範圍第1項之影像處理方法,其中,在計算該第二評估值時,計算針對在該第一區塊的水平方向上對準之二或多個像素的像素值之相對關係及在該第二區塊之水平方向上對準的二或多個像素之像素值的相對關係之間的較高相關指示更高評估的該第二評估值。
  7. 如申請專利範圍第1項之影像處理方法,其中,在計算該第二評估值時,計算針對在該第一區塊的垂直方向上對準之二或多個像素的像素值之相對關係及在該第二區塊之垂直方向上對準的二或多個像素之像素值的相對關係之間的較高相關指示更高評估的該第二評估值。
  8. 如申請專利範圍第1項之影像處理方法,其中,在計算該第一評估值時,係平均絕對差、絕對差和、均方誤差、及差方和之至少任何一者的該第一評估值係藉由使用該第一區塊之該像素值及該第二區塊的該像素值而計算。
  9. 如申請專利範圍第1項之影像處理方法,其中,在計算該第二評估值時,係增量符號相關及該等像素值的梯度之間的差之至少任一者的該第二評估值係藉由使用該第一區塊之該像素值及該第二區塊的該像素值而計算。
  10. 如申請專利範圍第1項之影像處理方法,另外包含搜尋作為對應於該第一區塊之區塊的該第二區塊,其中將該第三評估值最大化。
  11. 一種影像處理裝置,包含;第一計算單元,針對第一區塊計算活動值,該第一區塊係包括第一影像之部分像素的影像區域,當該第一區塊中的該等像素之間的像素值以較大程度變化時,該活動值指示較高活動度;第二計算單元,計算當該第一區塊之該等像素值及第二區塊的像素值之間的差較小時,指示較高評估的第一評估值,該第二區塊係包括部分第二影像的影像區域;第三計算單元,計算當該第一區塊之該等像素值的相對空間關係及該第二區塊之該等像素值的相對空間關係之間的相關較高時,指示較高評估的第二評估值;以及第四計算單元,藉由加權該第一評估值及該第二評估值計算第三評估值,以搜尋對應於該第一區塊的該第二區塊,當該活動值較大時,該第一評估值的權重較大。
  12. 一種電腦程式產品,具有包括程式化指令之非暫時性電腦可讀媒體,其中當該等指令由電腦執行時,導致該電腦執行:針對第一區塊計算活動值,該第一區塊係包括第一影像之部分像素的影像區域,當該第一區塊中的該等像素之間的像素值以較大程度變化時,該活動值指示較高活動度;計算當該第一區塊之像素值及第二區塊的像素值之間的差較小時,指示較高評估的第一評估值,該第二區塊係包括第二影像之部分像素的影像區域;計算當該第一區塊之該像素值的相對空間關係及該第二區塊之該像素值的相對空間關係之間的相關較高時,指示較高評估的第二評估值;以及藉由加權該第一評估值及該第二評估值計算第三評估值,以搜尋對應於該第一區塊的該第二區塊,當該活動值較大時,該第一評估值的權重較大。
TW100131465A 2010-11-19 2011-09-01 影像處理方法,裝置及電腦程式產品 TWI462056B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010259440A JP5198543B2 (ja) 2010-11-19 2010-11-19 画像処理方法、画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
TW201225007A TW201225007A (en) 2012-06-16
TWI462056B true TWI462056B (zh) 2014-11-21

Family

ID=46064440

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100131465A TWI462056B (zh) 2010-11-19 2011-09-01 影像處理方法,裝置及電腦程式產品

Country Status (4)

Country Link
US (1) US8682060B2 (zh)
JP (1) JP5198543B2 (zh)
CN (1) CN102479384B (zh)
TW (1) TWI462056B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007658A (ja) * 2012-06-26 2014-01-16 Jvc Kenwood Corp 動きベクトル導出装置、方法およびプログラム
US9141851B2 (en) * 2013-06-28 2015-09-22 Qualcomm Incorporated Deformable expression detector
KR102199270B1 (ko) * 2014-07-30 2021-01-07 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN106664439B (zh) * 2014-07-30 2020-04-03 Sk普兰尼特有限公司 云流服务器
JP6052261B2 (ja) * 2014-10-01 2016-12-27 トヨタ自動車株式会社 車両用衝突検出装置及び車両用衝突検出方法
JP7153578B2 (ja) 2019-01-29 2022-10-14 信越半導体株式会社 シリコンウェーハの製造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
TW201029474A (en) * 2008-10-27 2010-08-01 Nippon Telegraph & Telephone Predicted pixel value generation process automatic producing method, image encoding method, image decoding method, devices therefor, programs therefor, and storage media which store the programs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126191A (ja) * 1984-07-17 1986-02-05 Ricoh Co Ltd 濃淡画像マツチング方式
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
JP4271115B2 (ja) 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
CN1284378C (zh) * 2004-10-13 2006-11-08 西安电子科技大学 基于数学模型预测的运动估计快速半像素级搜索方法
JP2007275346A (ja) * 2006-04-07 2007-10-25 Toshiba Corp 放射線画像処理装置、放射線画像処理方法及び放射線画像処理プログラム
JP4702312B2 (ja) * 2007-03-22 2011-06-15 カシオ計算機株式会社 相違度評価装置、相違度評価方法及びプログラム
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009266169A (ja) * 2008-04-30 2009-11-12 Sony Corp 情報処理装置及び方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
TW201029474A (en) * 2008-10-27 2010-08-01 Nippon Telegraph & Telephone Predicted pixel value generation process automatic producing method, image encoding method, image decoding method, devices therefor, programs therefor, and storage media which store the programs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chambon, S., & Crouzil, A. (2005). Colour correlation-based matching. International Journal of Robotics and Automation, 20(2), 78-85. *

Also Published As

Publication number Publication date
US8682060B2 (en) 2014-03-25
TW201225007A (en) 2012-06-16
CN102479384B (zh) 2014-09-17
CN102479384A (zh) 2012-05-30
JP2012113362A (ja) 2012-06-14
US20120128256A1 (en) 2012-05-24
JP5198543B2 (ja) 2013-05-15

Similar Documents

Publication Publication Date Title
US10334168B2 (en) Threshold determination in a RANSAC algorithm
TWI462056B (zh) 影像處理方法,裝置及電腦程式產品
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
US20100142828A1 (en) Image matching apparatus and method
US10853960B2 (en) Stereo matching method and apparatus
EP2028840A2 (en) Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
KR20190059594A (ko) 디스패리티 추정 장치 및 방법
NL2016660B1 (en) Image stitching method and device.
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
EP2887313A1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
JP5476264B2 (ja) カメラトラッキング装置およびそのプログラム
US20150221098A1 (en) Image processing device, image processing method, and program
JP2011141710A (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
US11176702B2 (en) 3D image reconstruction processing apparatus, 3D image reconstruction processing method and computer-readable storage medium storing 3D image reconstruction processing program
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5316309B2 (ja) 画像処理装置および画像処理方法
JP5252642B2 (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
JP2009282762A (ja) 対応点探索装置
US9894367B2 (en) Multimedia device and motion estimation method thereof
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
JP2007179236A (ja) 画像生成装置及び方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees