TWI658431B - 影像處理方法、影像處理裝置及電腦可讀取記錄媒體 - Google Patents

影像處理方法、影像處理裝置及電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI658431B
TWI658431B TW106134066A TW106134066A TWI658431B TW I658431 B TWI658431 B TW I658431B TW 106134066 A TW106134066 A TW 106134066A TW 106134066 A TW106134066 A TW 106134066A TW I658431 B TWI658431 B TW I658431B
Authority
TW
Taiwan
Prior art keywords
image
parallax
image processing
map
ground
Prior art date
Application number
TW106134066A
Other languages
English (en)
Other versions
TW201915951A (zh
Inventor
鐘泰
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106134066A priority Critical patent/TWI658431B/zh
Priority to CN201710994378.1A priority patent/CN109600598B/zh
Priority to US15/853,930 priority patent/US10475197B2/en
Publication of TW201915951A publication Critical patent/TW201915951A/zh
Application granted granted Critical
Publication of TWI658431B publication Critical patent/TWI658431B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/543Depth or shape recovery from line drawings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

一種影像處理方法、影像處理裝置及電腦可讀取記錄媒體。透過影像擷取裝置來獲得原始視差影像。根據相對於目標物的背景區域,在映射視差圖中獲得背景關聯線。基於背景關聯線,自原始視差影像中刪除背景區域。

Description

影像處理方法、影像處理裝置及電腦可讀取記錄媒體
本發明是有關於一種影像處理機制,且特別是有關於一種辨識目標物的影像處理方法、影像處理裝置及電腦可讀取記錄媒體。
雙鏡頭的立體視覺影像(stereo vision)技術是取得深度圖的其中一種方法,是根據特徵點在左右影像的視差計算其深度資訊,取得深度圖後會再將圖中相連的影像定義為同一物體。目前遇到的困難是地板容易使不同物體相連,造成多個物體被辨識成一個相連物體的情況。
刪除背景是影像處理中很常使用的一項技術,但是背景的建立通常需要在影像擷取裝置為固定的情況下才可以建立背景,並且需要時間收集大量的圖片來建立一個背景模型。據此,如何迅速且精準地將地板由圖中刪除為目前影像處理中的課題之 一。
本發明提供一種影像處理方法、影像處理裝置及電腦可讀取記錄媒體,可刪除背景區域,提高分割物體的正確率。
本發明的辨識目標物的影像處理方法,包括:透過影像擷取裝置來獲得原始視差影像(disparity image);根據相對於目標物的背景區域,在映射視差圖中獲得背景關聯線;以及基於背景關聯線,自原始視差影像中刪除背景區域。
在本發明的一實施例中,根據相對於目標物的背景區域,在映射視差圖中獲得背景關聯線的步驟包括:在映射視差圖中找出背景關聯線。基於背景關聯線,自原始視差影像中刪除背景區域的步驟包括:基於背景關聯線來獲得預估背景視差圖;以及比較預估背景視差圖以及原始視差影像,而在原始視差影像中刪除背景區域。
在本發明的一實施例中,在映射視差圖中找出背景關聯線的步驟包括:計算影像擷取裝置的鏡頭視野與地面之間的夾角;基於夾角與影像擷取裝置的設置高度,計算最近地板距離;基於影像擷取裝置的擷取焦距以及影像擷取裝置進行取像的俯仰角度,計算映射視差圖中的消失點位置;基於影像擷取裝置的擷取焦距、基準線距離以及最近地板距離,計算最近地板視差值;以及在映射視差圖中,基於消失點位置以及最近地板視差值,獲 得地面關聯線,其該地面關聯線為背景關聯線。
在本發明的一實施例中,在計算影像擷取裝置的鏡頭視野與地面之間的夾角之前,基於影像擷取裝置的影像高度以及擷取焦距,計算鏡頭視野。其中,計算鏡頭視野是依據下述公式,FOV=2×arctan[(DImageHeight/2)/F];其中,FOV為鏡頭視野,DImageHeight為影像高度,F為擷取焦距。
在本發明的一實施例中,計算影像擷取裝置的鏡頭視野與地面之間的夾角是依據下述公式:θ=FOV/2+θPitehAngle;其中,θ為鏡頭視野與地面之間的夾角,θPitehAngle為俯仰角度(pitch angle)。
在本發明的一實施例中,計算最近地板距離是依據下述公式:DNearestPlane=DCaptureHeight/sin(θ);其中,DNearestPlane為最近地板距離,DCaptureHeight為設置高度。
在本發明的一實施例中,計算映射視差圖中的消失點位置是依據下述公式:PVanish=F×tan(θPitchAngle)+VCapturer;其中,PVanish為映射視差圖中的消失點位置,VCapturer為影像擷取裝置在水平情況下的消失點位置。
在本發明的一實施例中,上述計算最近地板視差值是依 據下述公式:VNearestDisparity=DBaseLine×F/DNearestPlane;其中,VNearestDisparity為最近地板視差值,DBaseLine為基準線距離。
在本發明的一實施例中,上述基於地面關聯線來獲得預估地板視差圖的步驟包括:將背景關聯線投影至UV座標,而獲得預估背景視差圖。
在本發明的一實施例中,比較預估地板視差圖以及原始視差影像,而在原始視差影像中刪除背景區域的步驟包括:逐一比較原始視差影像的每一像素與預估背景視差圖的每一像素,判斷原始視差影像的視差值是否大於預估背景視差圖的視差值;將原始視差影像的視差值小於或等於預估背景視差圖的視差值的像素判定為背景區域;以及在原始視差影像中刪除背景區域。
在本發明的一實施例中,上述影像擷取裝置包括兩個鏡頭。
在本發明的一實施例中,上述映射視差圖為V視差圖(V-disparity map)或U視差圖(U-disparity map),背景區域為地板區域。
本發明的影像處理裝置,包括:影像擷取裝置,獲得原始視差影像;儲存器,儲存多個模組;處理器,耦接至影像擷取裝置以及儲存器,接收原始視差影像並驅動所述模組來執行多個動作,所述動作包括:根據相對於目標物的背景區域,在映射視 差圖中獲得背景關聯線;以及基於背景關聯線,自原始視差影像中刪除背景區域。
本發明的電腦可讀取記錄媒體,其記錄至少一程式指令,所述程式指令在載入電子裝置後,執行所述辨識目標物的影像處理方法。
基於上述,本發明找出相對於目標物的背景區域,讓背景區域的定義可以輸出給其他深度圖使用。當深度圖使用背景區域的定義,可以直接由圖中刪除背景區域,避免物體因背景造成相連,並降低物體分割與辨識的運算量。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100‧‧‧影像處理裝置
110‧‧‧影像擷取裝置
120‧‧‧處理器
130‧‧‧儲存器
510、520、530、540、610‧‧‧V視差圖
511、521、531、541、Lfloor‧‧‧地面關聯線
620‧‧‧UV圖
30‧‧‧下緣
D‧‧‧視差值
DCaptureHeight‧‧‧設置高度
FOV‧‧‧鏡頭視野
G‧‧‧地面
ND‧‧‧最近地板視差值
U‧‧‧水平位置
V‧‧‧垂直位置
VP‧‧‧消失點位置
θ‧‧‧夾角
θPitchAngle‧‧‧俯仰角度
S205~S220‧‧‧影像處理方法各步驟
S405~S425‧‧‧找出地面關聯線的方法各步驟
圖1是依照本發明一實施例的影像處理裝置的方塊圖。
圖2是依照本發明一實施例的影像處理方法流程圖。
圖3是依照本發明一實施例的影像擷取裝置的環境配置的示意圖。
圖4是依照本發明一實施例的找出地面關聯線的方法流程圖。
圖5是依照本發明一實施例的基於不同設置高度及俯仰角度的V視差圖的示意圖。
圖6是依照本發明一實施例的將地面關聯線投影為UV圖的示意圖。
圖7A是依照本發明一實施例的未消除地面的物體框選結果的示意圖。
圖7B是依照本發明一實施例的消除地面的物體框選結果的示意圖。
圖8A是依照本發明另一實施例的未消除地面的物體框選結果的示意圖。
圖8B是依照本發明另一實施例的消除地面的物體框選結果的示意圖。
圖9A是依照本發明又一實施例的未消除地面的物體框選結果的示意圖。
圖9B是依照本發明又一實施例的消除地面的物體框選結果的示意圖。
圖1是依照本發明一實施例的影像處理裝置的方塊圖。請參照圖1,在此,影像處理裝置100為具有運算能力的電子裝置,例如為筆記型電腦、平板電腦、數位相機、智慧型手機、智慧型手錶、機器人等。影像處理裝置100包括影像擷取裝置110、處理器120以及儲存器130。處理器120耦接至影像擷取裝置110以及儲存器130。
影像擷取裝置110例如是採用電荷耦合元件(Charge coupled device,CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors,CMOS)鏡頭的攝影機、照相機等。在此,影像擷取裝置110例如為深度相機,其包括兩個鏡頭,利用雙鏡頭來獲得原始視差影像。
處理器120例如為中央處理單元(Central Processing Unit,CPU)、圖像處理單元(Graphic Processing Unit,GPU)、物理處理單元(Physics Processing Unit,PPU)、可程式化之微處理器(Microprocessor)、嵌入式控制晶片、數位訊號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或其他類似裝置。
儲存器130例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、安全數位卡(Secure Digital Memory Card,SD)、硬碟或其他類似裝置或這些裝置的組合。儲存器130中包括多個模組,處理器120驅動這些模組實現影像處理方法各步驟。
另外,可將處理器120以及儲存器130設置在一主機中,而主機透過連接介面耦接至影像擷取裝置110,以接收並分析影像擷取裝置110所擷取的影像。
主機例如為桌上型電腦、筆記型電腦、平板電腦、智慧型手機、智慧型手錶、雲端伺服器等。主機透過無線網路介面、 有線網路介面或通用序列匯流排(Universal Serial Bus,USB)等連接介面耦接至影像擷取裝置110。
底下搭配上述影像處理裝置100來說明影像處理方法各步驟。
圖2是依照本發明一實施例的影像處理方法流程圖。請同時參照圖1及圖2,在步驟S205中,透過影像擷取裝置110來獲得原始視差影像。在此,原始視差影像為使用了UVD座標空間的UV圖,其中U所指為影像的水平位置,V所指為影像的垂直位置,D所指為各像素中儲存的視差值。以1080p的UV圖來說,其橫軸是用1920個單位表示U值,縱軸用1080個單位表示V值。
接著,在步驟S210中,根據相對於目標物的背景區域,在映射視差圖中獲得背景關聯線。例如,以背景區域為地板區域而言,為了要定義出在某個水平面上延伸的地面,因此用來定義地面高度的V值與延伸方向的D值相當重要,故,映射視差圖為V視差圖(V-disparity map)。即,利用V視差圖(V-disparity map)來定義地板。然,在其他實施例中,映射視差圖為亦可採用U視差圖(U-disparity map),在此並不限制。
例如,以映射視差圖為V視差圖,背景區域為地板區域而言,在V視差圖中找出地面關聯線,並設定地面關聯線為該背景關聯線。然後,在步驟S215中,基於背景關聯線,自原始視差影像中刪除背景區域,以辨識該目標物。具體而言,在獲得地面關聯線之後,基於地面關聯線來獲得預估地板視差圖(預估背景 視差圖)。在此,將地面關聯線投影至UV座標,獲得預估地板視差圖。之後,比較預估地板視差圖以及原始視差影像,而在原始視差影像中刪除地板區域,以辨識目標物。
在本實施例中,利用消失點以及最近地板距離來找出地面關聯線。所謂消失點是在透視圖中凡是平行的直線都會消失於無窮遠處的同一個點。而最近地板距離為影像擷取裝置110的鏡頭視野(Field Of View,FOV)所能擷取的地面距離中的最近距離。
舉例來說,圖3是依照本發明一實施例的影像擷取裝置的環境配置的示意圖。請參照圖3,在影像擷取裝置110的鏡頭視野FOV的下緣30中自影像擷取裝置110至地面G之間的距離即為最近地板距離DNearestPlane。在本實施例中,影像擷取裝置110距離地面G的設置高度為DCaptureHeight,θ為鏡頭視野FOV的下緣30與地面G之間的夾角,θPitchAngle為影像擷取裝置110進行取像的俯仰角度(pitch angle)。其中,俯仰角度θPitchAngle以及設置高度DCaptureHeight為已知的數值。例如,使用者在架設好影像擷取裝置110之後,便會進一步去量測設置高度DCaptureHeight以及俯仰角度θPitchAngle
圖4是依照本發明一實施例的找出地面關聯線的方法流程圖。請參照圖4,在步驟S405中,計算影像擷取裝置110的鏡頭視野FOV與地面G之間的夾角θ。在此,利用下述公式1來計算鏡頭視野FOV與地面G之間的夾角θ。
θ=FOV/2+θPitchAngle (公式1)
而在計算夾角θ之前,處理器120會先基於影像擷取裝置110的影像高度DImageHeight以及擷取焦距F,計算鏡頭視野FOV。所述影像高度DImageHeight是由影像擷取裝置110的解析度來獲得。例如,利用公式2來求出鏡頭視野FOV。
FOV=2×arctan[(DImageHeight/2)/F] (公式2)
在步驟S410中,基於夾角θ與影像擷取裝置110的設置高度DCaptureHeight,計算最近地板距離DNearestPlane,如下述公式3所示。
DNearestPlane=DCaptureHeight/sin(θ) (公式3)
在步驟S415中,基於影像擷取裝置110的擷取焦距F以及影像擷取裝置110進行取像的俯仰角度θPitchAngle,計算V視差圖中的消失點位置PVanish,如下述公式4所示。
PVanish=F×tan(θPitchAngle)+VCapturer (公式4)
其中,VCapturer為影像擷取裝置110在水平情況下的消失點位置。以UV圖為例,當鏡頭處於水平情況下,消失點位置VCapturer會位於影像的正中間,因此,消失點位置VCapturer的V值(即,垂直位置)為DImageHeight/2。然而,為了將鏡頭可能處於非水平的情況考慮進去,因此加入了擷取焦距F與俯仰角度θPitehAngle來計算消失點位置VCapturer的V值。
在步驟S420中,基於影像擷取裝置110的擷取焦距F、基準線距離DBaseLine以及最近地板距離DNearestPlane,計算最近地板視差值VNearestDisparity,如下述公式5所示。其中,基準線距離DBaseLine 為影像擷取裝置110的兩個鏡頭之間的距離。
VNearestDisparity=DBaseLine×F/DNearestPlane (公式5)
在步驟S425中,在V視差圖中,基於消失點位置PVanish以及最近地板視差值VNearestDisparity,獲得地面關聯線。在此,在V視差圖中,將消失點位置PVanish及最近地板視差值VNearestDisparity相連而成的直線作為地面關聯線。
舉例來說,圖5是依照本發明一實施例的基於不同設置高度及俯仰角度的V視差圖的示意圖。請參照圖5,V視差圖510、520、530、540中,縱軸為垂直高度V,橫軸為視差值D,而V視差圖510、520、530、540分別具有地面關聯線511、521、531、541。
在影像擷取裝置110的設置高度DCaptureHeight為0.9公尺,俯仰角度θPitchAngle為0度的情況下,獲得V視差圖510。在影像擷取裝置110的設置高度DCaptureHeight為0.9公尺,俯仰角度θPitchAngle為-10度(表示鏡頭為垂直往下)的情況下,獲得V視差圖520。在影像擷取裝置110的設置高度DCaptureHeight為1.5公尺,俯仰角度θPitchAngle為0度的情況下,獲得V視差圖530。在影像擷取裝置110的設置高度DCaptureHeight為1.5公尺,俯仰角度θPitchAngle為-10度的情況下,獲得V視差圖540。
圖6是依照本發明一實施例的將地面關聯線投影為UV圖的示意圖。請參照圖6,在V視差圖610中,縱軸表示垂直位置V,橫軸表示視差值D,而消失點位置VP以及最近地板視差值 ND所連成的直線為地面關聯線Lfloor。在UV圖(即,預估地板視差圖)620中,縱軸表示垂直位置V,橫軸表示水平位置U,而其座標值為視差值D。
將V視差圖610的地面關聯線Lfloor投影為UV圖620的方式為:以地面關聯線Lfloor垂直位置的視差值作為UV圖中對應的垂直位置的所有像素的座標值。例如,以垂直位置為0的視差值(即,最近地板視差值ND),作為UV圖的垂直位置為0所有像素的座標值;以垂直位置為1的視差值作為UV圖的垂直位置為1所有像素的座標值;以垂直位置為VP的視差值(0)作為UV圖的垂直位置為VP所有像素的座標值。以此類推將地面關聯線Lfloor投影為UV圖620。
也就是說,在UV圖620中,在同一個垂直位置所對應的所有水平位置的像素的值為相同的視差值。在UV圖620中,垂直位置越小,視差越大。之後,將UV圖620的各像素與步驟S205所獲得的原始視差影像的各像素逐一進行比較,判斷原始視差影像的視差值是否大於UV圖620的視差值。將原始視差影像的視差值小於或等於UV圖的視差值的像素判定為地板區域。並且,在原始視差影像中刪除地板區域。
例如,以座標(x,y)而言,分別比較原始視差影像的座標(x,y)與UV圖620的座標(x,y)兩個像素的視差值。倘若原始視差影像的座標(x,y)的視差值小於或等於UV圖620的座標(x,y)的視差值,代表此像素的物體距離比地面還遠或相等,因此,在 原始視差影像中刪除該像素。倘若原始視差影像的座標(x,y)的視差值大於UV圖620的座標(x,y)的視差值,代表此像素的物體距離比地面還近,該像素為地面上的物體。
圖7A是依照本發明一實施例的未消除地面的物體框選結果的示意圖。圖7B是依照本發明一實施例的消除地面的物體框選結果的示意圖。圖8A是依照本發明另一實施例的未消除地面的物體框選結果的示意圖。圖8B是依照本發明另一實施例的消除地面的物體框選結果的示意圖。圖9A是依照本發明又一實施例的未消除地面的物體框選結果的示意圖。圖9B是依照本發明又一實施例的消除地面的物體框選結果的示意圖。在此,量測的影像擷取裝置110的設置高度DCaptureHeight以及俯仰角度θPitchAngle分別為:設置高度DCaptureHeight為90公分,俯仰角度θPitchAngle為-15度(視角向下15度)。
圖7A、圖8A、圖9A所示的物體框選結果表示尚未估測地板時所得到的偵測物件結果,由於物體框選結果因為透過深度圖並無法有效地辨識地板與對應不同幾何外形的目標物(坐有人的椅子、箱子、椅子)的差別,因而將地板區域(虛線框選出的區域)與目標物識別是連在一起的物件,所以在最後給定物件範圍的粗黑色方框時,就將地板也一起包含了進去,導致物體偵測的效果變得非常糟糕。在圖7B、圖8B、圖9B中,由於刪除了地板區域了,因此在最後給定物件範圍的粗黑色方框時,可以精準地框選出目標物。
在圖7B、圖8B、圖9B中,在得知影像擷取裝置110(例如為攝影機)架設的設置高度DCaptureHeight以及俯仰角度θPitchAngle後,利用這兩個參數搭配影像擷取裝置110本身的內部參數(包括擷取焦距F、擷取影像的解析度、基準線距離DBaseLine)便能夠來估算出地板區域並且將其移除。即,透過上述實施例可得到一個不受地板干擾的物體偵測系統。
另外,上述方法可以電腦可讀取記錄媒體來實施。電腦可讀取記錄媒體記錄至少一程式指令,此至少一程式指令在載入電子裝置後,用以執行步驟S205~S215。
綜上所述,本發明適用在立體視覺影像的系統,主要用來定義出地板區域,並將地板區域由影像中刪除,以利後續物體分割的運算。在所述實施例中,利用影像擷取裝置本身的內部參數(擷取焦距、解析度以及基準線距離),只需取得兩個外部參數即,影像擷取裝置的設置高度與俯仰角度,就可以估測出地面模型,進而減少影像處理的難度,並提高辨識目標物的準確率。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims (18)

  1. 一種辨識目標物的影像處理方法,包括:透過一影像擷取裝置來獲得一原始視差影像;根據相對於一目標物的一背景區域,在一映射視差圖中獲得一地面關聯線,包括:計算該影像擷取裝置的一鏡頭視野與一地面之間的一夾角;基於該夾角與該影像擷取裝置的一設置高度,計算一最近地板距離;基於該影像擷取裝置的一擷取焦距以及該影像擷取裝置進行取像的一俯仰角度,計算該映射視差圖中的一消失點位置;基於該影像擷取裝置的該擷取焦距、一基準線距離以及該最近地板距離,計算一最近地板視差值;以及在該映射視差圖中,基於該消失點位置以及該最近地板視差值,獲得該地面關聯線;以及基於該地面關聯線,自該原始視差影像中刪除該背景區域,以辨識該目標物。
  2. 如申請專利範圍第1項所述的影像處理方法,其中基於該地面關聯線,自該原始視差影像中刪除該背景區域的步驟包括:基於該地面關聯線來獲得一預估背景視差圖;以及比較該預估背景視差圖以及該原始視差影像,而在該原始視差影像中刪除該背景區域。
  3. 如申請專利範圍第1項所述的影像處理方法,其中在計算該影像擷取裝置的該鏡頭視野與該地面之間的該夾角的步驟之前,更包括:基於該影像擷取裝置的一影像高度以及該擷取焦距,計算該鏡頭視野;其中,計算該鏡頭視野是依據下述公式,FOV=2×arctan[(DImageHeight/2)/F];其中,FOV為該鏡頭視野,DImageHeight為該影像高度,F為該擷取焦距。
  4. 如申請專利範圍第3項所述的影像處理方法,其中計算該影像擷取裝置的該鏡頭視野與該地面之間的該夾角是依據下述公式:θ=FOV/2+θPitchAngle;其中,θ為該鏡頭視野與該地面之間的該夾角,θPitchAngle為該俯仰角度。
  5. 如申請專利範圍第4項所述的影像處理方法,其中計算該最近地板距離是依據下述公式:DNearestPlane=DCaptureHeight/sin(θ);其中,DNearestPlane為該最近地板距離,DCaptureHeight為該設置高度。
  6. 如申請專利範圍第4項所述的影像處理方法,其中計算該映射視差圖中的該消失點位置是依據下述公式:PVanish=F×tan(θPitchAngle)+VCapturer;其中,PVanish為該映射視差圖中的該消失點位置,VCapturer為該影像擷取裝置在一水平情況下的消失點位置。
  7. 如申請專利範圍第5項所述的影像處理方法,其中計算該最近地板視差值是依據下述公式:VNearestDisparity=DBaseLine×F/DNearestPlane;其中,VNearestDisparity為該最近地板視差值,DBaseLine為該基準線距離。
  8. 如申請專利範圍第2項所述的影像處理方法,其中基於該地面關聯線來獲得該預估背景視差圖的步驟包括:將該地面關聯線投影至一UV座標,而獲得該預估背景視差圖。
  9. 如申請專利範圍第2項所述的影像處理方法,其中比較該預估背景視差圖以及該原始視差影像,而在該原始視差影像中刪除該背景區域的步驟包括:逐一比較該原始視差影像的每一像素與該預估背景視差圖的每一像素,判斷該原始視差影像的視差值是否大於該預估背景視差圖的視差值;將該原始視差影像的視差值小於或等於該預估背景視差圖的視差值的像素判定為該背景區域;以及在該原始視差影像中刪除該背景區域。
  10. 如申請專利範圍第1項所述的影像處理方法,其中該映射視差圖為一V視差圖或一U視差圖,該背景區域為一地板區域。
  11. 如申請專利範圍第1項所述的影像處理方法,其中該影像擷取裝置包括兩個鏡頭。
  12. 一種影像處理裝置,包括:一影像擷取裝置,獲得一原始視差影像;一儲存器,儲存多個模組;以及一處理器,耦接至該影像擷取裝置以及該儲存器,接收該原始視差影像並驅動該些模組來執行多個動作,該些動作包括:根據相對於一目標物的一背景區域,在一映射視差圖中獲得一地面關聯線;以及基於該地面關聯線,自該原始視差影像中刪除該背景區域,以辨識該目標物,其中,該處理器驅動該些模組所執行的該些動作更包括:計算該影像擷取裝置的一鏡頭視野與一地面之間的一夾角;基於該夾角與該影像擷取裝置的一設置高度,計算一最近地板距離;基於該影像擷取裝置的一擷取焦距以及該影像擷取裝置進行取像的一俯仰角度,計算該映射視差圖中的一消失點位置;基於該影像擷取裝置的該擷取焦距、一基準線距離以及該最近地板距離,計算一最近地板視差值;以及在該映射視差圖中,基於該消失點位置以及該最近地板視差值,獲得該地面關聯線。
  13. 如申請專利範圍第12項所述的影像處理裝置,其中該處理器驅動該些模組所執行的該些動作更包括:基於該地面關聯線來獲得一預估背景視差圖;以及比較該預估背景視差圖以及該原始視差影像,而在該原始視差影像中刪除該背景區域。
  14. 如申請專利範圍第12項所述的影像處理裝置,其中該處理器驅動該些模組所執行的該些動作更包括:基於該影像擷取裝置的一影像高度以及該擷取焦距,計算該鏡頭視野。
  15. 如申請專利範圍第13項所述的影像處理裝置,其中該處理器驅動該些模組所執行的該些動作更包括:將該地面關聯線投影至一UV座標,而獲得該預估背景視差圖。
  16. 如申請專利範圍第13項所述的影像處理裝置,其中該處理器驅動該些模組所執行的該些動作更包括:逐一比較該原始視差影像的每一像素與該預估背景視差圖的每一像素,判斷該原始視差影像的視差值是否大於該預估背景視差圖的視差值;將該原始視差影像的視差值小於或等於該預估背景視差圖的視差值的像素判定為該背景區域;以及在該原始視差影像中刪除該背景區域。
  17. 如申請專利範圍第12項所述的影像處理裝置,其中該映射視差圖為一V視差圖或一U視差圖,該背景區域為一地板區域。
  18. 一種電腦可讀取記錄媒體,該電腦可讀取記錄媒體記錄至少一程式指令,該至少一程式指令在載入一電子裝置後,執行如申請專利範圍第1項所述之辨識目標物的影像處理方法。
TW106134066A 2017-10-02 2017-10-02 影像處理方法、影像處理裝置及電腦可讀取記錄媒體 TWI658431B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106134066A TWI658431B (zh) 2017-10-02 2017-10-02 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
CN201710994378.1A CN109600598B (zh) 2017-10-02 2017-10-23 影像处理方法、影像处理装置及电脑可读取记录媒体
US15/853,930 US10475197B2 (en) 2017-10-02 2017-12-25 Image processing method, image processing device and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106134066A TWI658431B (zh) 2017-10-02 2017-10-02 影像處理方法、影像處理裝置及電腦可讀取記錄媒體

Publications (2)

Publication Number Publication Date
TW201915951A TW201915951A (zh) 2019-04-16
TWI658431B true TWI658431B (zh) 2019-05-01

Family

ID=65897972

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134066A TWI658431B (zh) 2017-10-02 2017-10-02 影像處理方法、影像處理裝置及電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US10475197B2 (zh)
CN (1) CN109600598B (zh)
TW (1) TWI658431B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724431B (zh) * 2019-03-22 2023-08-08 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN113160083A (zh) * 2021-04-19 2021-07-23 广州欢网科技有限责任公司 媒资视频封面图优化方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040013295A1 (en) * 2002-03-15 2004-01-22 Kohtaro Sabe Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus
US7317830B1 (en) * 1998-12-04 2008-01-08 Vulcan Patents Llc Background estimation and segmentation based on range and color
CN103390269A (zh) * 2012-05-11 2013-11-13 株式会社理光 连续型道路分割物检测方法和装置
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US20150036887A1 (en) * 2012-03-23 2015-02-05 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method of determining a ground plane on the basis of a depth image
CN106203429A (zh) * 2016-07-06 2016-12-07 西北工业大学 基于双目立体视觉复杂背景下的遮挡目标检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN102780855B (zh) 2011-05-13 2016-03-16 晨星软件研发(深圳)有限公司 影像处理的方法与相关装置
KR101792641B1 (ko) * 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
CN103679120B (zh) * 2012-09-11 2016-12-28 株式会社理光 不平道路的检测方法和系统
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
US9679369B2 (en) * 2013-09-12 2017-06-13 Ventana 3D Llc Depth key compositing for video and holographic projection
JP5989701B2 (ja) * 2014-03-24 2016-09-07 トヨタ自動車株式会社 境界検出装置および境界検出方法
EP3195192B1 (en) * 2014-09-15 2024-02-21 Cortigent, Inc. Method and system for detecting obstacles for a visual prosthesis
TWI502166B (zh) 2014-11-19 2015-10-01 Alpha Imaging Technology Corp 動態影像監測系統及方法
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN105225482B (zh) * 2015-09-02 2017-08-11 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105760846B (zh) * 2016-03-01 2019-02-15 北京正安维视科技股份有限公司 基于深度数据的目标检测与定位方法及系统
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317830B1 (en) * 1998-12-04 2008-01-08 Vulcan Patents Llc Background estimation and segmentation based on range and color
US20040013295A1 (en) * 2002-03-15 2004-01-22 Kohtaro Sabe Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus
US20150036887A1 (en) * 2012-03-23 2015-02-05 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method of determining a ground plane on the basis of a depth image
CN103390269A (zh) * 2012-05-11 2013-11-13 株式会社理光 连续型道路分割物检测方法和装置
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
CN106203429A (zh) * 2016-07-06 2016-12-07 西北工业大学 基于双目立体视觉复杂背景下的遮挡目标检测方法

Also Published As

Publication number Publication date
TW201915951A (zh) 2019-04-16
CN109600598A (zh) 2019-04-09
US20190102895A1 (en) 2019-04-04
CN109600598B (zh) 2021-01-08
US10475197B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
US10915998B2 (en) Image processing method and device
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017076106A1 (zh) 图像的拼接方法和装置
CN109479082B (zh) 图象处理方法及装置
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
CN111243003B (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN111295667B (zh) 图像立体匹配的方法和辅助驾驶装置
CN107749069B (zh) 图像处理方法、电子设备和图像处理系统
US20230394832A1 (en) Method, system and computer readable media for object detection coverage estimation
TWI658431B (zh) 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
US8233664B2 (en) Determining relative depth of points in multiple videos
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
EP3035242A1 (en) Method and electronic device for object tracking in a light-field capture
CN110197104B (zh) 基于车辆的测距方法及装置
US20160073089A1 (en) Method for generating 3d image and electronic apparatus using the same
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN112560615A (zh) 观看屏幕判断方法、系统及电子设备
CA3236528A1 (en) Methods, storage media, and systems for generating a three-dimensional line segment
JP6198104B2 (ja) 3次元物体認識装置及び3次元物体認識方法
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
US20180061079A1 (en) Image processing apparatus, image processing method, and storage medium
KR20210103865A (ko) 소실점 추출 장치 및 소실점 추출 방법
TWI784754B (zh) 電子裝置以及物件偵測方法
US20220230342A1 (en) Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor
EP4246455A1 (en) Method and device for detecting object and vehicle