TWI578271B - 動態影像處理方法以及動態影像處理系統 - Google Patents

動態影像處理方法以及動態影像處理系統 Download PDF

Info

Publication number
TWI578271B
TWI578271B TW101139088A TW101139088A TWI578271B TW I578271 B TWI578271 B TW I578271B TW 101139088 A TW101139088 A TW 101139088A TW 101139088 A TW101139088 A TW 101139088A TW I578271 B TWI578271 B TW I578271B
Authority
TW
Taiwan
Prior art keywords
image
images
correction points
generate
img
Prior art date
Application number
TW101139088A
Other languages
English (en)
Other versions
TW201417042A (zh
Inventor
游啟昌
Original Assignee
義晶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 義晶科技股份有限公司 filed Critical 義晶科技股份有限公司
Priority to TW101139088A priority Critical patent/TWI578271B/zh
Priority to CN201210468045.2A priority patent/CN103778617B/zh
Priority to US13/783,418 priority patent/US9087256B2/en
Priority to KR1020130031403A priority patent/KR101389884B1/ko
Priority to JP2013064405A priority patent/JP5591364B2/ja
Publication of TW201417042A publication Critical patent/TW201417042A/zh
Application granted granted Critical
Publication of TWI578271B publication Critical patent/TWI578271B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

動態影像處理方法以及動態影像處理系統
本發明係關於車用影像處理，尤指一種藉由在車用影像上定義出校正點以對車用影像進行處理的動態影像處理方法。
環景顯影系統(Around view monitor system，AVMS)提供了車輛周圍的環景影像(Around view monitor image，AVM image)/鳥瞰影像(Bird’s-eye view images)，使駕駛者能夠即時監控車輛周圍的景象。一般來說，具有環景顯影系統的車輛會配置複數個影像擷取元件(Image capture device)(例如，攝影機)以擷取複數個車輛周圍的影像，該複數個車輛周圍的影像接著會經由包含影像縫合操作(image stitching)的影像處理來產生一環景影像，其中該環景影像可與一車輛影像(Vehicle image)貼合以產生一車用影像(Vehicular image)。由於通常是以垂直俯視的方式來觀看該車用影像/該環景影像(亦即，觀看視角是固定的)，故該車用影像/該環景影像上該複數個車輛周圍的影像所對應的影像縫合線(Image stitching line)也是固定的。然而，為了要提供給駕駛者更完整的車輛周圍景象，會需要能夠從不同的視角來觀看車用影像/環景影像，因此，影像縫合線也會需要有所調整。
因此，需要一種影像處理方法來提供可動態調整的影像縫合 線，以滿足從不同的視角來觀看車用影像/環景影像的需求。
有鑑於此，本發明的目的之一在於提供一種在車用影像上定義出校正點的動態影像處理方法，來滿足上述需求。
依據本發明之一實施例，其揭示一種產生車用影像處理方法。該車用影像處理方法包含下列步驟：提供複數個第一影像；合成該複數個第一影像來產生一第二影像；於該第二影像上選取複數個校正點；對該複數個第一影像進行一幾何轉換操作；對該複數個校正點進行該幾何轉換操作，以產生複數個轉換後的校正點；以及依據該複數個轉換後的校正點來產生至少一影像特徵邊界。
依據本發明之一實施例，其揭示一種動態影像處理系統。該動態影像處理系統包含一處理單元以及一儲存單元。該處理單元係用以將複數個第一影像進行一合成操作或一幾何轉換操作，以及在對該複數個第一影像進行該合成操作之後所產生的一第二影像上，選取複數個校正點以產生一校正點資訊。該儲存單元係耦接於該處理單元，用以儲存該校正點資訊。當該處理單元另對該複數個第一影像進行該幾何轉換操作時，該處理單元也會對該複數個校正點進行相同的該幾何轉換操作，以產生複數個轉換後的校正點，並依據該複數個轉換後的校正點來產生至少一影像特徵邊界。
本發明提供一種在車用影像上定義出校正點的動態影像處理方法，其中由校正點所產生的影像特徵邊界可隨車用影像的顯示設定的改變而調整，因此，當該影像特徵邊界用來作為影像縫合線/警示線/車幅線時，可實現出動態影像縫合線/動態警示線/動態車幅線，此外，也滿足了駕駛者/使用者欲自不同視角來觀看車用影像/環景影像的需求。
本發明利用在一車用影像/環景影像上定義出複數個校正點(基準點)，使得當該車用影像的顯示畫面有所調整時(例如，放大顯示、顯示視角改變或其他顯示調整)，該複數個校正點於顯示畫面的位置也會隨之調整，換言之，該複數個校正點於顯示畫面的位置與該車用影像目前處在的顯示設定(例如，標準顯示模式、放大顯示模式或其他顯示模式)之間會有相對應的關係，因此，可藉由此對應關係來實現多種車用影像處理的相關應用。
請參閱第1圖，第1圖係為本發明廣義的動態影像處理方法之一實施例的流程圖。假若所得到的結果大致相同，則不一定要按照第1圖所示之步驟來執行。該方法可簡單歸納如下：
步驟110：開始。
步驟120：提供複數個第一影像。
步驟130：合成該複數個第一影像來產生一第二影像。
步驟140：於該第二影像上選取複數個校正點。
步驟150：對該複數個第一影像進行一幾何轉換操作，以產生複數個轉換後的第一影像。
步驟160：對該複數個校正點進行該幾何轉換操作，以產生複數個轉換後的校正點。
步驟170：依據該複數個轉換後的校正點來產生至少一影像特徵邊界。
步驟180：結束。
於該方法應用於環景顯影系統的情形下，該複數個第一影像可以是複數個校正影像/俯視影像(Top-view image)，該第二影像可以是一環景影像，更具體地說，可先接收複數個子影像(例如，廣角扭曲影像)，再對該複數個子影像進行一影像校正操作(例如，廣角扭曲校正及俯視轉換)以分別產生該複數個校正影像/俯視影像，再將該複數個校正影像/俯視影像合成為該環景影像。
由步驟140~步驟160可知，所選取的該複數個校正點與該複數個第一影像會經由同一幾何轉換操作來處理，其中該幾何轉換操作可以是一旋轉操作、一平移操作、一放大操作、一縮小操作、一傾斜操作或一視角轉換操作。在該至少一影像特徵邊界係為至少一影像縫合線的情形下，可依據該至少一影像縫合線以及該複數個轉換後的第一影像來產生另一第二影像，因此，可實現隨著影像觀看視角而改變的動態影像縫合線，來滿足從不同的視角來觀看車用影像/環景影像的需求。另外，該至少一影像特徵邊界也可實現用來提 昇行車安全的車用警示線(Warning line)/車用警示區(Warning area)、輔助停車的動態車幅線(Dynamic parking line)或其他車用影像處理的相關應用。因此，只要是依據定義於一影像上的複數個校正點與該影像目前處在的顯示設定之間的對應關係來實現相關的動態影像處理方法，均遵循本發明之發明精神而落入本發明之範疇。進一步的說明如下。
請參閱第2圖，第2圖係為本發明於車用影像IMG_V上定義出影像特徵邊界之一實施例的示意圖。首先，位於車輛(以物件影像IMG_OB表示之)上的四個影像擷取元件C1~C4會接收到複數個子影像(亦即，對應於車輛周圍的廣角扭曲影像)，並對該複數個子影像進行一影像校正操作(亦即，廣角扭曲校正及俯視轉換)以分別產生複數個第一影像(亦即，俯視影像)IMG1_C1~IMG1_C4，接著再將複數個第一影像IMG1_C1~IMG1_C4合成為一第二影像IMG2(亦即，環景影像)。最後，可將一物件影像IMG_OB貼至第二影像IMG2以產生車用影像IMG_V。
由第2圖可知，複數個第一影像IMG1_C1~IMG1_C4彼此之間會有複數個影像重疊區域，故需要有適當的影像縫合線來將重疊的影像接合以避免在影像重疊區域產生鬼影(Ghost)或影像不連續的情形。因此，可於第二影像IMG2之一影像重疊區域(形成於兩個相鄰的第一影像IMG1_C2與IMG1_C3之間)上選取複數個校正點CP1及CP2，並依據複數個校正點CP1及CP2來產生一影像特 徵邊界以作為一影像縫合線(亦即，通過複數個校正點CP1及CP2的射線)，其中複數個校正點CP1及CP2的位置(或該影像縫合線的位置)可以由車輛的車用影像系統(Vehicular image system)(並未顯示於圖中)來預先設定，也可以依據使用者/駕駛者的需求來選定。
在校正點係應用於動態影像縫合線的情形下，除了在影像重疊區域上選取校正點之外，也可以參照預設影像縫合線來選取校正點。請參閱第3圖，第3圖係為在第2圖所示之車用影像IMG_V上選取複數個校正點以作為影像縫合線之一實施例的示意圖。於此實施例中，可先對複數個第一影像IMG1_C1~IMG1_C4進行一預設影像縫合操作來產生預設影像縫合線(例如，預設影像縫合線SL0)，接著，再參照所產生的預設影像縫合線來選取複數個校正點以產生符合需求的影像縫合線。以下係為縫合第一影像IMG1_C1與第一影像IMG1_C2的範例說明。
請參閱第4圖，第4圖係為縫合第3圖所示之第一影像IMG1_C1與第一影像IMG1_C2之一實施例的示意圖。廣角扭曲影像IMG_F1係為影像擷取元件C1所擷取的子影像，以及廣角扭曲影像IMG_F2係為影像擷取元件C2所擷取的子影像。俯視影像IMG_T1係由對廣角扭曲影像IMG_F1進行廣角扭曲校正與俯視轉換所產生，以及俯視影像IMG_T2係由對廣角扭曲影像IMG_F2進行廣角扭曲校正與俯視轉換所產生，其中第一影像IMG1_C1實際上是俯視影像 IMG_T1的一部分，以及第一影像IMG1_C2實際上是俯視影像IMG_T2的一部分。於此實施例中，第一影像IMG1_C1係與第一影像IMG1_C2重疊於一重疊區域R_OV。為了要縫合第一影像IMG1_C1與第一影像IMG1_C2，需要決定出位於重疊區域R_OV之中每一像素的像素資料。以第3圖所示之第二影像IMG2中對應像素P之像素資料的選定為例，可比較廣角扭曲影像IMG_F1之中像素P與預定像素PP1(亦即，對應於廣角扭曲鏡頭的光心(optical center)的像素)之間的距離d1以及廣角扭曲影像IMG_F2之中像素P與預定像素PP2(亦即，對應於廣角扭曲鏡頭的光心的像素)之間的距離d2，並據以選取第一影像IMG1_C1之中對應像素P之像素資料與第一影像IMG1_C2之中對應像素P之像素資料的其中之一，以作為第二影像IMG2之中對應像素P之像素資料。由第4圖可知，距離d2係小於距離d1，此外，由於越接近廣角扭曲影像中心的成像失真度越低，故可選取第一影像IMG1_C2之中對應像素P之像素資料來作為第3圖所示之第二影像IMG2之中對應像素P之像素資料。
請再次參閱第3圖。在決定出重疊區域R_OV之中每一像素之像素資料之後，可參照重疊區域R_OV之中每一像素資料與第一影像IMG1_C1之間的對應關係以及重疊區域R_OV之中每一像素資料與第一影像IMG1_C2之間的對應關係，來產生預設影像縫合線SL0，更具體地說，由於在重疊區域R_OV之中，位於預設影像縫合線SL0右方的像素資料均對應於第一影像IMG1_C1，以及位於預 設影像縫合線SL0左方的像素資料均對應於第一影像IMG1_C2，換言之，預設影像縫合線SL0可視為像素資料邊界，因此，預設影像縫合線SL0即是用於接合複數個第一影像IMG1_C1及IMG1_C2的影像縫合線。於一設計變化中，由於預設影像縫合線SL0係為一曲線(但本發明並不侷限於此)，故可透過數值運算(例如，最小平方線性近似(Linear least squares fitting))來得到一近似直線(例如，另一預設影像縫合線SL1)。在得到預設影像縫合線SL0/SL1之後，可參照預設影像縫合線SL0/SL1來選取複數個校正點CP1與CP2以產生符合需求的影像縫合線，也可以直接選定由直線近似所得到的預設縫合線SL1來作為後續影像縫合的影像縫合線。相似地，透過上述產生影像縫合線的實作方式，可得到複數個校正點CP3~CP8以及複數個預設影像縫合線SL2~SL4，因此，可直接依據複數個預設影像縫合線SL1~SL4來合成複數個影像擷取元件C1~C4後續所接收到的複數個影像來產生另一環景影像。請注意，以上產生預設縫合線的實作方式僅供範例說明之需，並非用來作為本發明之限制，此外，也可以不用產生預設影像縫合線，而是直接依據駕駛者的觀看舒適度來選取複數個校正點以產生影像縫合線。再者，本發明所提供的影像縫合線並不局限於直線，換言之，也可以選取三個以上的校正點以產生彎曲的影像縫合線。
如上所述，由於所選定之複數個校正點於顯示畫面的位置會跟車用影像目前處在的顯示設定有相對應的關係，因此，當車用影像的顯示設定改變時，所選定之複數個校正點/影像縫合線在顯示畫面 的位置也會有相對應的調整。請參閱第5圖，第5圖係為對第3圖所示之車用影像IMG_V進行一幾何轉換操作(Geometric transformation)以改變其顯示方式之一實施例的示意圖。由第5圖可知，第5圖所示之車用影像IMG_V’(包含物件影像IMG_OB’以及第二影像IMG2’)可視為將第3圖所示之車用影像IMG_V(包含物件影像IMG_OB以及第二影像IMG2)往順時針方向旋轉而產生，此外，第5圖所示之複數個校正點CP1’~CP8’也是經由對第3圖所示之複數個校正點CP1~CP8進行相同的旋轉操作來產生，換言之，複數個校正點CP1’~CP8’與車用影像IMG_V’之中影像物件的相對位置係相同於複數個校正點CP1~CP8與車用影像IMG_V之中影像物件的相對位置，因此，依據複數個校正點CP1’~CP8’所得到的複數個影像縫合線SL1’~SL4’也可視為對第3圖所示之複數個影像縫合線SL1~SL4進行該旋轉操作而產生。
值得注意的是，於此實施例中，並不是直接對第3圖所示之車用影像IMG_V執行旋轉操作來產生車用影像IMG_V’。請一併參閱第3圖、第5圖與參閱第6圖，第6圖係為本發明產生第5圖所示之第二影像IMG2’之一實施例的示意圖。第3圖所示之第二影像IMG2係由第6圖所示之複數個俯視影像IMG_T1~IMG_T4所合成，其中第3圖所示之複數個第一影像IMG1_C1~IMG1_C4分別為複數個俯視影像IMG_T1~IMG_T4的一部分。由第6圖可知，在對第3圖所示之車用影像IMG_V進行一旋轉操作時，實際上是對複數個俯視影像IMG_T1~IMG_T4進行該旋轉操作以分別產生 複數個俯視影像IMG_T1’~IMG_T4’，以及對複數個校正點CP1~CP8進行該旋轉操作以產生複數個校正點CP1’~CP8’。另外，也會對第3圖所示之物件影像IMG_OB進行該旋轉操作以產生第5圖所示之物件影像IMG_OB’。接下來，依據複數個校正點CP1’~CP8’所形成的複數個影像縫合線SL1’~SL4’，以及依據複數個俯視影像IMG_T1’~IMG_T4’相對應的輸出位置，來將複數個俯視影像IMG_T1’~IMG_T4’縫合以產生第二影像IMG2’。最後，如第5圖所示，將物件影像IMG_OB’貼至第二影像IMG2’以產生車用影像IMG_V’。
由第5圖可知，透過上述旋轉操作的實作方式，使用者可從第二影像IMG2’之顯示畫面掌握更多的行車資訊(例如，前方車輛的車頂)。於一設計變化中，直接將第6圖所示之影像縫合線SL1~SL4進行該旋轉操作以形成影像縫合線SL1’~SL4’亦是可行的。請注意，熟習技藝者應可輕易地了解以上所述之幾何轉換操作除了旋轉操作之外，也可以包含放大、縮小、平移以及其他相關的二維轉換操作。
由於本發明所提供之影像處理方法係為先對俯視影像進行幾何轉換操作，再將俯視影像合成為環景影像，因此，其亦可應用於透過三維轉換操作以改變車用影像之顯示方式的實施例中。請參閱第7圖，第7圖係為對第3圖所示之車用影像IMG_V進行一幾何轉換操作以改變其顯示方式之另一實施例的示意圖。由第7圖可知，第 7圖所示之車用影像IMG_V’可視為對第3圖所示之車用影像IMG_V進行一傾斜操作(亦即，改變俯視的視角)所產生，此外，第7圖所示之複數個校正點CP1’~CP8’也是經由對第3圖所示之複數個校正點CP1~CP8進行相同的傾斜操作來產生。由於熟習技藝者透過閱讀第5圖的相關說明之後，應可輕易地了解產生第7圖所示之車用影像IMG_V’的操作細節，故進一步的說明在此便不再贅述。
本發明之車用影像處理方法也可以用來提供行車安全機制以提醒駕駛者要與前方車輛保持適當的車距。請再次參閱第2圖。由第2圖可知，駕駛者前方有一台車輛(以車輛物件OB_V表示之)，因此，可於第二影像IMG2上選取複數個校正點CP3及CP4，並依據複數個校正點CP3及CP4來於車輛物件OB_V與物件影像IMG_OB之間產生一影像特徵邊界以作為一警示線(亦即，以複數個校正點CP3及CP4為端點的線段)，其中複數個校正點CP3及CP4的位置(或該警示線的位置)可以由車用影像系統來預先設定，也可以依據使用者/駕駛者的需求來選定。
請參閱第8圖，第8圖係為在第2圖所示之車用影像IMG_V上選取複數個校正點以作為警示線之一實施例的示意圖。由第8圖可知，由於駕駛者前方有一台車輛(以車輛物件OB_V表示之)，故以下係以車輛物件OB_V與物件影像IMG_OB之間警示線的選定來作為範例說明。
首先，可依據物件影像IMG_OB於第二影像IMG2的位置來選取複數個校正點CPA~CPB，舉例來說，可自物件影像IMG_OB之車頭前緣向前延伸三分之一的車身長度的地方來選取複數個校正點CPA~CPB以產生一警示線WL1。於一設計變化中，也可以同時參照行車速度以及物件影像IMG_OB於第二影像IMG2的位置來調整警示線WL1的位置，更具體地說，行車速度越快，警示線WL1會越遠離物件影像IMG_OB(亦即，越接近車輛物件OB_V)以確保高速行駛之安全車距。一旦車輛物件OB_V在車用影像IMG_V中越過警示線WL1上，車輛之車用影像系統可產生一警示訊號來提醒駕駛者。相似地，也可依據物件影像IMG_OB於第二影像IMG2的位置來選取複數個校正點CPC~CPD以產生複數條警示線WL2~WL4，或是除了參照物件影像IMG_OB於第二影像IMG2的位置之外，也可同時參照物件影像IMG_OB周圍的物件與物件影像IMG_OB之間的距離來選取複數個校正點CPC~CPD以產生複數條警示線WL2~WL4。另外，於此實施例中，複數條警示線WL1~WL4係形成一警示區WA。請注意，以上產生警示線的實作方式僅供範例說明之需，並非用來作為本發明之限制，舉例來說，可以直接依據駕駛者的需求來選取至少二校正點以產生至少一警示線。另外，也可以直接選取複數個校正點來產生警示區而無需先選定警示線。再者，本發明所提供的警示線並不局限於直線，換言之，也可以選取三個以上的校正點以產生彎曲的警示線，因此，本發明所提供的警示區形狀亦可使用者需求來調整之。
當車用影像的顯示設定改變時，所選定之複數個校正點/警示線在顯示畫面的位置也會有相對應的調整。請參閱第9圖，第9圖係為對第8圖所示之車用影像IMG_V進行一幾何轉換操作以改變其顯示方式之一實施例的示意圖。由第9圖可知，第9圖所示之車用影像IMG_V’(包含物件影像IMG_OB’以及第二影像IMG2’)可視為將第8圖所示之車用影像IMG_V往順時針方向旋轉而產生，此外，第9圖所示之複數個校正點CPA’~CPD’也是經由對第8圖所示之複數個校正點CPA~CPD進行相同的旋轉操作來產生，換言之，複數個校正點CPA’~CPD’與車用影像IMG_V’之中影像物件的相對位置係相同於複數個校正點CP1~CP8與車用影像IMG_V之中影像物件的相對位置，因此，依據複數個校正點CPA’~CPD’所得到的複數條警示線WL1’~WL4’也可視為對第8圖所示之複數條警示線WL1~WL4進行該旋轉操作而產生。相似地，依據複數條警示線WL1’~WL4’所得到的警示區WA’也可視為對第6圖所示之警示區WA進行該旋轉操作而產生。如此一來，便可確保在不同的顯示模式下，仍然維持行車安全機制的高度準確性。請注意，熟習技藝者應可輕易地了解以上所述之幾何轉換操作除了旋轉操作之外，也可以包含放大、縮小、平移以及其他相關的二維轉換操作。
本發明影像處理方法亦可應用於透過三維轉換操作以改變車用影像之顯示方式的實施例中。請參閱第10圖，第10圖係為對第8圖所示之車用影像IMG_V進行一幾何轉換操作以改變其顯示方式 之另一實施例的示意圖。由第10圖可知，第10圖所示之車用影像IMG_V’可視為對第8圖所示之車用影像IMG_V進行一傾斜操作(亦即，改變俯視的視角)所產生，此外，第10圖所示之複數個校正點CPA’~CPD’也是經由對第8圖所示之複數個校正點CPA~CPD進行相同的傾斜操作來產生。由於熟習技藝者透過閱讀第9圖的相關說明之後，應可輕易地了解產生第10圖所示之車用影像IMG_V’的操作細節，故進一步的說明在此便不再贅述。
簡言之，假若將第3圖/第8圖所示之車用影像IMG_V的顯示設定視為標準顯示模式，則第5圖/第9圖所示之車用影像IMG_V’的顯示設定可視為旋轉模式，以及第7圖/第10圖所示之車用影像IMG_V’的顯示設定可視為傾斜模式，其中校正點於顯示畫面的位置會隨著車用影像IMG_V所處的顯示設定的改變而調整，換言之，本發明提供了可隨著顯示模式的不同而進行相對應調整的動態影像縫合線/動態警示線。另外，本發明所提供之警示線/警示區不僅可於行車時用來提醒駕駛者保持安全車距，也可以在停車時用來提醒駕駛者周圍的障礙物。再者，本發明的概念並不限定於影像縫合線及警示線。於一實作範例中，可選取適當的校正點以產生第2圖所示之物件影像IMG_OB兩側的切線，進而作為輔助停車的動態車幅線。於另一實作範例中，也可選取適當的校正點以產生一遮罩區域(Mask region)，進而去除該遮罩區域的影像，或是將該遮罩區域的影像替換為想要的影像。
請參閱第11圖，第11圖係為本發明動態影像處理方法應用於動態縫圖之一實施例的流程圖。假若所得到的結果大致相同，則不一定要按照第11圖所示之步驟來執行。該方法可簡單歸納如下：
步驟1100：開始。
步驟1110：取得校正點資訊。
步驟1112：接收複數個廣角扭曲影像。
步驟1114：提供一車輛影像。
步驟1120：對該複數個校正點進行一三維轉換操作，以產生複數條影像縫合線。
步驟1121：對該複數個子影像進行一廣角扭曲校正及俯視轉換操作，以產生複數個俯視影像。
步驟1122：對該複數個俯視影像進行該三維轉換操作，以產生複數個轉換後的俯視影像。
步驟1124：對該車輛影像進行該三維轉換操作，以產生一轉換後的車輛影像。
步驟1130：依據該複數條影像縫合線以及該複數個轉換後的俯視影像相對應的輸出位置來執行影像縫合，以產生一環景影像。
步驟1140：將該轉換後的車輛影像貼至該環景影像以產生一車用影像。
步驟1150：結束。
由於在執行動態縫圖之前，校正點係已選定並儲存於一車用影像系統中，因此，於步驟1110中，可直接取得校正點資訊以供後續縫圖之用。於步驟1120、步驟1122及步驟1124中，會對該複數個校正點、該複數個俯視影像以及該車輛影像執行相同的三維轉換操作。由於熟習技藝者經由閱讀第1圖~第7圖的相關說明，應可輕易地了解第11圖所示之流程之中每一步驟的操作細節，故進一步的說明在此便不再贅述。值得注意的是，本發明可於同一車用影像中提供複數個影像特徵邊界以供不同用途，舉例來說，可以在同一車用影像之中同時定義出動態影像縫合線、動態警示線及/或動態車幅線。
綜合上述，本發明提供一種在車用影像上定義出校正點的動態影像處理方法，其中由校正點所產生的影像特徵邊界可隨車用影像的顯示設定的改變而調整，因此，當該影像特徵邊界用來作為影像縫合線/警示線/車幅線時，可實現出動態影像縫合線/動態警示線/動態車幅線，此外，也滿足了駕駛者/使用者欲自不同視角來觀看車用影像/環景影像的需求。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
C1、C2、C3、C4‧‧‧影像擷取元件
CP1~CP8、CPA~CAD、CP1’~CP8’、CPA’~CAD’‧‧‧校正點
IMG1_C1~IMG1_C4、IMG_OB、IMG2、 IMG_V、IMG_OB’、IMG2’、IMG_V’、IMG1_1~IMG1_n、IMG_VR、IMG_T1~IMG_T4、IMG_F1、IMG_F2‧‧‧影像
P、PP1、PP2‧‧‧像素
R_OV‧‧‧重疊區域
SL0~SL4‧‧‧影像縫合線
WL1~WL4‧‧‧警示線
WA‧‧‧警示區
第1圖為本發明廣義的動態影像處理方法之一實施例的流程圖。
第2圖為本發明於車用影像上定義出影像特徵邊界之一實施例的示意圖。
第3圖為在第2圖所示之車用影像上選取複數個校正點以作為影像縫合線之一實施例的示意圖。
第4圖為縫合第3圖所示之複數個第一影像之一實施例的示意圖。
第5圖為對第3圖所示之車用影像進行一幾何轉換操作以改變其顯示方式之一實施例的示意圖。
第6圖為本發明產生第5圖所示之第二影像之一實施例的示意圖。
第7圖為對第3圖所示之車用影像進行一幾何轉換操作以改變其顯示方式之另一實施例的示意圖。
第8圖為在第2圖所示之車用影像上選取複數個校正點以作為警示線之一實施例的示意圖。
第9圖為對第8圖所示之車用影像進行一幾何轉換操作以改變其顯示方式之一實施例的示意圖。
第10圖為對第8圖所示之車用影像進行一幾何轉換操作以改變其顯示方式之另一實施例的示意圖。
第11圖為本發明動態影像處理方法之一實施例的流程圖。
110、120、130、140、150、160、170、180‧‧‧步驟

Claims (9)

  1. 一種動態影像處理方法，包含：提供複數個第一影像；合成該複數個第一影像來產生一第二影像；於該合成後的第二影像上選取複數個校正點；對該複數個第一影像進行一相同的幾何轉換操作，其中該幾何轉換操作係為一旋轉操作、一平移操作、一放大操作、一縮小操作、一傾斜操作與一視角轉換操作的其中之一；對該複數個校正點進行該幾何轉換操作，以產生複數個轉換後的校正點；以及依據該複數個轉換後的校正點來產生至少一影像特徵邊界。
  2. 如申請專利範圍第1項所述之動態影像處理方法，其中該至少一影像特徵邊界係為至少一影像縫合線，以及該方法另包含：依據該至少一影像縫合線來合成經由該幾何轉換操作之後的該複數個第一影像，以產生經由該幾何轉換操作之後的該第二影像。
  3. 如申請專利範圍第2項所述之動態影像處理方法，其中該第二影像上係包含該複數個第一影像之中相互重疊之相鄰影像所形成的至少一重疊區域，以及於該第二影像上所選取的該複數個校正點係位於該重疊區域內。
  4. 如申請專利範圍第1項所述之動態影像處理方法，其中該至少一影像特徵邊界係為至少一警示線。
  5. 如申請專利範圍第4項所述之動態影像處理方法，其中該第二影像包含有一物件影像；該警示線係位於該第二影像上該物件影像的周圍位置；以及該警示線係用以判斷是否有物件通過該警示線而靠近該物件影像。
  6. 如申請專利範圍第1項所述之動態影像處理方法，其中提供該複數個第一影像的步驟包含：接收複數個子影像；以及對該複數個子影像進行一影像校正操作，以分別產生該複數個第一影像。
  7. 如申請專利範圍第1項所述之動態影像處理方法，其中合成該複數個第一影像來產生該第二影像的步驟包含：自該複數個第一影像之中相互重疊之相鄰影像所形成的一重疊區域之中得到一影像縫合線。
  8. 如申請專利範圍第7項所述之動態影像處理方法，其中於該合成後的第二影像上選取該複數個校正點的步驟包含：於該影像縫合線上選取該複數個校正點。
  9. 一種動態影像處理系統，包含：一處理單元，用以將複數個第一影像進行一合成操作或一相同的幾何轉換操作，以及在對該複數個第一影像進行該合成操作之後所產生的一第二影像上，選取複數個校正點以產生一校正點資訊；以及一儲存單元，耦接於該處理單元，用以儲存該校正點資訊；其中當該處理單元另對該複數個第一影像進行該幾何轉換操作時，該處理單元也對該複數個校正點進行相同的該幾何轉換操作，以產生複數個轉換後的校正點，並依據該複數個轉換後的校正點來產生至少一影像特徵邊界；該幾何轉換操作係為一旋轉操作、一平移操作、一放大操作、一縮小操作、一傾斜操作與一視角轉換操作的其中之一。
TW101139088A 2012-10-23 2012-10-23 動態影像處理方法以及動態影像處理系統 TWI578271B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW101139088A TWI578271B (zh) 2012-10-23 2012-10-23 動態影像處理方法以及動態影像處理系統
CN201210468045.2A CN103778617B (zh) 2012-10-23 2012-11-19 动态图像处理方法以及动态图像处理系统
US13/783,418 US9087256B2 (en) 2012-10-23 2013-03-04 Dynamic image processing method and system for processing vehicular image
KR1020130031403A KR101389884B1 (ko) 2012-10-23 2013-03-25 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
JP2013064405A JP5591364B2 (ja) 2012-10-23 2013-03-26 動的画像処理方法および車両画像を処理するシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101139088A TWI578271B (zh) 2012-10-23 2012-10-23 動態影像處理方法以及動態影像處理系統

Publications (2)

Publication Number Publication Date
TW201417042A TW201417042A (zh) 2014-05-01
TWI578271B true TWI578271B (zh) 2017-04-11

Family

ID=50485401

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101139088A TWI578271B (zh) 2012-10-23 2012-10-23 動態影像處理方法以及動態影像處理系統

Country Status (5)

Country Link
US (1) US9087256B2 (zh)
JP (1) JP5591364B2 (zh)
KR (1) KR101389884B1 (zh)
CN (1) CN103778617B (zh)
TW (1) TWI578271B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262801B2 (en) * 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
CN104301608B (zh) * 2014-09-22 2018-04-27 联想(北京)有限公司 信息处理方法及电子设备
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6582557B2 (ja) 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
CN105187734A (zh) * 2015-07-23 2015-12-23 柳州永旺科技有限公司 一种动态图像与静态图像的加载方法
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
TWI582388B (zh) 2015-10-16 2017-05-11 財團法人工業技術研究院 影像縫合方法與影像縫合裝置
TWI607901B (zh) * 2015-11-06 2017-12-11 財團法人工業技術研究院 影像修補系統及其方法
EP3206184A1 (en) * 2016-02-11 2017-08-16 NXP USA, Inc. Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP7108855B2 (ja) * 2018-02-27 2022-07-29 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP6978975B2 (ja) * 2018-04-13 2021-12-08 本田技研工業株式会社 情報出力装置及び情報出力方法
CN109657606B (zh) * 2018-12-17 2020-10-02 上海箩箕技术有限公司 光学指纹传感器模组的校正方法
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201005676A (en) * 2008-07-23 2010-02-01 Pixart Imaging Inc Multi-sensor array module with wide viewing angle; image calibration method, operating method and application for the same
CN101167104B (zh) * 2005-04-28 2010-09-29 宝马股份公司 用于图形显示汽车周围环境的方法
CN101844545B (zh) * 2009-03-25 2012-09-05 株式会社电装 车辆周边显示装置和用于车辆周边图像的方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236748B1 (en) * 1994-08-02 2001-05-22 Canon Kabushiki Kaisha Compound eye image pickup device utilizing plural image sensors and plural lenses
JP3300337B2 (ja) 2000-04-28 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP3695319B2 (ja) * 2000-11-30 2005-09-14 トヨタ自動車株式会社 車両周辺モニタ装置
US7145519B2 (en) 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
WO2006004043A1 (ja) 2004-07-07 2006-01-12 Nec Corporation 広視野画像入力方法及び装置
WO2006011255A1 (ja) 2004-07-28 2006-02-02 Matsushita Electric Industrial Co., Ltd. パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4725233B2 (ja) 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
JP4662832B2 (ja) 2005-09-26 2011-03-30 アルパイン株式会社 車両用画像表示装置
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置
JP5309442B2 (ja) 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4315968B2 (ja) 2006-08-21 2009-08-19 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
JP4793171B2 (ja) * 2006-08-25 2011-10-12 株式会社デンソー 駐車支援装置
JP2008187564A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP5120880B2 (ja) 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5072576B2 (ja) 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
JP2010050842A (ja) * 2008-08-22 2010-03-04 Sony Taiwan Ltd マルチレンズカメラシステムのための高度な動的スティッチング方法
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
JP5500369B2 (ja) 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
CN101901481B (zh) * 2010-08-11 2012-11-21 深圳市蓝韵实业有限公司 一种图像拼接方法
CN102479379B (zh) * 2010-11-19 2014-09-03 义晶科技股份有限公司 图像校正方法与相关图像校正系统
JP5699679B2 (ja) 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167104B (zh) * 2005-04-28 2010-09-29 宝马股份公司 用于图形显示汽车周围环境的方法
TW201005676A (en) * 2008-07-23 2010-02-01 Pixart Imaging Inc Multi-sensor array module with wide viewing angle; image calibration method, operating method and application for the same
CN101844545B (zh) * 2009-03-25 2012-09-05 株式会社电装 车辆周边显示装置和用于车辆周边图像的方法

Also Published As

Publication number Publication date
JP2014086076A (ja) 2014-05-12
CN103778617B (zh) 2016-08-03
JP5591364B2 (ja) 2014-09-17
CN103778617A (zh) 2014-05-07
US20140112597A1 (en) 2014-04-24
KR101389884B1 (ko) 2014-05-27
US9087256B2 (en) 2015-07-21
TW201417042A (zh) 2014-05-01

Similar Documents

Publication Publication Date Title
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
JP5491235B2 (ja) カメラキャリブレーション装置
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP2022110079A (ja) 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US8134608B2 (en) Imaging apparatus
US20140114534A1 (en) Dynamic rearview mirror display features
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP2005311868A (ja) 車両周辺視認装置
JPWO2010137265A1 (ja) 車両周囲監視装置
US10897600B1 (en) Sensor fusion based perceptually enhanced surround view
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP2009123131A (ja) 撮像装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
JP2010178018A (ja) 車両の周辺を画像表示するための装置
US20240075876A1 (en) Below vehicle rendering for surround view systems
WO2022138208A1 (ja) 撮像装置および画像処理装置
JP2023046511A (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム