TWI491524B - 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置 - Google Patents

全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置 Download PDF

Info

Publication number
TWI491524B
TWI491524B TW101107971A TW101107971A TWI491524B TW I491524 B TWI491524 B TW I491524B TW 101107971 A TW101107971 A TW 101107971A TW 101107971 A TW101107971 A TW 101107971A TW I491524 B TWI491524 B TW I491524B
Authority
TW
Taiwan
Prior art keywords
image
training
angle
full
actual operation
Prior art date
Application number
TW101107971A
Other languages
English (en)
Other versions
TW201336714A (zh
Inventor
Yu Chen Lin
Che Tsung Lin
Ming Jen Tu
Li Fen Liu
Hsin Liang Shen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW101107971A priority Critical patent/TWI491524B/zh
Priority to CN201510314180.5A priority patent/CN104900110A/zh
Priority to CN201210242096.3A priority patent/CN103310673B/zh
Priority to US13/706,432 priority patent/US9082315B2/en
Publication of TW201336714A publication Critical patent/TW201336714A/zh
Application granted granted Critical
Publication of TWI491524B publication Critical patent/TWI491524B/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/167—Control of land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
本發明是有關於一種訓練方法及對應之全周鳥瞰影像產生方法，且特別是應用於多車體車輛中之訓練方法及全周鳥瞰影像產生方法。
在科技發展日新月異的現今時代中，多種行車輔助工具係已被開發出來，以提升道路使用上的安全性。舉例來說，一般來說，多車體聯結車因其特殊的聯結式車體結構，使得駕駛者往往需面臨多車體聯結車迴轉內輪差較大及視線死角較多的情形。據此，如何針對多車體聯結車提供合適的行車輔助工具，以增進多車體聯結車的駕駛困難度及行車安全性，為業界不斷致力的方向之一。
根據本揭露之第一方面，提出一種訓練系統，應用於多車體聯結車上，其中包括第一、第二車體部及連結部，第一車體部之行進方向相對於及第二車體部之行進方向具有夾角。第一車體部包括第一聯結表面、第一、第二及第六表面，第一表面與第一聯結表面相對，並與第二及第六表面相鄰。第二車體部包括第二聯結表面、第三、第四及第五表面，第二聯結表面經由連結部與第一聯結表面聯結，第四表面與第二聯結表面相對，並與第三及第五表面相鄰，第二與第三表面相鄰，且第五與第六表面相鄰。第一至第六表面分別適於配置第一至第六影像擷取單元，以分別擷取第一至第六影像，第一影像與第二及第六影像部份重疊、第四影像與第三及第五影像部份重疊、第二及第三影像部份重疊且第五及第六影像部份重疊。訓練系統包括車體端裝置及訓練裝置。訓練裝置在訓練階段中與該多車體聯結車連接，其中包括可動乘載單元、特徵點單元及控制單元。可動乘載單元移動第一及第二車體部其中之一以調整夾角，使得夾角對應至N個訓練角度中之第i個訓練角度，i為小於或等於N之自然數。當夾角對應至第i個訓練角度時特徵點單元針對第一至第六影像中任兩個影像之重疊拍攝區域提供至少一個特徵點，使得其分別對應地顯示第一及第二特徵點。控制單元決定N個訓練角度以對應地驅動可動乘載單元，控制單元接收處理單元提供之第一至該第六影像，並分別記錄第一及第二特徵點於此任兩個影像中之兩組座標值，以針對第i個訓練角度建立第i筆特徵點對照表。控制單元更根據第i筆特徵點對照表建立第i筆全周影像模型，藉此對第i個訓練角度進行訓練操作。控制單元更調整參數i，以在訓練階段中對應至N個訓練角度分別找出N筆全周影像模型，並將N筆全周影像模型提供至車體端裝置。
根據本揭露之第二方面，提供一種車體端裝置，應用於多車體聯結車中，以對應地提供實際操作全周影像。多車體聯結車包括第一、第二車體部及連結部，第一車體部之行進方向相對於及第二車體部之行進方向具有夾角。第一車體部包括第一聯結表面、第一、第二及第六表面，第一表面與第一聯結表面相對，並與第二及第六表面相鄰。第二車體部包括第二聯結表面、第三、第四及第五表面，第二聯結表面經由連結部與第一聯結表面聯結，第四表面與第二聯結表面相對，並與第三及第五表面相鄰，第二與第三表面相鄰，且第五與第六表面相鄰。第一至第六表面分別適於配置第一至第六影像擷取單元，以分別擷取第一至第六影像，第一影像與第二及第六影像部份重疊、第四影像與第三及第五影像部份重疊、第二及第三影像部份重疊且第五及第六影像部份重疊。車體端裝置包括處理單元記憶單元、角度偵測單元及處理單元。記憶單元儲存角度-全周影像模型查表，其中包括N個訓練角度及對應之N筆全周影像模型，其中N為大於1之自然數。角度偵測單元偵測夾角並對應地提供夾角實測值。處理單元存取角度-全周影像模型查表，以於N個訓練角度找出與夾角實測值近似之挑選訓練角度，並於N筆全周影像模型中找出對應挑選訓練角度之一筆挑選全周影像模型。處理單元更接收第一至第六實際操作影像，並根據挑選全周影像模型來對第一至第六實際操作影像進行處理，以找出實際操作全周影像。
根據本揭露之第三及第四方面分別提出一種訓練方法及一種全周鳥瞰影像產生方法，其係與本揭露之第一及第二方面具有對應之技術內容。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
本實施例之訓練系統包括車體端裝置及訓練裝置，其中車體端裝置係配置於多車體聯結車上，而多車體聯結車可選擇性地為連結巴士、連結拖板車、連結貨櫃車等。
車體端裝置
請參照第1圖，其繪示根據本實施例之多車體聯結車的示意圖。本實施例之車體端裝置1000係配置於多車體聯結車100上，以針對其提供全周影像，例如是全周鳥瞰影像。舉例來說，本實施例之多車體聯結車100包括第一車體部11、第二車體部15及連結部13。第一車體部11及第二車體部15例如分別為牽引動力車頭(Tractor)及拖車車體(Trailer)，其透過連結部13相互連接。第一車體部11及第二車體部15分別具有行進方向D1及D2，其中行進方向D1相對行進方向D2具有夾角θ。
進一步的說，第一車體部11包括聯結表面SC1、表面S1、S2及S6。聯結表面SC1與連結部13相連接，而表面S1與聯結表面SC1相對並實質上相互平行，連結表面與表面S2及S6相鄰並實質上相互垂直。舉例來說，表面S1、S2及S6分別為牽引動力車頭的前保險桿表面、右側及左側表面。第二車體部15包括聯結表面SC2、表面S3、S4及S5。聯結表面SC2經由連結部13與連結表面SC1相連接，而表面S4與聯結SC2表面相對並實質上相互平行，並與表面S3及S5相鄰並實質上相互垂直。舉例來說，表面S3、S4及S5分別為拖車車體的後保險桿表面、右側及左側表面。表面S1至S6更分別適於配置影像擷取單元101_1至101_6。
請參照第2圖，其繪示根據本實施例之車體端裝置的方塊圖。車體端裝置1000更包括處理單元103、角度偵測單元105、記憶體107及顯示單元113。舉例來說，處理單元103、記憶單元107及顯示單元113例如配置於第一車體部11中駕駛座的實體位置。影像擷取單元101_1至101_6係經由多車體聯結車100上的實體或無線通訊連結來與處理單元103連接。
進一步的說，影像擷取單元101_1、101_2及101_6分別配置於表面S1、S2及S6上，以分別擷取對應之第一、第二及第六實際擷取影像Im1、Im2及Im6。舉例來說，影像擷取單元101_1、101_2及101_6分別配置於牽引動力車頭的前保險桿上、右側後視鏡下方及左側後視鏡下方。影像擷取單元101_3、101_4及101_5分別配置於表面S3、S4及S5上，以分別擷取對應之第三、第四及第五實際擷取影像Im3、Im4及Im5。舉例來說，影像擷取單元101_4、101_3及101_5分別配置於拖車車體的後保險桿上、右側車體上方及左側車體上方。
請參照第3圖，其繪示根據本實施例之多車體聯結車的另一示意圖。影像擷取單元101_1至101_6例如為魚眼鏡頭，而對於配置於相鄰表面上(例如是表面S1與S2、表面S2與S3、表面S3與S4、表面S4與S5、表面S5與S6及表面S6與S1)之兩個相鄰之影像擷取單元來說，其所拍攝到之影像彼此部份重疊。以影像擷取單元101_1及101_2拍攝到之第一及第二實際擷取影像Im1及Im2來說，其例如具有實質上大於或等於130°的水平視角(Horizontal View Angle)，而影像擷取單元101_1及101_2分別配置於實質上相互垂直的表面S1及S2上。據此，對於重疊拍攝區域A12中的物件來說，其將同時地被顯示在影像擷取單元101_1及101_2擷取到之第一及第二實際擷取影像Im1及Im2中；換言之，第一及第二實際擷取影像Im1及Im2具有重疊拍攝區域A12。
基於相似的情形，第二及第三實際擷取影像Im2及Im3、第三及第四實際擷取影像Im3及Im4、第四及第五實際擷取影像Im4及Im5、第五及第六實際擷取影像Im5及Im6與第六及第一實際擷取影像Im6及Im1亦分別地具有重疊拍攝區域A23、A34、A45、A56及A61。
請參照第15圖，在其他例子中，車體端裝置1000更包括扭曲校正單元109，例如配置於第一車體部11中駕駛座的實體位置。影像擷取單元101_1至101_6係經由多車體聯結車100上的實體或無線通訊連結來與扭曲校正單元109及處理單元103連接。扭曲校正單元109接收第一至第六實際擷取影像Im1至Im6，並對其進行扭曲校正；扭曲校正單元109更將校正後之第一至第六實際擷取影像Im1’至Im6’提供至處理單元103。舉例來說，扭曲校正單元109可以實體電路來實現，例如是嵌入式處理器或其他電路。在其他例子中，扭曲校正單元109亦可以軟體的方式來實現，並對應地儲存於電腦可讀取媒體，例如是隨取記憶體、唯讀記憶體或非揮發記憶體中；而處理單元103係以對應地存取此電腦可讀取媒體，以實現對應之影像扭曲校正操作。
角度偵測單元105可選擇性地以光編碼器(Optical Encoder)、電位計(Potentiometer)、旋轉可變差動變壓器(Rotational Variable Difference Transformer)、陀螺儀(Gyro Sensor)、影像式角度感測器等其中之部分或全部來實現。舉例來說，角度偵測單元105配置於連結部13上，以針對第一車體部11行進方向D1相對於第二車體部15之行進方向D2的夾角θ進行偵測。角度偵測單元105亦可經由多車體聯結車100上的實體或無線通訊連結來與處理單元103連接，並提供夾角θ對應之夾角實測值θr。
記憶單元107儲存及提供角度-全周影像模型查表，其中記錄N個訓練角度θt_1、θt_2、...、θt_N及對應之N筆全周影像模型M_1、M_2、...、M_N，其中N為大於1之自然數，且N個訓練角度θt_1至θt_N例如涵蓋夾角θ可能的數值範圍。舉例來說，夾角θ介於-90°(例如為第一車體部11向左轉90°)至+90°(例如為第一車體部11向右轉90°)之數值範圍，其中N例如等於37，而訓練角度θt_1至θt_N對應地以5°為步階單位，涵蓋-90°、-85°、-80°、...、-5°、0°、+5°、+10°、...、+90°之數值範圍。
處理單元103接收夾角實測值θr，並據以存取記憶單元107，以於N個訓練角度θt_1至θt_N中找出與夾角實測值θr近似之挑選訓練角度θts及與其對應之挑選全周影像模型Ms。舉一個例子來說，夾角實測值θr等於3°，而處理單元103以訓練角度θt_1至θt_N(例如分別對應至實體角度-90°、-85°、...、+90°)中與夾角實測值θr最接近之第36個訓練角度θt_36(例如是5°)做為挑選訓練角度θts，並以對應之第36筆全周影像模型M_36做為挑選全周影像模型Ms。
處理單元103更接收扭曲校正後之第一至第六實際擷取影像Im1’至Im6’，並根據挑選全周影像模型Ms來對該第一至第六實際擷取影像Im1’至Im6’進行處理，以找出多車體聯結車100的實際操作全周影像Im；處理單元103更將實際操作全周影像Im提供至顯示單元113，以驅動其顯示實際操作全周影像Im。據此，應由參考實際操作全周影像Im，多車體聯結車100的駕駛人可更有效率地掌握多車體聯結車100與其周圍環境的關係資訊。
請參照第4圖，其繪示依照本發明實施例之全周鳥瞰影像產生方法的流程圖。舉例來說，本實施例之全周鳥瞰影像產生方法係應用於車體端裝置1000中，其係對應地應用於多車體聯結車100上；本實施例之全周鳥瞰影像產生方法例如包括下列之步驟。首先如步驟(a)，應用記憶單元107提供角度-全周影像模型查表，其中包括N個訓練角度θt_1至θt_N及對應之N筆全周影像模型M_1至M_N。接著如步驟(b)，應用角度偵測單元105偵測第一車體部11及第二車體部15對應之行徑方向D1與D2間的夾角θ，並對應地提供夾角實測值θr。
然後如步驟(c)，應用處理單元103來存取此角度-全周影像模型查表，以於N個訓練角度θt_1至θt_N找出與夾角實測值θr最相近之挑選訓練角度θts，並於N筆全周影像模型M_1至M_N找出對應之挑選全周影像模型Ms。接著如步驟(d)，經由配置於表面S1至S6上之影像擷取單元101_1至101_6來分別擷取第一至第六實際操作影像Im1至Im6，其中任一個實際操作影像Im1至Im6係與其相鄰之另一個實際操作影像部份重疊。
之後如步驟(e)，應用處理單元103根據挑選全周影像模型Ms來對第一至第六實際操作影像Im1至Im6進行處理，以找出實際操作全周影像Im。
舉例來說，本實施例之全周鳥瞰影像產生方法於步驟(d)及(e)之間更包括步驟(f)，應用扭曲校正單元109來針對第一至第六實際操作影像Im1至Im6進行扭曲校正，並將校正後之第一至第六實際操作影像Im1’至Im6’提供至處理單元103。換言之，本實施例之全周鳥瞰影像產生方法於步驟(e)中係根據挑選全周影像模型Ms來對校正後之第一至第六實際操作影像Im1’至Im6’進行處理。
綜合以上，本實施例之多車體聯結車可根據參考角度偵測單元來偵測其之第一及第二車體部對應之夾角實測值；根據夾角實測值來查詢其既有的角度-全周影像模型查表，以對應地找出與夾角實測值接近的既有訓練角度及對應之選取全周影像模型；及經由配置於其車體周圍之六個表面上之六個影像擷取單元，來對應地擷取六筆影像。本實施例之多車體聯結車更根據此六筆影像及此選取全周影像模型，來找出對應至多車體聯結車的實際操作全周影像。據此，相較於傳統行車輔助工具，本實施例之多車體聯結車具有可有效地針對多車體聯結車提供全周影像之優點。
訓練裝置
舉例來說，本實施例之車體端裝置1000所應用之角度-全周影像模型查表係由訓練裝置所提供，其中訓練裝置係在訓練階段中，與多車體聯結車100相連接，以針對其進行相關之訓練，進而建立此角度-全周影像模型查表。接下來係舉例，來針對本實施例之訓練裝置做進一步的說明。
本實施例之訓練裝置2000例如包括可動乘載單元201、特徵點單元203及控制單元205，其中可動乘載單元201與特徵點單元203分別與控制單元205電性連接。控制單元205做為訓練裝置2000的主控元件，以在訓練階段中對應地與車體端裝置1000連接，其中控制單元205與車體端裝置1000的連接關係可如第5圖所示。
控制單元205更對應地用以決定N個訓練角度θt_1至θt_N，並據以驅動可動乘載單元201移動多車體聯結車100中第一車體部11及第二車體部15其中之一，以對應地調整夾角θ，並使得夾角θ可選擇性地對應至N個訓練角度θt_1至θt_N中之第i個訓練角度θt_i，其中i為小於或等於N之自然數。舉一個操作實例來說，可動乘載單元201係用以乘載第一車體部11，並可使第一車體部11以連結部13為軸心左右旋轉，進而對應地針對夾角θ進行調整，如第6圖所示。
特徵點單元203用以在夾角θ實質上等於第i個訓練角度θt_i時，針對影像擷取單元101_1至101_6對應之第一至第六擷取影像中，任兩個相鄰影像之重疊拍攝區域(例如是重疊拍攝區域A12、A23、A34、A45、A56及A61)提供至少一個特徵點，使得此第一至第六擷取影像中，任兩個相鄰影像分別對應地顯示與此特徵點對應之第一特徵點及第二特徵點。
舉例來說，特徵點單元203用以根據平鋪於多車體聯結車100周圍地面上的多個幾何圖形，提供特徵點，如第7圖表示。以重疊拍攝區域A12來說，特徵點單元203於其中提供矩形物件C12，而其中矩形特徵點物件C12的端點，將對應地形成特徵點P1及P2。相似地，特徵點單元203亦對應地於重疊拍攝區域A23、A34、A45、A56及A61中提供矩形物件C23、矩形物件C34、三角形物件C45、菱形物件C56及矩形物件C61，而其對應之端點亦對應地形成對應重疊拍攝區域中的特徵點P3、P4、P5、...、P14。
在可動乘載單元201使夾角θ實質上等於第i個訓練角度θt_i且特徵點單元203對應地針對各重疊拍攝區域A12至A61提供特徵點P1至P14後，控制單元205藉由影像擷取單元101_1至101_6，以對應地擷取第一至第六影像Imx_1至Imx_6，其中各第一至第六影像Imx_1至Imx_6中任兩個相鄰之影像係分別對應地顯示第一特徵點及第二特徵點。
請參照第16圖，在其他例子中，車體端裝置1000更包括扭曲校正單元109，電性連接影像擷取單元101_1至101_6以及控制單元205，其中第一至第六影像Imx_1至Imx_6經由扭曲校正單元109對應地產生校正後之第一至第六影像Imx_1’至Imx_6’，並被提供至控制單元205。在其他例子中，扭曲校正單元109亦可以軟體的方式來實現，並對應地儲存於電腦可讀取媒體，例如是隨取記憶體、唯讀記憶體或非揮發記憶體中；而車體端裝置1000之處理單元103係以對應地存取此電腦可讀取媒體，以實現對應之影像扭曲校正操作；此時校正後之第一至第六影像Imx_1’至Imx_6’則是經由處理單元103被提供至控制單元205。
請參照第8A及8B圖，其分別繪示第一及第二影像Imx_1’及Imx_2’的示意圖。以影像擷取單元101_1及101_2對應產生之第一及第二影像Imx_1’及Imx_2’的情形來說，第一影像Imx_1’包括影像物件P1_C12，其例如為影像擷取單元101_1針對矩型特徵點物件C12所拍攝到之影像內容，其中影像物件P1_C12包括分別與特徵點P1及P2對應之第一組特徵點a1及a2。相似地，第二影像Imx_2’包括影像物件P2_C12，其例如為影像擷取單元101_2針對矩型特徵點物件C12所拍攝到之影像內容，其中影像物件P2_C12包括分別與特徵點P1及P2對應之第二組特徵點b1及b2。與第一及第二影像Imx_1’至Imx_2’相似地，第三至第六影像Imx_3’至Imx_6’分別如第8C至8F圖所示，於此將不再對其進行贅述。
控制單元205接收第一至第六影像Imx_1’至Imx_6’，且藉由特徵點單元203針對任兩個相鄰影像之重疊拍攝區域提供至少一個特徵點，使得第一至第六影像Imx_1’至Imx_6’中任兩個相鄰影像分別對應地顯示一第一特徵點及一第二特徵點；控制單元205並分別記錄其中任兩個相鄰影像中之兩組特徵點之座標值，並將此兩組座標值記錄為對應至第i個訓練角度θt_i之第i筆特徵點對照表T_i。以相鄰之第一及第二影像Imx_1’及Imx_2’的情況來說，控制單元205記錄第一影像Imx_1’中對應至特徵點P1及P2之第一組特徵點a1及a2的座標值(x1 ,y1 )及(x1 ’,y1 )及第二影像Imx_2’中對應至特徵點P1及P2之第二組特徵點b1及b2的座標值(x2 ,y2 )及(x2 ,y2 ’)於第i筆特徵點對照表T_i中。
相似地，第二影像Imx_2’與第三影像Imx_3’中對應之特徵點b3至b4與c3至c4、第三影像Imx_3’與第四影像Imx_4’中對應之特徵點c5至c8與d5至d8、第四影像Imx_4’與第五影像Imx_5’中對應之特徵點d9、d10與e9、e10、第五影像Imx_5’與第六影像Imx_6’中對應之特徵點e11、e12與f11、f12及第六影像Imx_6’與第一影像Imx_1’中對應之特徵點f13、f14與a13、a14的座標值亦對應地被儲存於第i筆特徵點對照表T_i中，而第i筆特徵點對照表T_i例如具有如第9圖所示之資料結構。
控制單元205更根據第i筆特徵點對照表T_i建立第i筆全周影像模型M_i，藉此完成針對第i個訓練角度θt_i的訓練操作。舉例來說，全周影像模型M_i可如第10圖所示，其中縫合特徵點k1及k2分別為其中對應至特徵點P1及P2的顯示影像，相似地，縫合特徵點k3、k4、...、k13及k14分別為其中對應至特徵點P3、P4、...、P13及P14的顯示影像。
舉例來說，控制單元205包括均化子單元，其參考第i筆全周影像模型M_i中與第一及第二特徵點對應之縫合特徵點之位置資訊，來找出權重參數W1及W2。此均化子單元更根據兩筆權重參數W1及W2來針對此第一及此第二特徵點進行影像均化，以找出此縫合特徵點之畫素資料，據此完成影像均化操作。
接下來，係以此均化子單元針對縫合特徵點k1進行均化的操作為例，來針對此均化子單元的操作做進一步的說明。請參照第11圖，其繪示乃均化子單元之操作的示意圖。第i筆全周影像模型M_i由第一至第六筆影像Imx_1’至Imx_6’所而成，而對於第一至第六筆影像Imx_1’至Imx_6’中任兩筆相鄰的影像來說，其可相互交疊出影像縫合區。以第一及第二筆影像Imx_1’及Imx_2’來說，其交疊出影像縫合區Ax_12，其中影像縫合區Ax_12例如對應地具有邊界B1及B2，分別由第一及第二影像Imx_1’及Imx_2’所決定。
此均化子單元找出縫合特徵點k1與邊界B1的距離ds1及縫合特徵點k1與邊界B2的距離ds2，並據以決定權重參數W1及W2。舉例來說，權重參數W1及W2分別滿足：
此均化子單元更根據下列方程式，來參考權重參數W1及W2對第一及第二特徵點，即是特徵點a1及b1，進行權重相加，並據以決定縫合特徵點k1的畫素值：
k1=W1×a1+W2×b1
基於相似的操作，此均化子單元更針對第i筆全周影像模型M_i中之各筆縫合特徵點k2-k14執行實質上相同的均化操作，藉此完成建立第i筆全周影像模型M_i之操作。
在找出與第i個訓練角度θt_i對應之全周影像模型M_i後，控制單元205更調整參數i，以在此訓練階段中，針對所有之N個訓練角度θt_1至θt_N分別找出對應之N筆全周影像模型M_1至M_N，並將其提供至車體端裝置1000，並對應地儲存在車體端裝置1000之記憶單元107中。在其他例子中，控制單元205與記憶單元107電性連接，以將全周影像模型M_i儲存在記憶單元107中。
舉一個操作實例來說，控制單元205設定參數i具有起始數值1；而控制單元205更在對應至第i個訓練角度θt_i之訓練操作完成後，判斷參數i是否等於N；若是，表示訓練裝置2000已針對所有之N筆訓練角度θt_1至θt_N完成對應之訓練操作。
相對地，當i不等於N時表示訓練裝置2000尚未完成針對所有之N筆訓練角度θt_1至θt_N的訓練操作。據此，控制單元205將i遞增1，並驅動訓練裝置2000針對下一個訓練角度進行訓練操作。
請參照第12圖，其繪示依照本發明實施例之訓練方法的流程圖。舉例來說，本實施例之訓練方法係應用於包括車體端裝置1000及訓練裝置2000的訓練系統中；本實施例之訓練方法例如包括下列之步驟。首先如步驟(A)，提供多車體聯結車100。接著如步驟(B)，控制單元205決定N個訓練角度θt_1至θt_N，並應用可動乘載單元201移動第一車體部11及第二車體部15其中之一以調整夾角θ，使得夾角θ對應至N個訓練角度θt_1至θt_N中之第i個訓練角度θt_i。
然後如步驟(C)，於其中控制單元205經由配置於第一至第六表面S1至S6上之影像擷取單元101_1至101_6來分別擷取第一至第六影像Imx_1至Imx_6，並經由扭曲校正單元109校正得到校正後之第一至第六影像Imx_1’至Imx_6’。接著如步驟(D)，當夾角θ對應至第i個訓練角度θt_i時，應用特徵點單元203來針對第一至第六影像Imx_1’至Imx_6’中任兩個影像之重疊拍攝區域A12至A61提供至少一個特徵點，使得第一至第六影像Imx_1’至Imx_6’中任兩個影像分別對應地顯示第一及第二特徵點，例如是特徵點a1及b1。
然後如步驟(E)，控制單元205記錄第一及第二特徵點於此任兩個影像中之兩組座標值，以針對第i個訓練角度θt_i建立第i筆特徵點對照表T_i。接著如步驟(F)，控制單元205根據第i筆特徵點對照表T_i建立第i筆全周影像模型M_i。之後如步驟(G)，控制單元205調整參數i，並重複執行步驟(C)-(F)以對應至N個訓練角度θt_1至θt_N分別找出N筆全周影像模型M_1至M_N。
請參照第13圖，其繪示依照本發明實施例之訓練方法的部份流程圖。舉例來說，訓練方法中之步驟(F)包括子步驟(F1)至(F3)。進一步的說，步驟(F)首先包括步驟(F1)，控制單元205中之均化子單元找出第i筆全周影像模型M_i中與第一及第二特徵點(例如是特徵點a1及b1)對應之縫合特徵點(例如是縫合特徵點k1)之位置資訊。接著如步驟(F2)，此均化子單元根據縫合特徵點之位置資訊來找出權重參數W1及W2。
之後如步驟(F3)，此均化子單元根據權重參數W1及W2來針對此第一及此第二特徵點進行影像均化，以對應至第i個訓練角度θt_i建立第i筆全周影像模型M_i。
請參照第14圖，其繪示依照本發明實施例之訓練方法的部份流程圖。舉例來說，控制單元205設定參數i具有起始數值1，而訓練方法之步驟(G)包括子步驟(G1)至(G3)。首先如步驟(G1)，控制單元205於步驟(F)之後，判斷參數i是否等於N；若是，則執行步驟(G2)，以將N筆全周影像模型M_1至M_N輸出至車體端裝置1000，並對應地終止本實施例之訓練方法。相對地，當i不等於N時執行步驟(G3)，控制單元205將i遞增1，之後重複執行步驟(C)，以針對下一個訓練角度進行訓練操作。
在本實施例中，雖僅以特徵點單元203針對各重疊拍攝區域A12、A23、A34、A45、A56及A61提供特徵點物件的情形做說明，然，本實施例之特徵點單元203並不侷限於此。舉例來說，本實施例之特徵點單元203更針對非重疊拍攝區域提供不同的特徵點物件，以利相對應之扭曲校正操作之進行。
本實施例之車體端裝置可根據參考角度偵測單元來偵測其之第一及第二車體部對應之夾角實測值；根據夾角實測值來查詢其既有的角度-全周影像模型查表，以對應地找出與夾角實測值接近的既有訓練角度及對應之選取全周影像模型；及經由配置於其車體周圍之六個表面上之六個影像擷取單元，來對應地擷取六筆影像。本實施例之車體端裝置更根據此六筆影像及此選取全周影像模型，來找出對應至多車體聯結車的實際操作全周影像。據此，相較於傳統行車輔助工具，本實施例之車體端裝置具有可有效地針對多車體聯結車提供全周影像之優點。
此外，本實施例之訓練裝置可在訓練階段中，經由可動乘載單元來調整多車體聯結車之兩個車體間的夾角，使其對應地對應至N筆預設訓練角度中之第i筆預設訓練角度，其中i為小於或等於N之自然數。本實施例之訓練裝置更可應用特徵點單元，來針對六筆影像中任兩個影像之重疊拍攝區域提供特徵點，並根據此兩個影像中與此特徵點對應之兩筆特徵點，建立對應至第i個預設訓練角度之第i筆特徵點對照表。本實施例之訓練裝置更可調整參數i，來針對所有之N筆預設訓練角度建立對應之N筆全周影像模型，並將其提供至車體端裝置中。據此，本實施例之訓練裝置更具有可有效地經由訓練操作，來建立與N個不同之預設角度對應之N筆全周影像模型，藉此使對應之車體端裝置可根據此N筆記全周影像模型實現對應之全周鳥瞰影像產生操作。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．多車體聯結車
11．．．第一車體部
13．．．連結部
15．．．第二車體部
S1-S6．．．表面
SC1、SC2．．．連結表面
D1、D2．．．行進方向
1000．．．車體端裝置
101_1-101_6．．．影像擷取單元
103．．．處理單元
105．．．角度偵測單元
107．．．記憶單元
109．．．扭曲校正單元
113．．．顯示單元
A12、A23、A34、A45、A56、A61．．．重疊拍攝區域
2000．．．訓練裝置
201．．．可動乘載單元
203‧‧‧特徵點單元
205‧‧‧控制單元
P1-P14‧‧‧特徵點
C12、C23、C34、C61‧‧‧矩形物件
C45‧‧‧三角形物件
C56‧‧‧菱形物件
Im_1至Im_6‧‧‧第一至第六實際擷取影像
Im_1’至Im_6’‧‧‧校正後之第一至第六實際擷取影像
Imx_1至Imx_6‧‧‧第一至第六影像
Imx_1’至Imx_6’‧‧‧校正後之第一至第六影像
θr‧‧‧夾角實測值
θts‧‧‧挑選訓練角度
Ms‧‧‧挑選全周影像模型
Im‧‧‧實際操作全周影像
a1-a2、a13-a14、b1-b4、c3-c8、d5-d10、e9-e12、f11-f14‧‧‧特徵點
T_i‧‧‧第i筆特徵點對照表
k1-k14‧‧‧縫合特徵點
B1、B2‧‧‧邊界
ds1、ds2‧‧‧距離
Ax_12‧‧‧影像縫合區
第1圖繪示根據本實施例之多車體聯結車的示意圖。
第2圖繪示根據本實施例之車體端裝置的方塊圖。
第3圖繪示根據本實施例之多車體聯結車的另一示意圖。
第4圖繪示依照本發明實施例之全周鳥瞰影像產生方法的流程圖。
第5圖繪示根據本實施例之訓練系統的方塊圖。
第6圖繪示根據本實施例之可動乘載單元201的示意圖。
第7圖繪示根據本實施例之特徵點單元203的示意圖。
第8A至8F圖分別繪示第一至第六影像Imx_1’及Imx_6’的示意圖。
第9圖繪示第i筆特徵點對照表T_i的示意圖。
第10圖繪示第i筆全周影像模型M_i的示意圖。
第11圖繪示乃均化子單元之操作的示意圖。
第12圖繪示依照本發明實施例之訓練方法的流程圖。
第13圖繪示依照本發明實施例之訓練方法的細部流程圖。
第14圖繪示依照本發明實施例之訓練方法的另一細部流程圖。
第15圖繪示根據本發明另一實施例之車體端裝置的方塊圖。
第16圖繪示根據本發明另一實施例之訓練系統的方塊圖。
(a)-(g)．．．流程步驟

Claims (20)

  1. 一種訓練系統，應用於一多車體聯結車上，該多車體聯結車包括一第一、一第二車體部及一連結部，該第一車體部之行進方向相對於該第二車體部之行進方向具有一夾角；該第一車體部包括一第一聯結表面、一第一、一第二及一第六表面，該第一表面與該第一聯結表面相對，並與該第二及該第六表面相鄰；該第二車體部包括一第二聯結表面、一第三、一第四及一第五表面，該第二聯結表面經由該連結部與該第一聯結表面聯結，該第四表面與該第二聯結表面相對，並與該第三及該第五表面相鄰，該第二與該第三表面相鄰，且該第五與該第六表面相鄰；該第一至該第六表面分別適於配置一第一、一第二、一第三、一第四、一第五及一第六影像擷取單元，以分別擷取一第一、一第二、一第三、一第四、一第五及一第六影像，其中該第一影像與該第二及該第六影像部份重疊、該第四影像與該第三及該第五影像部份重疊、該第二及該第三影像部份重疊且該第五及該第六影像部份重疊；該訓練系統包括：一車體端裝置；以及一訓練裝置，用以在一訓練階段中與該多車體聯結車連接，該訓練裝置包括：一可動乘載單元，用以移動該第一及該第二車體部其中之一以調整該夾角，使得該夾角對應至N個訓練角度中之一第i個訓練角度，其中i為小於或等於N之自然數； 一特徵點單元，當該夾角對應至該第i個訓練角度時，針對該第一至該第六影像中任兩個相鄰影像之一重疊拍攝區域提供至少一個特徵點，使得該第一至該第六影像中任兩個相鄰影像分別對應地顯示一第一特徵點及一第二特徵點；及一控制單元，決定該N個訓練角度以對應地驅動該可動乘載單元，該控制單元接收該第一至該第六影像，並分別記錄該第一及該第二特徵點於該任兩個相鄰影像中之兩組座標值，以針對該第i個訓練角度建立一第i筆特徵點對照表，該控制單元更根據該第i筆特徵點對照表建立一第i筆全周影像模型，藉此對該第i個訓練角度進行訓練操作；其中，該控制單元更調整參數i，以在該訓練階段中對應至該N個訓練角度分別找出N筆全周影像模型，並將該N筆全周影像模型提供至該車體端裝置。
  2. 如申請專利範圍第1項所述之訓練系統，其中該控制單元更包括：一均化子單元，參考該第i筆全周影像模型中與該第一及該第二特徵點對應之一縫合特徵點之位置資訊來找出兩筆權重參數，其中該均化子單元更根據該兩筆權重參數來針對該任兩個影像中之該第一及該第二特徵點進行影像均化，以對應至該第i個訓練角度建立該第i筆全周影像模型。
  3. 如申請專利範圍第1項所述之訓練系統，其中該控制單元係設定參數i具有起始數值1，該控制單元更在對應至該第i個訓練角度之訓練操作後，判斷參數i是否等於N，當i不等於N時，該控制單元將i遞增1，並驅動該訓練裝置針對下一個該第i個訓練角度進行訓練操作。
  4. 如申請專利範圍第1項所述之訓練系統，其中該車體端裝置更包括：一處理單元，用以接收該第一至該第六影像，並在一實際操作階段中，根據該N筆全周影像模型來提供與該多車體聯結車對應之一實際操作全周影像。
  5. 如申請專利範圍第4項所述之訓練系統，其中該車體端裝置更包括：一記憶單元，用以儲存一角度-全周影像模型查表，其中包括該N個訓練角度及對應之該N筆全周影像模型；一顯示單元；及一角度偵測單元，用以在該實際操作階段中偵測該夾角，並對應地提供一夾角實測值；其中，該處理單元存取該角度-全周影像模型查表，以於該N個訓練角度找出與該夾角實測值近似之一挑選訓練角度，並於該N筆全周影像模型找出對應之一筆挑選全周影像模型；其中，該處理單元接收該第一至該第六影像擷取單元於該實際操作階段中所擷取之一第一至一第六實際操作影像，並根據該挑選全周影像模型來對該第一至該第六實 際操作影像進行處理，以找出並驅動該顯示單元顯示該實際操作全周影像。
  6. 如申請專利範圍第5項所述之訓練系統，其中該車體端裝置更包括：一扭曲校正單元，用以針對該第一至該第六影像擷取單元擷取之該第一至該第六實際操作影像進行扭曲校正，並將校正後之該第一至該第六實際操作影像提供至該處理單元；其中，該處理單元係根據該挑選全周影像模型來對校正後之該第一至該第六實際操作影像進行處理，以找出並驅動該顯示單元顯示該實際操作全周影像。
  7. 如申請專利範圍第1項所述之訓練系統，其中該車體端裝置更包括：一扭曲校正單元，於該訓練階段中針對該第一至該第六影像擷取單元擷取之該第一至該第六影像進行扭曲校正，並將校正後之該第一至該第六影像提供至該訓練裝置。
  8. 一種車體端裝置，應用於一多車體聯結車中，以對應地提供一實際操作全周影像，該多車體聯結車包括一第一、一第二車體部及一連結部，該第一車體部之行進方向相對於該第二車體部之行進方向具有一夾角；該第一車體部包括一第一聯結表面、一第一、一第二及一第六表面， 該第一表面與該第一聯結表面相對，並與該第二及該第六表面相鄰；該第二車體部包括一第二聯結表面、一第三、一第四及一第五表面，該第二聯結表面經由該連結部與該第一聯結表面聯結，該第四表面與該第二聯結表面相對，並與該第三及該第五表面相鄰，該第二與該第三表面相鄰，且該第五與該第六表面相鄰；該第一至該第六表面分別適於配置一第一、一第二、一第三、一第四、一第五及一第六影像擷取單元，該第一至該第六影像擷取單元分別擷取一第一至一第六實際操作影像，其中該第一實際操作影像與該第二及該第六實際操作影像部份重疊、該第四實際操作影像與該第三及該第五實際操作影像部份重疊、該第二及該第三實際操作影像部份重疊且該第五及該第六實際操作影像部份重疊；該車體端裝置包括：一記憶單元，用以儲存一角度-全周影像模型查表，其中包括N個訓練角度及對應之N筆全周影像模型，其中N為大於1之自然數；一角度偵測單元，用以偵測該夾角並對應地提供一夾角實測值；以及一處理單元，存取該角度-全周影像模型查表，以於該N個訓練角度找出與該夾角實測值近似之一挑選訓練角度，並於該N筆全周影像模型中找出對應之一筆挑選全周影像模型；其中，該處理單元更接收該第一至該第六實際操作影像，並根據該挑選全周影像模型來對該第一至該第六實際操作影像進行處理，以找出該實際操作全周影像。
  9. 如申請專利範圍第8項所述之車體端裝置，更包括：一顯示單元，用以接收並顯示該實際操作全周影像。
  10. 如申請專利範圍第9項所述之車體端裝置，更包括：一扭曲校正單元，用以針對該第一至該第六實際操作影像進行扭曲校正，並將校正後之該第一至該第六實際操作影像提供至該處理單元；其中，該處理單元係根據該挑選全周影像模型來對校正後之該第一至該第六實際操作影像進行處理，以找出並驅動該顯示單元顯示該實際操作全周影像。
  11. 一種訓練方法，應用於一訓練裝置中，該訓練方法包括：提供一多車體聯結車，包括一第一、一第二車體部及一連結部，該第一車體部之行進方向相對於該第二車體部之行進方向具有一夾角；該第一車體部包括一第一聯結表面、一第一、一第二及一第六表面，該第一表面與該第一聯結表面相對，並與該第二及該第六表面相鄰；該第二車體部包括一第二聯結表面、一第三、一第四及一第五表面，該第二聯結表面經由該連結部與該第一聯結表面聯結，該第四表面與該第二聯結表面相對，並與該第三及該第五表面相鄰，該第二與該第三表面相鄰，且該第五與該 第六表面相鄰；應用該訓練裝置之一可動乘載單元移動該第一及該第二車體部其中之一以調整該夾角，使得該夾角對應至N個訓練角度中之一第i個訓練角度，其中i為小於或等於N之自然數；當該夾角對應至該第i個訓練角度時，經由配置於該第一至該第六表面上之一第一、一第二、一第三、一第四、一第五及一第六影像擷取單元來分別擷取一第一、一第二、一第三、一第四、一第五及一第六影像，其中該第一影像與該第二及該第六影像部份重疊、該第四影像與該第三及該第五影像部份重疊、該第二及該第三影像部份重疊且該第五及該第六影像部份重疊；當該夾角對應至該第i個訓練角度時，應用該訓練裝置之一特徵點單元來針對該第一至該第六影像中任兩個相鄰影像之一重疊拍攝區域提供至少一個特徵點，使得該第一至該第六影像中任兩個相鄰影像分別對應地顯示一第一特徵點及一第二特徵點；應用該訓練裝置之一控制單元來分別記錄該第一及該第二特徵點於該任兩個相鄰影像中之兩組座標值，以針對該第i個訓練角度建立一第i筆特徵點對照表；應用該控制單元來根據該第i筆特徵點對照表建立一第i筆全周影像模型，藉此對該第i個訓練角度進行訓練操作；以及應用該控制單元來調整參數i，以對應至該N個訓練角度分別找出N筆全周影像模型。
  12. 如申請專利範圍第11項所述之訓練方法，其中建立該第i筆全周影像模型之步驟更包括：應用該控制單元中之一均化子單元來找出該第i筆全周影像模型中與該第一及該第二特徵點對應之一縫合特徵點之位置資訊；應用該均化子單元來根據該縫合特徵點之位置資訊來分別找出兩筆權重參數；及應用該均化子單元來根據該兩筆權重參數來針對該任兩個影像中之該第一及該第二特徵點進行影像均化，以對應至該第i個訓練角度建立該第i筆全周影像模型。
  13. 如申請專利範圍第11項所述之訓練方法，其中調整參數i之步驟更包括：應用該控制單元設定參數i具有起始數值1；在對應至該第i個訓練角度之訓練操作後，應用該控制單元判斷參數i是否等於N；及當i不等於N時，應用該控制單元將i遞增1，並以針對下一個該第i個訓練角度進行訓練操作。
  14. 如申請專利範圍第11項所述之訓練方法，更包括一實用階段操作，於其中該多車體聯結車中之一車體端裝置根據該N筆全周影像模型來提供與該多車體聯結車對應之一實際操作全周影像。
  15. 如申請專利範圍第14項所述之訓練方法，其中該訓練方法更包括：應用該車體端裝置中之一記憶單元來儲存一角度-全周影像模型查表，其中包括該N個訓練角度及對應之該N筆全周影像模型；在該實際操作階段中應用該車體端裝置中之一角度偵測單元偵測該夾角，並對應地提供一夾角實測值；應用該車體端裝置中之一處理單元來存取該角度-全周影像模型查表，以於該N個訓練角度找出與該夾角實測值近似之一挑選訓練角度，並於該N筆全周影像模型找出對應之一筆挑選全周影像模型；應用該第一至該第六影像擷取單元分別擷取一第一至一第六實際操作影像；及應用該處理單元根據該挑選全周影像模型來對該第一至該第六實際操作影像進行處理，以找出並顯示該實際操作全周影像。
  16. 如申請專利範圍第15項所述之訓練方法，其中在擷取一第一至一第六實際操作影像的步驟之後，更包括：應用該車體端裝置之一扭曲校正單元來針對該第一至該第六實際操作影像進行扭曲校正，並將校正後之該第一至該第六實際操作影像提供至該處理單元；其中，在找出並顯示該實際操作全周影像的步驟中，係根據該挑選全周影像模型來對校正後之該第一至該第六實際操作影像進行處理。
  17. 如申請專利範圍第11項所述之訓練方法，其中在擷取該第一至該第六影像的步驟之後，更包括：應用該車體端裝置之一扭曲校正單元來於該訓練階段中針對該第一至該第六影像擷取單元擷取之該第一至該第六影像進行扭曲校正，並將校正後之該第一至該第六影像提供至一處理單元；其中，在提供該至少一個特徵點的步驟中，係針對校正後之該第一至該第六影像任兩個影像之該重疊拍攝區域提供該至少一個特徵點。
  18. 一種全周鳥瞰影像產生方法，應用於一多車體聯結車中之一車體端裝置，該多車體聯結車包括一第一、一第二車體部及一連結部，該第一車體部之行進方向相對於該第二車體部之行進方向具有一夾角；該第一車體部包括一第一聯結表面、一第一、一第二及一第六表面，該第一表面與該第一聯結表面相對，並與該第二及該第六表面相鄰；該第二車體部包括一第二聯結表面、一第三、一第四及一第五表面，該第二聯結表面經由該連結部與該第一聯結表面聯結，該第四表面與該第二聯結表面相對，並與該第三及該第五表面相鄰，該第二與該第三表面相鄰，且該第五與該第六表面相鄰，該全周鳥瞰影像產生方法包括：應用該車體端裝置中之一記憶單元來提供一角度-全周影像模型查表，其中包括N個訓練角度及對應之N筆全周影像模型，其中N為大於1之自然數； 應用該車體端裝置中之一角度偵測單元偵測該夾角，並對應地提供一夾角實測值；應用該車體端裝置中之一處理單元來存取該角度-全周影像模型查表，以於該N個訓練角度找出與該夾角實測值近似之一挑選訓練角度，並於該N筆全周影像模型找出對應之一筆挑選全周影像模型；以及經由配置於該第一至該第六表面上之一第一、一第二、一第三、一第四、一第五及一第六影像擷取單元來分別擷取一第一、一第二、一第三、一第四、一第五及一第六實際操作影像，其中該第一實際操作影像與該第二及該第六實際操作影像部份重疊、該第四實際操作影像與該第三及該第五實際操作影像部份重疊、該第二及該第三實際操作影像部份重疊且該第五及該第六實際操作影像部份重疊；以及應用該處理單元根據該挑選全周影像模型來對該第一至該第六實際操作影像進行處理，以找出一實際操作全周影像。
  19. 如申請專利範圍第18項所述之全周鳥瞰影像產生方法，更包括：應用一顯示單元來顯示該實際操作全周影像。
  20. 如申請專利範圍第18項所述之全周鳥瞰影像產生方法，更包括：應用該車體端裝置之一扭曲校正單元來針對該第一至該第六實際操作影像進行扭曲校正，並將校正後之該第一至該第六實際操作影像提供至該處理單元；其中，在找出該實際操作全周影像之步驟中，係根據該挑選全周影像模型來對校正後之該第一至該第六實際操作影像進行處理。
TW101107971A 2012-03-08 2012-03-08 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置 TWI491524B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW101107971A TWI491524B (zh) 2012-03-08 2012-03-08 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
CN201510314180.5A CN104900110A (zh) 2012-03-08 2012-07-12 车体端装置
CN201210242096.3A CN103310673B (zh) 2012-03-08 2012-07-12 全周鸟瞰图像产生方法及其训练方法及训练装置
US13/706,432 US9082315B2 (en) 2012-03-08 2012-12-06 Surrounding bird view monitoring image generation method and training method, automobile-side device, and training device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101107971A TWI491524B (zh) 2012-03-08 2012-03-08 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置

Publications (2)

Publication Number Publication Date
TW201336714A TW201336714A (zh) 2013-09-16
TWI491524B true TWI491524B (zh) 2015-07-11

Family

ID=49114430

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101107971A TWI491524B (zh) 2012-03-08 2012-03-08 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置

Country Status (3)

Country Link
US (1) US9082315B2 (zh)
CN (2) CN103310673B (zh)
TW (1) TWI491524B (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9374562B2 (en) 2011-04-19 2016-06-21 Ford Global Technologies, Llc System and method for calculating a horizontal camera to target distance
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9434414B2 (en) 2011-04-19 2016-09-06 Ford Global Technologies, Llc System and method for determining a hitch angle offset
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9373044B2 (en) 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
TWI558588B (zh) * 2014-04-09 2016-11-21 Papago Inc Driving Recorder with Correcting Shooting Pose and Its Correction
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
US9437055B2 (en) * 2014-08-13 2016-09-06 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
US20160150189A1 (en) * 2014-11-20 2016-05-26 Caterpillar Inc. Image processing system and method
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
DE102015214611A1 (de) * 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
US20170124881A1 (en) * 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
DE102016116859A1 (de) * 2016-09-08 2018-03-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung
US10223775B2 (en) * 2016-09-14 2019-03-05 Omnivision Technologies, Inc. Array camera image combination with feature-based ghost removal
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
CN108401133A (zh) * 2017-02-07 2018-08-14 中升兴业股份有限公司 环景影像的影像缝合方法
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
CN109520495B (zh) 2017-09-18 2022-05-13 财团法人工业技术研究院 导航定位装置及应用其的导航定位方法
WO2019179686A1 (en) * 2018-03-19 2019-09-26 Jaguar Land Rover Limited Controller for a vehicle
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
CN111340880B (zh) * 2020-02-17 2023-08-04 北京百度网讯科技有限公司 用于生成预测模型的方法和装置
US11358639B2 (en) 2020-03-11 2022-06-14 Ford Global Technologies, Llc Trailer hitching assistance system with contact mitigation measures
KR102414764B1 (ko) * 2021-03-10 2022-07-04 한국철도기술연구원 굴절차량의 다중센서 캘리브레이션 자동화 시스템 및 방법
DE102021106670A1 (de) * 2021-03-18 2022-09-22 Zf Cv Systems Europe Bv Verfahren und Umfeld-Erfassungssystem zum Erzeugen eines Umgebungsbildes eines mehrgliedrigen Gesamtfahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW440807B (en) * 1999-02-26 2001-06-16 Intel Corp Operator training system
TWI267806B (en) * 2005-04-28 2006-12-01 Chung Shan Inst Of Science Vehicle control training system and its method
JP2008151934A (ja) * 2006-12-15 2008-07-03 Honda Motor Co Ltd 運転研修装置
JP2008279148A (ja) * 2007-05-12 2008-11-20 Yoshio Wada 表示装置を利用したイメージトレーニング方法
JP2009244660A (ja) * 2008-03-31 2009-10-22 Honda Motor Co Ltd 運転研修装置
TW201103786A (en) * 2010-07-16 2011-02-01 Zheng-Liang Zhan Recording and simulating system for driving status

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113873A1 (en) 2001-02-20 2002-08-22 Williams Michael R. Rear vision system for large vehicles
JP2002359839A (ja) 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
TWI232820B (en) 2004-01-05 2005-05-21 Shr-Shiung Li Reverse parking sensor device capable of displaying via plural image frequency channels
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
DE102005023177A1 (de) 2005-05-19 2006-11-30 Robert Bosch Gmbh Verfahren zur Fahrerunterstützung
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
DE102007059735A1 (de) 2006-12-12 2008-07-24 Cognex Corp., Natick Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
DE102007040250A1 (de) 2007-08-27 2009-03-05 Daimler Ag Verfahren und Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder Fahrzeuggespanns
JP2009060499A (ja) 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
CN101408423B (zh) * 2007-10-09 2011-05-18 财团法人工业技术研究院 影像撷取装置角度侦测方法及其车辆碰撞警示系统
DE102008030104A1 (de) 2008-06-25 2009-02-12 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008035428B4 (de) 2008-07-30 2010-11-18 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
US9307165B2 (en) 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance
CN101782646B (zh) * 2009-01-19 2012-08-29 财团法人工业技术研究院 全周环境感测系统及方法
US20100194851A1 (en) 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
TWM365288U (en) 2009-03-16 2009-09-21 jia-rong Zhang Imaging device for car-side blind spot
TWI417639B (zh) 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
CN102118558B (zh) * 2009-12-30 2012-12-05 华晶科技股份有限公司 全周影像的摄像参数的调整方法
TWI392366B (zh) 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
CN102137247B (zh) * 2010-01-22 2013-01-30 财团法人工业技术研究院 全周鸟瞰图像距离界面产生方法与系统
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW440807B (en) * 1999-02-26 2001-06-16 Intel Corp Operator training system
TWI267806B (en) * 2005-04-28 2006-12-01 Chung Shan Inst Of Science Vehicle control training system and its method
JP2008151934A (ja) * 2006-12-15 2008-07-03 Honda Motor Co Ltd 運転研修装置
JP2008279148A (ja) * 2007-05-12 2008-11-20 Yoshio Wada 表示装置を利用したイメージトレーニング方法
JP2009244660A (ja) * 2008-03-31 2009-10-22 Honda Motor Co Ltd 運転研修装置
TW201103786A (en) * 2010-07-16 2011-02-01 Zheng-Liang Zhan Recording and simulating system for driving status

Also Published As

Publication number Publication date
US9082315B2 (en) 2015-07-14
TW201336714A (zh) 2013-09-16
CN103310673B (zh) 2015-07-15
US20130236858A1 (en) 2013-09-12
CN104900110A (zh) 2015-09-09
CN103310673A (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
TWI491524B (zh) 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN103763517B (zh) 一种车载环视显示方法及系统
CN103988231B (zh) 用于校准车载的基于计算机的视觉系统的方法
CN107424120A (zh) 一种全景环视系统中的图像拼接方法
WO2012145822A1 (en) Method and system for dynamically calibrating vehicular cameras
US20220318949A1 (en) Camera external parameter calibration method and system for vehicle panoramic system, and panoramic system
CN113160336B (zh) 一种简易标定环境下的车载环视相机标定方法
JP5405809B2 (ja) 車両周辺監視装置およびカメラ位置・姿勢判定方法
JP2020502640A (ja) 乗物用サラウンドビューシステム
JP2011500407A (ja) 少なくとも１つの全方位カメラ及び光学的表示ユニットを備えた装置のキャリブレーション方法
CN107730558A (zh) 基于双向鱼眼摄像机的360°行车记录系统及方法
CN110751598A (zh) 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN103546678A (zh) 用于校正后置摄像机的图像畸变的装置和方法
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP5861871B2 (ja) 俯瞰画像提示装置
KR20130134086A (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
CN113724133B (zh) 一种非刚体连接的拖挂车360°环视拼接方法
CN114972025A (zh) 一种基于yuv色彩空间的图像快速拼接方法
JP2008042664A (ja) 画像表示装置
WO2019188521A1 (ja) 撮像装置、移動体、および撮像方法