TW202223843A - 船舶輔助校正系統及其運作方法 - Google Patents

船舶輔助校正系統及其運作方法 Download PDF

Info

Publication number
TW202223843A
TW202223843A TW109142731A TW109142731A TW202223843A TW 202223843 A TW202223843 A TW 202223843A TW 109142731 A TW109142731 A TW 109142731A TW 109142731 A TW109142731 A TW 109142731A TW 202223843 A TW202223843 A TW 202223843A
Authority
TW
Taiwan
Prior art keywords
processor
image
obstacle
distance
distance parameter
Prior art date
Application number
TW109142731A
Other languages
English (en)
Other versions
TWI793477B (zh
Inventor
曾俊舜
陳宜祥
郭以平
Original Assignee
財團法人船舶暨海洋產業研發中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人船舶暨海洋產業研發中心 filed Critical 財團法人船舶暨海洋產業研發中心
Priority to TW109142731A priority Critical patent/TWI793477B/zh
Priority to CN202110546074.5A priority patent/CN114593732A/zh
Priority to JP2021089771A priority patent/JP7171825B2/ja
Priority to KR1020210076482A priority patent/KR102534930B1/ko
Priority to US17/405,976 priority patent/US11892854B2/en
Publication of TW202223843A publication Critical patent/TW202223843A/zh
Application granted granted Critical
Publication of TWI793477B publication Critical patent/TWI793477B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ocean & Marine Engineering (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本發明目的在於提供一種船舶輔助校正系統，包括一接收器、一儲存器、至少一感測器、一處理器以及一顯示器，其中，該處理器與該接收器、該儲存器及該至少一感測器相連接；及該顯示器與該處理器相連接。所述船舶輔助校正系統藉由運行一預設的機器可讀網格來決定障礙物的距離參數，並根據感測器的感測數據確認並校正此距離參數於正常，故可在不使用光學雷達(LiDAR)或水域起伏大的情況下完成對障礙物的距離量測。

Description

船舶輔助校正系統及其運作方法
本發明係關於一種輔助校正系統及其運作方法，特別係指一種用於船舶之輔助校正系統及其運作方法。
航線規劃為無人水上載具控制中的基本問題。中央電腦完全指定無人水上載具自開始航行至到達目標應遵循的航線路徑，該航線路徑通常必須不與航行環境中的任何障礙物碰撞；或盡可能地降低產生碰撞的可能性。
已知光達技術應用於距離偵測之廣泛程度，無人水上載具通常會使用光學雷達(LiDAR)來探測航道場景，惟光學雷達(LiDAR)於水域環境時，經常地會受到水面干擾因素的影響(如水面光線反光、起伏或水氣等)而降低其量測精度及實用性，因此於實際應用時，通常，需要輔以其他量測方法方能完善。
相較於光達技術而言，影像量測技術被環境影響的程度相對來說較小。但基於水面起伏不定，如突遇水面高低落差大的情況，障礙物會因高低落差而上下擺盪，此時，將導致影像量測的嚴重誤差，影響無人水上載具的航行安全；或者，如障礙物的位置或形狀特徵可能隨時間推移而變動(如大型漂 浮物可能基於水流流向而位移)。因此，航線規劃的挑戰在於，影像量測的處理速度必須即時且可供用戶適時監測，以便用戶得於無人水上載具確認航線路徑時，依照實際航行環境之影像同步進行監控並視情況即時進行航線路徑的校正/調整。
為解決上述至少一問題，本發明係關於一種輔助校正系統及其運作方法，特別係指一種用於船舶之輔助校正系統及其運作方法，其具備可以即時顯示障礙物距離於與檢測環境相一致之影像的優點。具體而言，其利用預設的機器可讀網格來決定障礙物的距離參數，並根據感測器的感測數據確認並校正此距離參數於正常(即排除檢測環境導致的誤差)，故可在不使用光學雷達(LiDAR)的情況下完成對障礙物的距離量測；並且，亦可用於起伏較大的水域(如海上)之障礙物量測。
本發明至少一實施例為一種船舶輔助校正系統，其包括一接收器、一儲存器、至少一感測器、一處理器以及一顯示器，其中，該處理器與該接收器、該儲存器及該至少一感測器相連接；及該顯示器與該處理器相連接。
本發明至少一實施例為一種船舶輔助校正方法。所述的方法包含提供所述的船舶輔助校正系統；藉該攝影裝置拍攝包括至少一障礙物之場景，以產生至少一基礎影像；藉由該處理器分析該至少一基礎影像及該至少一機器可讀網格，以估計關於該場景中任一障礙物之一距離參數；該處理器基於該至少一感測器所產生之感測數據判定需要校正之該至少一距離參數；該處理器根據一校正參數校正經判定之該至少一距離參數；以及藉該顯示器顯示至少一輔助影像，其中該至少一輔助影像具有至少一虛擬標識，用於表示不需 要校正的該至少一距離參數，或校正後的該至少一距離參數。如此一來，該至少一基礎影像上將會顯示至少一障礙物相對於該運輸工具的距離。
以上對本發明之簡述，目的在於對本發明之數種面向和技術特徵作一基本說明，發明簡述並非對本發明的詳細表述，因此其目的不在特別列舉本發明的關鍵性或重要元件，也不是用來界定本發明的範圍，僅為以簡明的方式呈現本發明之數種概念而已。
1:船舶輔助校正系統
10:接收器
11:攝影裝置
20:儲存器
30:感測器
40:處理器
50:顯示器
100:基礎影像
200:輔助影像
P0:場景
P1:運輸工具
P2:障礙物
1011:物件資訊
1012:載具資訊
1013:格線資訊
(A)~(F):步驟
圖1為本發明船舶輔助校正系統部份實施例的結構示意圖。
圖2為本發明船舶輔助校正系統部份實施例的場景示意圖。
圖3為本發明船舶輔助校正方法部份實施例的運作方法流程圖。
圖4為本發明船舶輔助校正方法部份實施例的基礎影像輸出示意圖。
圖5為本發明船舶輔助校正方法部份實施例的基礎影像輸出示意圖。
為能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與附圖。
本發明之至少一實施例係關於一種輔助校正系統及其運作方法，特別係指一種用於船舶之輔助校正系統及其運作方法。
請合併參照圖1及圖2，圖1為本發明船舶輔助校正系統1部份實施例的示意圖；及圖2為本發明船舶輔助校正系統1部份實施例的場景P0示意圖。如圖1所示，所述船舶輔助校正系統1設置於一運輸工具P1中，包括一接收器10、一儲存器20、至少一感測器30、一處理器40以及一顯示器50，處理器40與接收器10、儲存器20、顯示器50及至少一感測器30相連接。圖1的接收器 10係配置為接收經由至少一攝影裝置11擷取的至少一基礎影像100；及供選擇地將至少一基礎影像100儲存至儲存器20/直接發送至處理器40。
於圖1及圖2所示意的實施例中，所述的運輸工具P1可以是快艇、漁船、觀光船等小型水上載具；並且可以應用於其他無人船舶(例如戰艦、郵輪等大型水上載具)，本發明的態樣不限於此。此時，所謂攝影裝置11係通指如數位攝錄影機(DV)、數位靜態相機(Digital Still Camera,DSC)數位攝影機(DVR)或其他具有攝像功能的電子設備/相機系統，其經組態以擷取及輸出包括至少一個障礙物P2之影像的基礎影像100。其中，障礙物P2係指任何於開放/封閉式水域中的靜態/動態障礙物。此外，本實施例並未特別限定所使用的攝影裝置11數量為一個或多個，應用本實施例者可端視運輸工具P1的尺寸大小而判定適當數量的攝影裝置11來實現本案出於論述之目的。於下述實施例中，將假定攝影裝置11數量為一個且配合安裝於運輸工具P1之船艏端，用於表徵於航行方向上運輸工具P1與障礙物P2的最近位置。如此，處理器40僅要獲得攝影裝置11之位置資訊，即可通過估計獲得障礙物P2實際與運輸工具P1之間的最短距離長度。
圖1及圖2中的感測器30係被配設於運輸工具P1的內部或周邊，並用於檢測運輸工具P1的運行狀態(如傾斜程度或航行速度)；或者用於輔助檢測運輸工具P1與前述障礙物P2之間的距離。應注意的是，本實施例的感測器30是以具有傾斜感測器、加速度感測器及速度感測器的機能模組為例，當然，並不以此為限。自然地，亦可應用諸如應變感測器、位移感測器、光感測器、旋轉感測器、角度感測器或角速度感測器來輔助產生不同的檢測參數，本實施例之說明將下稱為感測數據。
所述儲存器20可被實施為儲存至少一機器可讀網格，並藉處理器40讀取及執行該機器可讀網格。該儲存器20係包括用於儲存可由處理器40讀取之形式之資訊(如：機器可讀網格或指令)的任何裝置，舉例而言，揮發性(volatile)或非揮發性(non-volatile)、磁性、半導體、磁帶、光學、可移式、不可移式或上述元件之組合的大容量儲存模組。然而，應理解的是，此等描述僅係為例示，本發明不依此為限。
所述處理器40可以連接於/包括接收器10及儲存器20，並且經組配以透過執行儲存於儲存器20中的指令；或者藉由與儲存器20有線/無線通訊以寫入及/或讀取操作相關之各種資料。例如，一個或多個的感測數據、距離參數、基礎影像100或機器可讀網格等，來實現對本實施例所述船舶輔助校正系統1的操作。
如圖1及圖2所示，處理器40係被組配成：分析基礎影像100及機器可讀網格，以經估計形成其中任一障礙物P2之影像的距離參數，且基於感測數據之一或多個特性關係，判定此距離參數是否需要調整，以在顯示器50上顯示一輔助影像200，此時所述輔助影像200的顯示態樣將同時包括每個障礙物P2之正常的距離參數(即不需要校正的距離參數)或經處理器校正後的距離參數，以用於指示用戶有關所述運輸工具P1與任一障礙物P2之當前相對位置(如相對方位或距離數值)；或所述運輸工具P1當前航行情況(如速度或傾斜程度)。詳述地，處理器40係根據所述機器可讀網格為界，將前述的基礎影像100予以分割，而得以按每個分割區域寬度實施對任一障礙物P2之影像做任一距離計測。具體來說，機器可讀網格可以配置為在基礎影像100中提供表 示攝影裝置11及任一障礙物P2之影像經映射的座標位置。實際上，所謂的寬度可以理解為在機器可讀網格中運輸工具P1之二相對端點間的寬度平均值。
應注意的是，儘管此處並未明確界定處理器40及顯示器50的型號及/或種類，但本領域中通常知識者將容易地理解到所述處理器40可以是微處理器；也可以是任何習知的處理器、控制器或其他為實現計算的組件組合/配置。所述顯示器50可以是電腦顯示器/螢幕、電視裝置顯示器/螢幕或虛擬實境裝置顯示器/螢幕；也可以是具有投影映射功能的顯示器本身。
為方便理解和說明前述操作內容實際應用於實施例的原理，下文將以圖2、圖3以及圖4-5依序說明。
首先，請搭配圖1-2並參照圖3。圖3為本發明船舶輔助校正方法部份實施例的運作方法流程圖。所述的方法包含提供一船舶輔助校正識系統(步驟(A))，本實施例中使用的是前述圖1的船舶輔助校正系統1。接著，藉攝影裝置11拍攝包括至少一個障礙物P2的一個場景P0，以產生基礎影像100(步驟(B))。再者，藉由處理器40分析基礎影像100及機器可讀網格，以估計關於場景P0中個別障礙物P2的一距離參數(步驟(C))。其中，所述距離參數係用於表示在機器可讀網格中每個障礙物P2與攝影設備的一個相對位置資訊，以表徵障礙物P2實際與運輸工具P1間的最短距離長度。接著，處理器40基於感測器30所產生的感測數據判定需要校正的距離參數(步驟(D))。然後，處理器40根據一校正參數校正經判定的距離參數(步驟(E))。最後，藉顯示器50顯示輔助影像200，其中所述輔助影像200具有至少一虛擬標識，用於表示正常距離參數(即不需要校正的距離參數)，或校正後距離參數(步驟(F))。需說明者， 若步驟(D)未判定任何需校正的對象(距離參數)，此時校正方法將省略步驟(E)，而直接執行步驟(F)。
其中，步驟(B)係涉及用於場景P0的選擇程序並包括步驟(B1)。步驟(B1)：藉處理器40判斷場景P0中是否具有前述的障礙物P2，若此場景P0中包含障礙物P2，則攝影裝置對此場景P0執行拍攝，以輸出前述的基礎影像100至接收器10。具體而言，於步驟(B1)之構成例中，感測器30具備光學感測元件以提供相應之檢測結果予處理器40進行場景P0中的障礙物P2判讀，例如，光學感測元件接收/感測自光源發出並由場景P0中的障礙物P2反射之光線，藉此產生可供處理器40判讀障礙物P2之存否的檢測結果。本構成例中，此光學感測元件可為習知的感光耦合元件(Charge-coupled Device,CCD)、互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconduetor,CMOS)或其他具有光感測功能的元件。
此外，步驟(B1)之其他構成例，可選擇地包括步驟(B11)，步驟(B11)：藉處理器40確定場景P0中所判讀到的障礙物P2是否滿足預設條件，即預設條件相當於判斷任一障礙物P2之影像的預期解析度是否高於一臨界值，其中所謂的預期解析度係經由攝影裝置11輸出影像中之障礙物影像(即任一障礙物P2之影像)之像素數量而定出；且所謂的臨界值係為用戶可程式化並配合處理器40中之靈敏度而被設計的一個預設像素數量閾值。因此，若處理器40判定任一障礙物P2之影像之預期解析度高於或等於所述臨界值，即可根據該場景P0來相應產生基礎影像100。而若是處理器40判定任一障礙物P2之影像之預期解析度低於臨界值，則捨棄該場景P0並重新執行步驟(B1)。
在本實施例中，步驟(C)進一步包括步驟(C1)-(C3)，係藉處理器40逐個計算基礎影像100中障礙物P2之影像的各距離參數。首先，步驟(C1)：在機器可讀網格上設定代表攝影裝置11的一第一參考點，並根據第一參考點設定於機器可讀網格中表示運輸工具P1之二相對端點的第二參考點。接著，步驟(C2)：將基礎影像100中每個障礙物P2之影像的特徵點映射為機器可讀網格的相應目標點。再執行步驟(C3)：根據個別第二參考點和第一參考點及各目標點的相隔距離實施計算並得到任一障礙物P2之影像的距離參數。上述步驟中，可以使用三角函數演算法，並重複執行步驟(C2)及(C3)直至完成全部障礙物P2之影像之距離參數的定義。一般來說，步驟(C1)-(C3)之執行亦可配合疊代計算來實現，此時步驟(C1)及(C3)可包括本領域中通常知識者可理解的步驟。
且其中，步驟(C2)所提及之特徵點係為，自多個障礙物P2之影像的邊緣端點中選取可能的至少一個鄰近點，此處鄰近點係根據處理器40模擬相應於運輸工具P1的實際端點位置而有不同距離長度的定義，以鑑別出各障礙物P2與運輸工具P1實際具有較高碰撞機率之虛擬點位置(即邊緣端點)。而運輸工具P1的實際端點位置可為預設資訊；或另可利用程式預言(如Python)配合疊代計算而獲得；同樣地，障礙物P2之影像的邊緣端點亦可以相同的方法來決定。
且其中，從前面的敘述可以理解，步驟(C2)的目標點係為個別特徵點經轉換矩陣後於機器可讀網格上呈現之相對座標。需說明的是，此時的轉換矩陣係涉及每個障礙物P2之影像於基礎影像100與機器可讀網格中的位置對應關係，且所述轉換矩陣可預存於儲存器20中，或由處理器40依據當時所獲 得的位置對應關係而產生。此外，考量有關轉換矩陣的計算僅為簡單演算法之通常應用，於此處不贅述。
其中，步驟(D)係涉及有關校正對象(即需要校正的距離參數)的判定，並進一步包括步驟(D1)-(D2)。步驟(D1)：處理器40判定感測數據之第一晃動係數是否大於第一閾值，且第二晃動係數是否大於第二閾值。其中，假定如果第一晃動係數及第二晃動係數中的任一高於(或高於等於)相應閾值(第一閾值或第二閾值)，則需要對基礎影像100的全部距離參數進行校正處理；步驟(D2)：處理器40使用第一晃動係數及第二晃動係數來提供所述校正參數。本實施例中，校正參數係藉由第一晃動係數乘上第二晃動係數而獲得；當然，本發明也可以採用特定計算模型於第一晃動係數及第二晃動係數來提供所述校正參數，並不依此為限。值得一提的是，此處的第一閾值及第二閾值皆為預定數值，僅依實際應用需求而擇定。例如，當第一晃動係數用以表示運輸工具P1於水平橫向之晃動程度時，第一閾值係根據其所配設的攝影裝置11之相應抗晃程度來決定；同樣地，當第二晃動係數用以表示運輸工具P1於水平縱向之晃動程度時，亦然。此外，第一晃動係數及第二晃動係數其中之一亦可用以表示運輸工具P1於垂直向之晃動程度，端視運輸工具P1航行水域的不同而予以定義。
且其中，當感測器30包括計時器時，可選擇性地在步驟(D1)及(D2)之間進行步驟(D3)：處理器40進一步判定第一晃動係數或第二晃動係數之持續時間量是否超過容許值，其中，假定如果持續時間量未超過容許值，則不對此次距離參數進行校正(即不續行步驟(D2))，而處理器40將發送經步驟(C)處理而生成的輔助影像200至顯示器50(即步驟(F))，以供用戶進行查看。本實施 例中，與持續時間量有關的容許值係根據攝影裝置11的自適應(Gamma)增強演算法之校正規格來決定，亦可依照實際情況(如風速、流速等環境因素)給予動態定義或為其他類型的定義型態，本發明對此並不予以限定。
於其他可能的實施例中，基於運輸工具P1所需求輸出的校正參數不同(如運輸工具P1位於海上航道時)，步驟(D1)-(D2)亦可替換為步驟(E)中的步驟(E1)-(E4)。步驟(E1)：處理器40根據預定義的標準影像，提取第一水平線，並提取基礎影像100中的第二水平線；步驟(E2)：處理器40將基礎影像100疊加至標準影像形成一疊合資料，此時疊合資料中將同時包含第一水平線及第二水平線的資訊；步驟(E3)：藉處理器40中的一模擬元件定點投射標記至第一水平線及該第二水平線，以構成具有偏距的基準標記(第一水平線)及校正標記(第二水平線)；步驟(E4)：處理器40根據所述基準標記及所述校正標記間的偏距值經計算以形成所述校正參數。
請配合圖2及圖3參照圖4及5，圖4及5為本發明船舶輔助校正方法部份實施例的輔助影像200輸出示意圖，圖4係顯示將本發明適用在近距離偵測時的輸出型態；及圖5係顯示將本發明適用在遠距離偵測時的輸出型態，其中所謂的近距離、中距離及遠距離並無特別距離值限制，僅為障礙物P2與運輸工具P1在相對距離上的一個概念表示。有鑑於本實施例係應用於水上行駛的無人載具，考量水面干擾因素甚多，因此需要適當地顯示和航道場景P0一致之影像，以適時對運輸工具P1的路徑進行調整。此外，為提升監測之效能，於本實施例的實際應用中，顯示器50係經組態來顯示具有虛擬標識的輔助影像200以回應處理器40的輸出資訊(如距離參數)。具體而言，於執行步驟(E)前，處理器40使用每個距離參數來產生相應於其的虛擬標識，以在基礎影像 100中植入虛擬標識形成輔助影像200並輸出至顯示器50。如此一來，作為碰撞機率判斷依據的距離參數將先基於虛擬標識而被識別。
圖4及圖5的虛擬標識可包括一物件資訊1011及一載具資訊1012，但並不以此為限。於其他實際應用中，所述虛擬標識亦可選擇性地更包括一格線資訊1013。其中，物件資訊1011係為任一障礙物P2與運輸工具P1之間的距離數值(cm)及任一障礙物P2相對於運輸工具P1的方向(方位)的集合，應注意的是，此處的距離數值係等同於前述的距離參數之值；載具資訊1012係為運輸工具P1即時船速的速度數值(knot)；格線資訊1013係為所述機器可讀網格以線形式表示的一可視形態。
除此之外，虛擬標識亦可以選擇性地包括以線性表示之其他資訊。例如，感測器30之偵測範圍或障礙物P2之輪廓。其中為有效辨識所述基礎資料中被植入的虛擬標識，本發明於實際應用時，可進一步於執行步驟(E)前，利用處理器40將物件資訊1011、載具資訊1012及格線資訊1013依照屬性給予填色，例如，物件資訊1011中近距離者(即距離數值較小者)給予紅色以提高警示效果；同樣地，格線資訊1013中表徵為碰撞邊界者(即運輸工具P1之二相對端點之線性延伸部位)則給予黃色；並依此類推。此時，所謂的屬性可為物件資訊1011、載具資訊1012及格線資訊1013的進一步定義，例如：物件資訊1011的近距離、遠距離、或載具資訊1012的怠速、超速，亦可為其他類型的定義型態，本發明對此並不予以限定。且其中，該屬性與該填色的對應關係可以是預設的一個標準查找表；或僅依實際操作需求隨機給予不相同的填色表示(即一個屬性對應一個填色)。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍的基礎上，當可作各種的更動和潤飾。因此，本發明的保護範圍當視後附的申請專利範圍所界定者為準。
(A)~(F):步驟

Claims (8)

  1. 一種船舶輔助校正系統，包括：
    一接收器，用以接收至少一攝影裝置擷取的至少一基礎影像，該至少一攝影裝置配置於一運輸工具上；
    一儲存器，用以儲存至少一機器可讀網格；
    至少一感測器，用以檢測該運輸工具之狀態並產生至少一感測數據；
    一處理器，連接該接收器、該儲存器及該至少一感測器，係被配置為：基於該至少一基礎影像及該至少一機器可讀網格產生至少一距離參數，並根據該至少一感測數據判定是否需要調整該距離參數；以及
    一顯示器，連接該處理器，係被配置以呈現至少一輔助影像。
  2. 如請求項1所述之船舶輔助校正系統，其中該至少一感測器為傾斜感測器、加速度感測器或其組合。
  3. 一種船舶輔助校正方法，包括以下步驟：
    (A)提供如請求項1所述之船舶輔助校正系統；
    (B)藉該至少一攝影裝置拍攝包括至少一障礙物之場景，以產生該少一基礎影像；
    (C)藉由該處理器分析該至少一基礎影像及該至少一機器可讀網格，以估計關於該場景中任一障礙物之一距離參數；
    (D)該處理器基於該至少一感測器所產生之感測數據判定需要校正之該至少一距離參數；
    (E)該處理器根據一校正參數校正經判定之該至少一距離參數；以及
    (F)藉該顯示器顯示該至少一輔助影像，其中該至少一輔助影像具有至少一虛擬標識，用於表示不需要校正的該至少一距離參數，或校正後的該至少一距離參數。
  4. 如請求項3所述之船舶輔助校正方法，其中步驟(B)包括：(B1)藉該處理器判斷該場景中是否具有該至少一障礙物，若該場景中包括該至少一障礙物，則該攝影裝置對該場景進行拍攝，並輸出該至少一基礎影像至該接收器。
  5. 如請求項4所述之船舶輔助校正方法，其中步驟(B1)進一步包括：(B11)藉該處理器確定該場景中所判讀到的該至少一障礙物是否滿足一預設條件，其中，假定如果該至少一障礙物滿足該預設條件，則確認可根據該場景來產生相應的該至少一基礎影像。
  6. 如請求項3所述之船舶輔助校正方法，其中步驟(C)包括以該處理器來執行步驟(C1)至(C3)：
    (C1)在該至少一機器可讀網格上設定代表該攝影裝置之一第一參考點，並根據該第一參考點設定於該至少一機器可讀網格中表示該運輸工具之二相對端點之一第二參考點；
    (C2)將該至少一基礎影像中該至少一障礙物之影像之特徵點映射為該至少一機器可讀網格之相應之目標點；以及
    (C3)根據該至少一第二參考點和該至少一第一參考點及該至少一目標點之相隔距離實施計算，並得到該至少一障礙物之影像之距離參數，並重複執行步驟(C2)及(C3)直至完成全部障礙物之影像之距離參數的定義。
  7. 如請求項3所述之船舶輔助校正方法，其中步驟(D)包括：
    (D1)該處理器判定該至少一感測數據之一第一晃動係數是否大於一第一閾值，且一第二晃動係數是否大於一第二閾值，其中，假定如果該第一晃動係數及該第二晃動係數中的任一高於相應閾值，則需要對該至少一基礎影像之全部距離參數進行校正處理；以及
    (D2)該處理器使用該第一晃動係數及該第二晃動係數來提供該校正參數。
  8. 如請求項7所述之船舶輔助校正方法，其中步驟(D)可選擇性地在步驟(D1)及(D2)之間進行步驟(D3)：該處理器根據該至少一感測數據判定該第一晃動係數或該第二晃動係數之持續時間量是否超過一容許值，其中，假定如果該持續時間量未超過該容許值，則不對該至少一距離參數進行校正，並接續執行步驟(F)。
TW109142731A 2020-12-04 2020-12-04 船舶輔助校正系統及其運作方法 TWI793477B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW109142731A TWI793477B (zh) 2020-12-04 2020-12-04 船舶輔助校正系統及其運作方法
CN202110546074.5A CN114593732A (zh) 2020-12-04 2021-05-19 船舶辅助校正系统及其运作方法
JP2021089771A JP7171825B2 (ja) 2020-12-04 2021-05-28 船舶の補助補正システム及びその運用方法
KR1020210076482A KR102534930B1 (ko) 2020-12-04 2021-06-14 선박 보조 교정 시스템 및 그 운용 방법
US17/405,976 US11892854B2 (en) 2020-12-04 2021-08-18 Assistance system for correcting vessel path and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109142731A TWI793477B (zh) 2020-12-04 2020-12-04 船舶輔助校正系統及其運作方法

Publications (2)

Publication Number Publication Date
TW202223843A true TW202223843A (zh) 2022-06-16
TWI793477B TWI793477B (zh) 2023-02-21

Family

ID=81803253

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142731A TWI793477B (zh) 2020-12-04 2020-12-04 船舶輔助校正系統及其運作方法

Country Status (5)

Country Link
US (1) US11892854B2 (zh)
JP (1) JP7171825B2 (zh)
KR (1) KR102534930B1 (zh)
CN (1) CN114593732A (zh)
TW (1) TWI793477B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5006988A (en) * 1989-04-28 1991-04-09 University Of Michigan Obstacle-avoiding navigation system
US6469664B1 (en) * 1999-10-05 2002-10-22 Honeywell International Inc. Method, apparatus, and computer program products for alerting surface vessels to hazardous conditions
JP4445313B2 (ja) * 2004-04-01 2010-04-07 古野電気株式会社 船舶航行支援装置
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
FR2893573A1 (fr) * 2005-11-24 2007-05-25 Valeo Vision Sa Procede de deection d'obstacles mis en oeuvre au sein d'un vehicule automobile.
JP4895313B2 (ja) * 2006-04-28 2012-03-14 パナソニック株式会社 ナビゲーション装置およびその方法
TW201025152A (en) * 2008-12-31 2010-07-01 Icp Electronics Inc Method for fast locating pattern
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
KR101113312B1 (ko) 2009-12-10 2012-03-13 이성종 선박 충돌방지 시스템 및 선박 충돌방지 방법
JP2013092820A (ja) * 2011-10-24 2013-05-16 Toshiba Alpine Automotive Technology Corp 距離推定装置
KR20130053277A (ko) * 2011-11-15 2013-05-23 현대자동차주식회사 그리드를 이용한 영상내 거리 표시 장치
CN103996212B (zh) * 2013-02-18 2017-11-14 威达电股份有限公司 自动描绘对象边缘走向之方法
KR101289349B1 (ko) * 2013-03-11 2013-07-29 (주)동하테크 해양 네비게이션시스템
CN105241457A (zh) * 2015-08-10 2016-01-13 武汉理工大学 一种用于船舶驾驶的三维辅助导航系统建立方法
KR101860992B1 (ko) 2016-02-04 2018-06-01 (주) 지씨에스씨 선박의 표준항로 생성 및 의사결정 지원 시스템
JP2017178242A (ja) 2016-03-31 2017-10-05 株式会社 神崎高級工機製作所 操船システム及び船舶
WO2017220169A1 (en) * 2016-06-24 2017-12-28 Swiss Reinsurance Company Ltd. Autonomous or partially autonomous motor vehicles with automated risk-controlled systems and corresponding method thereof
KR101880437B1 (ko) * 2016-10-28 2018-08-17 한국해양과학기술원 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
US10579065B2 (en) * 2016-11-23 2020-03-03 Baidu Usa Llc Algorithm and infrastructure for robust and efficient vehicle localization
KR101805564B1 (ko) 2017-06-12 2018-01-18 (주)지인테크 선박 충돌 방지용 경보 시스템 및 방법
CN111373283A (zh) * 2017-11-17 2020-07-03 Abb瑞士股份有限公司 对海洋船舶的周围环境的实时监测
JP6894356B2 (ja) 2017-11-27 2021-06-30 五洋建設株式会社 船舶追尾システム
DE102017130566B4 (de) * 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
EP3530521B1 (en) * 2018-02-22 2020-07-29 Continental Automotive GmbH Driver assistance method and apparatus
US11307413B2 (en) * 2018-03-01 2022-04-19 Google Llc Systems, devices, and methods for eyebox expansion in wearable heads-up display
DE102018116371B4 (de) * 2018-07-06 2020-08-06 Sick Ag 3D-Sensor und Verfahren zum Überwachen eines Überwachungsbereichs
KR102005560B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 객체 정보 획득 방법 및 이를 수행하는 장치
US11451688B2 (en) * 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
US11530921B2 (en) * 2018-09-28 2022-12-20 Intel Corporation Method of generating a collision free path of travel and computing system
JP7077910B2 (ja) * 2018-10-22 2022-05-31 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法
KR102211241B1 (ko) * 2018-12-10 2021-02-03 (주)버틀러네트워크 선박용 장애물 거리측정 시스템 및 그 방법
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
TWI714040B (zh) * 2019-03-27 2020-12-21 財團法人船舶暨海洋產業研發中心 船舶導航系統及其導航方法
WO2020247265A1 (en) * 2019-06-03 2020-12-10 Nvidia Corporation Multi-object tracking using correlation filters in video analytics applications
CN110580043B (zh) * 2019-08-12 2020-09-08 中国科学院声学研究所 一种基于图像目标识别的水面目标规避方法
TWI792108B (zh) * 2020-12-02 2023-02-11 財團法人船舶暨海洋產業研發中心 船舶內河航運光達辨識系統及其運作方法
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法

Also Published As

Publication number Publication date
CN114593732A (zh) 2022-06-07
JP7171825B2 (ja) 2022-11-15
KR102534930B1 (ko) 2023-05-26
TWI793477B (zh) 2023-02-21
US20220179431A1 (en) 2022-06-09
KR20220079406A (ko) 2022-06-13
US11892854B2 (en) 2024-02-06
JP2022089743A (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
US11138750B2 (en) Distance estimating method and apparatus
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
US10726616B2 (en) System and method for processing captured images
US9424649B1 (en) Moving body position estimation device and moving body position estimation method
EP3032818B1 (en) Image processing device
US11488354B2 (en) Information processing apparatus and information processing method
KR20200095888A (ko) 무인 선박 시스템의 상황인지 방법 및 장치
CN114581675A (zh) 一种基于机器视觉与多源数据融合的海上船舶检测方法
KR20230074438A (ko) 선박 및 항만 모니터링 장치 및 방법
TWI793477B (zh) 船舶輔助校正系統及其運作方法
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
US11619495B2 (en) Position estimating apparatus and position estimating method
KR20200070761A (ko) 선박용 장애물 거리측정 시스템 및 그 방법
CN110211190B (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
JP7174111B2 (ja) 内陸水運船舶ライダー識別システム及びその運用方法
CN114943836A (zh) 挂车角度检测方法、装置及电子设备
US20220018658A1 (en) Measuring system, measuring method, and measuring program
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
KR102674613B1 (ko) 차로 결정 방법 및 차로 결정 장치
US20220245846A1 (en) Object distance measurement method and system based on camera
KR20230064040A (ko) 차로 결정 방법 및 차로 결정 장치
KR20230094853A (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
KR20240030098A (ko) 차량 및 차량의 제어 방법