TWI846256B - 取像裝置安裝角度檢測系統及其使用方法 - Google Patents
取像裝置安裝角度檢測系統及其使用方法 Download PDFInfo
- Publication number
- TWI846256B TWI846256B TW111150986A TW111150986A TWI846256B TW I846256 B TWI846256 B TW I846256B TW 111150986 A TW111150986 A TW 111150986A TW 111150986 A TW111150986 A TW 111150986A TW I846256 B TWI846256 B TW I846256B
- Authority
- TW
- Taiwan
- Prior art keywords
- imaging device
- detection system
- angle detection
- installation angle
- vanishing point
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 116
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000009434 installation Methods 0.000 title claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000003909 pattern recognition Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Abstract
本發明提供一取像裝置安裝角度檢測系統，包括：一取像裝置，
其安裝於一載體；一控制裝置，其包括一圖像判別模組；及一使用者介面，其可顯示該取像裝置訊息；其中，當該載體移動時由該取像裝置於一間隔時間取得複數個圖像，由該圖像判別模組選取該複數個圖像中之一特徵物，依照該特徵物在不同該複數圖像中的位置，計算出該特徵物之一光流，依照該光流延伸最終交點的集合取得一候選消失點，由該候選消失點的聚集取得一確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常，及鏡頭畫面是否被遮擋。
Description
本發明提供一種相機安裝角度檢測系統，其特別關於一種車用相機安裝角度檢測系統及其使用方法。
取像裝置架設在車輛上可作為行車紀錄器使用，目前已經大量被使用在車輛上記錄行車時的周遭影像，主要是紀錄車輛前方、車輛後方及兩側。導航的過程是一個通過監視和確認車輛的位置、速度等資訊，並於目標點比對進而指車輛到達指定點的過程。廣義上來說，一切與確定位置與方向有關的科學和技術都可以歸於導航的範疇。
行車紀錄器或行車導航系統仰賴人工智能功能，高品質的圖像功能在人工智能扮演重要的角色，若是取像裝置傾斜造成取像異常，圖像中地面或天空占比過高，或取像裝置遭遮擋造成圖像異常，則可能對人工智能功能產生很大的影響。為了實時檢查取像裝置之圖像狀態，需要有一種檢測攝像頭角度的算法，並構建了一個系統來在攝像頭傾斜或被遮擋時通知用戶。
一般汽機車駕駛在車輛行進過程中，時常遇到路面跳動或是緊急剎車、急踩油門的情況，容易導致行車紀錄之取像裝置之位置或攝像角度因碰撞或外力而歪斜，亦可能因安裝底座的螺絲鬆脫而導致取像裝置之位置異常，或者因人為因素而造成取像裝置之攝像頭被阻擋或拍攝角度歪斜，因此，在行車的過程中確保行車紀錄器能正常地運作是需要解決的問題。
因此，目前已有技術著眼在偵測取像裝置之位置或角度的異常。美國專利第20190325585A1號揭露了透過圖像中物體之光流來檢測物
體運動方向，進而推算取像裝置是否安裝異常，然而並未提供利用消失點作為取像鏡頭角度之判斷依據。日本專利第JP2021086257A號公開了一種評估單元，該評估單元基於在提取區域中獲得的光流來評估相機狀態，其亦包含圖像處理裝置，可透過評估照相機狀態來檢測照相機的安裝狀態的變化，但本案亦未有提供利用消失點來做計算與校正。
在非專利參考文獻方面，有相關技術提供做為相機視角方向之校準，該校準從包含當車輛發生衝擊等狀況，相機之校準數據是基於收集通過相機鏡頭的光流量來計算，並未使用消失點作為依據。
本案使用消失點作為依據，並以候選消失點的聚集，透過時間投票策略進一步去除環境特徵中的雜訊，藉此達到更加穩定的判斷結果，且此方法除了判斷取像裝置之安裝角度外，更可同時判斷取像裝置是否遭遮擋。
有鑑於此，本發明提供一取像裝置安裝角度檢測系統，包括：一取像裝置，其安裝於一載體；一控制裝置，其包括一圖像判別模組；及一使用者介面，其可顯示該取像裝置訊息；其中，當該載體移動時由該取像裝置於一間隔時間取得複數個圖像，由該圖像判別模組選取該複數個圖像中之一特徵物，依照該特徵物在不同該複數圖像中的位置，計算出該特徵物之一光流，依照該光流延伸最終交點的集合取得一候選消失點，由該候選消失點的聚集取得一確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常。
本發明又提供一取像裝置安裝角度檢測系統之使用方法，其包含：(a)安裝一取像裝置安裝角度檢測系統於一移動載體，其中該取像裝置安裝角度檢測系統包含：一取像裝置，其安裝於一載體；一控制裝置，其包括一圖像判別模組；及一使用者介面，其可顯示該取像裝置取像裝置訊息；其中，當該載體移動時由該取像裝置於一間隔時間取得複數個圖像，
由該圖像判別模組選取該複數個圖像中之一特徵物，依照該特徵物在不同該複數圖像中的位置，計算出該特徵物之一光流，依照該光流延伸最終交點的集合取得一候選消失點，由該候選消失點的聚集取得一確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常；
(b)當載體移動時，該取像裝置檢測系統會自動進行偵測，判斷該取像裝置之安裝角度是否異常歪斜或遭遮擋，若判斷為異常時，可發送一識別信號至該使用者介面，使用者可藉此調整該取像裝置之安裝方式以恢復正常。
較佳地，本發明之取像裝置於一間隔時間取得複數個圖像，該間隔時間可為任何適用之間隔時間，取決於取像系統之要求或硬件能力，其可為400至1,000毫秒；包含，但不限於，200至1000毫秒，於最佳實施例中，此間隔時間為300-700毫秒。
較佳地，本發明圖樣判別模組將取像裝置所取得的圖像區分為複數個水平區域，至少包含一中央區域、一上方區域，其係位於該中央區域上方，與一下方區域，其系位於該中央區域上方。
較佳地，本發明判定該取像裝置之鏡頭角度是否正常係由該圖樣判別模組比對該確認消失點位於該複數個水平區域的位置，以評估取像裝置是否異常。於最佳實施例中，該取像裝置之鏡頭角度異常判定包含：當該確認消失點之位置位於複數個水平區域之該上方區域，則該取像裝置之鏡頭角度過低；當該確認消失點之位置位於複數個水平區域之該下方區域，則取像裝置之鏡頭角度過高，此方式亦可使用垂直區域劃分，藉以判斷取像裝置之鏡頭角度是否過度偏左或偏右。
較佳地，本發明之特徵物為可為任何顯著之道路標的物，其包含任何移動或不可移動之顯著標的物，包含，但不限於：車子、樹木、路牌或招牌。
較佳地，本發明由該候選消失點的聚集取得一確認消失點之位置過程，進一步包含一去雜訊步驟，該去雜訊步驟係透過一時間投票策略
去決定不同時間所取得的該候選消失點是否該被保留。
較佳地，本發明取像裝置安裝角度檢測系統中，若圖像全部或部分區域呈黑色或暗色，則表示取像裝置之鏡頭被遮擋。
較佳地，本發明取像裝置安裝角度檢測系統會在該載體移動時啟動。
較佳地，本發明取像裝置安裝角度檢測系統中，其進一步包含一網路傳輸模組，將該候選消失點資訊傳輸至一遠端資料庫。
較佳地，本發明取像裝置安裝角度檢測系統之使用方法中，當該取像裝置之鏡頭角度被判斷為異常時，可發送一識別信號至該使用者介面
綜上所述，本發明提供之取像裝置檢測系統及其使用方法，可針對多種使用場景來檢測車輛中的取像裝置之狀態，當人工智能算法使用安裝不當、取像裝置之螺絲或底座鬆動、攝像機角度狀態異常時，即時提醒使用者。當每次啟動或重啟取像裝置之應用程式，以及車輛按照人工智能的算法，保持足夠長的移動時間時，都會自動更新攝像頭角度狀態，並提供訊息給使用者。並且，當應用程式啟動或重啟時，本發明圖像判別模組可基於GPS判斷車輛在移動的採樣間隔的圖像進行判斷，計算圖像中特徵點的光流，並根據這些光流的交集確定消失點，該消失點的位置用於判斷取像裝置安裝角度是否正常，若為異常，使用者可調整該取像裝置之位置或角度直到正常。
10:取像裝置
11:載體
20:控制裝置
21:圖像判別模組
30:使用者介面
100:取像裝置安裝角度檢測系統
第一圖為本發明取像裝置檢測系統之示意圖。
第二A圖顯示實施例中特徵物物體之光流。
第二B圖顯示實施例中之消失點。
第三A圖顯示當取像裝置之角度為正常時之示例圖。
第三B圖顯示當取取像裝置聚焦在較低的角度之示例圖。
第四圖顯示表一中相機各狀態之示例性圖示。
應當理解的是，前面的一般描述與下面的詳細描述都是示例性及說明性的，並非用以限制本發明所請之申請專利範圍。本發明的一個或多個實施例的某些細節闡述於以下說明中。從以下代表性實施例之非窮舉的列表中，亦從所附的申請專利範圍中，本發明的其它特徵或優點將是顯而易見的。
除非另有定義，本文使用的所有技術和科學術語具有與本發明所屬領域中的技術人員所通常理解相同的含義。
如本文所用，冠詞「一」、「一個」以及「任何」是指一個或多於一個(即至少一個)的物品的文法物品。例如，「一個元件」意指一個元件或多於一個元件。
本文所使用的「約」、「大約」或「近乎」一詞實質上代表所述之數值或範圍位於20%以內，較佳為於10%以內，以及更佳者為於5%以內。於文中所提供之數字化的量為近似值，意旨若術語「約」、「大約」或「近乎」沒有被使用時亦可被推得。
本發明提供一種取像裝置安裝角度檢測系統及其使用方法，其可偵測所安裝之取像裝置之角度狀態及其位置，其如第一圖所示，本發明取像裝置安裝角度檢測系統100，包括：取像裝置10，其安裝於載體11上；控制裝置20，其包括圖像判別模組21；及使用者介面30，其可顯示該取像裝置10之訊息；其中，當該載體11移動時由該取像裝置10於間隔時間取得複數個圖像，由該圖像判別模組21選取該複數個圖像中之特徵物，依照該特徵物在不同該複數圖像中的位置，計算出該特徵物之光流，依照該光流延伸最終交點的集合取得候選消失點，由該候選消失點的聚集取得確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常。
實施例一、本發明取像裝置檢測系統
本發明取像裝置安裝角度檢測系統及其使用方法具體如本實施例所述，取像裝置安裝於一行進車輛上，在時間間隔400-600ms區間取像，其擷取如第二A圖所示，圖像判別模組可從車輛的角度顯示圖像中特徵物的相對運動，通過比較前後兩個圖像來計算該特徵物之光流。如第二B圖所示將位移線從每一端延伸，這些線最終會收斂到一個點，此即為一消失點，由一段時間內累積之消失點的聚集取得確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常。
為了減少某些時間點的錯誤計算並平衡噪聲數據，本發明引入了一種時間投票策略來聚合連續時間中的消失點。根據實施例，可以組合不同的投票策略和加權技術來滿足各種需求，用於投票的圖樣也可能因設計要求而異。例如，本公開的實施例可以使用多數投票，且當場景發生顯著變化時切換到最新數據的加權策略。
根據前述投票結果確定取像裝置之狀態，具體而言，投票結果將與一組與相應異常情況相關的區域進行比較。根據感興趣的異常情況，可以使用不同粒度級別的區域。其可以採用具有三個水平區域的矩形，用於查看取像裝置是否有任何縱向傾斜，圖樣判別模組將取像裝置所取得的圖像區分為複數個水平區域，至少包含一中央區域、一上方區域，其係位於該中央區域上方，與一下方區域，其系位於該中央區域上方，當取像裝置之角度為正常時，如第三A圖所示，大多數圖像中的消失點將集中在視圖的中心，表明取像裝置瞄準的方向與車輛並與地面平行。亦可以採用垂直區域用於判斷取像裝置是否有橫向傾斜。
當該確認消失點之位置位於複數個水平區域之該上方區域，則該取像裝置之鏡頭角度過低；當該確認消失點之位置位於複數個水平區域之該下方區域，則取像裝置之鏡頭角度過高。如第三B圖所示，當取像裝置聚焦在較低的角度時，會導致消失點相對向上移動，對該確認消失點位
於該複數個水平區域的位置，以評估取像裝置是否異常。
之取像裝置安裝角度檢測系統，其中因此大部分消失點將位於上部區域；相反地，較高的角度會導致消失點位於較低的區域。除了消失點位置提供的信息外，消失點的存在也有助於判斷取像裝置狀態，例如，當沒有可用的消失點時，它可能表明取像裝置被意外或故意遮擋。
實施例二、相機角度狀態之顯示數值
本發明提供一種相機安裝角度檢測系統及其使用方法，其可偵測所安裝之相機角度狀態及位置，並於一使用者介面顯示相機角度的狀態，所顯示為一數值，該數值可為-1、0、1、2、3、4，其數值所代表之意義可參考表一。其具體圖示如第四圖所示，其中各圖示分別表示之意涵如下表所示，初始開機默認之顯示值為-1，相機正常之顯示值為0，相機角度過低之顯示值為1，相機角度過高之顯示值為2，相機被阻擋之顯示值為3，未能明確定義相機狀態之顯示值為4。
實施例三、本發明取像裝置檢測系統之應用場景
根據前面實施例所述，此相機安裝角度資訊可進一步在不同的應用場景中使用。例如，當判斷出相機角度歪斜時，該設備可向駕駛或車隊管理者發出即時警示，如果相機具備自動調整角度之功能，也可以藉此資訊來調整角度。
另一方面，若判斷出相機遭遮擋，本發明同樣可以發出即時警示，例如在車隊的使用情境下，可能是駕駛人為遮擋相機，此警示可讓車隊管理者了解此一駕駛行為。
Claims (18)
- 一取像裝置安裝角度檢測系統，包括：一取像裝置，其安裝於一載體；一控制裝置，其包括一圖像判別模組；及一使用者介面，其可顯示該取像裝置之訊息；其中，當該載體移動時由該取像裝置於一間隔時間取得複數個圖像，由該圖像判別模組選取該複數個圖像中之一特徵物，依照該特徵物在不同該複數圖像中的位置，計算出該特徵物之一光流，依照該光流延伸最終交點的集合取得一候選消失點，由該候選消失點的聚集取得一確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常，其中判定該取像裝置之鏡頭角度是否正常係由該圖樣判別模組比對該確認消失點位於該複數個水平區域的位置，以評估取像裝置是否異常。
- 如請求項1所述之取像裝置安裝角度檢測系統，其中該間隔時間為200-1000毫秒。
- 如請求項1所述之取像裝置安裝角度檢測系統，其中該圖樣判別模組將取像裝置所取得的圖像區分為複數個水平區域，至少包含一中央區域、一上方區域，其係位於該中央區域上方，與一下方區域，其系位於該中央區域上方。
- 如請求項1所述之取像裝置安裝角度檢測系統，其中該取像裝置之鏡頭角度異常判定包含：當該確認消失點之位置位於複數個水平區域之該上方區域，則該取像裝置之鏡頭角度過低；當該確認消失點之位置位於複數個水平區域之該下方區域，則取像裝置之鏡頭角度過高。
- 如請求項1所述之取像裝置安裝角度檢測系統，其中由該候選消失點的聚集取得一確認消失點之位置過程，進一步包含一去雜訊步 驟，該去雜訊步驟係透過一時間投票策略去決定不同時間所取得的該候選消失點是否該被保留。
- 如請求項1所述之取像裝置安裝角度檢測系統，其中當該複數個圖像呈黑色則表示取像裝置之鏡頭被遮住。
- 如請求項1所述之取像裝置安裝角度檢測系統，該取像裝置安裝角度檢測系統會在該載體移動時啟動。
- 如請求項1所述之取像裝置安裝角度檢測系統，進一步包含一網路傳輸模組，將該候選消失點資訊傳輸至一遠端資料庫。
- 如請求項1所述之取像裝置安裝角度檢測系統，當該取像裝置之位置被判斷為異常時，可發送一識別信號至該使用者介面，該使用者可藉此調整該取像裝置之位置或角度。
- 一取像裝置安裝角度檢測系統之使用方法，其包含：(a)安裝一取像裝置安裝角度檢測系統於一移動載體，其中該取像裝置安裝角度檢測系統包含：一取像裝置，其安裝於一載體；一控制裝置，其包括一圖像判別模組；及一使用者介面，其可顯示該取像裝置之訊息；其中，當該載體移動時由該取像裝置於一間隔時間取得複數個圖像，由該圖像判別模組選取該複數個圖像中之一特徵物，依照該特徵物在不同該複數圖像中的位置，計算出該特徵物之一光流，依照該光流延伸最終交點的集合取得一候選消失點，由該候選消失點的聚集取得一確認消失點之位置，再由該確認消失點位置判定該取像裝置之鏡頭角度是否正常；當載體移動時，該取像裝置檢測系統會自動進行偵測，判斷該取像裝置之安裝角度是否異常歪斜或遭遮擋，若判斷為異常時，可發送一識別信號至該使用者介面，使用者可藉此調整該取像裝置之安裝方式以恢復正常，其中判定該取像裝置之鏡頭角度是否正常係由該圖樣判別模組比對該確認消失點位於該複數個水平區域的位置，以評估取像裝置是否異常。
- 如請求項10所述之取像裝置安裝角度檢測系統之使用方法，其中該間隔時間為200-1000毫秒。
- 如請求項10所述之取像裝置安裝角度檢測系統之使用方法，其中該圖樣判別模組將取像裝置所取得的圖像區分為複數個水平區域，至少包含一中央區域、一上方區域，其係位於該中央區域上方，與一下方區域，其系位於該中央區域上方。
- 如請求項10所述之取像裝置安裝角度檢測系統，其中該取像裝置之鏡頭角度異常判定包含：當該確認消失點之位置位於複數個水平區域之該上方區域，則該取像裝置之鏡頭角度過低；當該確認消失點之位置位於複數個水平區域之該下方區域，則取像裝置之鏡頭角度過高。
- 如請求項10所述之取像裝置安裝角度檢測系統，其中由該候選消失點的聚集取得一確認消失點之位置過程，進一步包含一去雜訊步驟，該去雜訊步驟係透過一時間投票策略去決定不同時間所取得的該候選消失點是否該被保留。
- 如請求項10所述之取像裝置安裝角度檢測系統之使用方法，其中當該複數個圖像呈黑色則表示取像裝置之鏡頭被遮住。
- 如請求項10所述之取像裝置安裝角度檢測系統之使用方法，該取像裝置安裝角度檢測系統會在該載體移動時啟動。
- 如請求項10所述之取像裝置安裝角度檢測系統之使用方法，進一步包含一網路傳輸模組，將該候選消失點資訊傳輸至一遠端資料庫。
- 如請求項10所述之取像裝置安裝角度檢測系統之使用方法，當該取像裝置之位置被判斷為異常時，可發送一識別信號至該使用者介面，該使用者可藉此調整該取像裝置之位置或角度。
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI846256B true TWI846256B (zh) | 2024-06-21 |
| TW202428034A TW202428034A (zh) | 2024-07-01 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190325585A1 (en) | 2018-04-23 | 2019-10-24 | Denso Ten Limited | Movement information estimation device, abnormality detection device, and abnormality detection method |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190325585A1 (en) | 2018-04-23 | 2019-10-24 | Denso Ten Limited | Movement information estimation device, abnormality detection device, and abnormality detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220245953A1 (en) | Vehicular imaging system | |
| JP5171629B2 (ja) | 走行情報提供装置 | |
| US11022795B2 (en) | Vehicle display control device | |
| US7619668B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
| US9460601B2 (en) | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance | |
| US7710246B2 (en) | Vehicle driving assist system | |
| JP5421072B2 (ja) | 接近物体検知システム | |
| US20060115121A1 (en) | Abnormality detecting apparatus for imaging apparatus | |
| WO2010067770A1 (ja) | 立体物出現検知装置 | |
| JP4654723B2 (ja) | 映像表示装置及び映像表示方法 | |
| JP2014515847A (ja) | 運転者覚醒度判定システム及び方法 | |
| US20180229654A1 (en) | Sensing application use while driving | |
| EP2487907B1 (en) | Vehicle peripheral monitoring device | |
| KR101986734B1 (ko) | 차량 운전 보조 장치 및 이의 안전 운전 유도 방법 | |
| JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
| JPWO2012140976A1 (ja) | 走行支援装置及びその雨滴検出方法 | |
| US20220169257A1 (en) | Display control device, display control method, and storage medium storing display control program | |
| CN112954486B (zh) | 基于视线注意力的车载视频留痕处理方法 | |
| TWI846256B (zh) | 取像裝置安裝角度檢測系統及其使用方法 | |
| JP7275586B2 (ja) | 映像処理装置および映像処理方法 | |
| JP2019114104A (ja) | 見落し検知装置、見落し検知方法、およびプログラム | |
| JP2015211741A (ja) | 視線状態判定装置、視線状態判定プログラム及び視線状態判定方法 | |
| KR20120136156A (ko) | 차량 인식 방법 및 장치 | |
| JP4281405B2 (ja) | 確認動作検出装置及び警報システム | |
| JP6649063B2 (ja) | 車両後方表示装置及び表示制御装置 |