TWI691939B

TWI691939B - 用以監視熱源的雙視角影像裝置及其影像處理方法

Info

Publication number: TWI691939B
Application number: TW107136247A
Authority: TW
Inventors: 雲泰傑; 柯呈達; 林克臻; 陳志仁
Original assignee: 財團法人工業技術研究院
Priority date: 2018-10-15
Filing date: 2018-10-15
Publication date: 2020-04-21
Also published as: US11064137B2; TW202016891A; CN111050115A; CN111050115B; US20200120290A1

Abstract

一種用以監視熱源的雙視角影像裝置，包括一第一熱影像感測器、一第二熱影像感測器、一驅動器以及一處理器。第一熱影像感測器用以擷取第一視角內具有一熱源的一第一熱影像。第二熱影像感測器用以擷取第二視角內具有熱源的一第二熱影像，第二視角小於第一視角，其中第一熱影像中熱源所佔的像素點少於第二熱影像中熱源所佔的像素點。驅動器用以驅動第一熱影像感測器及第二熱影像感測器，以追蹤熱源，並使熱源位於第一視角內及第二視角內。處理器用以合併第一熱影像及第二熱影像為一雙視角影像，並輸出具有熱源的雙視角影像。

Description

用以監視熱源的雙視角影像裝置及其影像處理方法

本發明是有關於一種用以監視熱源的雙視角影像裝置及其影像處理方法。

隨著安全意識日漸提升，安全監視應用也愈來愈受到重視。為了避免監視區域產生死角，通常會裝設多台監視器或攝影機，以針對不同的區域進行同步監視。

使用者可針對監視區域中多個關注區域裝設監視器，以使各個關注區域的影像可回傳至中央控制台，再由控制人員進行全面的監控，以確保無監視死角產生。然而，目前的監視器僅有單一鏡頭及單一視角，無法具有同時對同一監視區域進行多影像偵測的功能與全天候的監測。尤其是，當有夜晚異常物體入侵監視區域時，只能靠不同地方的監視器來判斷影像中的入侵者，無法對影像中的入侵者進行細部追蹤或放大局部影像，以致於缺少更有效及更清晰的影像可供判斷。

本發明係有關於一種用以監視熱源的雙視角影像裝置，可針對監視區域內的熱源進行追蹤並提供雙視角熱影像，以供使用者觀看及判斷。

根據本發明之一方面，提出一種用以監視熱源的雙視角影像裝置，包括一第一熱影像感測器、一第二熱影像感測器、一驅動器以及一處理器。第一熱影像感測器具有一第一視角，第一熱影像感測器用以擷取第一視角內具有一熱源的一第一熱影像。第二熱影像感測器具有一第二視角，第二視角小於第一視角，第二熱影像感測器用以擷取第二視角內具有熱源的一第二熱影像，其中第一熱影像中熱源所佔的像素點少於第二熱影像中熱源所佔的像素點。驅動器用以驅動第一熱影像感測器及第二熱影像感測器，以追蹤熱源，並使熱源位於第一視角內及第二視角內。處理器用以合併第一熱影像及第二熱影像為一雙視角影像，並輸出具有熱源的雙視角影像。

根據本發明之一方面，提出一種用以監視熱源的雙視角影像處理方法，包括下列步驟。以一第一熱影像感測器偵測一熱源，第一熱影像感測器具有一第一視角，第一熱影像感測器擷取第一視角內具有熱源的一第一熱影像。以一第二熱影像感測器偵測熱源，第二熱影像感測器具有一第二視角，第二視角小於第一視角，第二熱影像感測器擷取第二視角內具有熱源的一第二熱影像，其中第一熱影像中熱源所佔的像素點少於第二熱影像中熱源所佔的像素點。驅動第一熱影像感測器及第二熱影像感測器，以追蹤熱源，並使熱源位於第一視角內及第二視角內。合併第一熱影像及第二熱影像為一雙視角影像，並輸出具有熱源的雙視角影像。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

以下係提出實施例進行詳細說明，實施例僅用以作為範例說明，並非用以限縮本發明欲保護之範圍。以下是以相同/類似的符號表示相同/類似的元件做說明。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考所附圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。

依照本發明之一實施例，提出一種用以監視熱源的雙視角影像裝置，具有不同視角的二個熱影像感測器，可針對監視區域內的一目標熱源（例如人或動物）進行監視。當目標熱源位於大視角的可視範圍內時，同步移動雙視角的熱影像感測器或移動小視角的影像感測器以追蹤熱源，使目標熱源同時位於大視角與小視角的可視範圍內。接著，利用處理器將具有熱源的雙視角影像合併為一並輸出至一顯示裝置，以供人員判斷熱源所在位置或由監視系統發出一異常警示通知人員處理。

請參照第1圖，用以監視熱源的雙視角影像裝置100包括一第一熱影像感測器110、一第二熱影像感測器120、一驅動器130、一處理器140以及一顯示裝置150。第一熱影像感測器110具有一第一視角θ1（或可視範圍），第二熱影像感測器120具有一第二視角θ2（或可視範圍）。在一實施例中，第二視角θ2小於第一視角θ1，因此第一熱影像感測器110的可視範圍大於第二熱影像感測器120的可視範圍。第一視角θ1例如為100～120度，第二視角θ2例如為60-90度，本發明對此不加以限制。

第一熱影像感測器110例如為具有影像追蹤功能的廣視角攝影機，其設置於驅動器130上。第一熱影像感測器110可對特定位置的一監視區域進行掃描，以偵測是否有一熱源P出現在監視區域內。廣視角攝影機的視角較大，例如100度或更高，因此能對大視角的監視區域進行全域掃描，以避免產生監視死角。

第二熱影像感測器120例如為具有影像追蹤功能的小視角攝影機，其設置於驅動器130上。第一熱影像感測器110與第二熱影像感測器120可同軸設置於驅動器130上，可同步轉動相同角度，以同步追蹤熱源P。在另一實施例中，第一熱影像感測器110與第二熱影像感測器120可異軸設置於驅動器130上，可各別轉動角度，以各別追蹤熱源P。第二熱影像感測器120的視角小於第一熱影像感測器110的視角，可對局部小視角區域進行偵測，特別是針對熱源P出現的局部區域進行偵測，以縮小監視範圍，同時能追蹤熱源P並提供局部影像。

在一實施例中，當確定有熱源P出現在監視區域內，第一熱影像感測器110計算熱源P的特徵點座標T，例如中心點座標，以供第二熱影像感測器120追蹤熱源P。第二熱影像感測器120可根據熱源P的特徵點座標T尋找熱源P所在的局部區域，並進行小視角掃描，以確定熱源P是否仍然存在小視角區域中。

驅動器130例如為馬達及齒輪組，用以同步或單獨驅動第一熱影像感測器110與第二熱影像感測器120。其中，驅動器130也可以是致動器，用以分別或同時致動第一熱影像感測器110與第二熱影像感測器120。在一實施例中，監控系統可根據回饋的影像訊號判斷熱源P的特徵點座標T，並產生一驅動指令至驅動器130，以同步或單獨驅動第一熱影像感測器110與第二熱影像感測器120旋轉至熱源P所在區域的角度及方位。因此，第一熱影像感測器110及/或第二熱影像感測器120可根據驅動指令移動至預定位置以追蹤熱源P，以使熱源P位於第一熱影像感測器110及/或第二熱影像感測器120的視角（或可視範圍）內。

請參照第1圖，第一熱影像感測器110用以擷取第一視角θ1內具有一熱源P的一第一熱影像M1，第二熱影像感測器120用以擷取第二視角θ2內具有熱源P的一第二熱影像M2，其中第一熱影像M1中熱源P所佔的像素點少於第二熱影像M2中熱源P所佔的像素點。

請參照第1圖，第一熱影像M1例如為全域影像，而第二熱影像M2例如為局部區域的影像。第一熱影像M1與第二熱影像M2例如具有相同的像素點或相同的影像解析度，例如640ⅹ480像素點，但在另一實施例中，第二熱影像M2的影像解析度例如大於第一熱影像M1的影像解析度。在相同的影像解析度的情況下，在第一熱影像M1中熱源P所佔的像素點較少，無法呈現出熱源P的細部特徵，因此影像畫質比較不清晰。然而，在第二熱影像M2中熱源P所佔的像素點較多，可具體呈現出熱源P的細部特徵，因此影像畫質比較清晰。此外，為了提高影像解析度，第一熱影像M1及/或第二熱影像M2可透過次像素補點來提高影像畫質。

處理器140用以合併第一熱影像M1及第二熱影像M2為一雙視角影像Mx，並輸出具有熱源P的雙視角影像Mx至顯示裝置150，以供使用者觀看。在一實施例中，處理器140除了合併第一熱影像M1及第二熱影像M2為一雙視角影像Mx，亦可同步第一熱影像M1與第二熱影像M2之座標資訊。處理器140例如為數位影像混合器或多工處理器，可結合大視角區域的熱影像及小視角區域的熱影像，以滿足雙視角熱影像之安全監測需求。

請參照第1及2圖，用以監視熱源P的雙視角影像處理方法包括如下步驟S11-S14：步驟S11，以一第一熱影像感測器110偵測一熱源P，第一熱影像感測器110具有一第一視角θ1，第一熱影像感測器110擷取第一視角θ1內具有熱源P的一第一熱影像M1。步驟S12，以一第二熱影像感測器120偵測熱源P，第二熱影像感測器120具有一第二視角θ2，第二視角θ2小於第一視角θ1，第二熱影像感測器120擷取第二視角θ2內具有熱源P的一第二熱影像M2，其中第一熱影像M1中熱源P所佔的像素點少於第二熱影像M2中熱源P所佔的像素點。步驟S13，驅動第一熱影像感測器110及第二熱影像感測器120，以追蹤熱源P，並使熱源P位於第一視角θ1內及第二視角θ2內。步驟S14，合併第一熱影像M1及第二熱影像M2為一雙視角影像Mx，並輸出具有熱源P的雙視角影像Mx。

透過上述的影像處理技術，使用者可同時觀看到第一視角θ1內的熱源P以及第二視角θ2內的熱源P，其中第二視角θ2內的熱源影像相對大於第一視角θ1內的熱源P影像，以供識別熱源P的細部影像特徵，例如人的眼睛、鼻子、嘴巴等特徵。

另外，在合併為雙視角影像Mx之前，為了提高影像解析度，更可透過次像素補點來提高第一熱影像M1及/或第二熱影像M2的畫質。次像素補點的影像處理方法的流程如下。首先，取得一低解析度熱影像，並依低解析度熱影像拼接序號計算各像素對應座標。接著，依各像素的對應座標填補高解析度熱影像中的對應座標。以已知像素做均值計算填補高解析度熱影像之未知像素。以下針對雙視角影像處理方法的細部流程進行說明。

請參照第3及4圖，其中第3圖繪示第1圖的第一熱影像感測器110與第二熱影像感測器120同軸設置於驅動器130上的一影像追蹤結構的示意圖，第4圖繪示利用第3圖之影像追蹤結構進行雙視角影像處理方法的流程示意圖。在第3圖中，第一熱影像感測器110與第二熱影像感測器120同軸設置於驅動器130，且可左右上下移動，以使監視區域可涵蓋水平以及垂直的角度範圍，以達到雙視角影像同步及定位同步控制的功效。

在第4圖中，雙視角影像處理方法200包括下列步驟S21-S27。在步驟S21中，以同軸設置的大視角第一影像感測器與小視角第二影像感測器分別進行全域掃描及小區域掃描。在步驟S22中，偵測是否有異常熱源存在大視角第一熱影像中，若有，則進行步驟S23，在步驟S23中，將大視角第一熱影像鎖定在熱源所在的局部區域並計算異常熱源的特徵點座標，反之，則回到步驟S21，繼續偵測。接著，在步驟S24中，同步驅動小視角第二影像感測器，以追蹤熱源。此外，還可進行次畫素補點掃描，以提高影像解析度。在步驟S25中，偵測異常熱源是否仍然存在小視角第二熱影像中，若不存在，進行步驟S26，同步驅動大視角第一影像感測器至鄰近區域，以偵測是否有異常熱源在鄰近區域，若確定鄰近區域沒有異常熱源則回到步驟S21，反之，則進行步驟S23。若在步驟S25中，偵測到異常熱源仍然存在小視角第二熱影像中，則進行步驟S27，在步驟S27中，合併小視角第二熱影像及大視角第一熱影像為一雙視角影像，並顯示雙視角影像的畫面於顯示裝置中。

請參照第5及6圖，其中第5圖繪示第1圖的第一熱影像感測器110與第二熱影像感測器120異軸設置於驅動器130上的一影像追蹤結構的示意圖，第6圖繪示利用第5圖之影像追蹤結構進行雙視角影像處理方法的流程示意圖。在第5圖中，第一熱影像感測器110例如為一固定式之廣角攝影機或一水平轉動式之廣角攝影機，驅動器130可分別單獨驅動第一熱影像感測器110與第二熱影像感測器120。驅動器130例如包括一第一驅動單元131以及一第二驅動單元132，第一驅動單元131用以驅動第一熱影像感測器110，第二驅動單元132用以驅動第二熱影像感測器120。第二熱影像感測器120可左右上下移動，以使第二熱影像感測器120的監視區域可涵蓋水平以及垂直的角度範圍。

在第6圖中，雙視角影像處理方法300包括下列步驟S31-S37。在步驟S31中，以異軸設置的大視角第一影像感測器與小視角第二影像感測器分別進行全域掃描（例如固定角度掃描）及小區域掃描。在步驟S32中，偵測是否有異常熱源存在大視角第一熱影像中，若有，則進行步驟S33，在步驟S33中，將大視角第一熱影像鎖定在熱源所在的局部區域並計算異常熱源的特徵點座標，反之，則回到步驟S31，繼續偵測。接著，在步驟S34中，單獨移動小視角第二影像感測器以追蹤熱源，並計算小視角影像感測器的旋轉角度。此外，還可進行次畫素補點掃描，以提高影像解析度。在步驟S35中，偵測異常熱源是否仍然存在小視角第二熱影像中，若不存在，進行步驟S36，單獨旋轉大視角第一影像感測器以偵測是否有異常熱源在鄰近區域，若確定鄰近區域沒有異常熱源則回到步驟S31，反之，則進行步驟S33。若在步驟S35中，偵測到異常熱源仍然存在小視角第二熱影像中，則進行步驟S37，在步驟S37中，合併小視角第二熱影像及大視角第一熱影像為一雙視角影像，並顯示雙視角影像的畫面於顯示裝置中。

本發明上述實施例所揭露之用以監視熱源的雙視角影像裝置及其影像處理方法，除了可全域監測及追蹤熱源之外，還可針對熱源所在的區域提供局部影像，並可同步移動雙視角的熱影像感測器或單獨移動小視角的影像感測器以追蹤熱源，使目標熱源同時位於大視角與小視角的可視範圍內。因此，本實施例的雙視角影像裝置具有對同一監視區域進行多視角影像偵測的功能，以供使用者觀看及判斷，以符合多視角安全監測之需求。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100:雙視角影像裝置 110:第一熱影像感測器 120:第二熱影像感測器 130:驅動器 131:第一驅動單元 132:第二驅動單元 140:處理器 150:顯示裝置 200、300:雙視角影像處理方法 θ1:第一視角 θ2:第二視角 P:熱源 T:特徵點座標 M1:第一熱影像 M2:第二熱影像 Mx:雙視角影像 S11-S14:流程步驟 S21-S27:流程步驟 S31-S37:流程步驟

第1圖繪示依照本發明一實施例的用以監視熱源的雙視角影像裝置的示意圖。第2圖繪示依照本發明一實施例的用以監視熱源的雙視角影像處理方法的示意圖。第3圖繪示第1圖的第一熱影像感測器與第二熱影像感測器同軸設置於驅動器上的一影像追蹤結構的示意圖。第4圖繪示利用第3圖之影像追蹤結構進行雙視角影像處理方法的流程示意圖。第5圖分別第1圖的第一熱影像感測器與第二熱影像感測器異軸設置於驅動器上的一影像追蹤結構的示意圖。第6圖繪示利用第5圖之影像追蹤結構進行雙視角影像處理方法的流程示意圖。

100:雙視角影像裝置

110:第一熱影像感測器

120:第二熱影像感測器

130:驅動器

140:處理器

150:顯示裝置

P:熱源

T:特徵點座標

θ 1:第一視角

θ 2:第二視角

M1:第一熱影像

M2:第二熱影像

Mx:雙視角影像

Claims

一種用以監視熱源的雙視角影像裝置，包括：一第一熱影像感測器，具有一第一視角，該第一熱影像感測器用以擷取該第一視角內具有一熱源的一第一熱影像；一第二熱影像感測器，具有一第二視角，該第二視角小於該第一視角，該第二熱影像感測器用以擷取該第二視角內具有該熱源的一第二熱影像，其中該第一熱影像中該熱源所佔的像素點少於該第二熱影像中該熱源所佔的像素點；一驅動器，用以驅動該第一熱影像感測器及該第二熱影像感測器，以追蹤該熱源，並使該熱源位於該第一視角內及該第二視角內；以及一處理器，用以合併該第一熱影像及該第二熱影像為一雙視角影像，並輸出具有該熱源的該雙視角影像。
如申請專利範圍第1項所述之裝置，其中該第一熱影像感測器對一監視區域進行全域掃描，以偵測是否有該熱源出現在該監視區域內。
如申請專利範圍第2項所述之裝置，其中該第一熱影像感測器計算該熱源的特徵點座標，以供該第二熱影像感測器追蹤該熱源。
如申請專利範圍第3項所述之裝置，其中該第二熱影像感測器根據該熱源的特徵點座標尋找該熱源所在的局部區域，並進行小視角掃描。
如申請專利範圍第4項所述之裝置，其中該驅動器根據該熱源的特徵點座標同步或單獨驅動該第一熱影像感測器與該第二熱影像感測器。
如申請專利範圍第1項所述之裝置，其中該第一熱影像感測器與該第二熱影像感測器同軸或異軸設置於該驅動器上。
如申請專利範圍第1項所述之裝置，其中該第一熱影像與該第二熱影像具有相同的像素點。
如申請專利範圍第1項所述之裝置，更包括一顯示裝置，用以顯示具有該熱源的該雙視角影像。
一種用以監視熱源的雙視角影像處理方法，包括：以一第一熱影像感測器偵測一熱源，該第一熱影像感測器具有一第一視角，該第一熱影像感測器擷取該第一視角內具有該熱源的一第一熱影像；以一第二熱影像感測器偵測該熱源，該第二熱影像感測器具有一第二視角，該第二視角小於該第一視角，該第二熱影像感測器擷取該第二視角內具有該熱源的一第二熱影像，其中該第一熱影像中該熱源所佔的像素點少於該第二熱影像中該熱源所佔的像素點；驅動該第一熱影像感測器及該第二熱影像感測器，以追蹤該熱源，並使該熱源位於該第一視角內及該第二視角內；以及合併該第一熱影像及該第二熱影像為一雙視角影像，並輸出具有該熱源的該雙視角影像。
如申請專利範圍第9項所述之方法，其中該第一熱影像感測器對一監視區域進行全域掃描，以偵測是否有該熱源出現在該監視區域內。
如申請專利範圍第10項所述之方法，其中該第一熱影像感測器計算該熱源的特徵點座標，以供該第二熱影像感測器追蹤該熱源。
如申請專利範圍第11項所述之方法，其中該第二熱影像感測器根據該熱源的特徵點座標尋找該熱源所在的局部區域，並進行小視角掃描。
如申請專利範圍第12項所述之方法，其中一驅動器根據該熱源的特徵點座標同步或單獨驅動該第一熱影像感測器與該第二熱影像感測器。
如申請專利範圍第9項所述之方法，其中該第一熱影像感測器與該第二熱影像感測器同軸或異軸設置於一驅動器上。
如申請專利範圍第9項所述之方法，其中該第一熱影像與該第二熱影像具有相同的像素點。
如申請專利範圍第9項所述之方法，更包括顯示具有該熱源的該雙視角影像於一顯示裝置上。
如申請專利範圍第9項所述之方法，其中於合併為該雙視角影像之前，更包括對該第二熱影像進行次像素補點。
如申請專利範圍第9項所述之方法，其中該熱源不位於該第一視角內及該第二視角內，更包括驅動該第一熱影像感測器至一鄰近區域，以偵測是否有該熱源在該鄰近區域。