TWI755912B

TWI755912B - 一種擴增實境應用於遠端作業裝置與方法

Info

Publication number: TWI755912B
Application number: TW109137514A
Authority: TW
Inventors: 黃信憲; 黃崇豪
Original assignee: 行政院原子能委員會核能研究所
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2022-02-21
Also published as: TW202217759A

Abstract

一種擴增實境應用於遠端作業裝置與方法，藉由在遠端作業的環境中運用擴增實境的技術，提供準確的作業輔助線進行作業。該遠端作業裝置包括攝影機、處理器、顯示裝置以及感應器。上述攝影機，用以擷取目標物體的目標真實影像。上述處理器，用以處理該目標真實影像以及產生相對於該目標真實影像的一目標虛擬影像。上述顯示裝置，用以顯示該目標真實影像與該目標虛擬影像疊合的影像。上述感應器，用以紀錄當攝影機移動時至第二位置時，相對於第一位置時的位置變化量。

Description

一種擴增實境應用於遠端作業裝置與方法

本發明係關於一種處理高危險物時(例如：具有輻射的危害物)的遠端作業方法，特別關於結合擴增實境(Augmented Reality)的所達到的技術。

目前處理高危險物體時，為確保作業人員的安全，運用遠端作業技術進行處理已然成為首選。但是在處理具有高輻射的危險物體時，暴露在輻射環境中的遠端作業裝置可能會受到影響，導致遠端作業裝置出現訊號失效的情況。因此使用以電氣系統產生控制訊號的裝置，可能無法在輻射環境下提供穩定及精確的訊號傳遞，並難以依照預先規劃的切割位置及切割路徑進行作業。

本發明在遠端作業的環境中運用擴增實境(Augmented Reality)的技術，在目標物體上提供準確的作業輔助線，使作業人員能更準確地進行作業。本發明可亦可應用在處理其他高危險物體的需求，在提供作業人員安全的條件下，仍可兼具準確以及快速的遠端作業方式。

鑑於上述欲解決之問題及其原因，具體而言，本發明提供一種擴增實境應用於遠端作業裝置與方法。其中裝置包括攝影機、處理器、顯示裝置以及感應器。上述攝影機，用以擷取目標物體的目標真實影像。上述處理器，用以處理目標真實影像以及產生相對於目標真實影像的目標虛擬影像。上述顯示裝置，用以顯示目標真實影像與目標虛擬影像疊合的影像。上述感應器，用以紀錄當攝影機移動時至第二位置時，相對於第一位置時的位置變化量。

根據本發明之另一實施例，上述處理器包括：辨識模組、繪製模組以及演算模組。

上述繪製模組，用以將目標真實影像繪製成目標虛擬影像以及將目標虛擬影像進行色彩去背處理。

上述辨識模組，用以辨識該攝影機與目標物體的相對位置。

上述演算模組，依據相對位置，將目標虛擬影像與目標真實影像疊合。

此外，本發明還提供一種擴增實境作業方法，使用於遠端作業裝置，該方法包括下面各步驟。在一作業空間中，調控位於第一位置之攝影機的鏡頭朝向一目標物體，得到第一視角。接著，控制該攝影機擷取目標物體之目標真實影像，再透過R-CNN模型辨識該目標真實影像，得到目標物體相對於攝影機的相對位置。然後，利用目標物體相對於攝影機的相對位置來校正目標虛擬影像與攝影機的相對位置，以調整目標虛擬影像的大小與視角，使目標虛擬影像和目標真實影像可以完全疊合，其中目標虛擬影像為具有作業輔助線的3D模型圖。利用色度去背法去除在目標虛擬影像的該第一視角中，其被遮擋之作業輔助線，得到修正後之目標虛擬影像。疊合修正後之目標虛擬影像與目標真實影像，形成疊合影像。最後，由顯示裝置顯示疊合影像，以進行加工作業。

此外，根據上述擴增實境作業方法，當攝影機移動時，方法包括下述步驟。在一作業空間中，調控位於第一位置之攝影機的鏡頭朝向一目標物體，得到第一視角。控制該攝影機擷取目標物體之目標真實影像，再透過R-CNN模型辨識該目標真實影像，得到目標物體相對於攝影機的第一相對位置。當移動攝影機至第二位置，並調整攝影機朝向該目標物體，得到第二視角，然後使用感應器紀錄目標物體相對於攝影機的第二相對位置。利用目標物體相對於攝影機的第二相對位置來校正目標虛擬影像與攝影機的相對位置，以調整目標虛擬影像的大小與視角，使目標虛擬影像和目標真實影像可以完全疊合，其中目標虛擬影像為具有作業輔助線的3D模型圖。利用色度去背法去除在目標虛擬影像的該第二視角中，其被遮擋之作業輔助線，得到修正後之目標虛擬影像。疊合修正後之目標虛擬影像與目標真實影像，形成疊合影像。最後，由顯示裝置顯示疊合影像，以進行加工作業。

100:遠端作業裝置

120:攝影機

140:處理器

142:繪製模組

144:辨識模組

146:演算模組

160:顯示裝置

180:感應器

201-213:步驟

301、302、402:目標虛擬影像

401:目標真實影像

為了讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附附圖之說明如下：圖1係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業裝置的關係架構圖。

圖2係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業方法的流程圖。

圖3係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業方法的色度去背處理示意圖。

圖4係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業方法的目標真實影像與目標虛擬影像之疊合示意圖。

本領域技術人員可經由參考以下的詳細描述並同時結合所附圖式而理解本發明。須注意的是，為了使讀者能容易瞭解並使圖式簡潔，本發明所附圖式中的特定元件並非依照實際比例繪圖。此外，圖中各元件的數量及尺寸僅作為示意，並非用來限制本發明的範圍。

根據本發明的實施方式，請一併參閱圖1、圖2、圖3及圖4。圖1係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業裝置的關係架構圖。在圖1中，在具有遠端作業裝置100的作業空間中，設有一攝影機120對目標物體擷取一目標真實影像。擷取該目標真實影像後再透過一處理器140，處理該目標真實影像以及產生相對於該目標真實影像的一目標虛擬影像。並透過一顯示裝置160顯示該目標真實影像與該目標虛擬影像疊合後的疊合影像。使用者依據擴增實境中之該疊合影像進行遠端工作。該處理器140例如可為電腦或伺服器。

根據本發明之另一實施例，上述處理器140包括一繪製模組142，用以將一視角所擷取的一目標真實影像繪製成一目標虛擬影像以及將該目標虛擬影像進行色彩去背處理。該目標虛擬影像為一種具有作業輔助線的3D模型圖。該色度去背法去除在該目標虛擬影像的該視角中，其被遮擋之作業輔助線，得到修正後之該目標虛擬影像。繪製模組142例如可為執行虛擬影像繪製以及執行色度去背的3D繪圖軟體。

根據本發明之另一實施例，上述處理器140包括辨識模組144，用以辨識該攝影機120與該目標物體的相對位置。該辨識模組144為一種神經網路，例如選用神經網路的R-CNN模型進行目標物體的影像辨識。R-CNN是一種結合候選區域(Region Proposal)和卷積神經網路(Convolutional Neural Network,CNN)的一種模型。係利用影像中目標物體的紋理、邊緣以及顏色等資訊，在該影像的候選區域中進行特徵辨識(例如因攝影機與目標物體的相對位置，如相對視角和距離，而讓目標物體呈現不同的外觀和大小)。實施方式包括將複數個目標真實物體影像匯入該辨識模組144，該辨識模組144針對其影像的所選特徵(例如相對位置)進行多次的辨識(訓練)。然後，當匯入未知相對位置的另一目標真實影像時，該辨識模組144會依據之前的辨識(訓練)經驗，辨識出該目標真實影像之相對位置的資訊。

根據本發明之另一實施例，上述處理器140包括演算模組146，依據上述辨識模組144獲得目標真實影像中攝影機120與目標物體的相對位置，再透過該相對位置校正該目標虛擬影像。並且還可以透過上述繪製模組142將該目標虛擬影像經過色彩去背處理，將所得到的修正後目標虛擬影像，與上述目標真實影像疊合。演算模組146例如可為執行虛擬影像校正以及影像疊合的製圖軟體。

根據本發明之另一實施例，當作業過程中上述攝影機120移動時，在遠端作業裝置100中具有感應器180紀錄該攝影機120移動後的相對位置變化量。演算模組146根據該相對位置變化量校正該目標虛擬影像的外觀和大小。再透過上述繪製模組142將該目標虛擬影像經過色彩去背處理，所得修正後的目標虛擬影像，再與移動後的目標真實影像疊合。感應器180例如可為GPS軌跡紀錄器。

請同時參閱圖圖1、圖2、圖3及圖4。圖2係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業方法的流程圖。圖3係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業方法的色度去背處理示意圖。圖4係繪示依據本發明之一實施例之一種擴增實境應用於遠端作業方法的目標真實影像與目標虛擬影像之疊合示意圖。圖2之步驟201為開始。

在步驟202中，調控位於一第一位置之一攝影機120的鏡頭朝向一目標物體，得到一第一視角。

在步驟203中，控制該攝影機120擷取該目標物體之一目標真實影像。

在步驟204中，辨識模組144辨識該目標真實影像，得到該目標物體相對於該攝影機的相對位置。

在步驟206中，演算模組146利用該目標物體相對於該攝影機120的相對位置來校正一目標虛擬影像與該攝影機120的相對位置，以調整該目標虛擬影像的大小與視角，使該目標虛擬影像和該目標真實影像可以完全疊合，其中該目標虛擬影像為具有作業輔助線的3D模型圖。

在步驟207中，利用色度去背法去除在該目標虛擬影像的該第一視角中，其被遮擋之作業輔助線，得到修正後之該目標虛擬影像。色度去背示意圖可參考圖3。目標虛擬影像301為具有作業輔助線的3D模型圖。接著，去除在第一視角中，目標虛擬影像301被遮擋之作業輔助線，得到修正後之目標虛擬影像302。

在步驟208中，疊合修正後之該目標虛擬影像與該目標真實影像，形成一疊合影像。疊合影像可參考圖4。在圖4中，為目標真實影像401與目標虛擬影像402的疊合示意圖。

在步驟209中，顯示裝置180顯示該疊合影像。

在步驟210中，進行加工作業。

在步驟211中，加工作業過程中，當攝影機120移動至第二位置時同時產生第二視角，感應器180會紀錄攝影機移動時至第二位置時，相對於第一位置時的位置變化量。

依據該位置變化量得到目標物體與攝影機的第二相對位置後，再執行步驟206-210繼續進行作業(此時步驟207係去除在第二視角中，其被遮擋之作業輔助線)。如作業過程中再次移動攝影機120，則重複上述的步驟直到作業完成。

綜上所述，本發明提供之一種擴增實境應用於遠端作業的方法與裝置，藉由在遠端作業的環境中運用擴增實境的技術，提供準確的作業輔助線進行作業。同時改善過去遠端作業透過電氣系統傳遞控制訊號時，在輻射影響下無法維持穩定及精確的訊號傳遞的問題。

雖然本發明已實施方式揭露如上，然其並非用以限定本發明，凡熟悉該項技藝之人士其所依本發明之精神，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後之申請專利範圍所界定者為準。

201-213:步驟

Claims

一種擴增實境作業方法，使用於一遠端作業裝置，該方法包括：在一作業空間中，調控位於一第一位置之一攝影機的鏡頭朝向一目標物體，得到一第一視角；控制該攝影機擷取該目標物體之一目標真實影像；透過R-CNN模型辨識該目標真實影像，得到該目標物體相對於該攝影機的第一相對位置；移動該攝影機至一第二位置，並調整該攝影機朝向該目標物體，得到一第二視角；使用一感應器紀錄該目標物體相對於該攝影機的第二相對位置；利用該目標物體相對於該攝影機的第二相對位置來校正一目標虛擬影像與該攝影機的相對位置，以調整該目標虛擬影像的大小與視角，使該目標虛擬影像和該目標真實影像可以完全疊合，其中該目標虛擬影像為具有作業輔助線的3D模型圖；利用色度去背法去除在該目標虛擬影像的該第二視角中，其被遮擋之作業輔助線，得到修正後之該目標虛擬影像；疊合修正後之該目標虛擬影像與該目標真實影像，形成一疊合影像；以及顯示該疊合影像，以進行加工作業。
如請求項1所述之擴增實境作業方法，該目標虛擬影像係為事先擷取一目標真實影像所繪製的具有作業輔助線的3D模型圖。
如請求項1所述之擴增實境作業方法，該R-CNN模型使用前須利用複數張該目標真實影像進行該模型的訓練。
一種遠端作業裝置，包括：一攝影機，用以擷取一目標物體的複數張目標真實影像；一處理器，用以處理該目標真實影像以及產生相對於該目標真實影像的一目標虛擬影像，其中該處理器包括：一繪製模組，用以將該目標真實影像繪製成該目標虛擬影像以及將該目標虛擬影像進行色彩去背處理；一辨識模組，用以辨識該攝影機與該目標物體的一相對位置；一演算模組，依據該相對位置，將該目標虛擬影像與該目標真實影像疊合；一顯示裝置，用以顯示該目標真實影像與該目標虛擬影像疊合的影像；以及一感應器，用以紀錄當攝影機移動時至第二位置時，相對於第一位置時的位置變化量。
如請求項4所述的遠端作業裝置，該辨識模組係利用R-CNN模型辨識該目標物體與該攝影機的相對位置。
如請求項5所述的遠端作業裝置，其中R-CNN模型使用前須利用複數張目標真實影像進行該模型的訓練。
如請求項4所述的遠端作業裝置，該目標虛擬影像為一具有作業輔助線的3D模型。