TWI665638B - 影像處理方法及影像處理裝置 - Google Patents

Abstract

本發明提出一種影像處理方法及影像處理裝置，適用於從錄影檔案中產生簡報檔案。影像處理方法包括：偵測該錄影檔案中的投影片的區域，並判斷投影片是否換頁；若投影片已換頁，對換頁後的投影片進行歪斜校正或彎曲校正；對歪斜校正或彎曲校正後的投影片進行色彩校正；對色彩校正的投影片進行降低雜訊；以及根據降低雜訊後的投影片產生簡報檔案。

Description

影像處理方法及影像處理裝置

本發明是有關於一種影像處理方法及影像處理裝置，且特別是有關於一種從錄影檔案中自動產生簡報檔案的影像處理方法及影像處理裝置。

一般人在參加演講時，常常想要將演講者的投影片及其中的文字記錄下來，因為會受到光線不平均或投影環境造成畫面歪斜，使得投影片中的文字不清楚而難以記錄。另一方面，在聆聽演講時，也可能因為演講者說明及播放投影片的速度太快等多種因素而使得需要的記錄有所疏漏。因此如何直接對演講進行錄影存取影片檔案，或是利用現有的演講影片檔案而自動產生演講者的投影片，是本領域技術人員所應致力的目標。

有鑑於此，本發明提供一種影像處理方法及影像處理裝置，能直接對演講進行錄影而自動產生演講者的投影片。

本發明提出一種影像處理方法，適用於從錄影檔案中產生簡報檔案，包括：偵測該錄影檔案中的投影片的區域，並判斷投影片是否換頁；若投影片已換頁，對換頁後的投影片進行歪斜校正或彎曲校正；對歪斜校正或彎曲校正後的投影片進行色彩校正；對色彩校正的投影片進行降低雜訊；以及根據降低雜訊後的投影片產生簡報檔案。

在本發明的一實施例中，上述判斷投影片是否換頁的步驟包括：將投影片分割成多個區域，並根據上述區域的多個像素的像素差異在上述區域中進行第一次投票。

在本發明的一實施例中，若超過第一門檻值的數量的區域通過第一次投票，則判斷投影片已換頁。

在本發明的一實施例中，若上述區域的其中之一的像素在一畫格與此畫格的前一畫格的差異大於門檻值，則判斷上述區域的該其中之一通過第一次投票。

在本發明的一實施例中，上述判斷投影片是否換頁的步驟更包括：在投影片上產生對應投影片中的文字部份的多個線條，並根據上述線條在上述區域中進行第二次投票，若超過第二門檻值的數量的上述區域同時通過第一次投票及第二次投票，則判斷投影片已換頁。

在本發明的一實施例中，若上述區域的其中之一的線條在一畫格與此畫格的前一畫格的差異大於門檻值，則判斷上述區域的該其中之一通過第二次投票。

本發明提出一種影像處理裝置，適用於從錄影檔案中產生簡報檔案。影像處理裝置包括影像感測器、處理器及記憶體。影像感測器，用以擷取錄影檔案。處理器耦接到影像感測器。記憶體，耦接到處理器，並用以儲存簡報檔案。上述處理器偵測該錄影檔案中的投影片的區域，並判斷投影片是否換頁；若投影片已換頁，對換頁後的投影片進行歪斜校正或彎曲校正；對歪斜校正或彎曲校正後的投影片進行色彩校正；對色彩校正的投影片進行降低雜訊；以及根據降低雜訊後的投影片產生簡報檔案。

在本發明的一實施例中，上述處理器將投影片分割成多個區域，並根據上述區域的多個像素的像素差異在上述區域中進行第一次投票。

在本發明的一實施例中，若超過第一門檻值的數量的區域通過第一次投票，則上述處理器判斷投影片已換頁。

在本發明的一實施例中，若上述區域的其中之一的像素在一畫格與此畫格的前一畫格的差異大於門檻值，則上述處理器判斷上述區域的該其中之一通過第一次投票。

在本發明的一實施例中，上述處理器在投影片上產生對應投影片中的文字部份的多個線條，並根據上述線條在上述區域中進行第二次投票，若超過第二門檻值的數量的上述區域同時通過第一次投票及第二次投票，則判斷投影片已換頁。

在本發明的一實施例中，若上述區域的其中之一的線條在一畫格與此畫格的前一畫格的差異大於門檻值，則上述處理器判斷上述區域的該其中之一通過第二次投票。

基於上述，本發明的影像處理方法及影像處理裝置能判斷錄影檔案中的投影片是否換頁，並在投影片換頁後對投影片進行歪斜校正或彎曲校正、色彩校正、降低雜訊等處理以產生簡報檔案。在判斷投影片是否換頁的過程中，可利用分割區域的像素差異進行第一次投票，並利用投影片上對應文字部份的線條進行第二次投票，如此可減少環境變化所造成的換頁誤判。若一定門檻值的數量的分割區域都通過第一次投票及第二次投票，再進行投影片的換頁。如此可增加投影片換頁的正確率。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1為根據本發明一實施例的影像處理裝置的方塊圖。

請參照圖1，本發明一實施例的影像處理裝置100包括影像感測器110、處理器120及記憶體130。影像感測器110用以擷取錄影檔案。處理器120耦接到影像感測器110，用以接收錄影檔案並對錄影檔案進行處理而產生簡報檔案。記憶體130耦接到處理器120，並用以儲存簡報檔案。

影像感測器110可為感光耦合元件(Charge Coupled Device ，CCD)影像感測器或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS) 影像感測器。

處理器120可為中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。

記憶體130可為任何型態的固定或可移動隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid State Drive，SSD)或類似元件或上述元件的組合。

圖2為根據本發明一實施例的影像處理方法的流程圖。

請參照圖2，在步驟S201中，進行錄影檔案的畫格(frame)偵測。

在步驟S202中，偵測錄影檔案中的投影片的區域，並判斷投影片是否換頁。若投影片沒有換頁，則回到步驟S201中繼續進行影片檔案的畫格偵測。

具體來說，判斷投影片是否換頁的步驟可包括將投影片分割成多個區域，並根據分割區域的像素的像素差異在分割區域中進行第一次投票。若超過第一門檻值的數量的分割區域通過該第一次投票，則判斷投影片已換頁。上述像素差異可從分割區域的像素在連續的前後畫格相減而獲得。當像素差異大於一門檻值則可判斷一個分割區域通過第一次投票。像素差異可為兩個像素之間像素值的差異。

如此一來，只要當投影片中具有一定數量的分割區域的像素產生變化而通過第一次投票，則可判斷投影片換頁。即使有人經過投影片前面或演講者的手或其他工具遮蓋投影片的部分內容，也會因為產生像素差異的投影片的分割區域數量並未大於第一門檻值而判斷並未進行換頁。

然而，上述判斷方法可能因為環境變化(例如，光線變化或雜訊變化)而造成產生像素差異的投影片的分割區域數量大於第一門檻值的情況，並導致換頁上的誤判。因此在另一實施例中提出了雙重確認方法以減少誤判情況。

在另一實施例中，在投影片上產生對應投影片中的文字部份的多個線條(例如，霍夫畫線(Hough Line))，並根據上述線條在分割區域中進行第二次投票。若分割區域線條在前後畫格的差異大於門檻值，則判斷分割區域通過第二次投票。若超過第二門檻值的數量的分割區域同時通過第一次投票及第二次投票，則判斷投影片已換頁。如此一來，在投影片沒有換頁的狀況下，即使產生環境變化造成像素差異變大，投影片中對應文字的線條也不會因此改變，使得通過第二次投票的分割區域數量不會大於第二門檻值。透過兩次投票的方法，可大幅增加換頁判斷上的準確率。

若判斷投影片已經換頁，則在步驟S203中，對換頁後的投影片進行歪斜校正或彎曲校正。

由於錄影角度的關係，可能造成錄影檔案中的投影片的形狀歪斜。在一實施例中，可透過透視變換(Perspective Transformation)將投影片中的不平行線轉換成平行線。具體來說，可透過設定透視矩陣的四個角點0、1、2、3，如圖3所示，將歪斜的投影片透過歪斜校正或彎曲校正而轉換成方正的投影片。

在步驟S204中，對歪斜校正或彎曲校正後的投影片進行色彩校正。

在一實施例中，可透過限制對比的適應性直方圖均衡化(Contrast Limited Adaptive Histogram Equalization)演算法對投影片進行色彩調整，使得輪廓更加明顯且文字更加清晰。舉例來說，可將彩色的投影片RGB之色域分別取出處理，最後再將三通道的處理結果回復成彩色影像。圖4A、圖4B、圖4C分別代表藍色、綠色、紅色的三色通道分離示意圖。在圖4A、圖4B、圖4C中，橫軸代表了像素值且縱軸代表了具有特定像素值的像素數量。

詳細來說，限制對比的適應性直方圖均衡化演算法可改善一般適應性直方圖均衡化演算法中某區域的像素值十分接近而產生的直方圖尖狀化的問題。當運算後的像素值在一個狹窄區間內時，若此狹窄區域中有雜訊則雜訊會被放大。限制對比的適應性直方圖均衡化演算法可透過裁切大於門檻值的對比度來限制對比度，以克服雜訊放大的問題，如圖5所示。在限制對比度的過程中，可利用插值運算來提升運算效率，也就是先將圖片分割成許多區塊，並針對每個區塊作校正，以減少大量的直方圖均衡化運算次數，如圖6所示。

在步驟S205中，對色彩校正後的投影片進行降低雜訊。

具體來說，可透過多次的膨脹(Dilation)運算與侵蝕(Erosion)運算交互作用，使運算後的結果填補影像中的小洞、連接鄰近物體、平滑物體邊界，並將一些斷線連接起來使得輪廓平滑同時不改變面積。圖7A為膨脹運算的範例。圖7B為侵蝕運算的範例。圖8為雜訊去除前後的對照圖。

在步驟S206中，對降低雜訊後的投影片進行光學字元辨識。在完成去除雜訊後，就可對投影片內容進行光學字元辨識以辨識出投影片中的文字。

在步驟S207中，對投影片進行格式轉換以產生簡報檔案。

舉例來說，可透過格式轉換軟體(例如，OpenXML SDK)將換頁後經過處理的投影片存成電子文件，並建立成一份簡報檔案(例如，PowerPoint檔案)。

雖然以上說明了對換頁後的投影片進行運算並存成電子文件，但需理解的是，但在錄影檔案一偵測到投影片時(例如，影片穩定後投影片第一頁內容)，也可將此投影片內容進行上述影像處理方法的運算並存成電子文件。

綜上所述，本發明的影像處理方法及影像處理裝置能判斷錄影檔案中的投影片是否換頁，並在投影片換頁後對投影片進行歪斜校正或彎曲校正、色彩校正、降低雜訊等處理以產生簡報檔案。在判斷投影片是否換頁的過程中，可利用分割區域的像素差異進行第一次投票，並利用投影片上對應文字部份的線條進行第二次投票，如此可減少環境變化所造成的換頁誤判。若一定門檻值的數量的分割區域都通過第一次投票及第二次投票，再進行投影片的換頁。如此可增加投影片換頁的正確率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像處理裝置

110‧‧‧影像感測器

120‧‧‧處理器

130‧‧‧記憶體

S201~S207‧‧‧影像處理方法的步驟

圖1為根據本發明一實施例的影像處理裝置的方塊圖。 圖2為根據本發明一實施例的影像處理方法的流程圖。 圖3為根據本發明一實施例的彎曲校正的示意圖。 圖4A到圖4C為根據本發明一實施例的三色通道分離示意圖。 圖5為根據本發明一直方圖均化的示意圖。 圖6為根據本發明一實施例的插值運算的示意圖。 圖7A及圖7B為根據本發明一實施例的膨脹運算與侵蝕運算的示意圖。 圖8為根據本發明一實施例的雜訊去除前後的對照圖

Claims (12)

1. 一種影像處理方法，適用於從一錄影檔案中產生一簡報檔案，包括：藉由一處理器偵測該錄影檔案中的一投影片的區域，並判斷該投影片是否換頁；若該投影片已換頁，藉由該處理器對換頁後的該投影片進行一歪斜校正或一彎曲校正；藉由該處理器對該歪斜校正或該彎曲校正後的該投影片進行一色彩校正；藉由該處理器對該色彩校正後的該投影片進行一降低雜訊，該降低雜訊包括對該色彩校正後的該投影片進行多次膨脹運算及侵蝕運算使該投影片的物體平滑化；以及藉由該處理器根據降低雜訊後的該投影片產生該簡報檔案。
2. 如申請專利範圍第1項所述的影像處理方法，其中判斷該投影片是否換頁的步驟包括：將該投影片分割成多個區域，並根據該些區域的多個像素的一像素差異在該些區域中進行一第一次投票。
3. 如申請專利範圍第2項所述的影像處理方法，其中若超過一第一門檻值的數量的該些區域通過該第一次投票，則判斷該投影片已換頁。
4. 如申請專利範圍第3項所述的影像處理方法，其中若該些區域的其中之一的該些像素在一畫格與該畫格的前一畫格的差異大於一門檻值，則判斷該些區域的該其中之一通過該第一次投票。
5. 如申請專利範圍第2項所述的影像處理方法，其中判斷該投影片是否換頁的步驟更包括：在該投影片上產生對應該投影片中的文字部份的多個線條，並根據該些線條在該些區域中進行一第二次投票，若超過一第二門檻值的數量的該些區域同時通過該第一次投票及該第二次投票，則判斷該投影片已換頁。
6. 如申請專利範圍第5項所述的影像處理方法，其中若該些區域的其中之一的該些線條在一畫格與該畫格的前一畫格的差異大於一門檻值，則判斷該些區域的該其中之一通過該第二次投票。
7. 一種影像處理裝置，適用於從一錄影檔案中產生一簡報檔案，包括：一影像感測器，用以擷取該錄影檔案；一處理器，耦接到該影像感測器；以及一記憶體，耦接到該處理器，並用以儲存該簡報檔案，其中該處理器偵測該錄影檔案中的一投影片，並判斷該投影片是否換頁；若該投影片已換頁，對換頁後的該投影片進行一彎曲校正；對該彎曲校正後的該投影片進行一色彩校正；對該色彩校正後的該投影片進行一降低雜訊，該降低雜訊包括對該色彩校正後的該投影片進行多次膨脹運算及侵蝕運算使該投影片的物體平滑化；以及根據降低雜訊後的該投影片產生該簡報檔案。
8. 如申請專利範圍第7項所述的影像處理裝置，其中該處理器將該投影片分割成多個區域，並根據該些區域的多個像素的一像素差異在該些區域中進行一第一次投票。
9. 如申請專利範圍第8項所述的影像處理裝置，其中若超過一第一門檻值的數量的該些區域通過該第一次投票，則該處理器判斷該投影片已換頁。
10. 如申請專利範圍第9項所述的影像處理裝置，其中若該些區域的其中之一的該些像素在一畫格與該畫格的前一畫格的差異大於一門檻值，則該處理器判斷該些區域的該其中之一通過該第一次投票。
11. 如申請專利範圍第8項所述的影像處理裝置，其中該處理器在該投影片上產生對應該投影片中的文字部份的多個線條，並根據該些線條在該些區域中進行一第二次投票，若超過一第二門檻值的數量的該些區域同時通過該第一次投票及該第二次投票，則判斷該投影片已換頁。
12. 如申請專利範圍第11項所述的影像處理裝置，其中若該些區域的其中之一的該些線條在一畫格與該畫格的前一畫格的差異大於一門檻值，該處理器則判斷該些區域的該其中之一通過該第二次投票。