TWI809343B - 影像內容萃取方法與影像內容萃取裝置 - Google Patents

影像內容萃取方法與影像內容萃取裝置 Download PDF

Info

Publication number
TWI809343B
TWI809343B TW110100094A TW110100094A TWI809343B TW I809343 B TWI809343 B TW I809343B TW 110100094 A TW110100094 A TW 110100094A TW 110100094 A TW110100094 A TW 110100094A TW I809343 B TWI809343 B TW I809343B
Authority
TW
Taiwan
Prior art keywords
grid line
information
image
distribution information
image frame
Prior art date
Application number
TW110100094A
Other languages
English (en)
Other versions
TW202226263A (zh
Inventor
楊承益
林政良
林星辰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Publication of TW202226263A publication Critical patent/TW202226263A/zh
Application granted granted Critical
Publication of TWI809343B publication Critical patent/TWI809343B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種影像內容萃取方法與影像內容萃取裝置。所述方法包括：獲得影像檔案；分析所述影像檔案以獲得所述影像檔案所對應的影像畫面中的至少一格線的分布資訊；根據所述至少一格線的分布資訊決定樣板資訊；根據所述樣板資訊從所述影像檔案中萃取文字資訊；以及根據所述文字資訊產生與使用者的就醫紀錄有關的整合資訊。

Description

影像內容萃取方法與影像內容萃取裝置
本揭露是有關於一種影像分析技術，且特別是有關於一種影像內容萃取方法與影像內容萃取裝置。
一般來說，在病患根據特定生理狀態完成就醫時，醫生或醫院可能會提供診斷證明書。爾後，此診斷證明書可用於諸如保險理賠、請假、或跨院就醫、轉院等，以證明病患曾經的就醫紀錄及曾經罹患的生理或心理疾病。然而，在現今的醫療體系下，各醫院發出的診斷證明書多以紙本為主，且各家醫院所採用的診斷證明書的表格樣式也各不相同。因此，在後續使用上(例如申請保險理賠)往往需要由各單位(例如保險公司)進行紙本收件並進行人工審核等繁瑣操作，從而造成審核端的人力資源浪費及/或降低病患對紙本診斷證明書的使用體驗。
然而，由於紙本的診斷證明書搭配蓋上院方的印章在使用上仍有其必要性(例如防偽)，故現階段如何有效提高紙本的診斷證明書的使用效率，實為本領域技術人員所致力研究的課題之一。
本揭露提供一種影像內容萃取方法與影像內容萃取裝置，可有效提高紙本的診斷證明書的使用效率。
本揭露的實施例提供一種影像內容萃取方法，其包括：獲得影像檔案；分析所述影像檔案以獲得所述影像檔案所對應的影像畫面中的至少一格線的分布資訊；根據所述至少一格線的分布資訊決定樣板資訊；根據所述樣板資訊從所述影像檔案中萃取文字資訊；以及根據所述文字資訊產生與使用者的就醫紀錄有關的整合資訊。
本揭露的實施例另提供一種影像內容萃取裝置，其包括影像輸入介面與處理器。所述影像輸入介面用以獲得影像檔案。所述處理器耦接至所述影像輸入介面。所述處理器用以分析所述影像檔案以獲得所述影像檔案所對應的影像畫面中的至少一格線的分布資訊。所述處理器更用以根據所述至少一格線的分布資訊決定樣板資訊。所述處理器更用以根據所述樣板資訊從所述影像檔案中萃取文字資訊。所述處理器更用以根據所述文字資訊產生與使用者的就醫紀錄有關的整合資訊。
基於上述，在獲得一影像檔案後，可分析所述影像檔案以獲得所述影像檔案所對應的影像畫面中的至少一格線的分布資訊。接著，樣板資訊可根據所述至少一格線的分布資訊而決定，且文字資訊可根據所述樣板資訊而從所述影像檔案中萃取出來。爾後，與使用者的就醫紀錄有關的整合資訊可根據所述文字資訊而自動產生。藉此，可有效提高紙本的診斷證明書的使用效率。
圖1是根據本揭露的一實施例所繪示的影像內容萃取裝置的功能方塊圖。請參照圖1，影像內容萃取裝置10包括影像輸入介面11、儲存電路12及處理器13。影像輸入介面11用以獲得影像檔案101。影像檔案101可藉由掃描一診斷證明書而產生。例如，此診斷證明書可包括某一使用者(或病患)在某一醫療院所就醫後，由院方所開立的紙本的診斷證明書。此診斷證明書可提供與使用者的就醫紀錄有關的資訊。
在一實施例中，影像輸入介面11可包括光學掃描裝置。此光學掃描裝置可藉由光學掃描的方式來掃描一紙本的診斷證明書以產生影像檔案101。此影像檔案101的檔案內容可反映此診斷證明書的記載內容。或者，在一實施例中，影像輸入介面11可包含檔案傳輸介面。此檔案傳輸介面可從網際網路(Internet)或者任意儲存媒體(例如隨身碟)接收影像檔案101。
儲存電路12用以儲存資料(包括影像檔案101)。例如，儲存電路12可包括揮發性儲存電路與非揮發性儲存電路。揮發性儲存電路用以揮發性地儲存資料。例如，揮發性儲存電路可包括隨機存取記憶體(Random Access Memory, RAM)或類似的揮發性儲存媒體。非揮發性儲存電路用以非揮發性地儲存資料。例如，非揮發性儲存電路可包括唯讀記憶體(Read Only Memory, ROM)、固態硬碟(solid state disk, SSD)及/或傳統硬碟(Hard disk drive, HDD)或類似的非揮發性儲存媒體。
處理器13耦接至影像輸入介面11與儲存電路12。處理器13用以控制影像內容萃取裝置10的整體或部分操作。例如，處理器13可包括中央處理單元(Central Processing Unit, CPU)、或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。
在一實施例中，儲存電路12還儲存有影像辨識模組102。影像辨識模組102可執行機器視覺等影像辨識操作。例如，處理器13可運行影像辨識模組102以對影像檔案101所對應的影像畫面中呈現的特定物件進行自動辨識。此外，影像辨識模組102亦可經訓練以提高辨識精準度。
在一實施例中，影像辨識模組102亦可實作為硬體電路。例如，影像辨識模組102可實作為獨立的影像處理晶片(例如GPU)。或者，影像辨識模組102亦可設置於處理器13內部。在一實施例中，影像內容萃取裝置10還可包括通訊介面、滑鼠、鍵盤、螢幕、觸控螢幕、揚聲器及/或麥克風等各式訊號的輸出/輸出裝置，本揭露不加以限制。
在一實施例中，處理器13可獲得影像檔案101。例如，處理器13可從儲存電路12中讀取影像檔案101。接著，處理器13可藉由影像辨識模組102分析影像檔案101並根據分析結果而自動化地產生與某一使用者的就醫紀錄有關的整合資訊。
圖2是根據本揭露的一實施例所繪示影像檔案所對應的影像畫面的示意圖。請參照圖2，以影像畫面21作為影像檔案101所對應的影像畫面之範例。影像畫面21呈現了與某一使用者(即病患)的就醫記錄有關的資訊。例如，影像畫面21中呈現的資訊可包括使用者的個人資訊(例如姓名、性別、居住地址、身分證字號、出生日期)、就醫資訊(例如看診科別、病歷號、應診日期)及診斷資訊(例如罹患疾病、醫師囑言、診治醫師)等等，如圖2所示。
須注意的是，圖2中所呈現的是以台北XX醫學大學附設醫院所提供的診斷證明書所採用的資訊記載格式(包含表格樣式)作為範例。然而，不同醫療院所使用的診斷證明書所採用的資訊記載格式可能不同(例如表格中的欄位的總數、欄位記載的內容及/或欄位的排列方式不同)。
在一實施例中，若無法確認當下獲得的影像檔案101所對應的診斷證明書的資訊記載格式，則即便處理器13(或影像辨識模組102)支援影像辨識功能，處理器13(或影像辨識模組102)從影像檔案101(或影像畫面21)中自動辨識的資訊仍可能無法正確分類建檔。例如，在未獲得影像畫面21中各個欄位的配置邏輯及/或關聯性之前提下，即便藉由影像辨識技術而從影像畫面21中獲得了例如「姓名」以及「蔡OO」等資訊，處理器13可能仍無法將此些資訊組合為正確而可理解的整合資訊(例如「姓名: 蔡OO」或類似訊息)。
在一實施例中，處理器13可分析影像檔案101以獲得影像檔案101所對應的影像畫面中的至少一格線的分布資訊。例如，處理器13可藉由影像辨識模組102來分析影像檔案101，以辨識出影像檔案101所對應的影像畫面21中的至少一格線。接著，處理器13可根據影像辨識模組102對所述格線的辨識結果產生所述格線的分布資訊。在以下實施例中，皆以影像畫面21作為影像檔案101所對應的影像畫面進行說明，但本揭露不限於此。
在一實施例中，在開始分析影像畫面21中的格線之分布之前，處理器13可對影像畫面21執行預處理，以嘗試將影像畫面21中不屬於格線的影像內容濾除。例如，在預處理中，處理器13可藉由影像辨識模組102對影像畫面21中至少一個方向的直線進行辨識。然後，處理器13可保留所辨識出的直線，並將所述直線以外的影像內容濾除。
在一實施例中，在對影像畫面21的預處理中，處理器13還可先將影像畫面21中的彩色內容濾除。例如，此彩色內容可能包含原始蓋在紙本的診斷證明書的醫院專用印章圖案及/或診治醫師的個人印章圖案。將此彩色內容濾除可能有助於提高後續的格線分析的準確度。在一實施例中，濾除彩色內容後的影像畫面21可能只剩下黑色(格線與文字)與白色(背景)的影像內容。然後，處理器13可再將影像畫面21中不屬於格線的影像內容濾除。接著，處理器13可針對經預處理的影像畫面進行分析以獲得所述至少一格線的分布資訊。
須注意的是，在一實施例中，處理器13也可不對影像畫面21執行預處理而直接偵測原始的影像畫面21中的格線，以節省系統運算資源。但是，對格線之偵測精確度可能會下降。
在一實施例中，處理器13可獲得影像畫面21中平行於某一方向(亦稱為第一方向)的至少一格線(亦稱為第一格線)的分布資訊(亦稱為第一分布資訊)。此外，處理器13可獲得影像畫面21中平行於另一方向(亦稱為第二方向)的至少一格線(亦稱為第二格線)的分布資訊(亦稱為第二分布資訊)。第一方向可與第二方向相互垂直。例如，在一實施例中，第一方向可為水平方向，且第二方向可為垂直方向。或者，在一實施例中，第一方向可為垂直方向，且第二方向可為水平方向，只要兩方向相互垂直即可。
在一實施例中，處理器13可在影像畫面21中的某一座標位置(亦稱為第一座標位置)處，沿著所述第一方向掃描影像畫面21並記錄所偵測到的至少一特徵點(亦稱為第一特徵點)的總數。處理器13可根據第一特徵點的總數產生所述第一分布資訊。此外，處理器13可在影像畫面21中的某一座標位置(亦稱為第二座標位置)處，沿著所述第二方向掃描影像畫面21並記錄所偵測到的至少一特徵點(亦稱為第二特徵點)的總數。處理器13可根據第二特徵點的總數產生所述第二分布資訊。
圖3是根據本揭露的一實施例所繪示的經預處理的影像畫面的示意圖。圖4是根據本揭露的一實施例所繪示的第一分布資訊與第二分布資訊的示意圖。請參照圖3，接續於圖2的實施例，處理器13可對原始的影像畫面21執行預處理以產生新的影像畫面31。相較於影像畫面21，影像畫面31中大部分的文字及/或圖形(除了直線)內容都被視為可能影響辨識結果的雜訊而被濾除，僅剩多條格線301與多條格線302被保留。例如，格線301是指平行於X軸方向(即第一方向或水平方向)的格線，而格線302是指平行於Y軸方向(即第二方向或垂直方向)的格線。
在一實施例中，處理器13可在所辨識出的格線301與302中決定一個座標位置並將此座標位置決定為第一座標位置。以座標位置311為第一座標位置的範例，座標位置311可位於整個格線301與302所形成的表格區域的最左端。處理器13可從座標位置311處開始，沿著方向321(即第一方向或X軸方向)掃描影像畫面31並記錄所偵測到的至少一特徵點(即第一特徵點)的總數。例如，第一特徵點即為影像畫面31中沿著X軸方向偵測到呈現為黑色的像素點。處理器13可從座標位置311逐步往下(即沿-Y軸方向或方向322)移動並依序記載向右方掃描而偵測到的第一特徵點的總數。處理器13可根據所偵測到的第一特徵點的總數產生圖4的分布資訊41。
請參照圖4，分布資訊41的橫軸對應影像畫面31的Y軸座標，而分布資訊41的縱軸對應影像畫面31中在特定的Y軸座標上向右方掃描而測到的第一特徵點的總數。換言之，分布資訊41可藉由統計特徵反映多條格線301在影像畫面31上的分布狀態。
另一方面，以相同的座標位置311作為第二座標位置的範例。處理器13可從座標位置311處開始，沿著方向322(即第二方向或Y軸方向)掃描影像畫面31並記錄所偵測到的至少一特徵點(即第二特徵點)的總數。例如，第二特徵點即為影像畫面31中沿著Y軸方向偵測到呈現為黑色的像素點。處理器13可從座標位置311逐步往右(即沿X軸方向或方向321)移動並依序記載向下掃描所偵測到的第二特徵點的總數。處理器13可根據所偵測到的第二特徵點的總數產生圖4的分布資訊42。
請參照圖4，分布資訊42的橫軸對應影像畫面31的X軸座標，而分布資訊42的縱軸對應影像畫面31中在特定的X軸座標上向下掃描而測到的第二特徵點的總數。換言之，分布資訊42可藉由統計特徵反映多條格線302在影像畫面31上的分布狀態。
在一實施例中，分布資訊41與42可各別或統稱為所述格線的統計分布資訊。所述格線的統計分布資訊可作為一個統計特徵，以反映所述格線在影像畫面21或31上的分布狀態。
請回到圖3，在一實施例中，在掃描整個影像畫面31的過程中，處理器13還可獲得所述格線的實際分布資訊。所述格線的實際分布資訊可反映格線301與302在影像畫面31上劃分的多個欄位的(實際)分布狀態。例如，相較於格線的統計分布資訊(例如分布資訊41與42)，所述格線的實際分布資訊可呈現格線301與302在影像畫面31中劃分出來的多個欄位的實際位置、此些欄位的實際涵蓋的像素範圍、及/或此些欄位彼此之間的相對位置等與此些欄位的實際分布狀態相關之資訊。
在一實施例中，在掃描影像畫面21或31的過程中，處理器13可持續記錄所述第一特徵點及/或第二特徵點的座標位置。處理器13可根據所述第一特徵點及/或第二特徵點的座標位置來描繪出所述多個欄位及其實際分布狀態。處理器13可根據此些資訊獲得所述格線的實際分布資訊。
在一實施例中，在獲得所述格線的分布資訊後，處理器13可根據所述格線的分布資訊決定一個樣板資訊。此樣板資訊可用於從影像畫面21中萃取所需的文字資訊。例如，處理器13可將所述格線的統計分布資訊與儲存電路12中的至少一候選樣板的格線分布之資訊進行比對。處理器13可根據比對結果決定所述樣板資訊。
以圖4為例，處理器13可將分布資訊41及/或42與資料庫中至少一個候選樣板的格線分布之資訊進行比對。若比對結果呈現影像畫面21(或31)中的格線之分布與某一個候選樣板的格線之分布相似度高於一門檻值(例如格線的分布之相似度高於90%)，則處理器13可將此候選樣板決定為目標樣板並從儲存電路12中讀取此目標樣板的樣板資訊。例如，處理器13可根據比對結果從儲存電路12中讀取台北XX醫學大學附設醫院所提供的診斷證明書的樣板資訊。此樣板資訊可反映台北XX醫學大學附設醫院所假設提供的診斷證明書所採用的資訊記載格式。
在一實施例中，若處理器13所自動篩選的樣板資訊有誤，則使用者可以藉由執行一使用者操作以對處理器13所自動篩選的樣板資訊進行調整(例如替換)。例如，在一實施例中，若使用者發現處理器13分析影像畫面21後所自動決定的樣板資訊有誤(例如套用到其他醫院的診斷證明書的樣板資訊)，則使用者可藉由影像內容萃取裝置10的輸入/輸出介面(例如滑鼠、觸控板或觸控螢幕)來執行使用者操作，以從資料庫中選擇正確的樣板資訊。處理器13可根據此使用者操作來套用正確的樣板資訊，以避免後續的文字萃取發生錯誤。
在一實施例中，處理器13可記錄選擇到錯誤的樣板資訊之資訊。處理器13可根據此資訊修改後續選取樣板資訊的某些演算法參數(例如人工智能演算法的權重資訊)，從而嘗試提高後續選擇樣板資訊的正確性。例如，在一實施例中，根據修改後的演算法參數(例如權重資訊)，處理器13可提高或降低選擇某一樣板資訊的機率。
在一實施例中，在決定樣板資訊後，處理器13可根據所述樣板資訊從影像畫面21中萃取文字資訊。例如，在一實施例中，處理器13可根據所述格線的實際分布資訊與所述樣板資訊從所劃分的多個欄位中的至少一預設欄位中萃取特定的文字資訊(亦稱為第一文字資訊)。
以圖2為例，根據對應於台北XX醫學大學附設醫院之診斷證明書的樣板資訊以及所述格線的實際分布資訊，處理器13可從影像畫面21中的第一層的第二欄與第一層的第四欄分別萃取出使用者的姓名之資訊以及使用者的性別之資訊。爾後，在產生整合資料的過程中，從影像畫面21中的第一層的第二欄萃取出的文字資訊即可被配對到整合資料中的「姓名」之項目內容，而從影像畫面21中的第一層的第四欄萃取出的文字資訊即可被配對到整合資料中的「性別」之項目內容，以此類推。
或者，在一實施例中，處理器13可利用關鍵字搜尋搭配所述樣板資訊從影像畫面21中萃取特定文字資訊(亦稱為第二文字資訊)。同樣以圖2為例，根據對應於台北XX醫學大學附設醫院之診斷證明書的樣板資訊，處理器13可從影像畫面21中搜尋關鍵字「診治醫師」並從此關鍵字後方萃取出診治醫師之資訊，依此類推。爾後，在產生整合資料的過程中，從此關鍵字後方萃取出的文字資訊(例如林OO)即可被配對到整合資料中的「診治醫師」之項目內容。
圖5是根據本揭露的一實施例所繪示的整合資訊的示意圖。請參照圖5，在一實施例中，在萃取出所需的文字資訊後，處理器13可根據所萃取的文字資訊產生與所述使用者的就醫紀錄有關的整合資訊51。例如，整合資訊51可以電腦可讀取的文字格式來分類記載原始的影像畫面21中呈現於表格中的各個欄位的項目內容，例如，使用者的個人資訊(例如姓名、性別、居住地址、身分證字號、出生日期)、就醫資訊(例如看診科別、病歷號、應診日期)及診斷資訊(例如罹患疾病、醫師囑言、診治醫師)等等。
在一實施例中，若處理器13所萃取出的文字資訊有誤，則使用者可以藉由執行一使用者操作以對處理器13所萃取出的文字資訊進行修改。例如，在一實施例中，若使用者發現處理器13所萃取出的文字資訊有誤(例如對於特定文字的辨識錯誤及/或對於特定資訊的配對有誤(例如將年齡項目配對到使用者的名字))，則使用者可藉由影像內容萃取裝置10的輸入/輸出介面(例如滑鼠、觸控板或觸控螢幕)來執行使用者操作，以對此錯誤進行更正。處理器13可根據此使用者操作產生使用者的修改紀錄並將此修改紀錄回傳至資料庫。爾後，後台的管理人員(例如維修人員或保險公司人員)即可根據此修改紀錄得知使用者曾經對經辨識的特定文字資訊進行修改以及對應的修改結果。
在一實施例中，處理器13可根據使用者對文字資訊的修改紀錄修改後續用於辨識文字資訊的某些演算法參數(例如人工智能演算法的權重資訊)，從而嘗試提高後續辨識文字資訊的正確性。
須注意的是，在其他實施例中，所述樣板資訊還可以包含更多有用的資訊(例如與影像畫面21中可能存在的空白字元及/或特殊符號有關的描述等)。藉此，處理器13可根據此些資訊來自動且完整地從影像畫面21中萃取出符合條件的文字資訊並根據此文字資訊產生與使用者的就醫紀錄有關的整合資訊51。
圖6是根據本揭露的一實施例所繪示的影像內容萃取裝置的外觀示意圖。請參照圖6，影像內容萃取裝置60可相同或相似於影像內容萃取裝置10。在一實施例中，影像內容萃取裝置60可包括影像輸入介面61與顯示介面62。影像輸入介面61可用以接收紙本的診斷證明書。例如，影像輸入介面61可包括插入式的入紙口。使用者可將紙本的診斷證明書插入至影像輸入介面61並由影像輸入介面61產生對應於此診斷證明書的影像檔案。
顯示介面62可為觸控螢幕並用以顯示影像內容萃取裝置60的處理器所自動決定的樣板資訊。在一實施例中，使用者可從顯示介面62查看此樣板資訊是否正確。若此樣板資訊有誤，則使用者可藉由觸控方式操作此顯示介面62選擇正確的樣板資訊，以替換掉錯誤的樣板資訊。此外，在一實施例中，使用者也可藉由顯示介面62來查看及/或修改影像內容萃取裝置60的處理器所自動萃取的文字資訊及/或整合資訊。
在一實施例中，影像內容萃取裝置60還可包括認證介面63。認證介面63可用以驗證當前操作者的身分。例如，使用者可使用其身分識別卡靠近認證介面63，以藉由無線感應或掃描QR碼等方式達成身分驗證。
在一實施例中，影像內容萃取裝置60還可包括通訊介面(未繪示)。此通訊介面可用以將所產生的影像檔案及/或整合資訊傳送至遠端裝置，例如特定使用者的手機或者保險公司的伺服器等等，以供後續查詢使用。
須注意的是，圖6的影像內容萃取裝置60的外觀樣式僅為範例。在一實施例中，影像內容萃取裝置60的外觀樣式及/或介面配置還可以視實務需求調整，本揭露不加以限制。
在一實施例中，圖6的影像內容萃取裝置60(或圖1的影像內容萃取裝置10)亦可實作為筆記型電腦、桌上型電腦、工業用電腦、伺服器、智慧型手機或平板電腦等各式具影像處理功能的電腦裝置，本揭露不限制影像內容萃取裝置10與60的裝置類型。
此外，本揭露的一實施例提出一種非揮發性電腦可讀記錄媒體。此非揮發性電腦可讀記錄媒體儲存有程式碼。電腦中的處理器(例如圖1的處理器13)可執行(或運行)此程式碼以執行前述提及的各項功能與操作。
圖7是根據本揭露的一實施例所繪示的影像內容萃取方法的流程圖。請參照圖7，在步驟S701中，獲得影像檔案。在步驟S702中，分析所述影像檔案以獲得所述影像檔案所對應的影像畫面中的至少一格線的分布資訊。在步驟S703中，根據所述至少一格線的分布資訊決定樣板資訊。在步驟S704中，根據所述樣板資訊從所述影像檔案(或影像畫面)中萃取文字資訊。在步驟S705中，根據所述文字資訊產生與使用者的就醫紀錄有關的整合資訊。
然而，圖7中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖7中各步驟可以實作為多個程式碼(例如軟體模組)或是電路(例如電路模組)，本揭露不加以限制。此外，圖7的方法可以搭配以上範例實施例使用，也可以單獨使用，本揭露不加以限制。
綜上所述，在獲得影像檔案後，可分析所述影像檔案以獲得所述影像檔案所對應的影像畫面中的至少一格線的分布資訊。接著，樣板資訊可根據所述至少一格線的分布資訊而決定，且文字資訊可根據所述樣板資訊而從所述影像檔案之畫面中萃取出來。爾後，與使用者的就醫紀錄有關的整合資訊可根據所述文字資訊而自動產生。藉此，可有效提高紙本的診斷證明書的使用效率。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
10, 60:影像內容萃取裝置 11, 61:影像輸入介面 12:儲存電路 13:處理器 101:影像檔案 102:影像辨識模組 21, 31:影像畫面 301, 302:格線 311:座標位置 321, 322:方向 41, 42:分布資訊 51:整合資訊 62:顯示介面 63:認證介面 S701~S705:步驟
圖1是根據本揭露的一實施例所繪示的影像內容萃取裝置的功能方塊圖。 圖2是根據本揭露的一實施例所繪示影像檔案所對應的影像畫面的示意圖。 圖3是根據本揭露的一實施例所繪示的經預處理的影像畫面的示意圖。 圖4是根據本揭露的一實施例所繪示的第一分布資訊與第二分布資訊的示意圖。 圖5是根據本揭露的一實施例所繪示的整合資訊的示意圖。 圖6是根據本揭露的一實施例所繪示的影像內容萃取裝置的外觀示意圖。 圖7是根據本揭露的一實施例所繪示的影像內容萃取方法的流程圖。
S701~S705:步驟

Claims (18)

  1. 一種影像內容萃取方法，包括：獲得一影像檔案；分析該影像檔案以獲得該影像檔案所對應的一影像畫面中的至少一格線的分布資訊，其中該至少一格線的該分布資訊包括該至少一格線的一統計分布資訊；將該至少一格線的該統計分布資訊與多個候選樣板的格線分布之資訊進行比對；根據一比對結果將該多個候選樣板中與該至少一格線的格線分布之相似度高於門檻值的樣板決定為目標樣板；讀取對應於該目標樣板的一樣板資訊；根據該樣板資訊從該影像畫面中萃取文字資訊；以及根據該文字資訊產生與一使用者的就醫紀錄有關的整合資訊。
  2. 如請求項1所述的影像內容萃取方法，其中分析該影像檔案以獲得該影像檔案所對應的該影像畫面中的該至少一格線的該分布資訊之步驟包括：將該影像畫面中的彩色內容濾除。
  3. 如請求項1所述的影像內容萃取方法，其中分析該影像檔案以獲得該影像檔案所對應的該影像畫面中的該至少一格線的該分布資訊之步驟包括：將該影像畫面中不屬於該至少一格線的影像內容濾除。
  4. 如請求項1所述的影像內容萃取方法，其中分析該影像檔案以獲得該影像檔案所對應的該影像畫面中的該至少一格線的該分布資訊之步驟包括：獲得該至少一格線中平行於一第一方向的至少一第一格線的一第一分布資訊；以及獲得該至少一格線中平行於一第二方向的至少一第二格線的一第二分布資訊，其中該第一方向與該第二方向垂直。
  5. 如請求項4所述的影像內容萃取方法，其中獲得該至少一格線中平行於該第一方向的該至少一第一格線的該第一分布資訊之步驟包括：在該影像畫面中的一第一座標位置處，沿著該第一方向掃描該影像畫面並記錄所偵測到的至少一第一特徵點的總數；以及根據該至少一第一特徵點的總數產生該第一分布資訊，其中獲得該至少一格線中平行於該第二方向的該至少一第二格線的該第二分布資訊之操作包括：在該影像畫面中的一第二座標位置處，沿著該第二方向掃描該影像畫面並記錄所偵測到的至少一第二特徵點的總數；以及根據該至少一第二特徵點的該總數產生該第二分布資訊。
  6. 如請求項1所述的影像內容萃取方法，其中該至少一格線的該統計分布資訊以一統計特徵反映該至少一格線在該影像畫面上的一分布狀態。
  7. 如請求項1所述的影像內容萃取方法，其中該至少一格線的該分布資訊更包括該至少一格線的一實際分布資訊，且該至少一格線的該實際分布資訊反映該至少一格線在該影像畫面上劃分的多個欄位的分布狀態。
  8. 如請求項7所述的影像內容萃取方法，其中根據該樣板資訊從該影像畫面中萃取該文字資訊之步驟包括：根據該至少一格線的該實際分布資訊與該樣板資訊從該多個欄位中的至少一預設欄位中萃取一第一文字資訊。
  9. 如請求項1所述的影像內容萃取方法，其中根據該樣板資訊從該影像畫面中萃取該文字資訊之步驟包括：利用一關鍵字搜尋搭配該樣板資訊從該影像畫面中萃取一第二文字資訊。
  10. 一種影像內容萃取裝置，包括：一影像輸入介面，用以獲得一影像檔案；一處理器，耦接至該影像輸入介面，其中該處理器用以分析該影像檔案以獲得該影像檔案所對應的一影像畫面中的至少一格線的分布資訊，其中該至少一格線的該分布資訊包括該至少一格線的一統計分布資訊，該處理器更用以將該至少一格線的該統計分布資訊與多個候 選樣板的格線分布之資訊進行比對，該處理器更用以根據一比對結果將該多個候選樣板中與該至少一格線的格線分布之相似度高於門檻值的樣板決定為目標樣板，該處理器更用以讀取對應於該目標樣板的一樣板資訊，該處理器更用以根據該樣板資訊從該影像畫面中萃取文字資訊，並且該處理器更用以根據該文字資訊產生與一使用者的就醫紀錄有關的整合資訊。
  11. 如請求項10所述的影像內容萃取裝置，其中分析該影像檔案以獲得該影像檔案所對應的該影像畫面中的該至少一格線的該分布資訊之操作包括：將該影像畫面中的彩色內容濾除。
  12. 如請求項10所述的影像內容萃取裝置，其中分析該影像檔案以獲得該影像檔案所對應的該影像畫面中的該至少一格線的該分布資訊之操作包括：將該影像畫面中不屬於該至少一格線的影像內容濾除。
  13. 如請求項10所述的影像內容萃取裝置，其中分析該影像檔案以獲得該影像檔案所對應的該影像畫面中的該至少一格線的該分布資訊之操作包括：獲得該至少一格線中平行於一第一方向的至少一第一格線的一第一分布資訊；以及 獲得該至少一格線中平行於一第二方向的至少一第二格線的一第二分布資訊，其中該第一方向與該第二方向垂直。
  14. 如請求項13所述的影像內容萃取裝置，其中獲得該至少一格線中平行於該第一方向的該至少一第一格線的該第一分布資訊之操作包括：在該影像畫面中的一第一座標位置處，沿著該第一方向掃描該影像畫面並記錄所偵測到的至少一第一特徵點的總數；以及根據該至少一第一特徵點的總數產生該第一分布資訊，其中獲得該至少一格線中平行於該第二方向的該至少一第二格線的該第二分布資訊之操作包括：在該影像畫面中的一第二座標位置處，沿著該第二方向掃描該影像畫面並記錄所偵測到的至少一第二特徵點的總數；以及根據該至少一第二特徵點的該總數產生該第二分布資訊。
  15. 如請求項10所述的影像內容萃取裝置，其中該至少一格線的該統計分布資訊以一統計特徵反映該至少一格線在該影像畫面上的一分布狀態。
  16. 如請求項10所述的影像內容萃取裝置，其中該至少一格線的該分布資訊更包括該至少一格線的一實際分布資訊， 且該至少一格線的該實際分布資訊反映該至少一格線在該影像畫面上劃分的多個欄位的分布狀態。
  17. 如請求項16所述的影像內容萃取裝置，其中根據該樣板資訊從該影像畫面中萃取該文字資訊之操作包括：根據該至少一格線的該實際分布資訊與該樣板資訊從該多個欄位中的至少一預設欄位中萃取一第一文字資訊。
  18. 如請求項10所述的影像內容萃取裝置，其中根據該樣板資訊從該影像畫面中萃取該文字資訊之操作包括：利用一關鍵字搜尋搭配該樣板資訊從該影像畫面中萃取一第二文字資訊。
TW110100094A 2020-12-29 2021-01-04 影像內容萃取方法與影像內容萃取裝置 TWI809343B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/136,036 US20220208317A1 (en) 2020-12-29 2020-12-29 Image content extraction method and image content extraction device
US17/136,036 2020-12-29

Publications (2)

Publication Number Publication Date
TW202226263A TW202226263A (zh) 2022-07-01
TWI809343B true TWI809343B (zh) 2023-07-21

Family

ID=82119530

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110100094A TWI809343B (zh) 2020-12-29 2021-01-04 影像內容萃取方法與影像內容萃取裝置

Country Status (2)

Country Link
US (1) US20220208317A1 (zh)
TW (1) TWI809343B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654072A (zh) * 2016-03-24 2016-06-08 哈尔滨工业大学 一种低分辨率医疗票据图像的文字自动提取和识别系统与方法
TW202024993A (zh) * 2018-12-19 2020-07-01 洽吧智能股份有限公司 字元影像識別方法與系統
CN111989692A (zh) * 2019-09-30 2020-11-24 北京市商汤科技开发有限公司 表单识别方法、表格提取方法及相关装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590275B2 (en) * 2004-08-26 2009-09-15 Seiko Epson Corporation Method and system for recognizing a candidate character in a captured image
US9298997B1 (en) * 2014-03-19 2016-03-29 Amazon Technologies, Inc. Signature-guided character recognition
CN109313695A (zh) * 2016-05-18 2019-02-05 诺基亚技术有限公司 用于恢复可编辑的幻灯片的设备、方法和计算机程序产品
WO2019157025A1 (en) * 2018-02-06 2019-08-15 Vatbox, Ltd. System and method for generating an electronic template corresponding to an image of an evidence
JP7102170B2 (ja) * 2018-02-28 2022-07-19 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法とプログラム
US20200019767A1 (en) * 2018-07-12 2020-01-16 KnowledgeLake, Inc. Document classification system
US10853638B2 (en) * 2018-08-31 2020-12-01 Accenture Global Solutions Limited System and method for extracting structured information from image documents
US10395772B1 (en) * 2018-10-17 2019-08-27 Tempus Labs Mobile supplementation, extraction, and analysis of health records

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654072A (zh) * 2016-03-24 2016-06-08 哈尔滨工业大学 一种低分辨率医疗票据图像的文字自动提取和识别系统与方法
TW202024993A (zh) * 2018-12-19 2020-07-01 洽吧智能股份有限公司 字元影像識別方法與系統
CN111989692A (zh) * 2019-09-30 2020-11-24 北京市商汤科技开发有限公司 表单识别方法、表格提取方法及相关装置

Also Published As

Publication number Publication date
TW202226263A (zh) 2022-07-01
US20220208317A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US11145059B2 (en) Medical scan viewing system with enhanced training and methods for use therewith
US11282198B2 (en) Heat map generating system and methods for use therewith
ALEnezi A method of skin disease detection using image processing and machine learning
US11551795B2 (en) AI-based multi-label heat map generating system and methods for use therewith
US11328365B2 (en) Systems and methods for insurance fraud detection
Mason et al. An investigation of biometric authentication in the healthcare environment
WO2021139146A1 (zh) 信息推荐方法、设备、计算机可读存储介质及装置
JP7392120B2 (ja) 自然言語処理を使用する病理報告内の自動化された情報の抽出及び改良
WO2022222943A1 (zh) 科室推荐方法、装置、电子设备及存储介质
Barua et al. Automated detection of pain levels using deep feature extraction from shutter blinds-based dynamic-sized horizontal patches with facial images
WO2021008601A1 (zh) 一种医学数据的检验方法
CN110752027B (zh) 电子病历数据推送方法、装置、计算机设备和存储介质
Guo et al. LCC: towards efficient label completion and correction for supervised medical image learning in smart diagnosis
Mohammadi et al. Weakly supervised learning and interpretability for endometrial whole slide image diagnosis
Wang et al. Diagnosis of cognitive and motor disorders levels in stroke patients through explainable machine learning based on MRI
Liawrungrueang et al. Artificial Intelligence-Assisted MRI Diagnosis in Lumbar Degenerative Disc Disease: A Systematic Review
TWI809343B (zh) 影像內容萃取方法與影像內容萃取裝置
CN116825269A (zh) 体检报告的处理方法、装置、电子设备和可读存储介质
CN115036034B (zh) 一种基于患者表征图的相似患者识别方法及系统
US11321372B2 (en) Method and system for a natural language processing using data streaming
Montaha et al. Malignancy pattern analysis of breast ultrasound images using clinical features and a graph convolutional network
Bolourchi et al. A machine learning-based data-driven approach to Alzheimer’s disease diagnosis using statistical and harmony search methods
WO2023197212A1 (zh) 自闭症的评估方法、评估装置、电子设备以及存储介质
Balaji et al. Computational Intelligence for Multimodal Analysis of High‐Dimensional Image Processing in Clinical Settings
Shengbin et al. Alzheimer’s disease classification algorithm based on fusion of channel attention and densely connected networks