TWI788620B - 通過語音記錄及處理一組織之影像資訊的方法及系統 - Google Patents
通過語音記錄及處理一組織之影像資訊的方法及系統 Download PDFInfo
- Publication number
- TWI788620B TWI788620B TW109101772A TW109101772A TWI788620B TW I788620 B TWI788620 B TW I788620B TW 109101772 A TW109101772 A TW 109101772A TW 109101772 A TW109101772 A TW 109101772A TW I788620 B TWI788620 B TW I788620B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- voice
- controller
- recording
- target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012545 processing Methods 0.000 title claims abstract description 13
- 238000001454 recorded image Methods 0.000 claims description 15
- 238000001356 surgical procedure Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000008520 organization Effects 0.000 claims description 7
- 201000010099 disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000007689 inspection Methods 0.000 description 10
- 230000001575 pathological effect Effects 0.000 description 10
- 210000001035 gastrointestinal tract Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000001731 descending colon Anatomy 0.000 description 3
- 230000000968 intestinal effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001599 sigmoid colon Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000001815 ascending colon Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
- H04M11/10—Telephonic communication systems specially adapted for combination with other electrical systems with dictation recording and playback systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本揭示內容提供一種通過語音記錄及處理一組織之影像資訊的方法及
系統。本方法主要應用在執行醫學影像記錄，先利用影像攝錄裝置執行一攝錄程序以獲取攝錄影像，再由攝錄影像中擷取至少一目標畫面，同時透過控制器接收或傳送一語音指令，以將每一目標畫面及語音指令中對應每一目標畫面的資訊寫入一醫療記錄中，最終將醫療紀錄儲存於一資料庫內。
Description
本揭示內容是關於一種資訊處理系統與方法，尤指通過語音記錄影像相關資訊的系統及方法。
在診療過程中病歷記錄是相當重要的一環。醫療人員可以透過病歷記錄知道病灶的變化，藉以採取相應的醫療措施。
於臨床上，醫療人員並非於第一時間記錄病歷記錄。舉例來說，當醫療人員在操作內視鏡時，可能會因為手持控制裝置或是進行其他操作而無法於當下記錄病歷，相關的描述或標記，通常是在術後醫療人員透過手術過程所拍攝和/或錄製的圖像，並依靠其記憶才完成病歷紀錄，導致可能發生記錄區域錯誤、病灶資訊不完整或錯記病理等情況發生。
此外，在以執行各項檢查或手術時，醫療人員需要即時的從影像中判斷內視鏡的位置與病灶種類。如果醫療人員發生錯判位置，將會導致誤診或錯採治療方式等情況。因此，醫療人員如果可以在執行各項檢查或手術時的同時，也可以同時記錄所觀察的資訊，就可以大幅降低前述的錯誤。
有鑑於此，本技術領域中亟需一種改良的影像紀錄系統及方法，以改善先前技術的不足。
發明內容旨在提供本揭示內容的簡化摘要，以使閱讀者對本揭示內容具備基本的理解。此發明內容並非本揭示內容的完整概述，且其用意並非在指出本發明實施例的重要/關鍵元件或界定本發明的範圍。
本揭是內容之一態樣是關於一種語音記錄及處理組織影像的方法，包括：(1)以一影像攝錄裝置執行一攝錄程序以獲取一攝錄影像；(2)以一控制器由該攝錄影像中擷取至少一目標畫面，且其中該控制器與影像攝錄裝置通訊連接；(3)透過該控制器接收或傳送一語音指令，以將至少一目標畫面及該語音指令中對應之至少一目標畫面的一資訊寫入一醫療記錄中；及(4)將該醫療紀錄儲存於一資料庫內。
依據本發明一實施方式，本發明的方法更包含步驟(5)：計算任兩個醫療紀錄之間所花費的時間。
依據本發明一具體的實施方式，所述語音指令至少包含一動作指令以及一可被轉變成文字寫入於該醫療記錄之文字指令。舉例而言，所述動作指令係用以命令影像攝錄裝置執行攝錄或擷取之步驟；或命令控制器執行儲存、刪除、選擇、記錄、關聯或將語音指令轉變成文字指令。另外，文字指令包括至少一種類別資訊，其為病癥、形態、大小、顏色、時間、處置、術式、器材、藥品、一使用者之語音描述或其之組合。
另，依據本發明又一實施方式，所述方法更包含利用本發明所攝錄影像和/或擷取的目標畫面上的影像特徵進行各種步驟。在一實施方式中，所述方法更包含依照所擷取之至少一目標畫面的一影像特徵來填寫一表格。又在其他實施方式中，可依據所述影像特徵進行匹配，於存有歷史醫療紀錄的資料庫中識別出對應於所述醫療紀錄之至少一歷史醫療紀錄。此外，本發明的方法亦可利用所述影像特徵的分析，識別攝錄裝置於執行攝錄程序中所位於的區域相對應的解剖學位置。
在可選的實施方式中，所述影像特徵包括是選自於由腔室形狀、表面紋理、表面顏色和目標形狀所組成之群組中。
依據本發明一具體實施方式所示，於辨識出攝錄裝置於執行攝錄程序中所位於的區域相對應的解剖學位置的方法中，除了可利用影像特徵分析組織特徵加以比對分析辨識出解剖學位置外，同時亦可參照該些影像特徵影像出現的時序。
此外，本發明的方法更包含將目標畫面和相對應的解剖學位置關聯，並且於顯示所述醫療紀錄時，所述醫療紀錄中至少一目標畫面係依組織之解剖學位置依序排列。
在其他實施方式中，所述影像特徵亦可為目標畫面上特定影像區域中的影像特徵，例如利用圈選的方式產生所述影像特徵。
本揭示內容的通過語音記錄及處理組織之影像資訊的方法及執行所述方法的系統協助醫療人員在進行醫學檢查或手術的過程中，能夠透過語音轉換文字的方式將醫療影像的備註資訊即時的加入醫療記錄中，也可以透過
語音轉文字的方式同時記錄所觀察的目標，進而減少術中及術後整理資訊的負擔。
在參閱下文實施方式後，本發明所屬技術領域中具有通常知識者當可輕易瞭解本發明之基本精神及其他發明目的，以及本發明所採用之技術手段與實施態樣。
本發明主要元件符號編列如下：
100:系統
110:影像攝錄裝置
111:攝像機
112:第一通訊裝置
113:第一處理器
120:控制端
121:第二通訊裝置
122:儲存裝置
123:輸入裝置
124:第二處理器
125:顯示裝置
133:病理歷程資料
134:醫療記錄
210、220、230、240:步驟
300、400、500:醫療記錄畫面
330、1030A、1030B、1030C:文字欄位
422、922、1022:醫療記錄
424、1024:歷史醫療記錄
442、542、642、742、942:目標畫面
444、544:歷史目標畫面
446:識別結果
545:影像區域
546:影像特徵
600、700、900、1010、1000A、1000B、1110:顯示畫面
602、702、902:對應表
604:類別文字標示
706、1106:示意圖
810:時間軸
802:觀察結果
804、806、904:語音指令
805A、805B:指令
960:時間戳記
1042:攝錄影像
1037:病患列表
為讓本發明的上述與其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖依據本揭示內容一實施方式所示之系統架構示意圖；第2圖繪示本揭示內容一實施方式通過語音記錄及處理組織影像的方法的流程示意圖；第3圖為依照本發明一實施方式所示之由顯示裝置125顯示的醫療記錄畫面300；第4圖為依據本發明一實施方式所示之由顯示裝置125顯示的醫療記錄畫面400；第5圖為依據本發明一實施方式所示之由顯示裝置125顯示的醫療記錄畫面500；第6圖為依據本發明一實施方式所示之目標畫面觀察結果標記及顯示畫面600的示意圖；
第7圖為依據本發明一實施方式所示之目標畫面觀察結果標記及顯示畫面700的示意圖；第8圖為依據本發明一實施方式所示之語音指令執行則目標畫面觀察結果標記的示意圖；第9A圖為依據本發明一實施方式所示之聲控標時方法之示意圖；第9B圖為依據本發明一實施方式所示之聲控標時及顯示畫面900的示意圖；第10A和10B圖為依據本發明一實施方式所示於控制端120之顯示裝置125上所呈現的顯示畫面1010；以及。
第11圖為依據本發明一實施方式所示於控制端120之顯示裝置125上所呈現的顯示畫面1110。
根據慣常的作業方式，圖中各種特徵與元件並未依比例繪製，其繪製方式是為了以最佳的方式呈現與本揭示內容相關的具體特徵與元件。此外，在不同圖式間，以相同或相似的元件符號來指稱相似的元件/部件。
為了使本揭示內容的敘述更加詳盡與完備，下文針對了本發明的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本發明具體實施例的唯一形式。實施方式中涵蓋了多個具體實施例的特徵以及用以建構與操作這些具體實施例的方法步驟與其順序。然而，亦可利用其他具體實施例來達成相同或均等的功能與步驟順序。
在此所述「攝錄影像」一詞是指臨床或研究人員在進行檢查或醫療行為時所進行攝錄程序所記錄的結果。舉例而言，在執行腸道內視鏡的檢查中，攝錄影像是指在執行腸道內視鏡檢查過程，對腸道進行攝錄所產生的影像。此外，在非限制的實施方式中，操作人員也能夠依據自身需求而調整攝錄的範圍，本揭示內容並不限制攝錄影像的數量與時間長度。此外，所述「攝錄影像」意指連續拍攝所形成的影像記錄，即隨著時間連續記錄多張畫面所形成的影像。通常來說，所述攝錄影像是由複數個影格(Frame)所組成。
本說明書所述「目標畫面」一詞是指攝錄影像中的單張特定畫面。換句話說，所述「目標畫面」是指一影格(Frame)。在其他實施方式中，所述「目標畫面」亦可以是指某一影格上的部份畫面。
所述「醫療記錄」一詞是指執行本發明方法所產生的單一醫療記錄。舉例而言，個體應用本發明方法所執行手術或檢查過程中的單一臨床記錄，其包含單一目標畫面(即，組織影像)及其相應的資訊。所述醫療記錄亦可以涵蓋利用本發明方法執行手術或檢查整個過程，所得到的複數目標畫面及其相對應的資訊。
所述「病理歷程資料」一詞於本文中可以包含複數筆醫療記錄，且該複數筆醫療記錄可依據就診的時間和科別分類。
在此所述「個體」(subject)或「患者」(patient)等詞是指可利用本發明方法處置的動物，包含人類。除非特別指明，「個體」或「患者」涵蓋雄性與雌性動物。
除非本說明書另有定義，此處所用的科學與技術詞彙之含義與本發明所屬技術領域中具有通常知識者所理解與慣用的意義相同。此外，在不和上
下文衝突的情形下，本說明書所用的單數名詞涵蓋該名詞的複數型；而所用的複數名詞時亦涵蓋該名詞的單數型。
為了協助醫療或研究人員在對個體進行影像檢查或處置過程中，能夠透過語音指令，而將醫療人或研究員對攝錄裝置拍攝結果的註解即時地加入醫療記錄中，本揭示內容提供了一種通過語音記錄及處理一組織之影像資訊的方法及用以執行所述方法的裝置。
本發明的技術內容特別適合應用在臨床或研究領域中需以雙手執行的手術和檢查方法，因操作人員的雙手忙於操作器械或執行手術，因此無法於當下立即將患者的手術或檢查情況紀錄下來。以臨床為例，當醫療人員執行外科手術時，除了手術環境為無菌環境外，無菌操作更為重要，值刀的主治醫師通常雙手需執行手術，且嚴格遵守無菌操作原則，往往無法即時完整記錄病灶，本揭示內容所揭示的方法即能夠改善此一臨床上長久存在的問題。此外，本發明所提供的技術內容的另一優勢在於產生結構化病歷，透過即時的影像記錄和語音指令，能將觀察結果和病灶描述與特定目標影像加以配對連結，不僅能夠在術中即時完成病歷紀錄，藉由本發明方法所產生的結構化病歷，可直接作為機器學習的資源，不斷提升診療效率及品質。
第1圖為依據本發明一實施方式所繪示的用以執行本發明方法的系統架構示意圖。以下將透過第1圖來說明系統100的基本結構與細節。所述系統100包含影像攝錄裝置110與控制器120。
影像攝錄裝置110包含彼此通訊耦接之攝像機111、第一通訊裝置112與第一處理器113。攝像機111用於拍攝及錄製攝錄影像，在本揭示內容的一實施例中，攝像機111例如是由感光耦合元件(CCD)及控制器晶片所組成具有
拍照與攝影功能的機器，也可以由市面上各種類型的內視鏡內嵌/外接所構成。此外，在其他實施方式中，任何能夠符合術式所需規格的攝影機，皆可被應用於本揭示內容之中。舉例而言，本發明所示之攝影像攝錄裝置涵蓋醫學領域所採用的攝像裝置，包含但不限於，光學影像裝置、超音波攝像裝置、心導管檢查攝像裝置、放射影像裝置、熱影像裝置等。
第一通訊裝置112用以傳送與接收資訊。在本揭示內容一實施例中，第一通訊裝置112是以通訊晶片進行實作，通訊晶片的實例包括但不限於，支援全球行動通信(Global System for Mobile communication,GSM)、個人手持式電話系統(Personal Handy-phone System,PHS)、碼多重擷取(Code Division Multiple Access,CDMA)系統、寬頻碼分多址(Wideband Code Division Multiple Access,WCDMA)系統、長期演進(Long Term Evolution,LTE)系統、全球互通微波存取(Worldwide interoperability for Microwave Access,WiMAX)系統、無線保真(Wireless Fidelity,Wi-Fi)系統或藍牙的信號傳輸的元件。
第一處理器113與攝像機111及第一通訊裝置112彼此通訊耦接，用以執行影像攝錄裝置110所需的運算。第一處理器113的實例包括但不限於，中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合，本揭示內容不限於此。
控制器120包括彼此通訊耦接之第二通訊裝置121、儲存裝置122、輸入裝置123、第二處理器124與顯示裝置125。
第二通訊裝置121與第一通訊裝置112連接，用以傳送與接收訊息。特別是，第二通訊裝置121會與第一通訊裝置112進行指令、攝錄影像、目標影像等的交換。第二通訊裝置121亦是以相似於第一通訊裝置112的通訊晶片進行實作，且第二通訊裝置121的通訊類型能夠支援與第一通訊裝置112的通訊類型，但本揭示內容不限於此。
儲存裝置122用以儲存控制器120運行時所需的必要資料與程式碼。儲存裝置122可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid State Drive，SSD)或類似元件或上述元件的組合，本揭示內容不以此為限。再者，所述儲存裝置122可用以儲存資料庫136以及各種電子文件或資訊。在非限制的實施方式中，所述資料庫136亦可架設於雲端或其他伺服器中。
輸入裝置123是用以提供使用者輸入各類型資訊、資料、指令至控制器120中。特別是，輸入裝置123可接收來自使用者的語音指令及目標擷取指令。輸入裝置123的實例包括但不限於，操控影像攝錄裝置的控制器、麥克風、鍵盤、滑鼠、觸控螢幕、踏板、人機介面(Human machine interface)或者其他通訊介面而讓使用者能夠透過外接其他電子裝置的方式輸入資料(例如，透過藍芽介面與手機連線，進而透過手機輸入資料)。其中，人機介面可以但不限為滑鼠、開關(switch)或其他用於控制的機電裝置。本揭示內容並不以輸入裝置123的實作方式為限。
第二處理器124與第二通訊裝置121、儲存裝置122、輸入裝置123與顯示裝置125彼此通訊連接，用以執行控制器120所需的各類運算。第二處理器124會以相似第一處理器113的硬體進行實作，於此不再贅述。
控制器120還可以內嵌或外接顯示裝置125，以讓操作人員能直接透過顯示裝置125所顯示的畫面而檢視醫療記錄及醫療報告。
在以系統100實施本發明方法之前，首先，在啟動系統100以及控制器120時，操作人員可以通過輸入裝置123選擇是否新增患者的病理歷程資料133，其中所述病理歷程資料133包含至少一筆與患者相關的醫療記錄134。若病患的病理歷程資料133已存在儲存裝置122時，則控制器120會調出該病理歷程資料133，並於其中新增醫療記錄134。
第2圖繪示本揭示內容一實施例通過語音記錄及處理一組織之影像資訊方法之流程示意圖。具體而言，在步驟210中，由影像攝錄裝置110執行攝錄程序以獲取攝錄影像。具體而言，操作人員在利用本發明系統100進行各類手術和檢查時，可啟動影像攝錄裝置110開始執行攝錄程序以獲取攝錄影像。在此實施例中，攝錄影像會以影像串流(stream)的方式，將攝錄影像傳送至控制器120。所述控制器120上的顯示裝置125可即時顯示攝錄裝置110所拍攝到的攝錄影像。
在步驟220中，使用者可由步驟210中所拍攝到的攝錄影像中擷取至少一目標畫面。舉例而言，於執行內視鏡檢查攝錄程序的過程，倘若操作人員懷疑攝錄影像中某一組織疑似為病灶或界標(landmark)時，操作人員可透過控制器擷取攝錄影像中的某個含有所述病灶或界標的影格，此一擷取影像稱為「目標畫面」。控制器120擷取目標畫面的方式包含但不限於，以驅動裝置(如，踏板或按鈕)、鍵盤輸入或語音指令方式來驅動控制器120擷取欲求目標畫面。在其
他實施方式中，所述目標畫面亦可為影格上的部份畫面，可利用輸入裝置123圈取選定欲求之部份畫面。
接著，在步驟230中，使用者藉由語音方式驅動控制器120，以將目標畫面及所觀測到該目標畫面的醫療資訊(例如，病灶描述)寫入醫療記錄134中。具體而言，使用者發出的語音指令至少包含動作指令，以及一可被轉變成文字寫入於該醫療記錄之文字指令(例如，病灶描述)。
接著，在步驟240中，將前述醫療紀錄儲存於一資料庫內。經執行本方法後所產生的醫療記錄134將被儲存在資料庫136內。經本發明方式處理的每筆醫療記錄中的目標影像均有相應的資訊(如，各種病灶類別資訊、或其他語音敘述)，該些資訊係依照本發明方法所設定規則組成的複數醫療記錄，可形成一結構化病歷，因此，此種資訊可作為後續機器學習的資源。此外，在一非限制的實施方式中，本發明系統100亦可採用機器學習的方式運行，以所儲存之醫療記錄134中的大量影像及其相應的特徵資訊作為訓練材料來教導本發明系統進行深度學習。
此外，在一實施方式中，步驟240所擷取的複數張目標畫面係選擇性地被加入至醫療記錄134中。換言之，雖然所有被拍攝的目標畫面都會儲存在儲存裝置122中，然，僅有經操作人員透過控制器120所選定的目標畫面方能被加入至醫療記錄134中。其他已儲存但未被選擇的目標畫面，可留待日後由操作人員從儲存裝置122中調出使用。
本發明的方法流程各步驟主要以語音指令作為執行的關鍵，整合語音操控、影像辨識、影像標記(tag)和語音計時等。當本方法應用在臨床領域時，
能夠讓醫療人員更有效率執行各種手術和檢驗方法外，亦可避免操作過程中的人為疏失產生。
1.語音操控系統
本發明的語音指令包括動作指令和文字指令。所述動作指令包含但不限於命令該影像攝錄裝置執行攝錄或擷取之步驟，或命令控制器執行儲存、刪除、選擇、記錄、關聯或將語音指令轉變成文字指令。舉例而言，當操作人員需記錄目標畫面中的組織時，其可透過「記錄目標型態」、「記錄目標外型」、「記錄目標尺寸」、「記錄目標種類」及「記錄結果」等語音指令驅動本系統執行相應的記錄功能。再者，語音指令的數量可以是一個或多個，並無數量上的限制。此外，所述動作指令亦可以是「重新錄製/拍攝」、「開啟文件」、「結束記錄」、「刪除紀錄」、「選擇圖片」、「群組化」以及「聲控標時」等。在另一例示當中，所述文字指令可以是一種類別資訊，其為病癥、形態、大小、顏色、時間、處置、術式、器材、藥品、一使用者之語音描述或其之組合。
值得一提的是，本發明儲存裝置122中還可以進一步存儲聲波辨識程序與噪音分離程序。當操作人員發出語音指令，控制器120將會開啟語音指令的記錄(或檔案操作)功能，並自動或由操作人員手動執行聲波辨識程序與噪音分離程序。聲波辨識程序用於擷取與識別操作人員的語音，噪音分離程序用於區別當前操作人員與其他背景聲或非當前操作人員的聲音，藉以提升語音輸入的識別有效性。
再者，當控制器120接收語音指令後，控制器120會開始計時操作人員是否經過門檻時間後未發出語音指令。若是控制器120經過門檻時間後，未收到語音指令，則控制器120將會自動關閉語音接收的功能並提示操作人員該項
功能關閉。或者，控制器120在門檻時間內所偵測的聲音強度均未達門檻強度，控制器120也可以關閉語音接收的功能。若控制器120接獲相對應「關閉功能」的語音指令時，也會停止執行操作或停止語音轉文字的處理程序。
此外，語音指令可以根據不同的環境和使用需求而另加變化，並非僅侷限前述之說明。以記錄醫療記錄為例，請參見本發明第3圖，其為依照本發明一實施方式所示之由顯示裝置125顯示的醫療記錄畫面300。於記錄醫療記錄的過程，當操作人員發出語音指令時，控制器120將會聚焦至相應的文字欄位330。此外，所述醫療記錄畫面300也可以透過語音指令切換頁面、捲動頁面、切換頁面欄位，或者是以觸發按鍵(submit button)的方式執行各種動作。值得一提的是當控制器120將語音指令中的的文字指令轉為文字填入報告中的文字欄位330後，能夠進一步辨識文字欄位330是否皆填入完畢。若文字欄位330皆填入完成，控制器330能夠經由語音形式或是文字形式進行反饋，例如，詢問操作人員是否存檔記錄。若文字欄位330尚有缺漏，則提示使用者尚有文字欄位330未被填入。
2.影像辨識
本發明的方法更包透過控制器120擷取並分析目標畫面中的影像特徵。所述影像特徵包括但不限於腔室形狀、表面紋理、表面顏色、表面光澤或標的形狀。在一實施方式中，所述控制器120可以基於影像特徵分析及參照影像攝錄裝置110執行攝錄程序的時間，進而判斷攝影機111所在的當前區域是哪裡。又或者是，控制器120根據攝錄影像中的影像特徵及/或多個影像特徵出現的時間順序，識別攝影機111所在的當前區域。具體而言，所述當前區域是指攝影機111
照攝處相對應個體組織的解剖學位置。以腸道內視鏡為例，在不同階段的腸道各自具有不同的腔室結構與表面，請配合下表一。
舉例來說，乙狀結腸與降結腸的腔室截面皆為三角形。因此，控制器120可經由腸道的彎曲狀況、腔室截面、腸道表面紋理及表面色澤中的其中一個或多個，進而判斷當前區域可能是乙狀結腸或是降結腸。
然而，當前區域的判斷除了透過影像辨識系統能夠自動判定外，在控制器120接收攝錄影像時，也可以由操作人員依據攝錄影像逕行判斷攝影機111所在的當前區域是哪個區域，並透過控制器120輸入(如，語音或文字輸入)而顯示於顯示裝置125的畫面中。
此外，所述影像辨識亦可應用在醫療記錄的比對上，如上述本發明的醫療記錄儲存在資料庫135中，其中經儲存的醫療記錄即為歷史醫療記錄。本發明所屬技術領域中具有通常知識者應當可以理解，歷史醫療記錄產生的時點通常早於醫療記錄(亦可稱為當前醫療記錄)。
第4圖為依據本發明一實施方式所示之由顯示裝置125顯示的醫療記錄畫面400。具體而言，由於每一次所儲存的醫療記錄422中都會隨時間變成歷史醫療記錄424，無論是醫療記錄422或歷史醫療記錄424皆可對應於一個體。
醫療記錄422中的目標畫面442都會相對地成為下一次術式的歷史目標畫面444(即歷史影像)。因此，在獲取目標畫面442之後，控制器120能夠存取資料庫136中與特定個體相對應的病歷歷程資料，其包含複數個歷史醫療記錄424，接著進行配對搜尋出與目標畫面442相應的歷史目標畫面444。於執行上，控制器120會比對歷史目標畫面444與目標畫面442中的被攝物是否為同一目標，例如，透過目標畫面442以及歷史目標畫面444的影像特徵來判斷兩者是否相應於同一病灶，並將比對完得到識別結果446以語音指令的方式寫入醫療記錄442中。
在其他實施方式中，在透過目標畫面442以及歷史目標畫面444的影像特徵來判斷兩者是否相應於同一病灶時，控制器120根據目標畫面442與歷史目標畫面444的影像特徵之關聯，將歷史目標畫面444與目標畫面442的關聯程度進行排序。在本揭示內容中是以關聯高開始排序，且在顯示裝置125的畫面中，歷史目標畫面444與目標畫面442並列顯示。此外，如果目標畫面442經比對後無相應的目標畫面，即表示此目標畫面442上的被攝物為新病灶，則操作人員可進一步發出語音指令填入與該病灶相對應的描述並儲存於醫療記錄422中。另外，操作人員也可以透過語音指令開啟特定的醫療記錄。當完成該筆醫療記錄422的輸入時，操作人員可以透過「結束記錄」的語音指令終止本回合的操作。
第5圖為依據本發明一實施方式所示之由顯示裝置125顯示的醫療記錄畫面500。操作人員透過控制器120擷取所述目標畫面542後，可從中圈選
包含影像特徵546的影像區域545，並依據影像特徵546來比對並搜尋出資料庫136中相應歷史醫療紀錄中含有相同或類似影像特徵546的歷史目標畫面544。所述圈選的方式可以採用語音指令或是其他方式執行。此外，需要注意的是在此方法中操作人員亦可透過控制器120從已存入資料庫136中的複數歷史醫療記錄中選擇出任一歷史醫療紀錄中的歷史目標畫面542，再進行圈選。
3.影像標記
為了提供結構化的病歷，本案發明人首次提出一種新穎的標記方式，能夠更有效率將醫療人員臨床上的觀察結果和相對應的影像及描述加以系統化配對標記，以產生結構化的病歷。
為達到上述目的，本發明的標記主要可利用觀察結果、描述資訊和組織位置分類。以觀察結果為例，所述分類可以特定病灶類別進行區分。本發明的方法經攝錄裝置110所拍攝到的攝錄影像中的目標畫面，可透過控制器120直接以內嵌或外加的方式將類別標記於目標畫面。舉例來說，若以JPEG圖檔作為目標畫面的儲存格式為例，則控制器120可以在目標畫面的備註空間中直接內嵌文字。如果目標畫面為RAW影像時，則控制器120可以根據檔案名稱或建立對應表(mapping table)的方式將文字外加並對應至目標畫面。惟須說明的是，控制器120可以根據目標畫面的檔案類型，調整將文字註記在目標畫面中的方法，本揭示內容並不以此為限。在一較佳的實施方式中，所述影像標記是利用語音指令進行標記。
第6圖為依據本發明一實施方式所示之含目標畫面觀察結果標記之顯示畫面600的示意圖。在本揭示內容的一實施例中，控制器120會提供多個標記類別資訊，例如，「病灶1」、「病灶2」、「未發現」、「待觀察」等，
讓使用者選擇。如圖所示，本發明之系統共擷取了四張目標畫面642，操作人員透過控制器120將四張目標畫面642分別標記不同的病灶，在此以對應表602呈現。如圖所示，病灶1對應至目標畫面1至3(642)，而病灶2對應至目標畫面4，由此可見所述觀察結果(即，病灶1或2)能夠對應的目標畫面642數量並未有限制。
與觀察結果相關的標記類別資訊亦可以是文字資訊，因此依照各目標畫面642經標記後，經控制器120處理呈現於顯示裝置125時，標記類別資訊能夠以類別文字標示604「病灶1」呈現，相關聯的目標畫面1至3(642)將排列類別文字標示604下。另，標記類別資訊病灶2以採用相同的方式關聯和呈現，在在此不另贅述。
此外，在更進一步而言，不同種類的標記類別資訊可與相同的影像關聯，標記類別資訊可更包含位置資訊和描述資訊，該些資訊亦可加以整合至對應表中。
第7圖為依據本發明一實施方式所示之含目標畫面觀察結果標記之顯示畫面700的示意圖。在此實施方式中，除原第6圖顯示的對應表602含目標畫面和觀察結果相關聯外，本實施方式的對應表702更包含位置資訊和描述資訊。所述位置資訊為目標畫面742中的被攝標的於組織或器官上的位置(如，解剖學位置)，所述位置資訊除了可以利用前述影像辨識的方法透過本發明系統自動判別外，亦可利用語音指令的輸入進行位置資訊的標註。
於描述資訊上，可針對目標畫面中被攝物的型態加以分類，在本實施例中是採用可數型態或不可數型態進行組織分類。如當被攝物的外觀為可數時，可透過語音指令標記描述資訊於特定的目標畫面上。舉例來說，當病
灶1為固型化腫瘤時，其類別為可數的(例如，有2顆腫瘤)等，此時，控制器120會導引操作人員輸入相對應病灶1每一目標畫面中的「數量」，以作為對病灶1的描述資訊。在本揭示內容的一實施例中，控制器120會根據操作人員所輸入的數量以及病灶1而產生對目標畫面數量的描述資訊。例如，當操作人員輸入的數字為5，控制器120會對待目標畫面產生「有5顆腫瘤」的描述資訊。
輸入了數字之後，操作人員還可以進一步透過語音指令對目標畫面加入其他描述資訊，例如，腫瘤大小等。惟當操作人員所輸入的數字大於1，控制器120會進一步提示操作人員從目標畫面中，選擇適用此描述的描述範圍。具體而言，倘若目標畫面有5顆腫瘤，但5顆腫瘤的大小都不相同，操作人員所輸入對腫瘤大小的描述並非通用於5顆腫瘤。因此，控制器120只會將此描述儲存在操作人員選擇的描述範圍(例如，在目標畫面的5顆腫瘤中的其中3顆)之中。而若病灶1不為可數的，例如，潰瘍，控制器120可以導引使用者輸入病灶範圍、嚴重程度等。舉例而言，所述語音指令包含但不限於，「每一個(each)」、「較顯著(more significant)」、「整體而言(overall)」，操作人員可依據實際使用狀況利用特定語音指令執行描述功能。
由此可見，經由本發明方法規則所建立的對應表702，可使得資料結構系統化，於醫療報告產生的過程中，可依據實際使用需求將各該醫療記錄中的目標畫面加依據標記資訊加以排列，再透過顯示器135顯示。
此外，在位置資訊的呈現上，除了可作為目標畫面742分類的依據外，本發明的方法可利用控制器120將位置資訊經圖像化以示意圖706呈現，使得目標畫面除了可以第6圖的方式顯示外，亦可依據解剖學位置(基於位置資訊)排列，讓操作人員藉由示意圖706可以更清楚的得知，所述目標畫面742相對於個體器官解剖學上的位置。
第8圖為依據本發明一實施方式所示之語音指令執行目標畫面觀察結果標記方法的示意圖。請參見第8圖，首先，圖式最上方的橫線代表時間軸810。圖中影像儲存許可狀態係以示意圖顯示觀察結果的儲存狀態，觀察結果802出現時，操作人員下達語音指令(例如，病灶1)804開啟影像標記功能。所述觀察結果802可以是經人為判斷產生或是控制器120經由上述影像辨識方式與資料庫136中的目標畫面比對分析所產生的觀察結果802之提示。使用者再下達另一用以擷取目標畫面的指令805A，其可以是語音指令(例如，拍照或擷取)或是以其他構件觸發擷取的方式，於此階段所擷取的至少一目標畫面將會自動地被連結標記成為「病灶1」的目標畫面並儲存於資料庫中，直到操作人員發出另一語音指令806為止。如圖所示，當語音指令806下達後，操作人員後續所下達的擷取目標畫面的指令805B相對應的目標畫面，將不在與病灶1連結儲存於資料庫中。所述擷取的目標畫面和相對應的觀察結果資訊(如病灶1)，將以醫療記錄的形式儲存於資料庫中。
語音指令806可以是中止控制器120進行目標畫面標記的語音指令，也可以是指示控制器120開始另一觀察結果標記(如，病灶2)。
另外，在其他實施例中，控制器120也可以確認操作人員是否經過門檻時間後未發出語音指令，若是控制器120經過門檻時間後未收到語音指令，即會停止作動。
此外，本發明的方法亦可將各類別群組化。在其他實施方式中，所述類別主要可分為「病灶組」、「界標(landmark)組」、「列印組」等三類，其中「病灶組」中的目標畫面為病灶所在區域的影像圖片，根據不同的病灶位置可以分出不同的病灶組；「界標(landmark)組」中的目標畫面具有被檢查器官的
特定影像特徵，用以確認影像攝錄裝置110的所在位置；以及「列印組」中的目標畫面則是用以作為醫療記錄的代表圖片，能夠顯示於醫療記錄中或是與醫療記錄一同輸出為紙本形式呈現。
另外，在其他實施方式中，為了方便使用者操作語音指令執行目標畫面觀察結果標記方法，本方法亦可透過顯示裝置125顯示如第8圖所示之「影像許可狀態列」，以不同的色塊標記顯示影像儲存許可狀態。
因此，同第8圖所示的方法，在控制器120接收相應於群組化標記之語音指令後，所獲取的目標畫面皆視為同一個群組，直到操作人員發出另一特定語音指令為止。另一語音指令可以是停止控制器120進行群組化的語音指令，也可以是指示控制器120開始另一群組化的語音指令。另外，在其他實施例中，控制器120也可以確認操作人員是否經過門檻時間後未發出語音指令，若是控制器120經過門檻時間後未收到語音指令，即會停止同一群組的群組化。而在群組化的過程中，操作人員也可以發出語音指令將相關資訊註記於群組資料夾或目標畫面中。
由於同一標記類別資訊可能會對應到多個不同的目標畫面，藉由相對應之語音指令，目標畫面能夠被批次的標記，進而改善圖文配對效率。此外，針對同一群組的目標畫面，其呈現的觀察結果仍有所差異。透過前述對每一目標畫面填寫描述的方式，也能夠有效簡化填寫的資料，改善填寫效率，進而提供操作人員方便、快速的標記方法。
4.聲控標時
以下將詳述「聲控標時」的語音指令。在本揭示內容的一實施例中，在進行術式的同時，操作人員可以下達「聲控標時」的語音指令，亦可以透
過不同的語音指令，記錄各術式階段執行的時點。所述聲控標時方法可由第1圖所示之系統所完成。
請參見第9A圖，該圖為依據本發明一實施方式所示之執行聲控標時功能的示意圖，以方便讀者理解本發明方法透過語音指令執行聲控標時的步驟。需要注意的是本發明的聲控標時功能適用本發明上述任一實施方式所示之方法。在非必要的實施方式中，操作人員可先透過語音指令(如，「聲控標時」)啟動執行聲控標時功能，使本方法進入聲控標時的準備狀態，當使用者透過語音指令904(如，「開始計時」)執行標時記錄的同時，將產生一時間戳記960，並擷取即時錄製的攝錄影像中相對應該語音指令904觸發時點所對應的目標畫面942，並將該目標畫面942和該時間戳記960寫入至醫療記錄922中。所述聲控標時可視實際術式的需求，記錄複數時間標記。在本實施方式中，每一筆聲控標時分屬不同的醫療記錄，並且所述控制器120可依據各該醫療記錄922間相應的時間戳記960計算出術式進行的總時間，或任二醫療記錄922間的時間差。在其他實施方式中，複數聲控標示亦可寫入單一醫療記錄中。
以腸鏡為例，在下達「聲控標時」後，操作人員可將攝影機置入患者腸道，同時以語音的方式說明「開始計時」，並依序說出「進入直腸」、「通過升結腸」、「通過降結腸」、「反向移出」、「術式結束」等的階段語音資訊。在本揭示內容的一實施例中，控制器120會響應於「聲控標時」或「開始」的語音指令，啟動一計時器。並且在每一次接收到操作人員說出的階段語音資訊的同時，控制器120會記錄計時器對應的當前時間。請參見第9B圖，第9B圖為依據本發明一實施方式所示之含目標畫面和聲控標時的顯示畫面900的示意圖。在控制器120接收到「開始」的語音指令時，計時器記錄當前時間為00：10：00，產生
時間標記(即，時間1)，在接收到「結束」的語音指令，計時器記錄當前時間為00：15：00，產生另一時間標記時間2(即，時間2)，資訊對應方式請參見對應表902，其中聲控標時的開始和結束可分屬於兩種不同的醫療記錄。所述控制器120可依據各該醫療記錄間相應的時間標記計算出術式進行的總時間。透過自動計時，控制器120可分別將每一個手術或檢查階段對應的時間以及整個手術所花費的時間記錄下來，並寫入至醫療記錄中。並且，在後續欲產生醫療報告時，可以自動加入整個手術或檢查所花費的時間。藉由聲控標時，醫療人員不再需要耗費額外的精力自行記錄時間，簡化醫療人員術中及術後整理的負擔。
此外，第10A至10B圖為依據本發明一實施方式所示於控制端120之顯示裝置125上所呈現的顯示畫面1010。惟需先說明的是，第10A至10B圖揭示僅為一種顯示的方法，本揭示內容並不以第10A至10B圖所展示的介面為限。雖然第10A至10B圖分別呈現了不同的記錄內容，惟在一實作情形中，第10A至10B圖可以以同一個頁面呈現，又或者是，第10A至10B圖可以分頁的形式呈現或由按鈕(Button)呼叫，本揭示內容並不限於此。
在第10A圖中，顯示畫面1000A主要分為三個視窗格，其中左上方為即時攝錄影像1042，右上方為當前醫療記錄1022及其相對應的文字欄位1030A，右下方為歷史醫療記錄1024及其相對應的文字欄位1030B。於攝錄影像1042下方的文字欄位1030C可用以記錄本次檢查記錄的基本資訊(如，檢測時間、病患資訊、病歷序號及病理內容)，醫療記錄1022及其相對應的文字欄位1030A中可用以記載目標畫面對應的解剖學位置、目標型態、目標外型、目標尺寸，以及歷史醫療記錄1024及其相對應的文字欄位1030B即為先前寫入的病理記錄，然文字欄位1030A、B、C的內容可依據實際的需求設計而有所不同，本揭示內容不
限於此。在一實施方式中，以醫療記錄1022為例，文字欄位1030A中可以帶入預設的文字範本，使得控制器120將文字訊息帶入的同時，可以搭配相應種類的文字範本進而完成醫療記錄的描述。
在第10B圖中，顯示畫面1000B還可以顯示病患列表1037，操作人員可以從病患列表1037中選擇所欲觀察的病患與所屬的病理歷程資料。
此外，第11圖為依據本發明一實施方式所示於控制端120之顯示裝置125上所呈現的顯示畫面1110。不僅如此，在本揭示內容的一實施例中，顯示畫面1110的右上側設有一示意圖1106用以顯示攝影機111的當前區域(即，特定解剖學位置)。此外，所述示意圖1106亦可進一步顯示手術或檢查的範圍。例如，顯示畫面1110中的示意圖1106顯示本次腸鏡欲檢查的區域，而攝影機111所在的當前區域會以特定標註方式顯示，在本實施方式中採虛線框線表示，以利操作人員得知目前術式的進度。此外，在其他非限制的實施方式中，所述標註亦可以其他圖像標記顯示。
此外，本發明任一實施方式所示之方法在執行完成並儲存醫療記錄後，控制器120可根據醫療記錄產生醫療報告，其可透過控制器120之顯示裝置125播放，或是輸出成紙本文件供醫療人員檢視。
本揭示內容的通過語音記錄及處理組織影像的系統與方法協助醫療人員在進行醫學檢查或手術的過程中，透過語音指令執行各種步驟，涵蓋動作指令的執行及文字指令的標記，其中動作指令的執行使得醫療人員於執行手術和檢查的過程中解決術中無法及時記錄病歷的技術問題。再者，文字指令的標記使得目標畫面能夠完善的分類與圖像化，讓病歷夠有效的被結構化，於輸出報
告的過程能夠讓醫療人員快速地了解病患病情，並且結構化的病歷可進一步作為機器學習的訓練教材。
雖然上文實施方式中揭示內容了本發明的具體實施例，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不悖離本發明之原理與精神的情形下，當可對其進行各種更動與修飾，因此本發明之保護範圍當以附隨申請專利範圍所界定者為準。
100:系統
110:影像攝錄裝置
111:攝像機
112:第一通訊裝置
113:第一處理器
120:控制端
121:第二通訊裝置
122:儲存裝置
123:輸入裝置
124:第二處理器
125:顯示裝置
133:病理歷程資料
134:醫療記錄
136:資料庫
Claims (8)
- 一種通過語音記錄及處理一組織之影像資訊的方法，其中該組織對應至一個體，包括：(1)以一影像攝錄裝置對於該個體執行一攝錄程序以獲取一攝錄影像；(2)以一控制器由該攝錄影像中擷取至少一目標畫面，且其中該控制器與該影像攝錄裝置通訊連接；(3)分析該攝錄影像中的一影像特徵，及該影像特徵出現的時序，其中該影像特徵其選自於由腔室形狀、表面紋理、表面顏色和目標形狀所組成之群組中；(4)依據該步驟(3)所分析的該影像特徵及其出現的時序識別該影像攝錄裝置於個體內執行該攝錄程序中的當前區域，其中該當前區域對應一組織解剖學位置；(5)透過該控制器接收或傳送一語音指令，以將該至少一目標畫面及該語音指令中對應之該至少一目標畫面的一資訊寫入一醫療記錄中；(6)將該醫療紀錄儲存於一資料庫內；(7)由所擷取之該至少一目標畫面中圈選出一影像區域；(8)依據該影像區域中的該影像特徵來搜尋該資料庫並識別出對應於該醫療紀錄之至少一歷史醫療紀錄；以及(9)顯示該醫療紀錄及該歷史醫療紀錄，其中該醫療紀錄及該歷史醫療紀錄中該至少一目標畫面係依該組織之解剖學位置依序排列。
- 如請求項1所述的方法，更包含步驟(10)：計算任兩個醫療紀錄之間所花費的時間。
- 如請求項1所述的方法，其中該語音指令至少包含一動作指令以及一可被轉變成文字寫入於該醫療記錄之文字指令。
- 如請求項3所述的方法，其中該動作指令係用以命令該影像攝錄裝置執行攝錄或擷取之步驟；或命令控制器執行儲存、刪除、選擇、記錄、關聯或將語音指令轉變成文字指令。
- 如請求項3所述的方法，其中該文字指令包括至少一種類別資訊，其為病癥、形態、大小、顏色、時間、處置、術式、器材、藥品、一使用者之語音描述或其組合。
- 如請求項1所述的方法，更包含依照所擷取之至少一目標畫面的一影像特徵來填寫一表格。
- 如請求項3所述的方法，其中該語音指令是一群組化標記指令，且該方法更包含：以該控制器接收該群組化標記指令；以及以該控制器擷取複數個該目標畫面，使該些目標畫面被群組化。
- 請求項一種通過語音記錄及處理一組織之影像資訊的系統，包含：一影像攝錄裝置執行一攝錄程序以獲取一攝錄影像；以及一控制器與該影像攝錄裝置通訊連接，其中該系統可執行如請求項1-7所述之步驟。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108117892 | 2019-05-23 | ||
| TW108117892 | 2019-05-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202044278A TW202044278A (zh) | 2020-12-01 |
| TWI788620B true TWI788620B (zh) | 2023-01-01 |
Family
ID=73457044
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109101772A TWI788620B (zh) | 2019-05-23 | 2020-01-17 | 通過語音記錄及處理一組織之影像資訊的方法及系統 |
| TW111145322A TW202312185A (zh) | 2019-05-23 | 2020-01-17 | 通過語音記錄及處理一組織之影像資訊的方法及系統 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111145322A TW202312185A (zh) | 2019-05-23 | 2020-01-17 | 通過語音記錄及處理一組織之影像資訊的方法及系統 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20200371744A1 (zh) |
| TW (2) | TWI788620B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11205157B2 (en) * | 2019-01-04 | 2021-12-21 | Project Revamp, Inc. | Techniques for communicating dynamically in a managed services setting |
| CN113544787A (zh) * | 2019-05-30 | 2021-10-22 | 深圳迈瑞生物医疗电子股份有限公司 | 医疗操作的记录方法、医疗设备及存储介质 |
| US20230140686A1 (en) * | 2020-07-17 | 2023-05-04 | Philip Markowitz | Video Enhanced Time Tracking System and Method |
| US11355119B2 (en) * | 2020-07-24 | 2022-06-07 | Bola Technologies, Inc | Systems and methods for voice assistant for electronic health records |
| US20220101999A1 (en) * | 2020-08-13 | 2022-03-31 | P Tech, Llc | Video Documentation System and Medical Treatments Used with or Independent Thereof |
| CN114496174A (zh) * | 2021-12-31 | 2022-05-13 | 北京航天长峰股份有限公司 | 基于手术视频的电子报告生成方法、装置、设备及介质 |
| CN118101878B (zh) * | 2024-03-26 | 2024-09-20 | 深圳市麦驰安防技术有限公司 | 一种医护对讲终端及其系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200622805A (en) * | 2004-11-23 | 2006-07-01 | Medical Digital Developers Llc | Medical media capture system and method |
| US20160210411A1 (en) * | 2015-01-16 | 2016-07-21 | University Of Maryland Baltmore County | Annotation of endoscopic video using gesture and voice commands |
| US20180366231A1 (en) * | 2017-08-13 | 2018-12-20 | Theator inc. | System and method for analysis and presentation of surgical procedure videos |
| CN109564778A (zh) * | 2016-08-01 | 2019-04-02 | 威里利生命科学有限责任公司 | 病理学数据捕获 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130041948A1 (en) * | 2011-08-12 | 2013-02-14 | Erick Tseng | Zero-Click Photo Upload |
| US20150227965A1 (en) * | 2014-02-07 | 2015-08-13 | Paul Drysch | Method and system for evaluting signage |
-
2020
- 2020-01-17 TW TW109101772A patent/TWI788620B/zh active
- 2020-01-17 TW TW111145322A patent/TW202312185A/zh unknown
- 2020-05-22 US US16/881,040 patent/US20200371744A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200622805A (en) * | 2004-11-23 | 2006-07-01 | Medical Digital Developers Llc | Medical media capture system and method |
| US20160210411A1 (en) * | 2015-01-16 | 2016-07-21 | University Of Maryland Baltmore County | Annotation of endoscopic video using gesture and voice commands |
| CN109564778A (zh) * | 2016-08-01 | 2019-04-02 | 威里利生命科学有限责任公司 | 病理学数据捕获 |
| US20180366231A1 (en) * | 2017-08-13 | 2018-12-20 | Theator inc. | System and method for analysis and presentation of surgical procedure videos |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200371744A1 (en) | 2020-11-26 |
| TW202044278A (zh) | 2020-12-01 |
| TW202312185A (zh) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI788620B (zh) | 通過語音記錄及處理一組織之影像資訊的方法及系統 | |
| JP7373494B2 (ja) | 超音波検査にアノテーションを付けるための方法および装置 | |
| US10545327B2 (en) | Pathology data capture | |
| JP5242866B1 (ja) | 画像管理装置、方法、及び読影用プログラム | |
| US11482318B2 (en) | Medical information processing system | |
| JP6638230B2 (ja) | 超音波画像処理装置及びプログラム | |
| JP2005348797A (ja) | 医療行為記録システム及び医療行為記録装置 | |
| JP5044066B2 (ja) | 画像表示装置及びカプセル型内視鏡システム | |
| CN111583249B (zh) | 一种医学图像的质量监控系统及方法 | |
| CN112189236A (zh) | 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置 | |
| KR20200050262A (ko) | 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법 | |
| US20220361739A1 (en) | Image processing apparatus, image processing method, and endoscope apparatus | |
| US20240331354A1 (en) | System and method for processing endoscopy images in real time | |
| JP2007105458A (ja) | 画像データベースにおける画像の認識のためのシステム及び方法 | |
| CN115082448A (zh) | 肠道清洁度评分方法、装置和计算机设备 | |
| JP2014053723A (ja) | 医療画像管理装置、医療画像管理方法、医療画像管理プログラム | |
| JPWO2019088178A1 (ja) | 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム | |
| JP4445742B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
| JP6335412B1 (ja) | 内視鏡画像観察支援システム | |
| CN112912014B (zh) | 诊断辅助装置、诊断辅助方法以及计算机可读记录介质 | |
| KR102453580B1 (ko) | 내시경 검사 중 병변이 발견된 위치에서의 데이터 입력 방법 및 상기 데이터 입력 방법을 수행하는 컴퓨팅 장치 | |
| WO2023135815A1 (ja) | 医療支援システムおよび医療支援方法 | |
| US20240339187A1 (en) | Medical support system, report creation support method, and information processing apparatus | |
| WO2023145078A1 (ja) | 医療支援システムおよび医療支援方法 | |
| CN115428011A (zh) | 估计用学习装置和估计用学习方法 |