TWI821721B - 醫療用影像輔助系統及醫療用影像輔助方法 - Google Patents

醫療用影像輔助系統及醫療用影像輔助方法 Download PDF

Info

Publication number
TWI821721B
TWI821721B TW110129376A TW110129376A TWI821721B TW I821721 B TWI821721 B TW I821721B TW 110129376 A TW110129376 A TW 110129376A TW 110129376 A TW110129376 A TW 110129376A TW I821721 B TWI821721 B TW I821721B
Authority
TW
Taiwan
Prior art keywords
image
control device
head
mounted display
medical
Prior art date
Application number
TW110129376A
Other languages
English (en)
Other versions
TW202232510A (zh
Inventor
吳佳蒨
施振祥
王義發
陳奕涵
Original Assignee
中強光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司 filed Critical 中強光電股份有限公司
Publication of TW202232510A publication Critical patent/TW202232510A/zh
Application granted granted Critical
Publication of TWI821721B publication Critical patent/TWI821721B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

醫療用影像輔助系統及醫療用影像輔助方法。於醫療過程中，位於本地位置的影像擷取裝置擷取第一影像，且傳遞第一影像至控制裝置，控制裝置傳送影像擷取裝置所擷取的第一影像至位於遠端位置的電子裝置。電子裝置對第一影像執行標記動作以產生第二影像，並傳送第二影像至控制裝置。控制裝置將第二影像傳送至頭戴式顯示裝置，使頭戴式顯示裝置同時顯示第二影像與即時本地影像，其中第一影像與第二影像至少部分內容相同。本發明的醫療用影像輔助系統及方法可使得醫師能夠快速且精準的對患部作出處置。

Description

醫療用影像輔助系統及醫療用影像輔助方法
本發明是有關於一種影像處理系統及方法，且特別是有關於一種醫療用影像輔助系統及醫療用影像輔助方法。
使用內視鏡的微創手術由於具有小傷口、低傷痛及復原快等優點，已成為現今外科手術的優勢。然而，雖然醫療器具的發展提高了現今手術的成功率，但在手術過程中醫師難免會遇到需要與其他醫師討論的狀況。例如，醫師在手術過程中面臨較棘手的患部問題，需向外諮詢處置方式；或者值班醫師在緊急狀況下不得不替病人開刀，需在開刀的同時與主治醫師討論等狀況。
現行方式僅能靠人工拍照後向外求援。另外，即使在得到外部醫師的指示之後，醫師又得比對患部與外部醫師所指示的位置，如此不但需花費時間確認患部位置，還需請有經驗的助手協助拍照，同時也可能因流失了寶貴的救援時間而增加患部感染風險，甚至導致手術失敗。據此，如何在醫療過程中即時向外求援並快速獲得回應，為目前需重視的課題之一。
“先前技術”段落只是用來幫助了解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表該內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種醫療用影像輔助系統及醫療用影像輔助方法，可使得醫師能夠快速且精準的對患部作出處置。
本發明的醫療用影像輔助系統，包括位於遠端位置的電子裝置以及位於本地位置的影像擷取裝置、頭戴式顯示裝置及控制裝置。控制裝置耦接至影像擷取裝置、頭戴式顯示裝置及電子裝置。於醫療過程中，影像擷取裝置擷取第一影像，且傳遞第一影像至控制裝置，控制裝置傳送影像擷取裝置所擷取的第一影像至電子裝置；電子裝置對第一影像執行標記動作以產生第二影像，並傳送第二影像至控制裝置；控制裝置將第二影像傳送至頭戴式顯示裝置，使頭戴式顯示裝置同時顯示第二影像與即時本地影像，其中第一影像與第二影像至少部分內容相同。
在本發明的一實施例中，所述影像擷取裝置設置於頭戴式顯示裝置中，頭戴式顯示裝置包括：顯示器；連接介面，耦接至控制裝置；以及微控制器，耦接至影像擷取裝置、顯示器與連 接介面；微控制器透過連接介面，自控制裝置接收第二影像，並將第二影像與即時本地影像顯示至顯示器中。
在本發明的一實施例中，所述頭戴式顯示裝置為擴增實境眼鏡，顯示器包括：光學組合器，第二影像重疊結合至即時本地影像後成像於光學組合器。
在本發明的一實施例中，所述控制裝置設置於頭戴式顯示裝置中。
在本發明的一實施例中，所述醫療用影像輔助系統更包括：一手術工具以及一醫療儀器。影像擷取裝置設置在手術工具上，醫療儀器耦接至控制裝置，手術工具藉由傳輸線連接至醫療儀器，第一影像經由醫療儀器處理後傳送至控制裝置。
在本發明的一實施例中，所述控制裝置透過通訊技術協定來接收或發送第一影像或/及第二影像。
在本發明的一實施例中，所述控制裝置包括應用程式，透過應用程式對來自影像擷取裝置所擷取的第一影像進行截圖，並將具有第一影像的截圖傳送至電子裝置。
在本發明的一實施例中，所述控制裝置為行動裝置或影像傳輸處理設備。
在本發明的一實施例中，位於遠端位置的電子裝置包括應用程式，透過應用程式對第一影像執行標記動作以產生第二影像。
在本發明的一實施例中，所述第一影像為靜態圖像或動 態圖像，第二影像為靜態圖像或動態圖像。
在本發明的一實施例中，所述醫療用影像輔助系統更包括：手術工具以及醫療儀器。影像擷取裝置設置於頭戴式顯示裝置中，手術工具包括另一影像擷取裝置，醫療儀器耦接至控制裝置，手術工具藉由傳輸線連接至醫療儀器，於醫療過程中，所述另一影像擷取裝置擷取第三影像，第三影像經由醫療儀器處理後傳送至控制裝置。
在本發明的一實施例中，所述控制裝置傳送所述另一影像擷取裝置所擷取的第三影像至電子裝置；電子裝置對第三影像執行標記動作以產生第四影像，並傳送第四影像至控制裝置；控制裝置將第四影像傳送至頭戴式顯示裝置，使頭戴式顯示裝置同時顯示第四影像與即時本地影像，其中第三影像與第四影像至少部分內容相同。
本發明的醫療用影像輔助方法，包括：於醫療過程中，透過位於本地位置的影像擷取裝置擷取第一影像；透過位於本地位置的控制裝置接收第一影像並傳送第一影像至位於遠端位置的電子裝置；透過電子裝置對第一影像執行標記動作以產生第二影像，並傳送第二影像至控制裝置；透過控制裝置將第二影像傳送至位於本地位置的頭戴式顯示裝置；以及透過頭戴式顯示裝置同時顯示第二影像與即時本地影像，其中第一影像與第二影像至少部分內容相同。
基於上述，醫師可同時看到手術中的實際影像(即時本 地影像)與標記後的影像(第二影像)，因而可快速且精準的對患部作出處置，縮短手術時間，提高手術準確率與成功率。
100、500:醫療用影像輔助系統
110、540:影像擷取裝置
120:頭戴式顯示裝置
130:控制裝置
140:電子裝置
150:網際網路
310:微控制器
320:連接介面
330、330A、330B:顯示器
510:醫療儀器
520:顯示器
530:手術工具
601:影像處理電路
602:儲存裝置
603:傳輸電路
604:輸入電路
605:輸出電路
606:電源
A:第二影像
A1:第三影像
A2:第四影像
U1:醫師
U2:患者
S205~S225:醫療用影像輔助方法的各步驟
圖1是依照本發明一實施例的醫療用影像輔助系統的方塊圖。
圖2是依照本發明一實施例的醫療用影像輔助方法的流程圖。
圖3是依照本發明一實施例的頭戴式顯示裝置的方塊圖。
圖4是依照本發明一實施例的頭戴式顯示裝置的示意圖。
圖5是依照本發明一實施例的醫療用影像輔助系統的示意圖。
圖6是依照本發明另一實施例的醫療用影像輔助系統的示意圖。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。
圖1是依照本發明一實施例的醫療用影像輔助系統的方塊圖。請參照圖1，醫療用影像輔助系統100包括位於本地位置的影像擷取裝置110、頭戴式顯示裝置120及控制裝置130，並且醫療用影像輔助系統100還包括位於遠端位置的電子裝置140。控制裝置130透過有線或無線方式耦接至影像擷取裝置110以及頭戴式顯示裝置120，並且控制裝置130透過網際網路150耦接至位於遠端位置的電子裝置140。
影像擷取裝置110例如是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭的攝影機、照相機等。頭戴式顯示裝置120例如為眼罩或頭盔的形式。控制裝置130例如為行動裝置或影像傳輸處理設備。
控制裝置130透過通訊技術協定自遠端位置的電子裝置140接收影像或發送影像至遠端位置的電子裝置140。所述通訊技術協定例如為區域網路(Local Area Network，LAN)、第四代行動通訊技術(The fourth generation of mobile phone mobile communication technology standards，4G)、第五代行動通訊技術(5G)或無線保真(wireless fidelity，Wi-Fi)。
舉例來說，影像擷取裝置110、頭戴式顯示裝置120及控制裝置130設置在手術室(本地位置)，利用控制裝置130將影像擷取裝置110所擷取的影像(第一影像)透過網際網路150傳送至位於遠端位置(例如為電子裝置140的使用者的所在地)的電 子裝置140。而位於遠端位置的使用者可透過電子裝置140在所接收的第一影像上進行標記後，則第一影像標記後形成第二影像，再將經標記後的第二影像傳回控制裝置130。控制裝置130將標記後的第二影像顯示於頭戴式顯示裝置120中，使得手術室中的醫生可以同時看到即時本地影像以及經標記後的第二影像。
在一實施例中，影像擷取裝置110設置於頭戴式顯示裝置120中。而在另一實施例中，影像擷取裝置110設置在手術工具上，手術工具藉由傳輸線連接至醫療儀器，而影像擷取裝置110所擷取的影像(第一影像)經由醫療儀器處理後再傳送至控制裝置130。在其他實施例中，也可以將影像擷取裝置110設置於頭戴式顯示裝置120中，在手術工具設置另一影像擷取裝置。
底下搭配上述醫療用影像輔助系統100來進一步說明醫療用影像輔助方法的各步驟。
圖2是依照本發明一實施例的醫療用影像輔助方法的流程圖。請同時參照圖1及圖2，在步驟S205中，於醫療過程中，透過位於本地位置(例如手術室)的影像擷取裝置110擷取第一影像。在此，第一影像包括患者的手術部位。第一影像為靜態圖像或動態圖像。
接著，在步驟S210中，透過位於本地位置的控制裝置130接收來自影像擷取裝置110的第一影像並傳送第一影像至位於遠端位置的電子裝置140。在此，控制裝置130例如為手機，手機內具有一本地端應用程式，因此使用者(手術室醫師或助手)可觀 看所拍攝的影像，藉由本地端應用程式進行截圖，並將具有第一影像的截圖藉由LAN、Wifi、4G、5G等通訊技術協定傳送至位於遠端位置的電子裝置140。
在其他實施例中，截圖不一定由控制裝置130來執行，也可藉由頭戴式顯示裝置120中的功能模組(應用程式)來識別使用者的特定手勢或透過語音來辨識使用者有截圖的意圖，並將截取後的影像傳輸給控制裝置130。
在步驟S215中，透過電子裝置140對第一影像執行標記動作以產生第二影像，並傳送第二影像至控制裝置130。第二影像為靜態圖像或動態圖像。例如，電子裝置140配置有一顯示器且包括有一遠端應用程式。透過所述遠端應用程式提供一編輯介面於電子裝置140的顯示器中，並將所接收的第一影像顯示於編輯介面中。位於遠端位置的使用者利用編輯介面來對第一影像進行標記動作(手繪動作、選取動作等)，藉此產生第二影像並將第二影像傳回控制裝置130。
在步驟S220中，透過控制裝置130將來自電子裝置140的第二影像傳送至位於本地位置的頭戴式顯示裝置120。並且，在步驟S225中，透過頭戴式顯示裝置120同時顯示第二影像與即時本地影像。例如，控制裝置130將經標記後的第二影像顯示於醫師所戴的頭戴式顯示裝置120上，因此醫師可同時看到手術中的實際影像(即時本地影像)與經標記後的第二影像。在此，第一影像與第二影像至少部分內容相同。例如，第二影像是將第一影 像加上一標記而產生。或者，第二影像是將第一影像放大後並加上一標記而產生。
另外，倘若第一影像為動態影像(例如為影像串流)，控制裝置130將動態影像發送至雲端或區域網路，位於遠端位置的電子裝置140(例如智慧型手機)從雲端或區域網路下載動態影像，使得位於遠端位置的使用者(例如主治醫師)透過電子裝置140能夠在特定時間點進行截圖，以獲得單張的靜態影像，並透過安裝於電子裝置140內的遠端應用程式在靜態影像上進行標記動作，並將標記後的影像傳送至雲端或區域網路，控制裝置130從雲端或區域網路下載經標記後的影像並傳輸到頭戴式顯示裝置120上。
圖3是依照本發明一實施例的頭戴式顯示裝置的方塊圖。請參照圖3，頭戴式顯示裝置120包括微控制器310、連接介面320以及顯示器330。微控制器310耦接至影像擷取裝置110、顯示器330與連接介面320。連接介面320耦接至控制裝置130。連接介面320例如為通用序列匯流排(Universal Serial Bus，USB)Type-C或高畫質多媒體介面(High Definition Multimedia Interface，HDMI)等。微控制器310透過連接介面320，自控制裝置130接收第二影像，並將第二影像與即時本地影像同時顯示至顯示器330中。
圖4是依照本發明一實施例的頭戴式顯示裝置的示意圖。在本實施例中，影像擷取裝置110設置在頭戴式顯示裝置120 中。影像擷取裝置110耦接至微控制器310。頭戴式顯示裝置120的外型通常是眼罩或頭盔的形式。在本實施例中，頭戴式顯示裝置120為擴增實境(Augmented Reality，AR)眼鏡，其具有對應左右眼的顯示器330A、330B。顯示器330A、330B通常是完全獨立的兩個顯示器，可支持立體影像的播放。
在接收到來自控制裝置130(繪示於圖1)的第二影像A後，透過光學組合器將第二影像A重疊結合至即時本地影像後成像於顯示器330B上。在圖4中，第二影像A顯示在顯示器330B中。在其他實施例中，第二影像A也可顯示在顯示器330A中。光學組合器的透光率介於60~90%，因此配戴頭戴式顯示裝置120的使用者可同時看到經標記後的影像(即第二影像)與即時本地影像。
圖5是依照本發明一實施例的醫療用影像輔助系統的示意圖。在本實施例中，醫療用影像輔助系統500還包括醫療儀器510、顯示器520以及手術工具530。在本實施例中，手術室(本地位置)內包括頭戴式顯示裝置120、醫療儀器510、顯示器520以及手術工具530。電子裝置140位於手術室外的任意地方(遠端位置)，例如醫院其他樓層遠端位置。
影像擷取裝置110設置於頭戴式顯示裝置120中，頭戴式顯示裝置120例如為AR眼鏡，穿戴於醫師U1臉上。醫師U1可手持手術工具530觀察患者U2的手術部位。手術工具530的一端包括另一影像擷取裝置540，用以拍攝及放大患部影像，另一端 則藉由傳輸線連接至醫療儀器510。手術工具530可透過傳輸線將影像擷取裝置540拍攝到的第三影像傳輸至醫療儀器510來進行處理。
醫療儀器510亦具有可耦接至控制裝置130的傳輸線，以將經醫療儀器510處理後的第三影像傳送至控制裝置130。
頭戴式顯示裝置120與控制裝置130之間也可透過傳輸線連接，藉此將頭戴式顯示裝置120上的影像擷取裝置110所拍攝的畫面傳遞至控制裝置130，或將控制裝置130傳回來的訊號藉由頭戴式顯示裝置120(AR眼鏡)內的光學組合器顯示於顯示器上。
在本實施例中，控制裝置130與醫療儀器510之間的連接，或是控制裝置130與影像擷取裝置110之間的連接可透過實體的傳輸線來連接，但在其他實施例中，也可以使用無線方式來連接，在此並不限制。
於醫療過程中，透過手術工具530的影像擷取裝置540擷取第三影像，透過手術工具530的傳輸線將第三影像傳送至醫療儀器510，經由醫療儀器510對第三影像進行處理後，將處理後的第三影像傳送至控制裝置130。
控制裝置130透過網際網路150將影像擷取裝置540所擷取且經醫療儀器510處理後的第三影像(底下稱為第三影像A1)傳送至位於遠端位置的電子裝置140。電子裝置140對第三影像A1執行標記動作以產生第四影像A2，並電子裝置140透過網際網路150傳送第四影像A2至控制裝置130。控制裝置130將第四 影像A2傳送至頭戴式顯示裝置120，使頭戴式顯示裝置120同時顯示第四影像A2與即時本地影像，其中第三影像A1與第四影像A2至少部分內容相同。例如，第四影像是將第三影像加上一標記而產生。或者，第四影像是將第三影像放大後並加上一標記而產生。
圖6是依照本發明另一實施例的醫療用影像輔助系統的示意圖。圖6的架構與圖5的架構相同，在圖6的實施例中進一步來說明控制裝置130的內部構件。
控制裝置130包括影像處理電路601、儲存裝置602、傳輸電路603、輸入電路604、輸出電路605以及電源606。影像處理電路601耦接至儲存裝置602、輸入電路604、輸出電路605以及電源606。傳輸電路603耦接至輸入電路604。
影像處理電路601例如為中央處理單元(Central Processing Unit，CPU)、圖像處理單元(Graphic Processing Unit，GPU)、物理處理單元(Physics Processing Unit，PPU)、可程式化之微處理器(Microprocessor)、嵌入式控制晶片、數位訊號處理器(Digital Signal Processor，DSP)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)或其他類似裝置。
儲存裝置602例如是任意型式的固定式或可移動式隨機存取記憶體、唯讀記憶體、快閃記憶體、安全數位卡、硬碟或其他類似裝置或這些裝置的組合。儲存裝置602用以儲存所接收的影像，並且儲存有本地端應用程式。傳輸電路603例如為網路卡、 WiFi晶片、行動通訊晶片等，用以支援LAN、Wifi、4G、5G等通訊技術協定。
輸入電路604用以接收來自頭戴式顯示裝置120上的影像擷取裝置110所擷取的第一影像，並且也可接收手術工具530上的影像擷取裝置540所擷取的第三影像。輸入電路604還可以自傳輸電路603接收由遠端傳回的影像。輸出電路605用以將經影像處理電路601處理後的影像傳送至頭戴式顯示裝置120。電源606用以供電以維持控制裝置130的運作。
圖7是依照本發明另一實施例的醫療用影像輔助系統的示意圖。圖7的實施例與圖6的實施例相比，不同之處在於，圖7的實施例將控制裝置130為設置於頭戴式顯示裝置120內。
綜上所述，本發明可將手術室內的影像(包括頭戴式顯示裝置上的影像擷取裝置所拍攝影像，或是手術工具上的影像擷取裝置所拍攝的影像)，利用控制裝置將影像傳送至遠端位置的電子裝置，使得遠端位置的使用者能夠透過電子裝置來進行標記動作，之後將標記後的影像傳回控制裝置，控制裝置再將標記後的影像顯示於頭戴式顯示裝置中，使得手術室中的醫生可以同時看到即時本地影像以及經標記後的影像，因而可快速且精準的對患部作出處置，縮短手術時間，提高手術準確率與成功率。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵 蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
100:醫療用影像輔助系統
110:影像擷取裝置
120:頭戴式顯示裝置
130:控制裝置
140:電子裝置
150:網際網路

Claims (15)

  1. 一種醫療用影像輔助系統，包括：位於一遠端位置的一電子裝置以及位於一本地位置的一影像擷取裝置、一頭戴式顯示裝置及一控制裝置；其中，該控制裝置耦接至該影像擷取裝置、該頭戴式顯示裝置及該電子裝置；其中，於醫療過程中，該影像擷取裝置擷取一第一影像，且傳遞該第一影像至該控制裝置，該控制裝置傳送該影像擷取裝置所擷取的該第一影像至該電子裝置；該電子裝置對該第一影像執行一標記動作以產生一第二影像，並傳送該第二影像至該控制裝置；該控制裝置將該第二影像傳送至該頭戴式顯示裝置，使該頭戴式顯示裝置同時顯示該第二影像與一即時本地影像，其中該第一影像與該第二影像至少部分內容相同，其中位於該本地位置的該控制裝置為一行動裝置且包括一應用程式，透過該應用程式對來自該影像擷取裝置所擷取的該第一影像進行截圖，並且將具有該第一影像的截圖傳送至位於該遠端位置的該電子裝置。
  2. 如請求項1所述的醫療用影像輔助系統，其中該影像擷取裝置設置於該頭戴式顯示裝置中，該頭戴式顯示裝置包括：一顯示器；一連接介面，耦接至該控制裝置；以及一微控制器，耦接至該影像擷取裝置、該顯示器與該連接介 面；該微控制器透過該連接介面，自該控制裝置接收該第二影像，並將該第二影像與該即時本地影像顯示至該顯示器中。
  3. 如請求項2所述的醫療用影像輔助系統，其中該頭戴式顯示裝置為一擴增實境眼鏡，該顯示器包括：一光學組合器，該第二影像重疊結合至該即時本地影像後成像於該光學組合器。
  4. 如請求項1所述的醫療用影像輔助系統，更包括：一手術工具以及一醫療儀器，其中，該影像擷取裝置設置在該手術工具上，該醫療儀器耦接至該控制裝置，該手術工具藉由一傳輸線連接至該醫療儀器，該第一影像經由該醫療儀器處理後傳送至該控制裝置。
  5. 如請求項1所述的醫療用影像輔助系統，其中該控制裝置透過一通訊技術協定來接收或發送該第一影像或/及該第二影像。
  6. 如請求項1所述的醫療用影像輔助系統，其中位於該遠端位置的該電子裝置包括一應用程式，透過該應用程式對該第一影像執行該標記動作以產生該第二影像。
  7. 如請求項1所述的醫療用影像輔助系統，其中該第一影像為靜態圖像或動態圖像，該第二影像為靜態圖像或動態圖像。
  8. 如請求項1所述的醫療用影像輔助系統，更包括：一手術工具以及一醫療儀器，其中，該影像擷取裝置設置於該頭戴式顯示裝置中，該手術 工具包括另一影像擷取裝置，該醫療儀器耦接至該控制裝置，該手術工具藉由一傳輸線連接至該醫療儀器，於該醫療過程中，該另一影像擷取裝置擷取一第三影像，該第三影像經由該醫療儀器處理後傳送至該控制裝置。
  9. 如請求項8所述的醫療用影像輔助系統，其中該控制裝置傳送該另一影像擷取裝置所擷取的該第三影像至該電子裝置；該電子裝置對該第三影像執行一標記動作以產生一第四影像，並傳送該第四影像至該控制裝置；該控制裝置將該第四影像傳送至該頭戴式顯示裝置，使該頭戴式顯示裝置同時顯示該第四影像與該即時本地影像，其中該第三影像與該第四影像至少部分內容相同。
  10. 一種醫療用影像輔助方法，包括：於醫療過程中，透過位於一本地位置的一影像擷取裝置擷取一第一影像；透過位於該本地位置的一控制裝置接收該第一影像並傳送該第一影像至位於一遠端位置的一電子裝置，其中位於該本地位置的該控制裝置為一行動裝置，透過該控制裝置上的一應用程式自該影像擷取裝置所擷取的該第一影像中進行截圖，而該截圖包括該第一影像，並且將具有該第一影像的該截圖傳送至位於該遠端位置的該電子裝置；透過該電子裝置對該第一影像執行一標記動作以產生一第二影像，並傳送該第二影像至該控制裝置； 透過該控制裝置將該第二影像傳送至位於該本地位置的一頭戴式顯示裝置；以及透過該頭戴式顯示裝置同時顯示該第二影像與一即時本地影像，其中該第一影像與該第二影像至少部分內容相同。
  11. 如請求項11所述的醫療用影像輔助方法，其中該影像擷取裝置設置於該頭戴式顯示裝置中，透過該頭戴式顯示裝置的一微控制器將自該控制裝置接收的該第二影像與該即時本地影像同時顯示至該頭戴式顯示裝置的一顯示器中。
  12. 如請求項11所述的醫療用影像輔助方法，其中該頭戴式顯示裝置為一擴增實境眼鏡，而透過該頭戴式顯示裝置同時顯示該第二影像與該即時本地影像的步驟包括：該第二影像重疊結合至該即時本地影像中並成像於該顯示器的一光學組合器。
  13. 如請求項11所述的醫療用影像輔助方法，其中該控制裝置透過通訊技術協定來接收或發送該第一影像或/及該第二影像。
  14. 如請求項11所述的醫療用影像輔助方法，其中透過該電子裝置對該第一影像執行該標記動作以產生該第二影像的步驟包括：透過一應用程式對該第一影像執行該標記動作以產生該第二影像。
  15. 如請求項11所述的醫療用影像輔助方法，其中該第一影像為靜態圖像或動態圖像，該第二影像為靜態圖像或動態圖像。
TW110129376A 2021-02-05 2021-08-10 醫療用影像輔助系統及醫療用影像輔助方法 TWI821721B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110162894.4A CN114882976A (zh) 2021-02-05 2021-02-05 医疗用影像辅助系统及医疗用影像辅助方法
CN202110162894.4 2021-02-05

Publications (2)

Publication Number Publication Date
TW202232510A TW202232510A (zh) 2022-08-16
TWI821721B true TWI821721B (zh) 2023-11-11

Family

ID=82667181

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110129376A TWI821721B (zh) 2021-02-05 2021-08-10 醫療用影像輔助系統及醫療用影像輔助方法

Country Status (3)

Country Link
US (1) US12003892B2 (zh)
CN (1) CN114882976A (zh)
TW (1) TWI821721B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201608489A (zh) * 2014-08-21 2016-03-01 中強光電股份有限公司 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
TW201612692A (en) * 2014-09-25 2016-04-01 Coretronic Corp Head-mounted display system and operation method thereof
US20190075254A1 (en) * 2017-09-06 2019-03-07 Realwear, Incorporated Enhanced telestrator for wearable devices
TW201912125A (zh) * 2017-09-08 2019-04-01 美商外科劇院有限責任公司 雙模式增強現實外科手術系統和方法
CN110111875A (zh) * 2019-03-19 2019-08-09 北京缙铖医疗科技有限公司 一种mr远程医疗系统
TW202103646A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於遠距監督手術程序之擴增實境系統及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907296A (en) * 1988-06-21 1990-03-13 The United States Of America As Represented By The Secretary Of The Army Apache helmet mounting structure for aviators night vision imaging system (ANVIS) and method
US5856811A (en) * 1996-01-31 1999-01-05 Delco Electronics Corp. Visual display and helmet assembly
JP2009092808A (ja) * 2007-10-05 2009-04-30 Nikon Corp ヘルメットマウントディスプレイ装置
WO2013146096A1 (ja) * 2012-03-26 2013-10-03 株式会社Ｊｖｃケンウッド 画像表示装置、および、画像表示装置の制御方法
US9729831B2 (en) * 2012-11-29 2017-08-08 Sony Corporation Wireless surgical loupe
JP2017514608A (ja) * 2014-05-05 2017-06-08 バイカリアス サージカル インク． 仮想現実外科手術デバイス
CA2949241A1 (en) * 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
TWM523426U (zh) 2015-08-26 2016-06-11 台灣慶雲光學有限公司 醫療插管輔助內視鏡
TWI576649B (zh) * 2015-12-09 2017-04-01 榮光 譚 手術用影像擷取裝置及其影像擷取方法
EP3452860A4 (en) * 2016-05-05 2020-04-29 Robert D. Watson SURGICAL STEREOSCOPIC VISUALIZATION SYSTEM WITH MOVABLE HEAD-MOUNTED DISPLAY
CN107664840A (zh) * 2016-07-28 2018-02-06 中强光电股份有限公司 头戴式显示装置
CN107241579A (zh) * 2017-07-14 2017-10-10 福建铁工机智能机器人有限公司 一种利用ar实现远程医疗会诊的方法及设备
US20190254753A1 (en) * 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11272170B2 (en) * 2019-08-26 2022-03-08 Alexander Shau Ergonomic protective eyewear
KR102008891B1 (ko) * 2018-05-29 2019-10-23 (주)휴톰 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
TWI741196B (zh) 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
TW202011888A (zh) 2018-09-28 2020-04-01 鴻建裕醫療投資股份有限公司 整合式內視鏡及可視化系統
US11402665B2 (en) * 2018-10-15 2022-08-02 Lsi Solutions, Inc. Optical attachment for surgical loupe glasses
TW202017368A (zh) 2018-10-29 2020-05-01 品臻聯合系統股份有限公司 智慧眼鏡、系統及其使用方法
US20200330179A1 (en) * 2019-04-19 2020-10-22 Trieu Ton Surgical loupes using a prism and additional features
CN110795007B (zh) 2019-09-11 2023-12-26 深圳市联谛信息无障碍有限责任公司 一种获取截图信息的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201608489A (zh) * 2014-08-21 2016-03-01 中強光電股份有限公司 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
TW201612692A (en) * 2014-09-25 2016-04-01 Coretronic Corp Head-mounted display system and operation method thereof
US20190075254A1 (en) * 2017-09-06 2019-03-07 Realwear, Incorporated Enhanced telestrator for wearable devices
TW201912125A (zh) * 2017-09-08 2019-04-01 美商外科劇院有限責任公司 雙模式增強現實外科手術系統和方法
CN110111875A (zh) * 2019-03-19 2019-08-09 北京缙铖医疗科技有限公司 一种mr远程医疗系统
TW202103646A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於遠距監督手術程序之擴增實境系統及方法

Also Published As

Publication number Publication date
CN114882976A (zh) 2022-08-09
US12003892B2 (en) 2024-06-04
TW202232510A (zh) 2022-08-16
US20220256119A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
JP6244313B2 (ja) タブレットコンピュータによって制御されるカメラシステム
US20150180917A1 (en) User terminal for a telemedicine image service and control method thereof
US20170336635A1 (en) Imaging data capture and video streaming system
US20120162401A1 (en) Imaging system
US9524530B2 (en) Method, system and apparatus for transcribing information using wearable technology
US20180113988A1 (en) Smartphone based telemedicine system
US10026509B2 (en) Low bandwidth media stream transmission
BR102013030105A2 (pt) Método de utilizar uma lupa sem fio, dispositivo de lupa sem-fio, e, sistema de lupa sem-fio
US9795284B2 (en) Endoscopic imaging system and method for adapting to remote stimulus
US20200178785A1 (en) Virtual dental operatory
WO2022062436A1 (zh) 弱视训练方法、装置、设备、存储介质及程序产品
TWI821721B (zh) 醫療用影像輔助系統及醫療用影像輔助方法
KR101798817B1 (ko) 이동식 무선보안 화상 의료 서비스 장치
US11446113B2 (en) Surgery support system, display control device, and display control method
WO2023116777A1 (zh) 一种视频图像截取方法、装置、芯片、手术机器人与系统
TWI523469B (zh) 多頻道分享裝置及多頻道分享方法
WO2021238502A1 (zh) 时间戳同步方法和设备
TW201618709A (zh) 數位可抽換式內視鏡
KR102165135B1 (ko) 다자간 화상통신이 가능한 일체형 원격 진료 장치
TW202011888A (zh) 整合式內視鏡及可視化系統
Sommer et al. Telemedical support using smartphones for spine surgery in low-and middle-income countries
JP6239216B1 (ja) 医療通信システム及び医療装置
Selaimen et al. Office Examination in Otitis Media
WO2017073503A1 (en) Endoscope processor, signal processing method of endoscope processor, and control program
Chan et al. Wireless Smartphone Videography for Ocular Surgery SYSTEM