TWI805248B - 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法 - Google Patents

基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法 Download PDF

Info

Publication number
TWI805248B
TWI805248B TW111107393A TW111107393A TWI805248B TW I805248 B TWI805248 B TW I805248B TW 111107393 A TW111107393 A TW 111107393A TW 111107393 A TW111107393 A TW 111107393A TW I805248 B TWI805248 B TW I805248B
Authority
TW
Taiwan
Prior art keywords
robot
camera
information
doctor
computing host
Prior art date
Application number
TW111107393A
Other languages
English (en)
Other versions
TW202335620A (zh
Inventor
丘祺緯
黃致錕
Original Assignee
艾沙技術股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 艾沙技術股份有限公司 filed Critical 艾沙技術股份有限公司
Priority to TW111107393A priority Critical patent/TWI805248B/zh
Priority to CN202210269229.XA priority patent/CN116725660A/zh
Priority to US17/888,658 priority patent/US20230277263A1/en
Application granted granted Critical
Publication of TWI805248B publication Critical patent/TWI805248B/zh
Publication of TW202335620A publication Critical patent/TW202335620A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control

Abstract

一種基於頭部追蹤控制內視鏡手術機器人的控制系統，包括運算主機、機器人以及複合相機，其中機器人以特定姿態夾持內視鏡於特定位置。複合相機通過其上的2D相機取得醫師的臉部特徵，以辨識醫師是否為已註冊使用者，並通過其上的3D相機取得醫師頭部的深度資訊，並確認2D資訊與3D資訊是否一致。運算主機藉由臉部特徵與深度資訊估算醫師的頭部所對應的二維空間資訊與三維空間資訊，並且藉由轉換矩陣轉換成機器人移動資訊後，依據機器人移動資訊控制機器人對應移動。

Description

基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方 法
本發明涉及一種機器人的控制系統與控制方法，尤其涉及一種對內視鏡手術使用的機器人進行控制的控制系統與控制方法。
於目前的內視鏡手術(例如腹腔鏡)中，主刀醫師主要需以雙手控制相關器械以進行手術，並且透過醫師助理來協助握持內視鏡，以取得病患體內的相關影像。
於所述內視鏡手術的進行過程中，內視鏡是由醫師助理來握持，並且醫師助理再聽從醫師的指示來操作內視鏡(例如旋轉鏡頭、左移、右移、zoom in/zoom out等)。
請參閱圖1，為內視鏡手術的進行情境示意圖。如圖1所示，一般於手術室中，是由醫師1以雙手使用相關器械，由助手2握持並操作伸入病患3體內的內視鏡4。並且，內視鏡4所拍攝的影像會被顯示在手術室一側的顯示螢幕5上。藉此，醫師可以由顯示螢幕5上查看所需的相關影像，進而操作手上的器械以進行手術。
然而，所述助理2必須以醫師1的視角來操作內視鏡4，才能夠令內視鏡4擷取到醫師1真正需要的影像。為了能夠有效率且準確地操作內 視鏡4，醫師1與助理2必須要經過長期的溝通與訓練，才能夠達到較佳的默契。
如上所述，助理2的訓練一般需要耗費非常長的時間以及非常高的成本，人才的尋找與培養相當不易。並且，助理2在手術中必須長時間以同一姿勢維持內視鏡4的穩定，在動輒數小時的手術中非常容易疲勞。如此一來，容易造成影像晃動，進而增加手術的風險。
本發明的主要目的，在於提供一種基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法，可以令手術中的醫師通過其頭部的些微動作直接控制機器人的移動，進而對內視鏡的視角進行對應的調整。
為了達成上述目的，本發明的控制系統主要係應用於一手術室中，並且包括：一運算主機；一機器人，與該運算主機連接，以一特定姿態夾持該手術室中使用的一內視鏡於一特定位置；及一複合相機，包括一2D相機及一3D相機，該2D相機取得該手術室中的一醫師的一臉部特徵，該3D相機取得該醫師的頭部的一深度資訊，其中該2D相機與該3D相機通過預校正達到精準定址(RGB-D registration)；其中，該運算主機對該臉部特徵進行辨識以確認該醫師是否為一已註冊使用者，並且將該深度資訊對比至該臉部特徵以確認該臉部特徵與該深度資訊是否皆與該已註冊使用者一致； 其中，該運算主機於辨識該醫師為該已註冊使用者且該臉部特徵與該深度資訊皆一致時，依據該臉部特徵與該深度資訊估算該醫師的頭部的一二維空間資訊與一三維空間資訊，藉由一轉換矩陣將該二維空間資訊與該三維空間資訊轉換成一機器人移動資訊，並依據該機器人移動資訊控制該機器人移動。
為了達成上述目的，本發明的控制方法包括：a)控制該機器人以一特定姿態夾持一手術室中使用的一內視鏡於一特定位置；b)由該複合相機中的一2D相機取得該手術室中的一醫師的一臉部特徵；c)由該運算主機對該臉部特徵進行辨識以確認該醫師是否為一已註冊使用者；d)由該複合相機中的一3D相機取得該醫師的一頭部的一深度資訊，其中該2D相機與該3D相機通過預校正達到精準定址；e)由該運算主機將該深度資訊對比至該臉部特徵，以確認該臉部特徵與該深度資訊是否皆與該已註冊使用者一致；f)於辨識該醫師為該已註冊使用者且該臉部特徵與該深度資訊皆一致時，由該運算主機依據該臉部特徵與該深度資訊估算該醫師的頭部的一二維空間資訊與一三維空間資訊；g)由該運算主機藉由一轉換矩陣將該二維空間資訊與該三維空間資訊轉換成一機器人移動資訊；及h)由該運算主機依據該機器人移動資訊控制該機器人移動。
本發明藉由機器人來夾持內視鏡，並且藉由相機來追蹤醫師的頭部的動作，可以依據醫師的頭部的動作直持控制機器人移動，進而調整內視鏡的視角。與相關技術相比，本發明不但可以減少手術中對於醫師助理的人力依賴，亦可令內視鏡的操作更符合醫師的直覺。
1:醫師
2:助手
3:病患
4:內視鏡
5:顯示螢幕
6、6’:控制系統
61:運算主機
611:已註冊資料
612:轉換矩陣
62:機器人
621:機器人移動資訊
63:複合相機
631:2D相機
6311:二維空間資訊
632:3D相機
6321:三維空間資訊
64:啟動資訊取得模組
S10~S30:控制步驟
S40~S48:定位步驟
S60~S74:控制步驟
圖1為內視鏡手術的進行情境示意圖。
圖2為本發明的控制系統的方塊圖的第一具體實施例。
圖3為本發明的內視鏡手術的進行情境示意圖的第一具體實施例。
圖4為本發明的控制方法的流程圖的第一具體實施例。
圖5為本發明的資訊轉換示意圖的第一具體實施例。
圖6為本發明的定位流程圖的第一具體實施例。
圖7為本發明的控制系統的方塊圖的第二具體實施例。
圖8為本發明的控制方法的流程圖的第二具體實施例。
茲就本發明之一較佳實施例，配合圖式，詳細說明如後。
首請參閱圖2及圖3，其中圖2為本發明的控制系統的方塊圖的第一具體實施例，圖3為本發明的內視鏡手術的進行情境示意圖的第一具體實施例。
本發明揭露了一種基於頭部追蹤控制內視鏡手術機器人的控制系統(下面將於說明書中簡稱為控制系統6)。如圖2所示，控制系統6至少包 括運算主機61、機器人62及複合相機63，其中運算主機61與機器人62以及複合相機63通訊連接。
如圖3所示，本發明的控制系統6主要應用於手術室中，其中機器人62用以夾持醫師1在手術室中使用的內視鏡4，複合相機63用以偵測並追蹤執行手術的醫師1的頭部的動作，而運算主機61基於複合相機63的偵測與追蹤結果對機器人62進行控制。由於內視鏡4被機器人62所夾持，因此當機器人62受運算主機61的控制而移動時，可以連帶控制機器人62所夾持的內視鏡4進行移動、旋轉及放大(zoom in)與縮小(zoom out)等動作，進而可以調整內視鏡4的視角。
於一實施例中，運算主機61連接所述內視鏡4，並且連接放置於手術室內一側的顯示螢幕5。內視鏡4於手術過程中伸入病患3的體內，並且持續偵測病患3體內的影像。運算主機61接收內視鏡4所偵測的影像，並且傳遞至顯示螢幕5上顯示。據此，醫師1可以依據顯示螢幕5上顯示的影像來獲得病患3體內的相關資訊，並藉此進行手術。
於另一實施例中，運算主機61可在接收內視鏡4所偵測的影像後，先對影像進行影像處理(例如色階曲線校正處理(Gamma Correction)、色彩校正處理(Color Correction)、邊緣強化處理(Edge Enhancement)等)，以對影像進行優化後，再傳遞至顯示螢幕5上顯示。藉此，醫師1可以於顯示螢幕5顯示的影像中獲得更多的細節。惟，上述僅為本發明的部分具體實施範例，但並不以此為限。
於另一實施例中，內視鏡4可直接連接顯示螢幕5並將所偵測的影像直接輸出至顯示螢幕5上顯示，而不與運算主機61連接。
值得一提的是，於上述實施例中，運算主機61與機器人62以有線或無線方式通訊連接，並且機器人62通過固定結構來夾持內視鏡4。意即，運算主機61並沒有直接對內視鏡4進行控制。於此實施例中，運算主機61依據複合相機63的偵測與追蹤結果控制機器人62進行移動，而在機器人62移動後，即可帶動機器人62所夾持的內視鏡4對應移動，進而改變內視鏡4的視角。
於另一實施例中，所述內視鏡4為具有通訊功能的改良型內視鏡，並且運算主機61與內視鏡4以有線或無線方式通訊連接。於此實施例中，機器人62僅用以夾持內視鏡4並維持內視鏡4的穩定，但機器人62與運算主機61沒有直接連接關係。運算主機61依據複合相機63的偵測與追蹤結果直接控制內視鏡4進行對應移動，以調整內視鏡4的視角並獲得所需影像。
惟，上述僅為本發明的部分具體實施範例，但並不以此為限。
如圖3所示，本發明的複合相機63主要包括2D相機631與3D相機632，其中其中2D相機631可例如為彩色相機，3D相機632可例如為光達(LiDAR)相機。具體地，本發明中，2D相機631主要為可支援RGB彩色影像的彩色相機，而3D相機632主要為可通過飛時測距(Time-of-Flight,ToF)技術，立體視覺(Stereoscopy)技術或結構光(Structure Light)技術來偵測外部影像並生成深度資訊的相機，但並不以此為限。
於圖2及圖3的實施例中，2D相機631與3D相機632係共同設置於單一個複合相機63上。然而，於其他實施例中，2D相機631與3D相機632亦可為分開設置的兩個獨立裝置，而不以圖2、圖3所示者為限。為便於說明，下面將於說明書中以同時具有2D相機631及3D相機632的複合相機63為例，進行說明，但並不以此限定本發明所請求保護的範圍。
如圖3所示，內視鏡4所擷取的影像會被顯示於顯示螢幕5上，而複合相機63(即，2D相機631以及3D相機632)可設置於顯示螢幕5的上方。當醫師1於手術過程中抬頭查看顯示螢幕5時，複合相機63可以捕捉並追蹤醫師1的頭部(包含臉部與眼睛)的移動、轉動或擺動等特徵，而運算主機61可依據這些特徵來控制機器人62進行對應移動，進而由機器人62帶動內視鏡4朝向醫師1的頭部的移動方向移動。
本發明令內視鏡4基於醫師1的頭部的動作進行對應移動，可以依據醫師1的視角來調整內視鏡的視角。因此，內視鏡4可以基於醫師1的視角來於病患3的體內進行拍攝，藉此在不需要助手過度協助的情況下，內視鏡4即可有效獲得醫師1真正需要的影像。
於進行手術前，醫師1或助手仍需先以人工方式對機器人62進行操控，以令機器人62以特定姿態夾持內視鏡4於特定位置。具體地，醫師1或助手需先將內視鏡4伸入病患3體內，並令內視鏡4位於病患3體內的特定位置。此時，醫師1或助手可操作機器人62來夾持已經定位在特定位置上的內視鏡4。當機器人62穩定夾持內視鏡4並取代了助手的位置時，助手即可離開，並由醫師1來全權控制內視鏡4(即，全權控制機器人62)。
此時，機器人62取代了傳統由助手於手術過程中全程握持內視鏡4，並依照醫師1的指令對內視鏡4進行操控的角色。接著，醫師1可以通過本發明的控制系統6，藉由頭部的移動來控制機器人62，進而對機器人62夾持的內視鏡4進行局部控制(例如鏡頭轉向、位置微調等)。
待機器人62及內視鏡4設置完成後，本發明的控制系統6通過2D相機631擷取醫師1的臉部特徵，並且通過3D相機632擷取醫師1的頭 部的深度資訊，並且由運算主機61通過臉部特徵以及深度資訊來辨識醫師1的身份，同時追蹤醫師1的頭部的動作以控制機器人62的移動。
具體地，運算主機61首先對2D相機631取得的臉部特徵進行辨識，以進行主要認證階段(Primary recognition stage)並確認醫師1是否為已註冊使用者。若確認醫師1為已註冊使用者，控制系統6才能接受醫師1的操控。
更具體地，本發明的運算主機61主要為一種具有深度學習加速器(Deep Learning Accelerator,DLA)或圖形處理器(Graphics Processing Unit,GPU)的電腦主機。本發明的控制系統6需先通過複合相機63或其他的影像擷取裝置(圖未標示)擷取有權使用控制系統6的一或多位醫師的臉部特徵，並且通過運算主機61內部的深度學習演算法之訓練後，記錄為已註冊資料611。如圖2所示，本發明的運算主機61儲存有複數已註冊資料611，各筆已註冊資料611分別記錄不同的已註冊使用者的臉部特徵資訊。於辨識醫師1的身份時，運算主機61主要是將所取得的臉部特徵與複數已註冊資料611進行比對，藉此辨識醫師1是否為複數已註冊使用者的其中之一。
若判斷醫師1確實為已註冊使用者，並且確認了醫師1的身份，運算主機61可進一步通過3D相機632取得的深度資訊來進行進一步的雙重認證階段(Secondary confirmation stage)。
如前文所述，本發明的主要技術手段在於，可以追蹤醫師1的頭部、臉部或眼睛的動作，以對機器人62進行對應控制。一般來說，將影像追蹤技術應用於遊戲或視聽娛樂等非正式的應用場景時，系統可以接受較大的誤差值。相較之下，本發明的控制系統6係應用於高危險性的手術室中，需要細緻且精準的辨識、追蹤與控制。本發明結合2D相機631擷取的臉部特徵以及3D 相機632取得的深度資訊，可以大幅地將對機器人62的控制與定位提昇到微米(mm)等級。如此一來，本發明的控制系統6可以對內視鏡4達到較佳的控制與調整，進而降低醫師1在手術中誤判的可能性。
本發明中，控制系統6預先對2D相機631與3D相機632進行校正(Alignment)。藉由將2D相機631擷取的RGB影像與3D相機632生成的深度影像進行畫素對畫素(pixel-to-pixel)的對比，可令2D相機631與3D相機632在尺寸與位置上達到精準定址(RGB-D registration)。
本發明中，控制系統6進一步控制3D相機632對已辨識成功的醫師1的頭部進行拍攝，以獲得所述深度資訊。並且，運算主機61進一步將深度資訊對比至由2D相機631所擷取的臉部特徵，以確認臉部特徵與深度資訊是否皆與已註冊使用者一致。
如前文所述，所述2D相機631與3D相機632已經經過預先校正而達到精準定位狀態，因此，運算主機61可以將臉部特徵與深度資訊上的多個特徵點進行對齊(aligned)。
於一實施例中，所述已註冊資料611中可記錄已註冊使用者的臉部特徵資訊以及臉部深度資訊。於此實施例中，運算主機61通過所述臉部特徵判斷醫師1為一特定的已註冊使用者後，再將對齊後的臉部資訊以及深度資訊同時與此已註冊使用者的已註冊資料611中的臉部特徵資訊以及臉部深度資訊進行比對，以判斷醫師1的臉是否與預儲存的已註冊使用者的三維臉部輪廓相符。
於所擷取的臉部特徵以及深度資訊分別與此已註冊使用者的已註冊資料611的內容相符時，運算主機61即可認定所述臉部特徵與深度資訊 皆與已註冊使用者一致。惟，上述僅為本發明的部分具體實施範例，但不以上述者為限。
具體地，本發明的控制系統1執行所述主要認證階段以及雙重認證階段的目的在於：(1)藉由2D相機631以及3D相機632所取得的資料執行兩次獨立的辨識作業，可以有效排除辨識誤判，不會因為環境中的人物或特徵點與已註冊資料611相似，導致運算主機61的辨識錯誤；及(2)通過對2D相機631取得的影像與3D相機632取得的影像進行特徵點的座標位置的比對與校準，可以將對機器人62的控制與定位大幅提昇到微米等級，藉此可對內視鏡4達到較佳的控制與調整，
進一步，若運算主機61辨識當前位於複合相機63前方的醫師1為已註冊使用者，且醫師1的臉部特徵與深度資訊皆與已註冊使用者一致時，進一步依據所述臉部特徵與深度資訊估算醫師的頭部的二維空間資訊與三維空間資訊。
於一實施例中，所述複合相機63使用相機座標系。所述二維空間資訊包含了當前拍攝的頭部影像中的各個特徵點於相機座標系的x軸及y軸上的座標位置，以及各個特徵點於相機座標系上的角度。所述三維空間資訊包含了當前拍攝的頭部的深度影像中的各個特徵點於相機座標系的x軸、y軸及z軸上的座標位置，以及各個特徵點於相機座標系上的角度(容後詳述)。
本發明中，複合相機63使用相機座標系，機器人62使用機器人座標系。控制系統6依據相機座標系以及機器人座標系的對應關係建立轉換矩陣612，並且藉由轉換矩陣612將所述二維空間資訊與三維空間資訊由相 機座標系轉換成對應至機器人座標系的機器人移動資訊。藉此，運算主機61可依據機器人移動資訊來直接控制機器人62進行移動。
所述二維空間資訊與三維空間資訊是基於醫師1的頭部的些微動作所產生的，而所述機器人移動資訊又是基於二維空間資訊與三維空間資訊所產生的。換句話說，機器人62的移動與醫師1的頭部的些微動作正相關。
上述轉換矩陣612為座標轉換領域的常用技術手段，於此不再贅述。
更具體地，本發明的複合相機63在設置完成後，即可於相機座標系上具有一個預設的相機座標系原點(0,0,0)。當機器人62被醫師1或助手操控並移動至所述特定位置時，可由醫師1或助手觸發一設定鍵(圖未標示)以將機器人62鎖定於所述特定位置，並且將特定位置做為機器人62於機器人座標系上的機器人座標系原點(0,0,0)。
本發明中，運算主機61可以依據所述相機座標系、相機座標系原點、機器人座標系以及機器人座標系原點來建立所述轉換矩陣612。通過所述轉換矩陣612，運算主機61可以有效且精準的將醫師1的頭部、臉部或眼睛的動作(例如移動、偏擺(yam)、翻滾(roll)與俯仰(pitch)等)直接轉換為機器人62的對應動作。藉此，機器人62所夾持的內視鏡4可以直接依照醫師1的視角來改變自身的視角，進而準確地獲得醫師1所需的內視鏡影像。
續請同時參閱圖2、圖3及圖4，其中圖4為本發明的控制方法的流程圖的第一具體實施例。本發明進一步揭露一種基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法(下面將於說明書中簡稱為控制方法)，所述控制方法主要應用於如圖2、圖3所示的控制系統6。
要應用本發明的控制方法，醫師1或是助手需先對設置在手術室內的機器人62進行操作，以令機器人62以一特定姿態夾持手術室中要使用的內視鏡4於一特定位置(步驟S10)。於一實施例中，醫師1或助手可以手動牽引機器人62，以令機器人62移動至所述特定位置並且夾持內視鏡4。於另一實施例中，醫師1或助手可以操作電子裝置(圖未標示)以發出控制指令，藉此令機器人62依據控制指令自動移動至所述特定位置並夾持內視鏡4。惟，上述皆僅為本發明的部分實施範例，但並不以此為限。
具體地，於內視鏡手術進行中，助手需先以人工方式將內視鏡4伸入病患3體內，並且令內視鏡4拍攝到醫師1所需的影像。此時，再由醫師1或助手控制機器人62來夾持內視鏡4，以取代助手。並且，控制系統6將機器人62夾持內視鏡4時的位置設定為所述特定位置。本發明中，控制系統6將所述特定位置認定為機器人62於機器人座標系上的原點，並藉此產生所述轉換矩陣612。
接著，控制系統6通過複合相機63上的2D相機631朝向醫師1的臉部位置拍攝臉部影像，以取得醫師1的臉部特徵(步驟S12)。更具體地，複合相機63可於手術開始後持續朝向醫師1的位置進行拍攝。如前文所述，複合相機63主要可設置於手術室中的顯示螢幕5的上方。當醫師1抬頭查看顯示螢幕5時，複合相機63即可拍攝到醫師1的臉部影像，而運算主機61可在臉部影像中偵測到醫師1的臉部特徵。並且，由於醫師1的臉部正對複合相機63，因此控制系統6可以直接使用複合相機63所使用的相機座標系來表示所述臉部影像中的各個特徵點的座標位置。
具體地，於步驟S12中，控制系統6是由2D相機631拍攝醫師1的一張彩色影像，接著由運算主機61產生可包含彩色影像中的臉部的一個邊界框(bounding box)。接著，運算主機61於邊界框中找出一個中心點，並且以此中心點做為醫師1的臉部的基準點，並與複合相機63的座標中心點做校正。運算主機61將醫師1的臉部的座標與複合相機63的座標進行對應，藉此可以使用複合相機63所使用的相機座標系來表示醫師1的臉部上的各個特徵點的座標。
本實施例中，運算主機61於所述邊界框中對醫師1的臉部進行追蹤，並且使用相機座標系來表示移動後的臉部的座標位置。惟，上述為影像分析領域常用的技術手段，於此不再贅述。
步驟S12後，運算主機61可通過所述臉部特徵來進行辨識，以確認當前位於複合相機63前方的醫師1是否為已註冊使用者(步驟S14)。意即，運算主機61確認醫師1是否具有對控制系統6進行操作的資格。
如前文所述，本發明的運算主機61為具有DLA或GPU的電腦主機。藉由預先擷取多位醫師的臉部特徵並且進行深度學習，運算主機61可具有記錄了多位醫師(即，已註冊使用者)的臉部特徵資訊的複數已註冊資料611。於步驟S14中，運算主機61主要是於2D相機631所拍攝的臉部影像中擷取出醫師1的臉部特徵，並且將臉部特徵與複數已註冊資料611中記錄的已註冊使用者(即，已註冊的醫師)的臉部特徵資訊進行比對，藉此判斷醫師1是否為複數已註冊使用者的其中之一。
若判斷醫師1並非為已註冊使用者，則控制系統6返回步驟S12，以控制2D相機631再次擷取醫師1的臉部影像，並控制運算主機61重新辨識。
若判斷醫師1醫師1為複數已註冊使用者的其中之一，則控制系統6進一步控制複合相機63中的3D相機632朝向醫師1的頭部的位置拍攝深度影像，以取得醫師1的頭部的深度資訊(步驟S16)。具體地，本發明中的2D相機631與3D相機632設置於相同位置(例如顯示螢幕5上方)，並且具有相同的視角(例如朝向醫師1的位置)，因此可以使用相同的相機座標系。
依據上述特性，控制系統6的操作者可預先對2D相機631與3D相機632執行前文所述的校正動作，以令2D相機631與3D相機632達到精準定址。藉此，在通過2D相機631拍攝的臉部影像取得了臉部特徵，並且通過3D相機632拍攝的深度影像取得了深度資訊後，運算主機61可以將深度資訊對比至臉部特徵，並且確認臉部特徵與深度資訊是否皆與已註冊使用者一致(步驟S18)。
若於步驟S18中判斷臉部特徵或深度資訊與已註冊使用者不一致，表示當前位於複合相機63前方的醫師1可能不是已註冊使用者，或者當前位於複合相機63前方的人物僅為與任一已註冊使用者具有相近似特徵的其他人物。於此情況下，控制系統6返回步驟S12，以控制2D相機631再次擷取醫師1的臉部影像，並控制運算主機61重新辨識。
若於步驟S18中判斷臉部特徵與深度資訊皆與已註冊使用者一致，表示當前位於複合相機63前方的醫師1通過了所述主要認證階段以及雙 重認證階段。此時，運算主機61依據所述臉部特徵與深度資訊來分別估算醫師1醫師1的頭部的二維空間資訊與三維空間資訊(步驟S20)。
具體地，所述臉部特徵是基於由2D相機631拍攝的彩色影像所取得的，運算主機61可基於臉部特徵來計算醫師1的二維空間資訊。所述深度資訊是基於由3D相機632拍攝的深度影像所取得的，運算主機61可基於深度資訊來計算醫師1的三維空間資訊。所述2D相機631著重於影像的顏色與解析度(例如1300萬畫素、2K或4K等)，而所述3D相機632則著重於影像中各個特徵點的深度特徵。因此，本發明結合二維空間資訊以及三維空間資訊，可以更準確地計算出醫師1的頭部的移動量。
通過於主要認證階段取得的二維空間資訊與於雙重認證階段取得的三維空間資訊，運算主機61可以計算出醫師1實際的移動角度與移動位置(步驟S22)。並且，運算主機61可藉由所述轉換矩陣612來將二維空間資訊與三維空間資訊轉換成機器人移動資訊(步驟S24)。
於一實施例中，運算主機61直接使用轉換矩陣612來對二維空間資訊與三維空間資訊進行計算，以產生以機器人座標系來表示的機器人移動資訊。
於另一實施例中，運算主機61依據二維空間資訊與三維空間資訊計算出醫師1實際的移動角度與移動位置，其中此移動角度與移動位置是一筆以相機座標系來表示的移動資訊。於步驟S24中，運算主機61藉由轉換矩陣612來對所述移動資訊進行計算，以將此移動資訊轉換為以機器人座標系來表示的所述機器人移動資訊。惟，上述僅為本發明的部分具體實施範例，但並不以此為限。
請同時參閱圖5，為本發明的資訊轉換示意圖的第一具體實施例。於上述步驟S12中，控制系統6通過2D相機631拍攝醫師1的臉部的彩色影像，並且運算主機61對彩色影像進行分析與估算後，可產生對應的二維空間資訊6311。如圖5所示，所述二維空間資訊6311可例如包括醫師1的頭部的第一x軸座標(X1)、第一y軸座標(Y1)、第一偏擺角度(θ_yaw 1)、第一翻滾角度(θ_roll 1)及第一俯仰角度(θ_pitch 1)。值得一提的是，所述二維空間資訊6311主要以所述相機座標系來表示。並且，二維空間資訊6311是基於平面的彩色影像所產生的，因此不具有z軸座標。
於上述步驟S16中，控制系統6通過3D相機632拍攝醫師1的頭部的深度影像，並且運算主機61對深度影像進行分析與估算後，可產生對應的三維空間資訊6321。如圖5所示，所述三維空間資訊6321可例如包括醫師1的頭部的第二x軸座標(X2)、第二y軸座標(Y2)、第二z軸座標(Z2)、第二偏擺角度(θ_yaw 2)、第二翻滾角度(θ_roll 2)及第二俯仰角度(θ_pitch 2)。值得一提的是，所述三維空間資訊6321主要以所述相機座標系來表示。
於上述步驟S24中，運算主機61藉由轉換矩陣612來將醫師1的二維空間資訊6311與三維空間資訊6321轉換成機器人移動資訊621。如圖5所示，所述機器人移動資訊621可例如包括機器人62的第三x軸座標(X3)、第三y軸座標(Y3)、第三z軸座標(Z3)、第三偏擺角度(θ_yaw 3)、第三翻滾角度(θ_roll 3)及第三俯仰角度(θ_pitch 3)。值得一提的是，所述機器人移動資訊621主要以所述機器人座標系來表示。
請同時參閱圖6，為本發明的定位流程圖的第一具體實施例。圖6用以對圖4的步驟S10做更進一步的說明。
如圖6所示，於所述步驟S10中，醫師1或助手主要是以手動方式控制機器人62移動(步驟S40)，並且持續判斷機器人62是否已經移動至醫師1所需的特定位置(步驟S42)。當機器人62被移動至所述特定位置時，控制系統6等待醫師1或助手觸發對應的設定鍵(例如設置於手術檯下方的踏板)(步驟S44)。當所述設定鍵被觸發後，控制系統6會鎖定機器人62的當前位置(步驟S46)，並且將機器人62的當前位置(即，前述特定位置)設定為機器人62在機器人座標系上的移動起始位置。於一實施例中，所述移動起始位置被設定為機器人座標系上的機器人座標系原點(步驟S48)。
相對地，2D相機631於圖4的步驟S12中主要是於醫師1抬頭並面對複合相機63時拍攝醫師1的臉部影像。此時，控制系統6可將醫師1的臉部正對複合相機63時的位置與角度設定為醫師1於相機座標系上的移動起始位置，並且此移動起始位置即為醫師1於相機座標系上的基準座標(0,0,0)。
如前文所述，運算主機61主要是依據相機座標系、相機座標系原點、機器人座標系以及機器人座標系原點來建立所述轉換矩陣612。於上述實施例中，機器人62的位置使用機器人座標系來表示，醫師1的臉部的位置使用相機座標系來表示。因此，通過轉換矩陣612的使用，運算主機61可以將以相機座標系來表示的臉部的移動相關資訊轉換成以機器人座標系來表示的機器人移動資訊621。
回到圖4。於步驟S24後，控制系統6判斷所述機器人移動資訊621是否超出機器人62的有效操控範圍(步驟S26)。若機器人移動資訊621 超出了機器人62的有效操控範圍，則控制系統6返回步驟S10，以由醫師1或助手來調整機器人62或內視鏡4的位置。
具體地，若所述機器人移動資訊621超出了機器人62的有效操控範圍，代表醫師1的頭部的移動過大，或是機器人62或內視鏡4當前的位置不符醫師1的需求。於此情況下，控制系統6不直接依據所述機器人移動資訊621對機器人62進行控制，藉此可降低誤判的可能性。
相反地，若於步驟S26中判斷所述機器人移動資訊621未超出機器人62的有效操控範圍，則控制系統6通過運算主機61來依據所述機器人移動資訊621控制機器人62進行對應移動(步驟S28)。藉由機器人的移動可以帶動內視鏡4的視角進行對應調整。由於所述機器人移動資訊621是基於醫師1的臉部的移動所產生的，因此，內視鏡4的視角可以隨著醫師1的臉部的移動而進而調整，進而可以取得符合醫師1需求的影像。
步驟S28後，控制系統6判斷本次的控制方法是否結束(步驟S30)。若本次的控制方法尚未結束(例如，手術尚未結排、控制系統6尚未被關閉等)，則控制系統6返回步驟S12，並且重覆執行步驟S12至步驟S28。藉此，控制系統6可於醫師1的手術完成前，持續追蹤醫師1的臉部的動作並對應控制機器人62(即，對應調整內視鏡4的視角_9，藉此協助手術順利進行。
為了進一步降低誤判的可能性，除了通過3D相機632來執行所述雙重證認階段外，本發明的控制系統6還可通過額外手段來判斷醫師1是否具有實際上的控制意圖。於此實施例中，控制系統6會於判斷醫師1具有控制意圖時，才執行本發明的控制方法，以令醫師1具有以臉部動作來直接控制機器人62及/或內視鏡4的權限。
請同時參閱圖7及圖8，其中圖7為本發明的控制系統的方塊圖的第二具體實施例，圖8為本發明的控制方法的流程圖的第二具體實施例。
圖7揭露了本發明的另一實施例的控制系統6’。具體地，控制系統6’具有與前述的控制系統6相同的運算主機61、機器人62以及複合相機63，於此不再贅述。
與前述控制系統6的差異在於，控制系統6’還具有連接運算主機61的啟動資訊取得模組64。本實施例中，啟動資訊取得模組64用以偵測醫師1是否具有對機器人62及/或內視鏡4的控制意圖，並且於醫師1確實具有控制意圖時發出對應的確認訊號。
於一實施例中，所述啟動資訊取得模組64可為語音控制模組。控制系統6’於語音控制模組接收醫師1發出的語音控制指令時，認定醫師1具有所述控制意圖。
於一實施例中，所述啟動資訊取得模組64可為設置於手術檯下方的腳踏板。當醫師1於手術過程中踩踏所述腳踏板時，控制系統6’可認定醫師1具有所述控制意圖。
於一實施例中，所述啟動資訊取得模組64可為設置於任意位置的按鍵。當醫師1於手術過程中按鍵所述按鍵時，控制系統6’可認定醫師1具有所述控制意圖。
於一實施例中，所述啟動資訊取得模組64可為配載於醫師1的頭部的眼球追蹤相機(例如為微型近距相機)。所述眼球追蹤相機通過影像辨識技術持續追蹤醫師1的視角及眼球，當偵測到醫師1的視角聚距於顯示螢幕5上顯示的內視鏡影像時，控制系統6’可認定醫師1具有所述控制意圖。
惟，上述僅為本發明的部分具體實施範例，但並不以上述者為限。
如圖8所示，在進行手術時，由醫師1或助手操作機器人62，令機器人62以特定姿態夾持內視鏡4於特定位置(步驟S60)。接著，控制系統6’通過複合相機63上的2D相機631與3D相機632來拍攝醫師1的影像，並通過影像來辨識醫師1的身份同時進行臉部的追蹤(步驟S62)。
接著，控制系統6’通過所述啟動資訊取得模組64判斷醫師1是否具有控制意圖(步驟S64)。若於步驟S64中判斷醫師1確實具有控制意圖時，啟動資訊取得模組64會發送對應的確認訊號至運算主機61。於收到所述確認訊號後，運算主機61可以執行如圖4所示的各步驟，以追蹤醫師1的臉部的動作並且對機器人62進行對應的控制。
具體地，於收到啟動資訊取得模組64發出的確認訊號後，運算主機61可依據2D相機631以及3D相機632拍攝的影像來估算醫師1的二維空間資訊6311以及三維空間資訊6321(步驟S66)，並且依據二維空間資訊6311以及三維空間資訊6321來計算醫師1實際的移動角度與移動位置(步驟S68)。
接著，運算主機61藉由轉換矩陣612將二維空間資訊6311與三維空間資訊6321轉換成機器人移動資訊621(步驟S70)，並且依據機器人移動資訊621控制機器人62進行對應移動(步驟S72)。通過醫師1的視角變化來控制機器人62移動，可以帶動機器人62所夾持的內視鏡4進行對應調整，藉此令內視鏡4的視角與醫師1的視角達到一致。
步驟S72後，運算主機61判斷醫師1本次的控制動作是否結束(步驟S74)，並且於控制動作結束前重覆執行步驟S62至步驟S72，以持續追 蹤醫師1的臉部的動作，持續基於醫師1的臉部的動作來控制機器人62的移動，進而持續調整內視鏡4的視角。
如上所述，本發明令系統可以依據醫師的視角改變來直接調整內視鏡的視角，使得內視鏡所擷取的影像能夠更符合醫師的實際需求。如此一來，不但可以減少在手術中對於助理的人力依賴，亦可令內視鏡的操作更為直覺與便利。
以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。
1:醫師
3:病患
4:內視鏡
5:顯示螢幕
61:運算主機
62:機器人
63:複合相機
631:2D相機
632:3D相機

Claims (15)

  1. 一種基於頭部追蹤控制內視鏡手術機器人的控制系統，應用於一手術室中，包括：一運算主機；一機器人，與該運算主機連接，以一特定姿態夾持該手術室中使用的一內視鏡於一特定位置；及一複合相機，包括一2D相機及一3D相機，該2D相機取得該手術室中的一醫師的一臉部特徵，該3D相機取得該醫師的頭部的一深度資訊，其中該2D相機與該3D相機通過預校正達到精準定址(RGB-D registration)；其中，該運算主機對該臉部特徵進行辨識以確認該醫師是否為一已註冊使用者，並且將該深度資訊對比至該臉部特徵以確認該臉部特徵與該深度資訊是否皆與該已註冊使用者一致；其中，該運算主機於辨識該醫師為該已註冊使用者且該臉部特徵與該深度資訊皆一致時，依據該臉部特徵與該深度資訊估算該醫師的頭部的一二維空間資訊與一三維空間資訊，藉由一轉換矩陣將該二維空間資訊與該三維空間資訊轉換成一機器人移動資訊，並依據該機器人移動資訊控制該機器人移動。
  2. 如請求項1所述的控制系統，其中該運算主機儲存複數已註冊資料，各該已註冊資料分別記錄至少一個該已註冊使用者的該臉部特徵資訊，其中該運算主機將該臉部特徵與該複數已註冊資料進行比對，以辨識該醫師為複數該已註冊使用者的其中之一。
  3. 如請求項1所述的控制系統，其中該運算主機連接該內視鏡以及該手術室中的一顯示螢幕，並將該內視鏡的影像傳遞至該顯示螢幕上顯示，其中該複合相機設置於該顯示螢幕的上方。
  4. 如請求項1所述的控制系統，其中該2D相機支援RGB彩色影像，該3D相機通過飛時測距(Time-of-Flight,ToF)技術，立體視覺(Stereoscopy)技術或結構光(Structure Light)技術擷取並生成該深度資訊。
  5. 如請求項1所述的控制系統，其中該二維空間資訊包括該醫師的頭部的一第一x軸座標、一第一y軸座標、一第一偏擺(yaw)角度、一第一翻滾(roll)角度及一第一俯仰(pitch)角度，該三維空間資訊包括該醫師的頭部的一第二x軸座標、一第二y軸座標、一第二z軸座標、一第二偏擺角度、一第二翻滾角度及一第二俯仰角度，該機器人移動資訊包括該機器人的一第三x軸座標、一第三y軸座標、一第三z軸座標、一第三偏擺角度、一第三翻滾角度及一第三俯仰角度。
  6. 如請求項1所述的控制系統，其中該複合相機使用一相機座標系並且具有一相機座標系原點，該機器人使用一機器人座標系，並且將該特定位置做為一機器人座標系原點，其中該運算主機依據該相機座標系、該相機座標系原點、該機器人座標系及該機器人座標系原點建立該轉換矩陣。
  7. 如請求項1所述的控制系統，其中更包括連接該運算主機的一啟動資訊取得模組，該運算主機於接收該啟動資訊取得模組發送的一確認訊號時計算該機器人移動資訊。
  8. 如請求項7所述的控制系統，其中該啟動資訊取得模組為一語音控制模組、一腳踏板、一按鍵或配載於該醫師的頭部的一眼球追蹤相機。
  9. 一種基於頭部追蹤控制內視鏡手術機器人的控制方法，應用於具有一機器人、一複合相機及一運算主機的一控制系統，包括：a)控制該機器人以一特定姿態夾持一手術室中使用的一內視鏡於一特定位置；b)由該複合相機中的一2D相機取得該手術室中的一醫師的一臉部特徵；c)由該運算主機對該臉部特徵進行辨識以確認該醫師是否為一已註冊使用者；d)由該複合相機中的一3D相機取得該醫師的一頭部的一深度資訊，其中該2D相機與該3D相機通過預校正達到精準定址；e)由該運算主機將該深度資訊對比至該臉部特徵，以確認該臉部特徵與該深度資訊是否皆與該已註冊使用者一致；f)於辨識該醫師為該已註冊使用者且該臉部特徵與該深度資訊皆一致時，由該運算主機依據該臉部特徵與該深度資訊估算該醫師的頭部的一二維空間資訊與一三維空間資訊；g)由該運算主機藉由一轉換矩陣將該二維空間資訊與該三維空間資訊轉換成一機器人移動資訊；及h)由該運算主機依據該機器人移動資訊控制該機器人移動。
  10. 如請求項9所述的控制方法，其中該內視鏡的影像顯示於該手術室中的一顯示螢幕上，該複合相機設置於該顯示螢幕的上方，該2D相機支援RGB彩色影像，並且該3D相機通過飛時測距技術或結構光技術擷取並生成該深度資訊。
  11. 如請求項9所述的控制方法，其中該步驟c)將該臉部特徵與複數已註冊資料進行比對，其中各該已註冊資料分別記錄一個該已註冊使用者的一臉部特徵資訊。
  12. 如請求項9所述的控制方法，其中該二維空間資訊包括該醫師的頭部的一第一x軸座標、一第一y軸座標、一第一偏擺角度、一第一翻滾角度及一第一俯仰角度，該三維空間資訊包括該醫師的頭部的一第二x軸座標、一第二y軸座標、一第二z軸座標、一第二偏擺角度、一第二翻滾角度及一第二俯仰角度，該機器人移動資訊包括該機器人的一第三x軸座標、一第三y軸座標、一第三z軸座標、一第三偏擺角度、一第三翻滾角度及一第三俯仰角度。
  13. 如請求項9所述的控制方法，其中該步驟a)之前更包括：a01)控制該機器人移動；a02)於該機器人移動至該特定位置前持續執行該步驟a01)；a03)於該機器人移動至該特定位置時，觸發一設定鍵以鎖定該機器人的位置；及a04)該步驟a03)後，將該機器人的當前位置設定為一機器人座標系原點，其中該複合相機使用一相機座標系並且具有一相機座標系原點，該機器人使用一機器人座標系，其中該運算主機依據該相機座標系、該相機座標系原點、該機器人座標系及該機器人座標系原點建立該轉換矩陣。
  14. 如請求項9所述的控制方法，其中更包括：g1)該步驟g)後，判斷該機器人移動資訊是否超出該機器人的一有效操控範圍； g2)於該機器人移動資訊超出該有效操控範圍時重新執行該步驟a)；及g3)於該機器人移動資訊未超出該有效操控範圍時執行該步驟h)。
  15. 如請求項9所述的控制方法，其中該控制系統更包括一一啟動資訊取得模組，並且該控制方法包括：a1)該運算主機判斷是否接收該啟動資訊取得模組發送的一確認訊號；及a2)於接收該確認訊號時執行該步驟f)至該步驟h)。
TW111107393A 2022-03-01 2022-03-01 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法 TWI805248B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111107393A TWI805248B (zh) 2022-03-01 2022-03-01 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法
CN202210269229.XA CN116725660A (zh) 2022-03-01 2022-03-18 基于头部追踪控制内视镜手术机器人的控制系统与控制方法
US17/888,658 US20230277263A1 (en) 2022-03-01 2022-08-16 Controlling system and controlling method of endoscopic surgical robot based on head tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111107393A TWI805248B (zh) 2022-03-01 2022-03-01 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法

Publications (2)

Publication Number Publication Date
TWI805248B true TWI805248B (zh) 2023-06-11
TW202335620A TW202335620A (zh) 2023-09-16

Family

ID=87802955

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111107393A TWI805248B (zh) 2022-03-01 2022-03-01 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法

Country Status (3)

Country Link
US (1) US20230277263A1 (zh)
CN (1) CN116725660A (zh)
TW (1) TWI805248B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430809A (zh) * 2017-01-16 2019-11-08 P·K·朗 用于外科、医疗和牙科手术的光学引导
WO2021167619A1 (en) * 2020-02-18 2021-08-26 Verb Surgical Inc. Robotic surgical system and method for providing a stadium view with arm set-up guidance
WO2022031271A1 (en) * 2020-08-04 2022-02-10 Verb Surgical Inc. Surgical robotic system and method for transitioning control to a secondary robot controller

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430809A (zh) * 2017-01-16 2019-11-08 P·K·朗 用于外科、医疗和牙科手术的光学引导
WO2021167619A1 (en) * 2020-02-18 2021-08-26 Verb Surgical Inc. Robotic surgical system and method for providing a stadium view with arm set-up guidance
WO2022031271A1 (en) * 2020-08-04 2022-02-10 Verb Surgical Inc. Surgical robotic system and method for transitioning control to a secondary robot controller

Also Published As

Publication number Publication date
CN116725660A (zh) 2023-09-12
TW202335620A (zh) 2023-09-16
US20230277263A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
US10498952B2 (en) Shooting method and shooting system capable of realizing dynamic capturing of human faces based on mobile terminal
US10353465B2 (en) Iris and pupil-based gaze estimation method for head-mounted device
WO2022062464A1 (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
US9652893B2 (en) Stabilization plane determination based on gaze location
JP7376569B2 (ja) ロボット操作手術器具の位置を追跡システムおよび方法
US20100245767A1 (en) Eye-tracking method and eye-tracking system for implementing the same
JP6904254B2 (ja) 手術用制御装置、手術用制御方法、およびプログラム
US7760916B2 (en) Registration apparatus, collation apparatus, image correction method and program
WO2015186519A1 (ja) 画像処理装置及び画像表示装置
JP5509044B2 (ja) 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム
JP2011166305A (ja) 画像処理装置および撮像装置
JP2005100366A (ja) 眼球運動を用いた視線入力コミュニケーション方法
CN108200340A (zh) 能够检测眼睛视线的拍照装置及拍照方法
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
US10489638B2 (en) Visual tracking method and robot based on monocular gesture recognition
WO2018121730A1 (zh) 视频监控和人脸识别方法、装置及系统
TWI805248B (zh) 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法
EP4058975A1 (en) Scene perception systems and methods
CN108156387A (zh) 通过检测眼睛视线自动结束摄像的装置及方法
Kohlbecher et al. Low-latency combined eye and head tracking system for teleoperating a robotic head in real-time
JP2000331190A (ja) 仮想変身装置
KR102253768B1 (ko) 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법
CN110338750B (zh) 一种眼球追踪设备
WO2023026528A1 (ja) 手術システム、制御方法、およびプログラム