WO2023134040A1 - 数据处理部、处理装置、手术系统、设备与介质 - Google Patents

数据处理部、处理装置、手术系统、设备与介质 Download PDF

Info

Publication number
WO2023134040A1
WO2023134040A1 PCT/CN2022/086430 CN2022086430W WO2023134040A1 WO 2023134040 A1 WO2023134040 A1 WO 2023134040A1 CN 2022086430 W CN2022086430 W CN 2022086430W WO 2023134040 A1 WO2023134040 A1 WO 2023134040A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
bronchoscope
virtual
pose information
tracking
Prior art date
Application number
PCT/CN2022/086430
Other languages
English (en)
French (fr)
Inventor
霍德荣
余坤璋
徐宏
孙晶晶
王俊
杨志明
王仁成
Original Assignee
杭州堃博生物科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州堃博生物科技有限公司 filed Critical 杭州堃博生物科技有限公司
Publication of WO2023134040A1 publication Critical patent/WO2023134040A1/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound

Definitions

  • the present invention relates to the field of medical devices, in particular to a data processing unit, a processing device, a surgical system, equipment and media.
  • Bronchoscopy is currently one of the most important means of diagnosis and treatment of respiratory diseases. With the continuous advancement of technology, the positioning of bronchoscopy can be realized based on the virtual bronchial tree.
  • the pose of the bronchoscope in the virtual coordinate system can be determined based on the images of the bronchus collected by the bronchoscope and the preset virtual bronchial tree.
  • the data to be processed The amount is large, the processing efficiency is low, and it is difficult to guarantee the real-time performance of the determined pose.
  • the present invention provides a data processing unit, a processing device, a surgical system, equipment and media to solve the problems of low processing efficiency and difficulty in ensuring the real-time performance of determined poses.
  • a data processing unit for performing a processing method of bronchoscopy detection includes:
  • the bronchoscope Based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree, determine the first pose information of the bronchoscope in the virtual coordinate system; wherein the virtual bronchial tree is used to simulate a real bronchus, so The virtual coordinate system is established based on the virtual bronchial tree;
  • second real-time pose information of the bronchoscope in the virtual coordinate system is determined.
  • the tracking component includes a tracking sensor and a tracking device; the tracking coordinate system is established based on the tracking device; the relative position of the tracking sensor and the bronchoscope is fixed;
  • the second pose information of the bronchoscope in the tracking coordinate system is obtained, including:
  • the fourth pose Information is predetermined based on the relative position of the tracking sensor to the bronchoscope.
  • the method before determining the first pose information of the bronchoscope in the virtual coordinate system based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree, the method further includes:
  • the bronchoscope In response to the collected real-time image meeting the preset condition, the bronchoscope is controlled to stop moving, and the real-time image is determined as the target image.
  • determining the first pose information of the bronchoscope in the virtual coordinate system based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree includes:
  • a target virtual slice map matching the target image is determined, and the first pose information is determined according to the target virtual slice map.
  • determine the second real-time pose information of the bronchoscope in the virtual coordinate system also include:
  • the target conversion relationship is adjusted to obtain the adjusted target conversion relationship, so that: according to the adjustment
  • the third real-time pose information obtained by transforming the first real-time pose information according to the target conversion relationship is in the virtual airway; the third real-time pose information is used to characterize the position of the bronchoscope in the virtual coordinates real-time pose in the system.
  • the second real-time pose information is represented as a pose of a specified position point of the bronchoscope in the virtual coordinate system
  • the target conversion relationship is adjusted to obtain the adjusted target conversion relationship, including:
  • candidate pose information For each set of candidate pose information, based on the candidate pose information and the first real-time pose information, determine a candidate transformation relationship between the tracking coordinate system and the virtual coordinate system; different candidate pose information is different;
  • One candidate conversion relationship in at least one group of candidate conversion relationships is used as the adjusted target conversion relationship.
  • obtaining reference pose information of a reference position point corresponding to the specified position point in the centerline of the virtual bronchial tree in the virtual coordinate system includes:
  • the reference pose information is determined by using the tangent direction at the reference position point as the vector direction of the reference position point, and using the coordinates of the reference position point as the coordinates of the reference position point.
  • the second real-time pose information includes a second rotation matrix and a second translation matrix of the specified location point relative to the virtual coordinate system;
  • the reference pose information includes a reference rotation matrix and a reference translation matrix of the reference position point relative to the virtual coordinate system;
  • the candidate pose information includes a candidate rotation matrix and a candidate translation matrix
  • the value in the candidate rotation matrix is between the corresponding value in the second rotation matrix and the corresponding value in the reference rotation matrix;
  • the values in the candidate translation matrix are between the corresponding values in the second translation matrix and the corresponding values in the reference rotation matrix.
  • using one candidate conversion relationship in at least one group of candidate conversion relationships as the adjusted target conversion relationship includes:
  • For each group of candidate transformation relations based on the candidate transformation relations, transform the plurality of historical pose information into the virtual coordinate system, and obtain a plurality of predicted positions corresponding to the candidate transformation relations in the virtual coordinate system points, and count the number of predicted position points located in the virtual airway among the plurality of predicted position points;
  • a candidate conversion relationship is determined from the at least one group of candidate conversion relationships as the adjusted target conversion relationship.
  • determining the first pose information of the bronchoscope in the virtual coordinate system based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree includes:
  • the registration trigger indication is used to trigger the determination of the target conversion relationship.
  • the tracking component includes a tracking sensor and a tracking device, the tracking sensor is set on the bronchoscope, and the tracking coordinate system is: a coordinate system based on the tracking device.
  • a processing device for bronchoscopic detection comprising:
  • the first pose determination module is used to determine the first pose information of the bronchoscope in the virtual coordinate system based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree; wherein, the virtual The bronchial tree is used to simulate the real bronchi, and the virtual coordinate system is established based on the virtual bronchial tree;
  • the second pose acquisition module is used to obtain the second pose information of the bronchoscope in the tracking coordinate system based on the preset tracking component for detecting the bronchoscope; the tracking coordinate system is established based on the tracking component ;
  • a target relationship determination module configured to determine the relationship between the tracking coordinate system and the The target conversion relationship of the virtual coordinate system
  • a real-time pose determination module configured to determine a second position of the bronchoscope in the virtual coordinate system according to the first real-time pose information of the bronchoscope in the tracking coordinate system and the target conversion relationship. Real-time pose information.
  • a surgical system including: a bronchoscope, a tracking component, and a data processing unit; the data processing unit is the data processing unit involved in the first aspect and its alternatives.
  • an electronic device including a processor and a memory
  • the memory is used to store codes
  • the processor is configured to execute the code in the memory to implement a processing method for bronchoscopy detection
  • the processing method of the bronchoscopy detection includes:
  • the bronchoscope Based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree, determine the first pose information of the bronchoscope in the virtual coordinate system; wherein the virtual bronchial tree is used to simulate a real bronchus, so The virtual coordinate system is established based on the virtual bronchial tree;
  • second real-time pose information of the bronchoscope in the virtual coordinate system is determined.
  • a storage medium on which a computer program is stored, and when the program is executed by a processor, a processing method for bronchoscopy detection is realized;
  • the processing method of the bronchoscopy detection includes:
  • the bronchoscope Based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree, determine the first pose information of the bronchoscope in the virtual coordinate system; wherein the virtual bronchial tree is used to simulate a real bronchus, so The virtual coordinate system is established based on the virtual bronchial tree;
  • second real-time pose information of the bronchoscope in the virtual coordinate system is determined.
  • the pose determination of the bronchoscope can be realized based on the target image collected by the bronchoscope, and the pose determination of the bronchoscope can also be realized based on the tracking component , and further, based on this, the target conversion relationship between the tracking coordinate system and the virtual coordinate system can be calibrated.
  • the target conversion relationship After the target conversion relationship is obtained, during the movement of the bronchoscope, it can be directly based on the detection results of the tracking component (that is, the first real-time pose information)
  • the detection results of the tracking component that is, the first real-time pose information
  • the second real-time pose information of the bronchoscope in the virtual coordinate system there is no need to process the target image every time it is positioned, which helps to reduce the amount of real-time processed data, improve processing efficiency, and ensure real-time pose determination. sex.
  • the present invention has a higher degree of automation, The error in the way of manually taking points is reduced, and the accuracy of the target conversion relationship is effectively improved.
  • the present The invention also adjusts the target conversion relationship, and the position obtained after the first real-time pose information is transformed into the virtual coordinate system by the adjusted target conversion relationship is in the virtual airway. It can be seen that this optional The solution can detect in time that the conversion relationship is wrong (or no longer fit), and can also promptly and effectively correct the target conversion relationship between the tracking coordinate system and the virtual coordinate system, which helps to accurately locate and characterize the position of the bronchoscope.
  • Fig. 1 is the structural representation of surgical system in an exemplary embodiment of the present invention
  • Fig. 2 is a schematic flow chart of a processing method for bronchoscopy detection in an exemplary embodiment of the present invention
  • Fig. 3 is a schematic flowchart of a processing method for bronchoscopy detection in another exemplary embodiment of the present invention.
  • Fig. 4 is a schematic diagram of a real-time image in an exemplary embodiment of the present invention.
  • FIG. 5 is a schematic flowchart of a processing method for bronchoscopy detection in yet another exemplary embodiment of the present invention.
  • Fig. 6 is a schematic flow chart of adjusting the target conversion relationship in an exemplary embodiment of the present invention.
  • Fig. 7 is a schematic flowchart of determining a target conversion relationship from candidate conversion relationships in an exemplary embodiment of the present invention.
  • Fig. 8 is a schematic diagram of program modules of a processing device for bronchoscopy detection in an exemplary embodiment of the present invention.
  • Fig. 9 is a schematic diagram of program modules of a bronchoscope detection processing device in another exemplary embodiment of the present invention.
  • Fig. 10 is a schematic structural diagram of an electronic device in an exemplary embodiment of the present invention.
  • an embodiment of the present invention provides a surgical system, including: a bronchoscope 110 , a tracking component 120 and a data processing unit 130 .
  • the data processing unit 130 can be understood as any device or combination of devices capable of data processing, which can be used to execute the bronchoscope detection processing method provided by the embodiment of the present invention.
  • the tracking component 120 may be any component or a combination of components capable of tracking the pose of some or all parts of the bronchoscope 110 , for example, the tracking component 120 may be used to track the pose of the end of the bronchoscope 110 .
  • the tracking component 120 may include a tracking sensor 121 and a tracking device 122 , and the tracking sensor 121 is arranged on the bronchoscope 110 .
  • the tracking device 122 can be understood as a device or a combination of devices for generating a tracking medium, such as a magnetic field, light (such as laser, infrared), or other waves (such as ultrasonic waves, microwaves) and the like.
  • the tracking sensor 121 can be understood as being able to interact with the tracking medium, so that the pose information of the tracking sensor 121 can be determined, and at the same time, the pose information of the tracking sensor 121 can be used to characterize the corresponding parts of the bronchoscope pose information.
  • the number of tracking sensors 101 can be one or more.
  • one of the tracking sensors 121 can be arranged at the end of the bronchoscope, and for another example, multiple tracking sensors 121 can be distributed sequentially along the length direction of the bronchoscope.
  • the pose information detected by the tracking sensor is represented as a pose of the tracking sensor relative to a tracking coordinate system, and the tracking coordinate system is: a coordinate system based on the tracking device.
  • the pose information detected by the tracking sensor includes: a rotation matrix and a translation matrix of the sensor coordinate system based on the tracking sensor relative to the tracking coordinate system.
  • the tracking sensor can be a magnetic sensor, and correspondingly, the tracking device can be a magnetic tracking device.
  • the magnetic sensor is set in the magnetic field generated by the magnetic tracking device, and can sense the magnetic field to determine the pose of the magnetic sensor, and obtain corresponding pose information.
  • an embodiment of the present invention provides a processing method for bronchoscopy detection, which is characterized in that it includes:
  • S201 Based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree, determine the first pose information of the bronchoscope in the virtual coordinate system;
  • the virtual bronchial tree is used to simulate the real bronchi, and then, the shape of the virtual bronchial tree can be the same or similar to the real bronchi;
  • the real bronchi can be the bronchi of the target human body, and the virtual coordinate system is established based on the virtual bronchial tree , can also be understood as: the virtual bronchial tree is constructed under the virtual coordinate system; in a specific example, the virtual bronchial tree can be constructed based on the CT data of the target human body;
  • step S201 may include: in response to the registration trigger instruction sent by the user, based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree, determining that the bronchoscope is in the virtual coordinate system The first pose information; wherein, the registration trigger indication is used to trigger the determination of the target conversion relationship;
  • the target image can be collected when the bronchoscope stops moving, and then the determination of the target conversion relationship between the virtual coordinate system and the tracking coordinate system can be realized through subsequent steps;
  • S202 Obtain second pose information of the bronchoscope in the tracking coordinate system based on the preset tracking component for detecting the bronchoscope;
  • the pose information detected by the tracking component can be directly used as the second pose information of the bronchoscope in the tracking coordinate system. In another example, it can also be converted based on the pose information detected by the tracking component.
  • the second pose information, the pose information measured by the tracking component can be understood with reference to the relevant description in the embodiment shown in Figure 1;
  • S203 Based on the second pose information of the bronchoscope in the tracking coordinate system and the first pose information of the bronchoscope in the virtual coordinate system, determine the target of the tracking coordinate system and the virtual coordinate system conversion relationship;
  • the target conversion relationship can be understood as representing how the pose information (or position information) is converted between the tracking coordinate system and the virtual coordinate system. Specifically, through the determination of the target conversion relationship in step S203, it can be The real-time pose information collected during the movement of the bronchoscope provides a conversion basis;
  • S204 Determine second real-time pose information of the bronchoscope in the virtual coordinate system according to the first real-time pose information of the bronchoscope in the tracking coordinate system and the target conversion relationship.
  • the first real-time pose information can be understood as obtained by the tracking component detecting the pose of the corresponding part in the bronchoscope;
  • the second real-time pose information can be understood as the pose of the bronchoscope in the virtual coordinate system calculated based on the first real-time pose information.
  • the second real-time pose information should be able to accurately reflect the pose of the bronchoscope in the virtual coordinate system, and then, in the case of displaying the virtual bronchial tree, it can help to The bronchoscope pose is reflected in the bronchial tree.
  • the posture of the bronchoscope in the virtual coordinate system referred to in this specification can also be understood as the position of the bronchoscope in the virtual bronchial tree.
  • the second real-time pose information of the bronchoscope in the virtual coordinate system can be determined directly based on the detection result of the tracking component (that is, the first real-time pose information) during the movement of the bronchoscope , it is not necessary to process the target image every time it is positioned, which helps to reduce the amount of real-time processed data, improve processing efficiency, and ensure the real-time performance of pose determination.
  • the above scheme has a higher degree of automation , which reduces the error in the way of manually taking points, and effectively improves the accuracy of the target conversion relationship.
  • Step S307 in the embodiment shown in FIG. 3 is the same as or similar to step S204 in the embodiment shown in FIG. 2 , and the same or similar content will not be repeated here.
  • step S303 may also include:
  • S302 In response to the collected real-time image meeting a preset condition, control the bronchoscope to stop moving, and determine the real-time image as a target image.
  • the real-time images may be images collected by the image collection unit at the end of the bronchoscope.
  • the preset conditions may be, for example: the bifurcation of the airway appears in the real-time image, or the bifurcation of the airway is facing. It can be understood that the preset condition here may be that the matching accuracy of the real-time image and the preset virtual bronchial tree is high. For example, when the user determines that the real-time image is facing the bifurcation of the airway, it is determined by experience that the matching rate is high, that is, the fulfillment of the preset condition can be judged by the user. Alternatively, the collected real-time image can be matched with the preset virtual bronchial tree in real time (the method is similar to the following steps S303-S304, which will not be repeated here). If the matching rate is higher than the preset threshold, the real-time image is considered to meet the Preset conditions; if the matching rate is not higher than the preset threshold, control the bronchoscope to continue to move, and continue to acquire real-time images for matching.
  • the process of determining the first pose information of the bronchoscope in the virtual coordinate system based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree may include:
  • S304 Determine a target virtual slice map matching the target image, and determine the first pose information according to the target virtual slice map.
  • steps S303 and S304 may be implemented after responding to the registration trigger indication.
  • a virtual slice image of any part of the virtual bronchial tree can be understood as an image obtained when observing the interior of the virtual bronchial tree at any part of the virtual bronchial tree;
  • the target virtual slice map matching the target image can be understood as: the target virtual slice map is the same or similar to the target image, and can also be understood as: the position of the airway bifurcation reflected in the target virtual slice map , size, distribution mode, etc. are the same or similar to the position, size, distribution mode, etc. of the airway bifurcation reflected in the target image.
  • the matching rate between the target image and the virtual slice can be determined through a pre-established image recognition model, and the virtual slice with the highest matching rate is used as the target virtual slice.
  • the process of obtaining the second pose information of the bronchoscope in the tracking coordinate system may include:
  • S306 Based on the third pose information and the fourth pose information of the bronchoscope relative to the tracking sensor, determine second pose information of the bronchoscope in a tracking coordinate system;
  • the fourth pose information is predetermined according to the relative position of the tracking sensor and the bronchoscope; it may be a fixed pose information.
  • step S301 in the case of executing step S301, after the bronchoscope reaches the main branch of the bronchus, it can be adjusted at an angle with obvious characteristics, and the real-time image collected by the image acquisition part of the bronchoscope can be shown in Figure 4, for example, where The complete bifurcation of the airway can be seen, and the orientation is relatively positive.
  • the operation of the bronchoscope can be stopped, and the corresponding real-time image can be used as the target image, and the process of step S302 is completed, wherein, step S301 is performed near the main branch of the bronchus To S307, the influence of breathing can be reduced;
  • the user can click the synchronization button, corresponding to step S303, to realize the matching between the target image and the virtual slice map, and enter the synchronization state.
  • the specific process can be, for example:
  • the virtual bronchoscope is a virtual mapping of the bronchoscope in the virtual coordinate system, that is, it is used to simulate the bronchoscope.
  • step S305 the pose T S0 (that is, the third pose information) in the tracking coordinate system detected by the tracking component can be obtained, which can be obtained in real time from the current software program (for example, from the interface of the navigation component Obtain);
  • the transformation matrix T TIP from the bronchoscope to the tracking device can be determined (the positions of the two are relatively fixed, so it can be calculated manually or through an image algorithm if the process is good), the transformation matrix can be understood is the fourth pose information, in one example, if the second pose information is characterized based on the designated position point, the fourth pose information may be the pose of the designated position point of the bronchoscope relative to the tracking coordinate system .
  • T S0 that is, the third pose information
  • T TIP that is, the fourth pose information
  • the transformation matrix T (that is, the target transformation relationship) from the tracking coordinate system to the virtual coordinate system can be calculated as:
  • the navigation button can be clicked to enter the navigation mode.
  • the specific determination process of the target conversion relationship between the virtual coordinate system and the tracking coordinate system is realized.
  • the first pose information is determined based on image matching, it can more accurately reflect the position of the bronchoscope in the virtual bronchus.
  • the pose in the tree helps to ensure the accuracy of the target transformation relationship.
  • Steps S501, S502, S503 and S504 in the embodiment shown in FIG. 5 are the same as or similar to steps S201, S202, S203 and S204 in the embodiment shown in FIG.
  • step S504 may also include:
  • step S507 may be performed: adjusting the target conversion relationship to obtain an adjusted target conversion relationship;
  • step S507 it can be made that: the third real-time pose information obtained by converting the first real-time pose information according to the adjusted target conversion relationship is in the virtual airway; the third real-time pose information is used for To characterize the real-time pose of the bronchoscope in the virtual coordinate system, it can also be understood as: the real-time pose of the specified position point of the bronchoscope in the virtual coordinate system calculated through the adjusted target conversion relationship.
  • the position represented by the second real-time pose information calculated in step S504 should be in the virtual airway of the virtual bronchial tree, and then, after the judgment in step S506, it can be accurately ⁇ Effectively find out when the target conversion relationship is no longer accurate and applicable, and then adjust the target conversion relationship in time, which can avoid erroneous positioning caused by continuous calculation with the no longer accurate and applicable target conversion relationship, and ensure that the bronchoscope is in the virtual coordinates The accuracy of positioning in the system.
  • the second real-time pose information is represented as the pose of a designated position point of the bronchoscope in the virtual coordinate system;
  • the designated position point can be, for example, the end of the bronchoscope (or other parts)
  • the position of the specified position point in the virtual coordinate system will generally be located at the center line of the virtual bronchial tree (or near it), if the deviation is too large, and it is outside the virtual airway, then The error indicating the target conversion relationship is relatively large and needs to be corrected urgently.
  • the second real-time pose information includes a second rotation matrix and a second translation matrix of the designated location point relative to the virtual coordinate system;
  • the process of adjusting the target conversion relationship to obtain the adjusted target conversion relationship may include:
  • S601 Obtain reference pose information in the virtual coordinate system of a reference position point corresponding to the specified position point in the centerline of the virtual bronchial tree;
  • S602 Perform at least one correction on the second real-time pose information based on the reference pose information to obtain at least one set of corrected candidate pose information;
  • S603 For each set of candidate pose information, based on the candidate pose information and the first real-time pose information, determine a candidate transformation relationship between the tracking coordinate system and the virtual coordinate system;
  • S604 Use one candidate conversion relationship in at least one group of candidate conversion relationships as the adjusted target conversion relationship
  • the reference position point can be any position point corresponding to the specified position point in the center line. In one example, it can be the position point closest to the specified position point among all position points on the center line; another example In , when the reference position point is taken, it can also be satisfied: the connection line between the reference position point and the specified position point and the center line form a specified angle (90 degrees or other angles);
  • the reference pose information can be understood as any information that can describe the pose of the reference position point.
  • the reference pose information includes the reference rotation of the reference position point relative to the virtual coordinate system matrix and reference translation matrix;
  • the pose of the reference position point relative to the virtual coordinate system can also be understood as the pose of the coordinate system established with the reference position point as the origin relative to the virtual coordinate system.
  • the pose of the coordinate system established with the reference position point as the origin relative to the virtual coordinate system.
  • step S601 may include, for example:
  • the above-mentioned tangent direction at the reference position point is used as the vector direction of the reference position point, it can be understood that when the tangent direction is used as the reference position point as the origin to establish a coordinate system, the tangent direction is used as the specified axis of the coordinate system
  • the direction of for example, as the y-axis direction, other coordinate axes can be correspondingly established according to preset rules.
  • the second real-time pose information can be corrected to obtain candidate pose information, or can be corrected on the basis of the corrected candidate pose information to obtain another candidate pose information.
  • Pose information for each correction, the second real-time pose information can be corrected to obtain candidate pose information, or can be corrected on the basis of the corrected candidate pose information to obtain another candidate pose information.
  • the correction in step S602 can be understood as correcting the position of the designated position represented by the second real-time position information into the virtual trachea.
  • the correction since the correction is based on the reference pose information, it can help make the correction
  • the position represented by the obtained candidate pose information can be close to the center line, which is beneficial to ensure the accuracy of the finally determined target transformation relationship.
  • the candidate pose information in step S603 includes a candidate rotation matrix and a candidate translation matrix
  • the second real-time pose information is T1
  • the reference pose information is T2
  • step S603 the pose between T1 and T2 can be detected as a candidate pose through linear loop search
  • the value in the candidate rotation matrix is the same as the corresponding value in the second rotation matrix Between corresponding values in the reference rotation matrix; values in the candidate translation matrix are between corresponding values in the second translation matrix and corresponding values in the reference rotation matrix.
  • the candidate pose information will be searched within the range of the second real-time pose information and the reference pose information, which effectively reduces the amount of data processing and improves the processing efficiency.
  • step S603 the candidate transformation relationship T SEL may be deduced from the candidate pose information and the sensor pose (ie, the first real-time pose information).
  • the candidate pose relation used as the target transformation relation in step S604 may be selected based on any condition.
  • the average value of all candidate pose relations can be calculated, and then the candidate pose relation closest to the average value can be taken as the target transformation relation;
  • one or more historical pose information of the bronchoscope in the tracking coordinate system (which can be understood as the first real-time pose information at the previous moment) can be used, and then the historical pose information can be substituted into the candidate transformation In the relationship, the pose information of the bronchoscope in the virtual coordinate system calculated after the substitution is compared with the second real-time pose information calculated before the corresponding time, so as to select the target conversion relationship based on the comparison result;
  • one candidate conversion relationship in at least one group of candidate conversion relationships is used as the adjusted target conversion relationship, including:
  • S701 Obtain a plurality of historical pose information obtained by detecting the pose of the bronchoscope by the tracking component;
  • S702 For each group of candidate transformation relations, based on the candidate transformation relations, transform the historical pose information into the virtual coordinate system, and obtain multiple predicted positions corresponding to the candidate transformation relations in the virtual coordinate system points, and count the number of predicted position points located in the virtual airway among the plurality of predicted position points;
  • multiple pieces of historical pose information can be respectively converted into a virtual coordinate system to obtain multiple predicted position points corresponding to the candidate conversion relationship.
  • S703 Determine a candidate conversion relationship from the at least one group of candidate conversion relationships as the adjusted target conversion relationship based on the counted number of predicted position points in the virtual airway under each candidate conversion relationship.
  • the historical pose information can be understood as: assuming that the second real-time pose information to be corrected is the second real-time pose information at the L moment, then the historical pose information can be understood as The first real-time pose information at any moment of .
  • the historical pose information can be understood as the first real-time pose information at any moment from the determination of the target transformation relationship between the tracking coordinate system and the virtual coordinate system to the Lth moment.
  • the candidate transformation relationship can truly and accurately reflect the relationship between coordinate systems (between the virtual coordinate system and the tracking coordinate system)
  • the calculated predicted position points should all be in the In the virtual airway (even on the centerline)
  • the number of predicted position points in the virtual airway can accurately and effectively reflect the degree to which the candidate conversion relationship accurately reflects the relationship between the coordinate systems, that is, the more the number, the higher the accuracy. Therefore, in the above solution, among all the candidate conversion relationships, the candidate conversion relationship that can best reflect the real relationship between the coordinate systems can be found as the adjusted target conversion relationship.
  • the selected candidate conversion relationship also needs to meet the following first condition:
  • the pose information during the initial registration (that is, the first pose information) needs to be in the virtual airway after being transformed by the candidate transformation relationship;
  • the selected candidate conversion relationship also needs to meet the following second condition:
  • the gap between the obtained pose information and the second pose information must be smaller than the preset range
  • the target transformation matrix can be determined among the candidate transformation relations satisfying the above first and second conditions, namely:
  • any candidate conversion relationship converts the first pose information to obtain the pose information outside the virtual airway, or if the gap with the second pose information is greater than a preset range, then filter out any candidate transform relationship , so that it cannot be used as a target conversion relationship, and furthermore, it is not necessary to perform steps S701 to S703 for any of the candidate conversion relationships.
  • the selected candidate conversion relationship also needs to meet the following third condition:
  • the historical pose information near the main airway of the virtual bronchial tree should all be within the virtual airway;
  • the target transformation matrix may be determined among the candidate transformation relations satisfying the above first condition, second condition, and third condition.
  • the specified distance between the predicted position point and the center line can also be calculated, and then the sum of the specified distances corresponding to all predicted position points can be calculated, and then based on the specified distance and determine one of the candidate transformation matrices as the adjusted target transformation matrix, for example, the candidate transformation relationship with the smallest sum of specified distances may be selected as the adjusted target transformation relationship.
  • FIG. 8 which provides a processing device 800 for bronchoscopic detection, including:
  • the first pose determination module 801 is configured to determine the first pose information of the bronchoscope in the virtual coordinate system based on the target image of the bronchus collected by the bronchoscope and the preset virtual bronchial tree; wherein, the The virtual bronchial tree is used to simulate the real bronchi, and the virtual coordinate system is established based on the virtual bronchial tree;
  • the second pose acquisition module 802 is configured to acquire the second pose information of the bronchoscope in the tracking coordinate system based on the preset tracking component for detecting the bronchoscope; the tracking coordinate system is based on the tracking component Establish;
  • the target relationship determination module 803 is configured to determine the relationship between the tracking coordinate system and the Describe the target conversion relationship of the virtual coordinate system;
  • the real-time pose determination module 804 is configured to determine the first real-time pose information of the bronchoscope in the tracking coordinate system and the target conversion relationship to determine the first position of the bronchoscope in the virtual coordinate system. Two real-time pose information.
  • the tracking component includes a tracking sensor and a tracking device; the tracking coordinate system is established based on the tracking device; the relative position of the tracking sensor and the bronchoscope is fixed;
  • the second pose acquisition module 802 is specifically used for;
  • the fourth pose Information is predetermined based on the relative position of the tracking sensor to the bronchoscope.
  • the first pose determining module 801 is specifically used for:
  • a target virtual slice map matching the target image is determined, and the first pose information is determined according to the target virtual slice map.
  • the first pose determining module 801 is specifically used for:
  • the registration trigger indication is used to trigger the determination of the target conversion relationship.
  • the first pose determination module 801, the second pose acquisition module 802, the target relationship determination module 803, and the real-time pose determination module 804 in the embodiment shown in FIG. 9 are the same or similar to the first pose determination module in the embodiment shown in FIG. 8
  • a pose determination module 801 , a second pose acquisition module 802 , a target relationship determination module 803 , and a real-time pose determination module 804 , for the same or similar content, will not be repeated here.
  • the processing device 900 for bronchoscopy detection also includes:
  • the real-time image acquisition module 901 is used to acquire the real-time image of the bronchi collected by the bronchoscope during the movement;
  • the target image determining module 902 is configured to control the bronchoscope to stop moving and determine the real-time image as the target image in response to the collected real-time image meeting the preset condition.
  • the processing device 900 for bronchoscopy detection also includes:
  • a comparison module 905, configured to compare the second real-time pose information with the virtual bronchial tree
  • An adjustment module 906 configured to adjust the target conversion relationship to obtain an adjusted target conversion relationship if it is determined that the position represented by the second real-time pose information is outside the virtual airway of the virtual bronchial tree, So that: the third real-time pose information obtained by converting the first real-time pose information according to the adjusted target conversion relationship is in the virtual airway; the third real-time pose information is used to characterize the bronchi The real-time pose of the mirror in the virtual coordinate system.
  • the second real-time pose information is represented as a pose of a specified position point of the bronchoscope in the virtual coordinate system
  • the adjustment module 906 is specifically used for:
  • candidate pose information For each set of candidate pose information, based on the candidate pose information and the first real-time pose information, determine a candidate transformation relationship between the tracking coordinate system and the virtual coordinate system; different candidate pose information is different;
  • One candidate conversion relationship in at least one group of candidate conversion relationships is used as the adjusted target conversion relationship.
  • the adjustment module 906 is specifically used for:
  • the reference pose information is determined by using the tangent direction at the reference position point as the vector direction of the reference position point, and using the coordinates of the reference position point as the coordinates of the reference position point.
  • the second pose information includes a second rotation matrix and a second translation matrix of the designated location point relative to the virtual coordinate system;
  • the reference pose information includes a reference rotation matrix and a reference translation matrix of the reference position point relative to the virtual coordinate system;
  • the candidate pose information includes a candidate rotation matrix and a candidate translation matrix
  • the value in the candidate rotation matrix is between the corresponding value in the second rotation matrix and the corresponding value in the reference rotation matrix;
  • the values in the candidate translation matrix are between the corresponding values in the second translation matrix and the corresponding values in the reference rotation matrix.
  • the adjustment module 906 is specifically used for:
  • a candidate conversion relationship is determined from the at least one group of candidate conversion relationships as the adjusted target conversion relationship.
  • an electronic device 1000 including:
  • memory 1002 configured to store executable instructions of the processor
  • the processor 1001 is configured to execute the above-mentioned methods by executing the executable instructions.
  • the processor 1001 can communicate with the memory 1002 through the bus 1003 .
  • An embodiment of the present invention also provides a computer-readable storage medium, on which a computer program is stored, and the above-mentioned method is implemented when the program is executed by a processor.
  • the aforementioned program can be stored in a computer-readable storage medium.
  • the program executes the steps of the above-mentioned method embodiments; and the aforementioned storage medium includes: ROM, RAM, magnetic disk or optical disk and other various media that can store program codes.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种数据处理部(130)、处理装置、手术系统、设备与介质，其中的支气管镜检测的处理方法，包括：基于支气管镜(110)采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定支气管镜(110)在虚拟坐标系中的第一位姿信息(S201)；基于预设的用于检测支气管镜(110)的追踪组件(120)，获取支气管镜(110)在追踪坐标系下的第二位姿信息(S202)；基于支气管镜(110)在追踪坐标系下的第二位姿信息、和支气管镜(110)在虚拟坐标系中的第一位姿信息，确定所追踪坐标系与虚拟坐标系的目标转换关系(S203)；根据支气管镜(110)在追踪坐标系中的第一实时位姿信息、以及目标转换关系，确定支气管镜(110)在虚拟坐标系中的第二实时位姿信息(S204)。该方法无需在每次定位时均针对目标图像进行处理，有助于降低实时处理的数据量，提高处理效率，保障位姿确定的实时性。

Description

数据处理部、处理装置、手术系统、设备与介质 技术领域
本发明涉及医疗器械领域，尤其涉及一种数据处理部、处理装置、手术系统、设备与介质。
 背景技术
支气管镜检查是目前呼吸系统疾病最重要的诊疗手段之一，随着技术的不断进步，可基于虚拟支气管树而实现针对支气管镜的定位。
在相关技术中，可基于支气管镜采集到的支气管的图像，以及预先设置的虚拟支气管树而确定支气管镜在虚拟坐标系中的位姿，然而，基于图像的处理过程中，所需处理的数据量较大，处理效率较低，难以保障所确定位姿的实时性。
 技术问题
本发明提供一种数据处理部、处理装置、手术系统、设备与介质，以解决处理效率较低，难以保障所确定位姿的实时性的问题。
 技术解决方案
根据本发明的第一方面，提供了一种数据处理部，用于执行支气管镜检测的处理方法，所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
可选的，所述追踪组件包括追踪传感器和追踪设备；所述追踪坐标系基于所述追踪设备建立；所述追踪传感器与所述支气管镜的相对位置固定；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息，包括：
获取追踪传感器在所述追踪坐标系下的第三位姿信息；
基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的。
可选的，在基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息之前，还包括：
获取支气管镜在运动过程中采集到的所述支气管的实时图像；
响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
可选的，所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
可选的，根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息之后，还包括：
比对所述第二实时位姿信息与所述虚拟支气管树；
若确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外，则对所述目标转换关系进行调整，得到调整后的目标转换关系，以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿。
可选的，所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；
对所述目标转换关系进行调整，得到调整后的目标转换关系，包括：
获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；不同候选位姿信息是不同的；
将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系。
可选的，获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息，包括：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；
以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
可选的，所述第二实时位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
所述候选位姿信息包括候选旋转矩阵与候选平移矩阵；
所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；
所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
可选的，将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系，包括：
获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
针对每一组候选转换关系，基于该候选转换关系，将所述多个历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
可选的，所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述配准触发指示用于触发所述目标转换关系的确定。
可选的，所述追踪组件包括追踪传感器与追踪设备，所述追踪传感器设于所述支气管镜，所述追踪坐标系为：以所述追踪设备为基准的坐标系。
根据本发明的第二方面，提供了一种支气管镜检测的处理装置，包括：
第一位姿确定模块，用于基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
第二位姿获取模块，用于基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
目标关系确定模块，用于基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
实时位姿确定模块，用于根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
根据本发明的第三方面，提供了一种手术系统，包括：支气管镜、追踪组件与数据处理部；所述数据处理部为第一方面及其可选方案涉及的数据处理部。
根据本发明的第四方面，提供了一种电子设备，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现支气管镜检测的处理方法；
所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
根据本发明的第五方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现支气管镜检测的处理方法；
所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
本发明提供的数据处理部、处理装置、手术系统、设备与介质中，可基于支气管镜采集到的目标图像而实现支气管镜的位姿确定，也可基于追踪组件而实现支气管镜的位姿确定，进而，据此可标定出追踪坐标系与虚拟坐标系的目标转换关系，得到目标转换关系后，在支气管镜运动过程中，可直接基于追踪组件的检测结果（即第一实时位姿信息）而确定支气管镜在虚拟坐标系中的第二实时位姿信息，无需在每次定位时均针对目标图像进行处理，有助于降低实时处理的数据量，提高处理效率，保障位姿确定的实时性。
同时，相较于相关技术中手动在虚拟坐标系、追踪坐标系取点，然后基于所取的点在两个坐标系下的位置标定出目标转换关系的方案，本发明的自动化程度较高，减少了手动取点方式下的误差，有效提高了目标转换关系的准确性。
进一步可选方案中，可通过比对所述第二实时位姿信息与所述虚拟支气管树，判断出目标转换关系有误（或不再适配）的一种结果，在此基础上，本发明还对目标转换关系进行调整，并且，所述第一实时位姿信息经调整后的目标转换关系转换至所述虚拟坐标系后所得到的位置处于所述虚拟气道内，可见，该可选方案能及时发现转换关系有误（或不再适配），还能及时、有效地修正追踪坐标系与虚拟坐标系间的目标转换关系，有助于准确定位、表征出支气管镜的位置。
 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一示例性的实施例中手术系统的构造示意图；
图2是本发明一示例性的实施例中支气管镜检测的处理方法的流程示意图；
图3是本发明另一示例性的实施例中支气管镜检测的处理方法的流程示意图；
图4是本发明一示例性的实施例中实时图像的示意图；
图5是本发明又一示例性的实施例中支气管镜检测的处理方法的流程示意图；
图6是本发明一示例性的实施例中调整目标转换关系的流程示意图；
图7是本发明一示例性的实施例中从候选转换关系中确定目标转换关系的流程示意图；
图8是本发明一示例性的实施例中支气管镜检测的处理装置的程序模块示意图；
图9是本发明另一示例性的实施例中支气管镜检测的处理装置的程序模块示意图；
图10是本发明一示例性的实施例中电子设备的构造示意图。
 本发明的实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
请参考图1，本发明实施例提供了一种手术系统，包括：支气管镜110、追踪组件120与数据处理部130。
其中的数据处理部130可理解为能够实现数据处理的任意设备或设备的组合，其可用于执行本发明实施例提供的支气管镜检测的处理方法。
其中的追踪组件120可以为能够对支气管镜110的部分或全部部位的位姿进行追踪的任意部件或部件的组合，例如，追踪组件120可用于追踪支气管镜110末端的位姿。
一种实施方式中，追踪组件120可以包括追踪传感器121与追踪设备122，所述追踪传感器121设于所述支气管镜110。
追踪设备122可理解为用于产生追踪媒介的设备或设备的组合，该追踪媒介可例如为磁场、光（例如激光、红外线）、或其他波（例如超声波、微波）等。追踪传感器121可理解为能够与该追踪媒介产生互动作用，从而使得追踪传感器121的位姿信息可以被确定下来，同时，追踪传感器121的位姿信息，可被用于表征出支气管镜的相应部位的位姿信息。其中追踪传感器101的数量可以为一个，也可以为多个。例如，其中的一个追踪传感器121可设于支气管镜的末端，再例如，多个追踪传感器121可沿支气管镜的长度方向依次分布。
追踪传感器所检测到的位姿信息表征为追踪传感器相对于追踪坐标系的位姿，所述追踪坐标系为：以所述追踪设备为基准的坐标系。具体的，追踪传感器所检测到的位姿信息包括：以追踪传感器为基准的传感器坐标系相对于追踪坐标系的旋转矩阵与平移矩阵。
一种举例中，追踪传感器可以为磁传感器，对应的，追踪设备可以为磁追踪设备，该磁传感器设于磁追踪设备所产生的磁场中，可感应于磁场而确定磁传感器的位姿，得到对应的位姿信息。
请参考图2，本发明实施例提供了一种支气管镜检测的处理方法，其特征在于，包括：
S201：基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述虚拟支气管树用于模拟真实支气管，进而，虚拟支气管树的形态可相同或相似于真实支气管；该真实支气管可以是目标人体的支气管，所述虚拟坐标系基于所述虚拟支气管树建立，也可理解为：虚拟支气管树是在虚拟坐标系下构建的；具体举例中，可基于目标人体的CT数据而构建虚拟支气管树；
一种举例中，步骤S201可以包括：响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述配准触发指示用于触发所述目标转换关系的确定；
进而，可在支气管镜停止运动的情况下采集到目标图像，然后通过后续步骤实现虚拟坐标系与追踪坐标系间目标转换关系的确定；
S202：基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；
一种举例中，可直接以追踪组件检测到的位姿信息作为支气管镜在追踪坐标系下的第二位姿信息，另一举例中，也可基于追踪组件检测到的位姿信息而换算出第二位姿信息，追踪组件所测得的位姿信息可参照图1所示实施例中的相关描述理解；
S203：基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
其中的目标转换关系，可理解为表征了：位姿信息（或位置信息）在追踪坐标系与虚拟坐标系之间如何转换，具体的，通过步骤S203中对该目标转换关系的确定，可以为支气管镜的运动过程中所采集到的实时位姿信息提供转换依据；
S204：根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
其中的第一实时位姿信息，可理解为追踪组件对支气管镜中相应部位的位姿进行检测而得到的；
其中的第二实时位姿信息，可理解为以第一实时位姿信息为依据计算出来的支气管镜在虚拟坐标系中的位姿。在目标转换关系比较准确的情况下，第二实时位姿信息应能准确地在虚拟坐标系中体现出支气管镜的位姿，进而，在展示虚拟支气管树的情况下，可有助于在虚拟支气管树中体现出支气管镜的位姿。
此外，由于支气管镜是沿着支气管运动的，所以，本说明书所涉及的支气管镜在虚拟坐标系的位姿，也可理解为支气管镜在虚拟支气管树中的位置。
以上方案中，得到目标转换关系后，在支气管镜运动过程中，可直接基于追踪组件的检测结果（即第一实时位姿信息）而确定支气管镜在虚拟坐标系中的第二实时位姿信息，无需在每次定位时均针对目标图像进行处理，有助于降低实时处理的数据量，提高处理效率，保障位姿确定的实时性。
同时，相较于现有技术中手动在虚拟坐标系、追踪坐标系取点，然后基于所取的点在两个坐标系下的位置标定出目标转换关系的方案，以上方案的自动化程度较高，减少了手动取点方式下的误差，有效提高了目标转换关系的准确性。
图3所述实施例中的步骤S307相同或相似于图2所示实施例中的步骤S204，对于相同或相似的内容，在此不再赘述。
请参考图3，步骤S303之前，还可包括：
S301：获取支气管镜在运动过程中采集到的所述支气管的实时图像；
S302：响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
其中的实时图像，可以为支气管镜末端的图像采集部采集到的图像。
其中的预设条件，可例如：实时图像中出现了气道分叉口、正对气道分叉口等。可以理解的是，这里的预设条件可以为实时图像与预先设置的虚拟支气管树匹配准确率较高。例如，用户在确定实时图像正对气道分叉口的情况下，根据经验确定匹配率高，即该预设条件的达成可由用户判断。或者，可以将采集到的实时图像与预先设置的虚拟支气管树实时进行匹配(方法与下述步骤S303-S304类似，这里暂不赘述)，若匹配率高于预设阈值，则认为实时图像满足预设条件；若匹配率不高于预设阈值，则控制支气管镜继续运动，并继续获取实时图像进行匹配。
对应的，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息的过程，可以包括：
S303：将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
S304：确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
以上步骤S303、S304可在响应到配准触发指示之后实施。
虚拟支气管树的任一部位的虚拟切片图，可理解为在虚拟支气管树内的所述任一部位观测虚拟支气管树内部时所获取到的图像；
其中，匹配于所述目标图像的目标虚拟切片图，可理解为：目标虚拟切片图与目标图像相同或相似，也可理解为：目标虚拟切片图中所体现出的气道分叉口的位置、尺寸、分布方式等与目标图像中所体现出的气道分叉口的位置、尺寸、分布方式等相同或相似。
在一个实施例中，可以通过预先建立的图像识别模型等，来确定目标图像与虚拟切片图的匹配率，匹配率最高的虚拟切片图作为目标虚拟切片图。
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息的过程，可以包括：
S305：获取追踪传感器在所述追踪坐标系下的第三位姿信息；
S306：基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；
其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的；其可以是一个固定的位姿信息。
具体举例中，在执行步骤S301的情况下，支气管镜到达支气管主分支后，可将其调整在一个特征明显的角度，支气管镜的图像采集部采集到的实时图像可例如图4所示，其中能看到完整的气道分叉口，且方位比较正，此时，可停止操作支气管镜，对应的实时图像可作为目标图像，完成步骤S302的过程，其中，在支气管主分支附近进行步骤S301至S307，可降低呼吸的影响；
然后，用户可点击同步按钮，对应可执行步骤S303，实现目标图像与虚拟切片图的匹配，进入到同步状态。
处于同步状态时，用户点击配准按钮，可产生配准触发指示，进行配准，即确定目标转换信息，具体过程可例如：
确认此时支气管镜在虚拟坐标系中的位姿，在同步状态下，其等同于此时虚拟支气管镜在虚拟坐标系中的位姿T C0（即第一位姿信息），该信息可直接从当前软件程序中获取。其中，虚拟支气管镜为支气管镜在虚拟坐标系中的虚拟映射，即用于模拟支气管镜的。
在此基础上，步骤S305中，可获取追踪组件检测到的追踪坐标系中的位姿T S0（即第三位姿信息），其可从当前软件程序中实时获取（例如从导航组件的接口获取）；
然后，可确定支气管镜到追踪设备（例如追踪传感器）的变换矩阵T TIP（两者位置相对固定，因此工艺良好情况下可以人工计算出来，也可通过图像算法计算出来），该变换矩阵可理解为第四位姿信息，一种举例中，若第二位姿信息是基于指定位置点而表征的，则该第四位姿信息可以为支气管镜的指定位置点相对于追踪坐标系的位姿。
基于T S0（即第三位姿信息）与T TIP（即第四位姿信息），可得出支气管镜在追踪坐标系中的位姿为T S0T TIP，其可理解为第二位姿信息。
然后，可计算出追踪坐标系到虚拟坐标系的变换矩阵T（即目标转换关系）为：
T=T C0 (T S0T TIP) -1 = T C0T TIP -1T S0 -1。
在步骤S307的具体举例中，可点击导航按钮进入导航模式，随着追踪传感器和支气管镜的运动，根据实时输出的追踪传感器在磁导航基准坐标系中的位姿T SN（即第一实时位姿信息），可以计算支气管镜在虚拟坐标系的实时位姿T CN=T（T SNT TIP）=TT SNT TIP，所得到的T CN即为第二实时位姿信息。
以上方案中，实现了虚拟坐标系与追踪坐标系间目标转换关系的具体确定过程，该过程中，由于第一位姿信息是基于图像匹配而确定的，可较为准确体现出支气管镜在虚拟支气管树中的位姿，有助于保障目标转换关系的准确性。
图5所述实施例中的步骤S501、S502、S503与S504相同或相似于图2所示实施例中的步骤S201、S202、S203与S204，对于相同或相似的内容，在此不再赘述。
请参考图5，步骤S504之后，还可包括：
S505：比对所述第二实时位姿信息与所述虚拟支气管树；
S506：是否确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外；
若步骤S506的判断结果为是，则可执行步骤S507：对所述目标转换关系进行调整，得到调整后的目标转换关系；
通过步骤S507，可以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿，其也可理解为：经调整后的目标转换关系算出来的支气管镜的指定位置点在虚拟坐标系中的实时位姿。
进而，任意可将目标转换关系调整为满足以上要求的方式，均不脱离以上步骤S507的范围。
其中，在目标转换关系准确且适用的情况下，经步骤S504所算出来的第二实时位姿信息所表征的位置理应处于虚拟支气管树的虚拟气道内，进而，经步骤S506的判断，可以准确、有效地找出目标转换关系不再准确适用的时机，进而及时对目标转换关系进行调整，可避免持续用不再准确适用的目标转换关系进行计算而导致的错误定位，保障支气管镜在虚拟坐标系中定位的准确性。
其中一种实施方式中，所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；该指定位置点可例如为支气管镜末端（或其他部位）的中心处，进而，若目标转换关系准确无误，那么，指定位置点在虚拟坐标系的位置一般会位于虚拟支气管树的中心线（或其附近），若偏离太大，到虚拟气道外，则表示目标转换关系的误差较大，亟需修正。
一种举例中，所述第二实时位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
对应的，请参考图6，对所述目标转换关系进行调整，得到调整后的目标转换关系的过程，可以包括：
S601：获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
S602：基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
S603：针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；
其中，不同候选位姿信息是不同的；
S604：将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系；
其中的参考位置点，可以为中心线中与指定位置点相对应任意位置点，一种举例中，可以为中心线的所有位置点中，与指定位置点最接近的位置点；另一种举例中，取参考位置点时，也可令其满足：参考位置点与指定位置点的连线与中心线呈指定夹角（90度或其他夹角）；
其中的参考位姿信息，可理解为能够对参考位置点的位姿进行描述的任意信息，具体举例中，所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
可以理解的是，这里的参考位置点相对于虚拟坐标系的位姿，也可以理解为以参考位置点为原点建立的坐标系，相对于虚拟坐标系的位姿。对于本文中其他所提及的相对位姿，都可以类似的方法进行理解，这里不再赘述。
一种举例中，步骤S601的过程可例如包括：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；然后，以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
其中，上述以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，可以理解将该切线方向作为以参考位置点为原点建立坐标系时，该切线方向作为指定的坐标系轴的方向，例如作为y轴方向，其他坐标轴可以按照预设的规则对应建立。
步骤S602的至少一次修正中，每次修正时，可以对第二实时位姿信息进行修正，得到候选位姿信息，也可以在修正得到的候选位姿信息的基础上进行修正，得到另一候选位姿信息；
步骤S602中的修正，可理解为将第二实时位置信息所表征的指定位置点的位置修正到虚拟气管内，同时，由于该修正是以参考位姿信息为依据的，可有助于令修正所得到的候选位姿信息所表征的位置能够接近于中心线，有利于保障最终所确定的目标转换关系的准确性。
步骤S603的候选位姿信息包括候选旋转矩阵与候选平移矩阵；
其中，可假定第二实时位姿信息为T1，参考位姿信息为T2，则步骤S603中，可线性循环搜索检测T1与T2之间的位姿作为候选位姿；
考虑到性能原因，搜索检测量不能太大以免卡顿，达到该目的的方式很多，一种举例中，所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
可见，该举例中，将在第二实时位姿信息与参考位姿信息的范围内搜寻候选位姿信息，有效降低了数据处理量，提高了处理效率。
在步骤S603中，可通过候选位姿信息和传感器位姿（即第一实时位姿信息）反推出候选转换关系T SEL。
步骤S604中用于作为目标转换关系的候选位姿关系可以是基于任意条件而选择的。
例如，可计算所有候选位姿关系的平均值，然后取最接近平均值的候选位姿关系作为目标转换关系；
还例如，可使用之前已经得到的支气管镜在追踪坐标系下的一个或多个历史位姿信息（可理解为之前时刻的第一实时位姿信息），然后将历史位姿信息代入到候选转换关系中，再根据代入后计算出的支气管镜在虚拟坐标系的位姿信息与对应时刻之前已算出来的第二实时位姿信息进行对比，从而基于比对结果选出目标转换关系；
又例如，将以上举例中的历史位姿信息代入到候选转换关系中并计算出支气管镜在虚拟坐标系的位姿信息之后，也可根据所算出位姿信息相对于虚拟支气管树（例如其中虚拟气管和/或中心线）的位置而选出目标转换关系。
不论采用何种方式，均不脱离本发明实施例的范围。
其中一种实施方式中，请参考图7，将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系，包括：
S701：获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
S702：针对每一组候选转换关系，基于该候选转换关系，将所述历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
本实施例中，可以基于选定的候选转换关系，将多个历史位姿信息分别转换至虚拟坐标系，得到对应于该候选转换关系的多个预测位置点。
S703：基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
其中的历史位姿信息，可理解为：假定所需要修正的第二实时位姿信息为第L个时刻的第二实时位姿信息，则历史位姿信息则可理解为在第L个时刻之前的任意一个时刻的第一实时位姿信息。
举例来说，该历史位姿信息可以理解为从确定追踪坐标系与虚拟坐标系的目标转换关系起，至该第L个时刻之间的任意一个时刻的第一实时位姿信息。
其中，若候选转换关系可真实准确地反应坐标系间（虚拟坐标系与追踪坐标系间）的关系，那么，将其用于历史位姿信息时，则所算出来的预测位置点应该均处于虚拟气道内（甚至均处于中心线），进而，虚拟气道内预测位置点的数量可准确、有效反应出候选转换关系准确反映坐标系间关系的程度，即：数量越多，准确程度越高。所以，以上方案中，可在所有候选转换关系中，找出相对最能体现出坐标系间真实关系的候选转换关系作为调整后的目标转换关系。
部分实施方式中，所选出的候选转换关系还需满足以下第一条件：
初始配准时的位姿信息（即第一位姿信息）被该候选转换关系转换后，需处于虚拟气道内；
部分实施方式中，所选出的候选转换关系还需满足以下第二条件：
初始配准时的位姿信息（即第一位姿信息）被该候选转换关系转换后，所得到的位姿信息与第二位姿信息的差距需小于预设的范围；
进而，步骤S703中，可在满足以上第一条件、第二条件的候选转换关系中，确定出目标转换矩阵，即：
若任一候选转换关系对第一位姿信息进行转换后得到的位姿信息处于虚拟气道外，或与第二位姿信息的差距大于预设的范围，则筛除所述任一候选转换关系，使之无法作为目标转换关系，进而，可无需针对于所述任一候选转换关系执行步骤S701至S703。
另部分实施方式中，所选出的候选转换关系还需满足以下第三条件：
所有历史位姿信息中，虚拟支气管树的主气道附近的历史位姿信息应全部在虚拟气道内；
进而，步骤S703中，可在满足以上第一条件、第二条件、第三条件的候选转换关系中，确定出目标转换矩阵。
其他举例中，若不采用预测位置点的数量来确定目标转换矩阵，也可计算预测位置点与中心线之间的指定距离，然后计算所有预测位置点对应的指定距离之和，然后基于指定距离之和，确定其中之一候选转换矩阵作为调整后的目标转换矩阵，例如可选择指定距离之和最小的候选转换关系作为调整后的目标转换关系。
请参考图8，提供了一种支气管镜检测的处理装置800，包括：
第一位姿确定模块801，用于基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
第二位姿获取模块802，用于基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
目标关系确定模块803，用于基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
实时位姿确定模块804，用于根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
可选的，所述追踪组件包括追踪传感器和追踪设备；所述追踪坐标系基于所述追踪设备建立；所述追踪传感器与所述支气管镜的相对位置固定；
第二位姿获取模块802，具体用于；
获取追踪传感器在所述追踪坐标系下的第三位姿信息；
基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的。
可选的，所述第一位姿确定模块801，具体用于：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
可选的，所述第一位姿确定模块801，具体用于：
响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述配准触发指示用于触发所述目标转换关系的确定。
图9所示实施例中的第一位姿确定模块801、第二位姿获取模块802、目标关系确定模块803，实时位姿确定模块804，相同或相似于图8所示实施例中的第一位姿确定模块801、第二位姿获取模块802、目标关系确定模块803，实时位姿确定模块804，对于相同或相似的内容，在此不再赘述。
支气管镜检测的处理装置900，还包括：
实时图像获取模块901，用于获取支气管镜在运动过程中采集到的所述支气管的实时图像；
目标图像确定模块902，用于响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
可选的，支气管镜检测的处理装置900，还包括：
比对模块905，用于比对所述第二实时位姿信息与所述虚拟支气管树；
调整模块906，用于若确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外，则对所述目标转换关系进行调整，得到调整后的目标转换关系，以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿。
可选的，所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；
调整模块906，具体用于：
获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；不同候选位姿信息是不同的；
将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系。
可选的，调整模块906，具体用于：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；
以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
可选的，所述第二位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
所述候选位姿信息包括候选旋转矩阵与候选平移矩阵；
所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；
所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
可选的，调整模块906，具体用于：
获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
针对每一组候选转换关系，基于该候选转换关系，将所述历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
请参考图10，提供了一种电子设备1000，包括：
处理器1001；以及，
存储器1002，用于存储所述处理器的可执行指令；
其中，所述处理器1001配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器1001能够通过总线1003与存储器1002通讯。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

  1. 一种数据处理部，其特征在于，用于执行支气管镜检测的处理方法，
    所述支气管镜检测的处理方法，包括：
    基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
    基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
    基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
    根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
  2. 根据权利要求1所述的数据处理部，其特征在于，所述追踪组件包括追踪传感器和追踪设备；所述追踪坐标系基于所述追踪设备建立；所述追踪传感器与所述支气管镜的相对位置固定；
    基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息，包括：
    获取追踪传感器在所述追踪坐标系下的第三位姿信息；
    基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的。
  3. 根据权利要求1所述的数据处理部，其特征在于，
    在基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息之前，还包括：
    获取支气管镜在运动过程中采集到的所述支气管的实时图像；
    响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
  4. 根据权利要求1所述的数据处理部，其特征在于，所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
    将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
    确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
  5. 根据权利要求1至4任一项所述的数据处理部，其特征在于，
    根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息之后，还包括：
    比对所述第二实时位姿信息与所述虚拟支气管树；
    若确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外，则对所述目标转换关系进行调整，得到调整后的目标转换关系，以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿。
  6. 根据权利要求5所述的数据处理部，其特征在于，
    所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；
    对所述目标转换关系进行调整，得到调整后的目标转换关系，包括：
    获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
    基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
    针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；不同候选位姿信息是不同的；
    将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系。
  7. 根据权利要求6所述的数据处理部，其特征在于，
    获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息，包括：
    计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；
    以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
  8. 根据权利要求6所述的数据处理部，其特征在于，
    所述第二实时位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
    所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
    所述候选位姿信息包括候选旋转矩阵与候选平移矩阵；
    所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；
    所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
  9. 根据权利要求6所述的数据处理部，其特征在于，
    将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系，包括：
    获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
    针对每一组候选转换关系，基于该候选转换关系，将所述历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
    基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
  10. 根据权利要求1至4任一项所述的数据处理部，其特征在于，
    所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
    响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
    其中，所述配准触发指示用于触发所述目标转换关系的确定。
  11. 根据权利要求1、3、4中任一项所述的数据处理部，其特征在于，所述追踪组件包括追踪传感器与追踪设备，所述追踪传感器设于所述支气管镜，所述追踪坐标系为：以所述追踪设备为基准的坐标系。
  12. 一种支气管镜检测的处理装置，其特征在于，包括：
    第一位姿确定模块，用于基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
    第二位姿获取模块，用于基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
    目标关系确定模块，用于基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
    实时位姿确定模块，用于根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
  13. 一种手术系统，其特征在于，包括：支气管镜、追踪组件与数据处理部；所述数据处理部为权利要求1至11任一项所述的数据处理部。
  14. 一种电子设备，其特征在于，包括处理器与存储器，
    所述存储器，用于存储代码；
    所述处理器，用于执行所述存储器中的代码用以实现支气管镜检测的处理方法；
    支气管镜检测的处理方法，包括：
    基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
    基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
    基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
    根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
  15. 一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现支气管镜检测的处理方法；
    支气管镜检测的处理方法，包括：
    基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
    基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
    基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
    根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
PCT/CN2022/086430 2022-01-13 2022-04-12 数据处理部、处理装置、手术系统、设备与介质 WO2023134040A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210034254.X 2022-01-13
CN202210034254.XA CN114041741B (zh) 2022-01-13 2022-01-13 数据处理部、处理装置、手术系统、设备与介质

Publications (1)

Publication Number Publication Date
WO2023134040A1 true WO2023134040A1 (zh) 2023-07-20

Family

ID=80196424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/086430 WO2023134040A1 (zh) 2022-01-13 2022-04-12 数据处理部、处理装置、手术系统、设备与介质

Country Status (2)

Country Link
CN (1) CN114041741B (zh)
WO (1) WO2023134040A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041741B (zh) * 2022-01-13 2022-04-22 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质
CN116402861B (zh) * 2023-06-09 2023-09-22 杭州堃博生物科技有限公司 内窥镜实时追踪方法、装置、计算设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CN106510845A (zh) * 2016-11-23 2017-03-22 常州朗合医疗器械有限公司 医疗路径导航方法及系统
US20180368917A1 (en) * 2017-06-21 2018-12-27 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
WO2019197534A1 (de) * 2018-04-11 2019-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum bestimmen einer position eines gegenstands innerhalb einer tubulären struktur
CN113100943A (zh) * 2020-12-31 2021-07-13 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN113855242A (zh) * 2021-12-03 2021-12-31 杭州堃博生物科技有限公司 支气管镜的位置确定方法、装置、系统、设备与介质
CN113920187A (zh) * 2021-10-20 2022-01-11 上海微创医疗机器人（集团）股份有限公司 导管定位方法、介入手术系统、电子设备和存储介质
CN114041741A (zh) * 2022-01-13 2022-02-15 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2316328B1 (en) * 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
EP1838378B1 (en) * 2005-01-18 2017-03-22 Philips Electronics LTD Apparatus for guiding an instrument to a target in the lung
WO2006076789A1 (en) * 2005-01-24 2006-07-27 Claron Technology Inc. A bronchoscopy navigation system and method
US20070167714A1 (en) * 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
US8315690B2 (en) * 2007-10-02 2012-11-20 General Electric Company Dynamic reference method and system for interventional procedures
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
CN102883651B (zh) * 2010-01-28 2016-04-27 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
WO2012106320A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Global and semi-global registration for image-based bronchoscopy guidance
JPWO2012108085A1 (ja) * 2011-02-08 2014-07-03 オリンパスメディカルシステムズ株式会社 医療機器
EP3443925B1 (en) * 2014-05-14 2021-02-24 Stryker European Holdings I, LLC Processor arrangement for tracking the position of a work target
CN105787439B (zh) * 2016-02-04 2019-04-05 广州新节奏智能科技股份有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106530926B (zh) * 2016-11-29 2019-03-05 东南大学 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
CN113467600A (zh) * 2020-03-31 2021-10-01 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN112741692B (zh) * 2020-12-18 2021-12-14 上海卓昕医疗科技有限公司 实现将器件导航至目标组织位置的快速导航方法及系统
CN113633387B (zh) * 2021-06-21 2024-01-26 安徽理工大学 术野追踪的扶持腹腔镜微创机器人触力交互方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CN106510845A (zh) * 2016-11-23 2017-03-22 常州朗合医疗器械有限公司 医疗路径导航方法及系统
US20180368917A1 (en) * 2017-06-21 2018-12-27 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
WO2019197534A1 (de) * 2018-04-11 2019-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum bestimmen einer position eines gegenstands innerhalb einer tubulären struktur
US20210369350A1 (en) * 2018-04-11 2021-12-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Position determining device for determining the position of an object within a tubular structure
CN113100943A (zh) * 2020-12-31 2021-07-13 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN113920187A (zh) * 2021-10-20 2022-01-11 上海微创医疗机器人（集团）股份有限公司 导管定位方法、介入手术系统、电子设备和存储介质
CN113855242A (zh) * 2021-12-03 2021-12-31 杭州堃博生物科技有限公司 支气管镜的位置确定方法、装置、系统、设备与介质
CN114041741A (zh) * 2022-01-13 2022-02-15 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质

Also Published As

Publication number Publication date
CN114041741A (zh) 2022-02-15
CN114041741B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
WO2023134040A1 (zh) 数据处理部、处理装置、手术系统、设备与介质
CN110880189B (zh) 联合标定方法及其联合标定装置和电子设备
CN109544638A (zh) 一种用于多传感器融合的异步在线标定方法
US20220198834A1 (en) Skeleton recognition method, storage medium, and information processing device
Luó et al. Development and comparison of new hybrid motion tracking for bronchoscopic navigation
CN109452953A (zh) 一种调整检测位置的方法、装置、超声探头以及终端
CN109344714B (zh) 一种基于关键点匹配的视线估计方法
US12067664B2 (en) System and method for matching a test frame sequence with a reference frame sequence
JP7347738B2 (ja) 深層学習に基づく気管挿管位置決め方法、装置及び記憶媒体
CN107167116A (zh) 一种空间圆弧位姿的视觉检测方法
CN116958443A (zh) 基于smplx重建数字人可量化检测模型、方法及应用
CN107767461A (zh) 一种全景图像跳转方法
TW201418663A (zh) 影像拍攝與座標擷取時間同步之校正方法與校正系統及其延遲時間計算方法
CN113658170A (zh) 一种关节配准点生成方法、装置、电子设备及存储介质
Zhang et al. Towards tracking by 2D-target registration for surgical optical tracking system
JP3625558B2 (ja) 動画像による運動計測装置
CN115444553B (zh) 进针点投影方法、装置、设备和存储介质
CN116402861B (zh) 内窥镜实时追踪方法、装置、计算设备及存储介质
CN117679060B (zh) 基于薄圆盘模体的球管机械位置校正方法及系统
WO2023132087A1 (ja) 算出装置、算出システム、算出方法、算出プログラム
CN113971698B (zh) 一种视听觉模态传感器快速智能标定方法
US20240362846A1 (en) System and method for matching a test frame sequence with a reference frame sequence
CN113764076B (zh) 检测医疗透视图像中标记点的方法、装置及电子设备
EP4014857A1 (en) Probe-cavity motion modeling
CN107346551A (zh) 一种光场光源定向方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22919683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE