KR101876998B1

KR101876998B1 - Head mounted display using augmented reality and short distance location tracking

Info

Publication number: KR101876998B1
Application number: KR1020180058099A
Authority: KR
Inventors: 박병준; 차민재
Original assignee: 박병준; 차민재
Priority date: 2018-05-23
Filing date: 2018-05-23
Publication date: 2018-07-10
Also published as: KR20180058693A

Abstract

본 발명의 실시예에 따른 의료용 3차원 영상 처리 장치는 미리 촬영된 비콘이 부착된 신체의 3 차원 영상을 저장하는 저장부; 복수의 외부 수신부로부터 상기 신체 및 헤드 마운트 디스플레이(head mounted display)에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 및 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 영상 조정부를 포함한다. The medical three-dimensional image processing apparatus according to an embodiment of the present invention includes a storage unit for storing a three-dimensional image of a body to which a photographed beacon is attached; A receiving unit for receiving a signal transmitted from a plurality of external receiving units from a beacon attached to the body and a head mounted display, respectively; And an image adjuster for estimating the position and the direction of the beacon based on the signal and adjusting the image of the body stored according to the estimated position and direction of the beacon.

Description

[0001] The present invention relates to a head mounted display using a near-field position tracking and augmented reality,

본 발명은 신체 및 의료용 기구에 대한 3차원 영상을 실제 환경에 투영하여 수술 및 시술에 이용하는, 근거리 위치 추적 및 증강 현실을 이용한 의료용 3차원 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for three-dimensional image processing for medical use using near-field position tracking and augmented reality, in which a three-dimensional image of a body and a medical instrument is projected onto a real environment and used for surgery and surgery.

증강 현실 기술은 사용자가 보고 있는 실사에 가상 영상을 투영함으로써 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 로널드 아즈마(Ronald Azuma)에 따르면, 증강 현실은 첫 째, 현실의 이미지와 가상의 이미지를 결합한 것, 둘 째, 실시간으로 간섭이 가능한 것, 그리고 마지막으로 삼차원의 공간 안에 놓인 것으로 정의된다. 이는 사용자가 가상 영상에 몰입하여 실제 주변환경을 볼 수 없는 가상 현실 기술과는 차별되며, 실제 환경과 가상 객체의 혼합을 통해 보다 나은 현실감과 부가 정보를 제공한다. 이러한 증강 현실 기술은 1990년 후반부터 미국을 중심으로 연구되어 최근 스마트폰의 보급으로 본격적인 상업화가 시도되고 있으며, 게임 및 교육 분야 등에서 다양한 제품이 출시되고 있다.Augmented reality technology is a technology that superimposes a virtual object in the real world that is seen by eyes by projecting a virtual image to a real image that the user is looking at. According to Ronald Azuma, augmented reality is defined as a combination of a real image and a virtual image, a real-time intervention, and finally a three-dimensional space. This is different from the virtual reality technology in which the user is immersed in the virtual image and can not see the actual surroundings, and provides better realism and additional information through mixing of the real environment and virtual objects. These augmented reality technologies have been studied mainly in the United States since the late 1990s, and commercialization has been attempted in earnest due to the recent spread of smartphones, and a variety of products are being launched in the fields of games and education.

증강 현실을 착용자에게 보여주는 방식으로는 착용식 컴퓨터를 머리에 쓰는 형태의 컴퓨터 화면 장치, 소위 헤드 마운트 디스플레이(head mounted display, HMD)가 있으며, 이러한 HMD는 사용자에게 실제환경에 가상 영상을 겹쳐 실시간으로 보여준다. 최근 Microsoft사에서 Hololens를 출시하는 등, HMD에 대한 개발이 활발히 이뤄지고 있다. A method of displaying augmented reality to a wearer includes a computer screen device in which a wearable computer is put on the head, a so-called head mounted display (HMD) Show. Recently, Microsoft has been actively developing HMD, such as launching Hololens.

또한 증강 현실 기술의 발달과 함께 세계적으로 이를 의료에 접목하려는 연구가 진행되고 있으며, 특히 해부학적 구조를 보여주는 교육용 프로그램이나 수술 보조용으로 사용하려는 시도가 진행 중이다. 하지만, 기존의 의료용 증강현실은 단순한 비주얼 마커를 사용한 이미지 tracking을 기반으로 한 증강 현실 구현이다. 이미지 tracking을 기반으로 하는 방식의 경우, 영상을 촬영하고 촬영된 영상을 분석함으로써 영상 매칭을 수행하도록 한다. 그러나, 이러한 이미지 tracking 기반의 방식의 경우, 무균 무접촉을 원칙으로 하는 의료 시술이나 수술에서는 drapping이 선행되어 대부분의 신체가 무균 시트에 가려지게 되어 매칭시킬 영상을 촬영하지 못하게 되므로 증강 현실의 적용에 한계가 있다. 또한, 출혈이나 빛 반사에 의해 이미지의 정확도가 저하될 우려가 제한하는 요소로 있었다.In addition, research is underway to develop augmented reality technology and to integrate it into medical care globally. Especially, an attempt is being made to use it as an educational program showing anatomical structure or as a surgical assistant. However, existing medical augmented reality is augmented reality implementation based on image tracking using simple visual markers. In the case of a method based on image tracking, image matching is performed by photographing an image and analyzing the captured image. However, in the case of the image tracking based method, drapping is preceded in the medical treatment or surgery that is aseptic non-contact principle, most of the body is covered by the aseptic sheet and the image to be matched can not be photographed. There is a limit. In addition, there was a limit to the possibility that the accuracy of the image would deteriorate due to bleeding or light reflection.

한편 근거리 위치 추적 기술 역시 최근 많이 연구되고 있는 분야 중 하나이다. 위치추적 시스템은 구성되는 방식에 따라 다소 차이가 있으나, 인프라 기반 방식의 경우 일정한 주기로 비콘이 신호를 방송하면 수신 장치들이 이를 수신하여 위치정보를 추출한 후 중앙 컴퓨터에서 위치를 계산한다. 근거리 위치 추적 기술에는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용되는데, 초음파의 경우 초정밀 위치추적이 가능하며 UWB기반 제품들의 경우 제조사에 따라 3D 공간에서 오차 범위 1cm 미만의 정확도를 제공하기도 한다. 또한, 이러한 오차 범위는 많은 연구가 계속되면서 점점 감소하는 추세이다.Meanwhile, the short-range location tracking technology is also one of the fields that have been recently studied. Although the location tracking system is somewhat different depending on how it is configured, in the case of the infrastructure-based method, if the beacon broadcasts a signal at a predetermined cycle, the reception devices receive the location information, extract the location information, and calculate the location in the central computer. Ultra-precise position tracking is possible for ultrasound, and UWB-based products provide less than 1cm of accuracy in 3D space depending on the manufacturer. For example, Wi-Fi, UWB, Bluetooth, do. In addition, the error range is gradually decreasing as many studies continue.

근거리 위치추적을 위한 비콘을 환자의 신체에 부착하여 3차원으로 재건된 의료 영상을 습득하고, 이를 환자의 신체에 최소한의 오차범위로 일치시켜 사용자에게 증강 현실을 이용하여 직관적인 영상 정보를 제공하는 것을 목적으로 한다. 또한 비콘이 부착된 기구의 3차원 영상을 증강 현실을 이용하여 사용자에게 제공하여 침습적/비침습적 시술이나 수술을 더욱 용이하게 시행할 수 있도록 하는 것을 목적으로 한다.By attaching a beacon for short-distance location tracking to a patient's body and acquiring reconstructed medical images in three dimensions and matching it to a patient's body with a minimum error range, the user is provided with intuitive image information using an augmented reality . In addition, it is intended to provide a user with a three-dimensional image of a beacon-attached instrument using an augmented reality to enable invasive / non-invasive procedures or operations to be performed more easily.

본 발명의 일 실시예로서, 미리 촬영된 비콘이 부착된 신체의 3 차원 영상을 저장하는 저장부; 복수의 외부 수신부로부터 상기 신체 및 헤드 마운트 디스플레이(head mounted display)에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 및 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 영상 조정부를 포함하는 의료용 3차원 영상 처리 장치를 제공하는 것을 특징으로 한다. According to an embodiment of the present invention, there is provided a stereoscopic image display apparatus comprising: a storage unit for storing a three-dimensional image of a body to which a photographed beacon is attached; A receiving unit for receiving a signal transmitted from a plurality of external receiving units from a beacon attached to the body and a head mounted display, respectively; And an image adjuster for estimating the position and direction of the beacon based on the signal and adjusting the image of the body stored according to the estimated position and direction of the beacon. .

본 발명의 다른 실시예로서, 외부 수신부로 신호를 전송하는 비콘이 미리 결정된 위치에 부착된 비콘 장착부; 및 의료 시술이 행해지는 시술부를 포함하는 의료용 기구를 제공하는 것을 특징으로 한다. According to another embodiment of the present invention, there is provided a beacon mounting apparatus comprising: a beacon mounting unit to attach a beacon transmitting a signal to an external receiving unit at a predetermined position; And a medical treatment section for performing the medical treatment.

본 발명의 다른 실시예로서, 의료용 3차원 영상을 투영하는 헤드 마운트 디스플레이로서, 비콘이 미리 결정된 위치에 부착되는 비콘 부착부; 의료용 3차원 영상 처리 장치로부터 신체 및 헤드 마운트에 부착된 비콘의 위치 및 방향에 따라 조정된 신체의 영상 신호를 수신하는 수신부; 및 상기 수신된 신체의 영상 신호를 기초로 해당 영상이 투영되는 렌즈부를 포함하는 헤드 마운트 디스플레이를 제공하는 것을 특징으로 한다. According to another embodiment of the present invention, there is provided a head-mounted display for projecting a medical three-dimensional image, comprising: a beacon attaching portion to attach a beacon at a predetermined position; A receiving unit for receiving a video signal of a body adjusted according to a position and a direction of a beacon attached to a body and a head mount from a medical three-dimensional image processing apparatus; And a lens unit for projecting the image based on the received image signal of the body.

본 발명의 다른 실시예로서, 복수의 외부 수신부로부터 상기 신체에 부착된 비콘 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호를 각각 수신하는 수신부; 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하고, 추정된 상기 비콘의 위치 및 방향에 따라 상기 신체의 영상을 조정하는 영상 조정부; 및 상기 조정된 신체의 영상이 투영되는 렌즈부를 포함하는 헤드 마운트 디스플레이를 제공하는 것을 특징으로 한다. According to another embodiment of the present invention, there is provided a communication apparatus comprising: a receiving unit for receiving a beacon attached to a body from a plurality of external receiving units and a signal transmitted from a beacon attached to a head mounted display, respectively; An image adjuster for estimating a position and a direction of the beacon based on the signal and adjusting the image of the body according to the estimated position and direction of the beacon; And a lens unit on which the adjusted image of the body is projected.

본 발명의 다른 실시예로서, 복수의 외부 수신부로부터 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호를 수신하는 단계; 상기 신호를 기초로 상기 비콘의 위치 및 방향을 추정하는 단계; 상기 추정된 비콘의 위치 및 방향에 따라 저장된 상기 신체의 영상을 조정하는 단계; 및 상기 조정된 상기 신체의 영상을 상기 헤드 마운트 디스플레이로 송출하는 단계를 포함하는 의료용 3차원 영상 처리 방법을 제공하는 것을 특징으로 한다.In another embodiment of the present invention, there is provided a method of transmitting a beacon, the method comprising: receiving a signal from a beacon attached to a body and a head-mounted display from a plurality of external receivers; Estimating a position and a direction of the beacon based on the signal; Adjusting an image of the body stored according to the estimated position and direction of the beacon; And transmitting the adjusted image of the body to the head mount display.

본 발명에 따르면 신체 및 의료용 기구에 대한 3차원 영상을 실제 환경에 투영하여 수술 및 시술에 이용함으로써 보다 정확하고 편리하게 시술 또는 수술을 진행할 수 있다는 효과가 있다.According to the present invention, a three-dimensional image of a body and a medical instrument is projected on a real environment and used for surgery and operation, thereby enabling the operation or surgery to be performed more accurately and conveniently.

도 1은 일 실시예에 따른 본 발명의 전체적인 시스템을 간략하게 도시한다.
도 2는 의료용 3차원 영상 처리 장치(100)의 내부 구성을 개략적으로 도시한 도면이다.
도 3은 일 실시예에 따른 헤드 마운트 디스플레이(102)의 내부 구성을 개략적으로 도시한 도면이다.
도 4는 비콘의 부착된 환자의 신체의 재건 영상을 도시한다.
도 5는 재건된 환자의 신체의 영상이 실제 환자의 신체 상에서 투영되는 실시를 나타내는 도면이다.
도 6은 침습용인 의료용 기구를 도시한다.
도 7은 침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다.
도 8은 비침습용 의료용 기구를 도시한다.
도 9는 비침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다.
도 10 및 도 11은 환자의 신체의 영상이 투영되는 실시를 예시적으로 도시한 도면이다.
도 12는 본 발명의 전반적인 실시 방법을 간략하게 나타낸 블록도이다.
도 13은 다른 실시예에 따른 본 발명의 전체적인 시스템을 간략하게 도시한다.
도 14는 다른 실시예에 따른 헤드 마운트 디스플레이(102)의 내부 구성을 개략적으로 도시한 도면이다.
도 15는 상술한 방법 및 장치를 이용하여 시행되고 있는 시술 또는 수술의 예시적인 도면이다.
도 16은 환자의 신체의 3차원 영상이 예시적으로 도시된 도면이다.
도 17은 헤드 마운트 디스플레이가 실시간으로 영상을 촬영하여 촬영된 영상을 기초로 영상을 추가로 조정하는 실시예에 대한 도면이다.
도 18은 카메라부를 이용하여 추가적인 조정이 이루어지는 예시를 도시한다. 1 schematically illustrates an overall system of the present invention in accordance with one embodiment.
2 is a view schematically showing the internal configuration of the medical three-dimensional image processing apparatus 100. As shown in FIG.
3 is a view schematically showing the internal configuration of the head mounted display 102 according to one embodiment.
Figure 4 shows a reconstructed image of the body of a patient with an attached beacon.
5 is a diagram showing an embodiment in which an image of the body of the reconstructed patient is projected on the body of the actual patient.
Figure 6 shows a medical instrument for invasive purposes.
FIG. 7 is a view showing an exemplary projection image of the medical instrument for invasion.
Figure 8 shows a non-repelling medical instrument.
9 is a diagram exemplarily showing a projection image of the non-opacifying medical instrument.
Figs. 10 and 11 are views showing an example in which an image of a patient's body is projected. Fig.
12 is a block diagram briefly illustrating an overall implementation of the present invention.
13 schematically illustrates the overall system of the present invention in accordance with another embodiment.
Fig. 14 is a view schematically showing an internal configuration of the head mount display 102 according to another embodiment.
15 is an exemplary illustration of a procedure or operation being performed using the methods and apparatus described above.
Fig. 16 is a view exemplarily showing a three-dimensional image of a patient's body.
17 is a diagram of an embodiment in which the head mount display captures an image in real time and further adjusts the image based on the captured image.
Fig. 18 shows an example in which further adjustment is made using the camera section.

이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Various embodiments of the present invention will now be described in detail with reference to the accompanying drawings. In this document, the same reference numerals are used for the same constituent elements in the drawings, and redundant explanations for the same constituent elements are omitted.

본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.For the various embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and various embodiments of the invention may be practiced in various forms And should not be construed as limited to the embodiments described herein.

다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as " first, "second," first, "or" second, " as used in various embodiments, Not limited. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be named as the first component.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the scope of the other embodiments. The singular expressions may include plural expressions unless the context clearly dictates otherwise.

기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.All terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by one of ordinary skill in the art. Commonly used predefined terms may be interpreted to have the same or similar meaning as the contextual meanings of the related art and are not to be construed as ideal or overly formal in meaning unless expressly defined in this document . In some cases, the terms defined in this document can not be construed to exclude embodiments of the present invention.

도 1은 본 발명의 전체적인 시스템을 간략하게 도시한다. 본 발명의 시스템은 의료용 3차원 영상 처리 장치(100), 비콘(104)이 부착된 헤드 마운트 디스플레이(102), 복수의 수신기(106) 및 환자의 신체에 부착된 복수의 비콘들(108)을 포함한다.Figure 1 schematically illustrates the overall system of the present invention. The system of the present invention includes a medical three-dimensional image processing apparatus 100, a head mounted display 102 with a beacon 104 attached thereto, a plurality of receivers 106 and a plurality of beacons 108 attached to the patient's body .

의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)로부터 환자의 신체 및 헤드 마운트 디스플레이에 부착된 복수의 비콘(104, 108)으로부터 송출된 신호를 수신한다. 비콘(104, 108)으로부터 송출된 신호가 각 복수의 수신기로 전송되는 기술로는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용된다. 따라서, 의료용 3차원 영상 처리 장치(100)에서의 수신기는 각 위치 추적 기술에 적합한 구성으로 이루어지게 된다. 또한, 상술된 위치 추적 기술을 이용하여 비콘의 위치를 연산하는 방식으로는 예를 들어, RSSI 방식의 위치 추론 방식, TOA(Time of Arrival), TDOA(Time Difference of Attival), AOA(Angle of Arrival) 방식 등의 알고리즘을 사용할 수 있다.The medical three-dimensional image processing apparatus 100 receives signals transmitted from a plurality of receivers 106 from a plurality of beacons 104, 108 attached to the patient's body and head-mounted display. Wi-Fi, UWB, Bluetooth, RFID, ultrasonic waves, etc. are used as technologies for transmitting signals transmitted from the beacons 104 and 108 to each of a plurality of receivers. Accordingly, the receiver in the medical three-dimensional image processing apparatus 100 has a configuration suitable for each position tracking technique. In addition, as a method of calculating the location of the beacon using the above-described position tracking technique, for example, an RSSI-based position inference method, TOA (Time of Arrival), Time Difference of Attention (TDOA), Angle of Arrival ) Scheme can be used.

수신기(106)는 비콘(104, 108)의 공간적 위치를 판단할 수 있도록 그 개수가 적어도 4개인 것이 바람직하며, 위치추적 정밀도를 향상시키기 위해서는 4개 이상이 필요할 수도 있다. 또한, 환자를 수술하는 수술실에서 발생할 수 있는 다양한 상황, 예를 들어 비콘(104, 108)과 수신기(106) 사이의 장애물 등으로 인한 간섭 발생 등을 고려하여 수신기(106)의 개수를 결정할 수도 있을 것이다.The number of the receivers 106 is preferably at least four so as to determine the spatial position of the beacons 104 and 108, and four or more may be required to improve the tracking accuracy. In addition, the number of receivers 106 may be determined in consideration of various situations that may occur in the operating room in which the patient is operated, for example, the occurrence of interference due to obstacles between the beacons 104 and 108 and the receiver 106 will be.

의료용 3차원 영상 처리 장치(100)는 비콘이 미리 정해진 위치에 부착된 환자의 신체의 3차원 영상을 저장한다. 환자의 신체의 3차원 영상은, 환자의 신체에 미지 정해진 위치에 비콘을 부착한 상태로 예컨대, CT 촬영 또는 PET 촬영 등을 시행한 후, 촬영된 영상을 3차원 영상으로 재건함으로써 생성된다. 이렇게 재건된 영상에는 환자의 신체에 미리 정해진 위치에 부착된 비콘이 포함될 수 있다. 또한, 재건된 환자의 신체의 3차원 영상에는 환자의 골격, 장기 그리고 대상 병변이 각각 재건된 후 융합되어 있을 수 있다. 또한, 의료용 3차원 영상 처리 장치(100)는 비콘이 미리 정해진 위치에 부착된 의료용 기구의 3차원 영상을 더 저장할 수 있다. The medical three-dimensional image processing apparatus 100 stores a three-dimensional image of a patient's body attached to a predetermined position of a beacon. The three-dimensional image of the patient's body is generated by reconstructing the captured image into a three-dimensional image after performing, for example, a CT scan or a PET scan in a state where a beacon is attached to an unknown position of the patient's body. The reconstructed image may include a beacon attached to a predetermined position in the patient's body. In addition, the reconstructed patient's three-dimensional images of the patient's skeleton, organ, and target lesion may be reconstructed and then fused. The medical three-dimensional image processing apparatus 100 may further store a three-dimensional image of a medical instrument having a beacon attached at a predetermined position.

의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)를 통하여 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신하여, 수신된 신호 또는 정보를 기초로 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘의 위치 및 방향을 추정한다. 또한, 의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)를 통하여 의료용 기구에 부착된 비콘으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신하여, 수신된 신호 또는 정보를 기초로 의료용 기구에 부착된 비콘의 위치 및 방향을 추정한다. 즉, 의료용 3차원 영상 처리 장치(100)는 복수의 수신기(106)로부터 수신한 신호 또는 정보에 기초하여 환자, 헤드 마운트 디스플레이를 착용한 의사의 머리 및 의료용 기구의 3차원 공간에서의 자세를 추정할 수 있다.The medical three-dimensional image processing apparatus 100 receives a signal transmitted from a beacon attached to a body of a patient and a head-mounted display or information on the signal through a plurality of receivers 106, To estimate the location and orientation of the beacon attached to the patient ' s body and head-mounted display. Further, the medical three-dimensional image processing apparatus 100 receives signals transmitted from beacons attached to the medical instrument through the plurality of receivers 106 or information on the signals, Lt; RTI ID = 0.0 > and / or < / RTI > That is, the medical three-dimensional image processing apparatus 100 estimates the posture of the patient, the physician's head wearing the head-mounted display, and the medical instrument in the three-dimensional space based on the signal or information received from the plurality of receivers 106 can do.

여기서, 환자의 신체에 부착된 비콘(108)의 위치는 앞서 설명한 의료용 3차원 영상 처리 장치(100)에 저장되어 있는 환자의 신체의 영상을 촬영할 때에 비콘이 부착된 위치와 동일하다. 또한, 비콘의 개수는 적어도 3개여야 하며, 3개 이상일 수 있다.Here, the position of the beacon 108 attached to the body of the patient is the same as the position where the beacon is attached when the body image of the patient stored in the medical 3D image processing apparatus 100 is captured. In addition, the number of beacons should be at least three, and may be three or more.

의료용 3차원 영상 처리 장치(100)는 저장되어 있는 환자의 신체의 영상에 포함되어 있는 비콘을 추정된 비콘의 위치 및 방향과 매칭되도록, 저장되어 있는 환자의 신체의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. 또한, 의료용 3차원 영상 처리 장치(100)는 저장되어 있는 의료용 기구의 영상에 포함되어 있는 비콘이 의료용 기구에 부착된 비콘의 위치 및 방향과 매칭되도록, 저장되어 있는 의료용 기구의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. The medical 3D image processing apparatus 100 projects a stored three-dimensional image of a patient's body into a real environment so as to match a beacon included in the stored body image of the patient with the estimated beacon position and orientation Adjust to the video you want to set. In addition, the medical three-dimensional image processing apparatus 100 may display a three-dimensional image of the stored medical instrument so that the beacon included in the image of the stored medical instrument matches the position and direction of the beacon attached to the medical instrument, Adjust to the image to be projected into the environment.

의료용 3차원 영상 처리 장치(100)는 또한, 상기 의료용 기구의 영상이 저장되어 있지 않은 경우 의료용 기구에 대해서 미리 저장된 정보를 기초로 하여 의료용 기구의 영상을 생성할 수 있다. 의료용 기구에 대해서 미리 저장된 정보는 예를 들어, 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함한다. 또한, 생성될 의료용 기구가 침습용인 경우, 생성한 의료용 기구의 영상은 의료용 기구의 전체 영상일 수도 있고 혹은 그 일부분인 침습된 부분에 대한 영상일 수도 있다. 예를 들어, 의료용 기구의 일부가 환자의 신체로 침습된 경우, 생성되는 영상은, 의료용 기구의 모습 전체가 그대로 생성된 모습일 수도 있고, 의료용 기구 중 침습된 부분 전체 또는 침습된 부분 중에서도 그 일부인 의료용 기구의 끝단 만을 생성한 형태일 수도 있다.The medical three-dimensional image processing apparatus 100 may further generate an image of the medical instrument based on information previously stored in the medical instrument when the image of the medical instrument is not stored. The information stored in advance with respect to the medical instrument includes, for example, the length, the outline, the thickness, and the position information of the beacon of the medical instrument. In addition, when the medical instrument to be generated is for invasive use, the image of the generated medical instrument may be the entire image of the medical instrument or may be an image of the infiltrated portion as a part thereof. For example, when a part of the medical instrument is infiltrated into the patient's body, the generated image may be a state in which the entire shape of the medical instrument is formed as it is, or a part of the infiltrated part or the part It may be a form in which only the end of the medical instrument is formed.

의료용 3차원 영상 처리 장치(100)는 조정된 환자의 신체의 3차원 영상을 헤드 마운트 디스플레이로 송출한다. 또한, 의료용 3차원 영상 처리 장치(100)는 조정되거나 생성된 의료용 기구의 3차원 영상 역시 헤드 마운트 디스플레이로 송출한다. The medical three-dimensional image processing apparatus 100 transmits the adjusted three-dimensional image of the patient's body to the head-mounted display. Also, the medical three-dimensional image processing apparatus 100 sends out a three-dimensional image of the adjusted or generated medical instrument to the head-mounted display.

한편, 비콘(104)이 부착된 헤드 마운트 디스플레이(102)는 상술된 의료용 3차원 영상 처리 장치(100)의 기능을 포함할 수도 있고, 의료용 3차원 영상 처리 장치(100)로부터 해당 영상 신호를 수신하여 투영하는 기능만을 포함할 수도 있다. On the other hand, the head mount display 102 to which the beacon 104 is attached may include the function of the medical 3D image processing apparatus 100 described above and may receive the corresponding image signal from the medical 3D image processing apparatus 100 And may include only the function of projecting.

먼저, 의료용 3차원 영상 처리 장치(100)로부터 해당 영상 신호를 수신하여 투영하는 기능만을 포함하는 실시예에 따른 헤드 마운트 디스플레이(102) 동작에 대해서 설명하도록 한다.First, the operation of the head mount display 102 according to the embodiment including only the function of receiving and projecting the corresponding video signal from the medical three-dimensional image processing apparatus 100 will be described.

일 실시예에 따르면, 헤드 마운트 디스플레이(102)에 부착된 비콘(104)은 복수의 외부 수신기(106)로 신호를 송출한다. 또한, 헤드 마운트 디스플레이(102)는 상술된 바와 같이 의료용 3차원 영상 처리 장치(100)에서 조정된 환자의 신체의 3차원 영상 신호를 수신한다.According to one embodiment, a beacon 104 attached to the head-mounted display 102 emits a signal to a plurality of external receivers 106. Further, the head mount display 102 receives a three-dimensional image signal of the patient's body adjusted in the medical three-dimensional image processing apparatus 100 as described above.

또한, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)에서 조정되거나 생성된 의료용 기구의 3차원 영상 신호를 수신한다. Further, the head mount display 102 receives a three-dimensional image signal of the medical instrument adjusted or generated in the medical three-dimensional image processing apparatus 100. [

헤드 마운트 디스플레이(102)는 조정된 환자의 신체의 3차원 영상을 렌즈부에 투영시킨다. 또한, 헤드 마운트 디스플레이(102)는 조정된 의료용 기구의 영상을 렌즈부에 투영시킬 수 있다.The head mount display 102 projects a three-dimensional image of the adjusted patient's body onto the lens portion. In addition, the head mount display 102 can project an image of the adjusted medical instrument to the lens portion.

즉, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)로부터 조정된 신체의 3차원 영상을 수신하여 렌즈부에 투영할 수 있다. 또는, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)로부터 의료용 기구의 영상을 수신하여 렌즈부에 투영할 수 있다. That is, the head mount display 102 can receive the adjusted three-dimensional image of the body from the medical three-dimensional image processing apparatus 100 and project it onto the lens unit. Alternatively, the head mount display 102 may receive an image of the medical instrument from the medical three-dimensional image processing apparatus 100 and project it onto the lens unit.

환자의 신체에 부착된 비콘(108)은 복수 개이고, 외부 수신부(106)로 유선 또는 무선으로 신호를 전송한다. 비콘(108)은 일정한 시간 간격 또는 수시로 외부 수신부(108)로 신호를 전송할 수 있다. 또한 복수의 비콘(108) 각각은 신호 전송시 자신을 식별할 수 있는 정보를 신호 내에 포함시킬 수도 있을 것이다.There are a plurality of beacons 108 attached to the patient's body, and transmit signals to the external receiving unit 106 by wire or wirelessly. The beacon 108 may transmit a signal to the external receiving unit 108 at a predetermined time interval or at any time. Also, each of the plurality of beacons 108 may include information that can identify itself in signal transmission.

도 2는 의료용 3차원 영상 처리 장치(100)의 내부 구성을 개략적으로 도시한 도면이다. 2 is a view schematically showing the internal configuration of the medical three-dimensional image processing apparatus 100. As shown in FIG.

의료용 3차원 영상 처리 장치(100)는 저장부(200), 비콘 신호 수신부(202), 송출부(204), 영상 조정부(206), 영상 생성부(208)를 포함한다. The medical three-dimensional image processing apparatus 100 includes a storage unit 200, a beacon signal receiving unit 202, a transmitting unit 204, an image adjusting unit 206, and an image generating unit 208.

저장부(200)에는 비콘을 부착한 환자의 신체가 CT 또는 PET 촬영 등으로 촬영된 3차원 영상이 저장되어 있을 수 있다. 또한, 저장부(200)에는 의료용 기구에 대한 정보가 저장되어 있을 수 있다. 의료용 기구에 대한 정보는 예를 들어, 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함할 수 있다. 또한, 실시예에 따라 저장부(200)에는 의료용 기구의 영상이 저장되어 있을 수 있다. The storage unit 200 may store a three-dimensional image of a patient's body having a beacon attached thereto, such as a CT or PET image. In addition, the storage unit 200 may store information on the medical instrument. The information on the medical instrument may include, for example, the length, contour, thickness, and position information of the beacon of the medical instrument. In addition, according to the embodiment, the image of the medical instrument may be stored in the storage unit 200.

비콘 신호 수신부(202)는 외부 복수의 수신부(106)를 통하여 환자의 신체에 부착된 비콘(108) 및 헤드 마운트 디스플레이(102)에 부착된 비콘(104)으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신한다. 비콘 신호 수신부(202)는 이용되는 위치 추적 기술, 예를 들어, Wi-Fi, UWB, Bluetooth, RFID, 초음파 등에 따라 적합한 형태를 가질 수 있다. 이는 통상의 기술자라면 자명한 사항이므로 구체적인 서술은 생략한다. 또한, 비콘 신호 수신부(202)는 외부 복수의 수신부(106)을 통하여 의료용 기구 상에 부착된 비콘으로부터 송출된 신호 또는 그 신호에 관한 정보를 수신한다. The beacon signal receiving unit 202 receives a signal transmitted from a beacon 108 attached to the patient's body and a beacon 104 attached to the head mount display 102 via the plurality of external receiving units 106 or information . The beacon signal receiving unit 202 may have a suitable form according to a used location tracking technology, for example, Wi-Fi, UWB, Bluetooth, RFID, ultrasound, and the like. It will be obvious to those skilled in the art that specific descriptions are omitted. The beacon signal receiving unit 202 receives signals transmitted from beacons attached to the medical instrument through the plurality of external receiving units 106 or information on the signals.

영상 조정부(206)는 상기 수신된 환자의 신체에 부착된 비콘(108) 및 헤드 마운트 디스플레이(102)에 부착된 비콘(104)으로부터 송출된 신호 또는 정보를 기초로 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘의 위치 및 방향을 추정한다. 또한 영상 조정부(206)는 추정된 비콘의 위치 및 방향에 따라, 저장되어 있는 환자의 신체의 영상에 포함되어 있는 비콘에 대응시켜, 저장되어 있는 환자의 신체의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. 즉, 헤드 마운트 디스플레이(102)의 비콘(104) 신호에 기초하여 사용자의 시야를 추정하며, 해당 시야에서 보이는 실제 3차원 공간에서 환자의 신체의 3차원 영상이 실제 환자와 겹쳐질 수 있도록 환자의 신체의 3차원 영상의 크기, 방향, 위치 등을 조정한다.The image adjuster 206 may adjust the image of the patient's body and head-mounted display based on signals or information sent from the beacon 108 attached to the received patient's body and the beacon 104 attached to the head- Estimates the position and direction of the attached beacon. In addition, the image adjusting unit 206 may reflect a stored three-dimensional image of the body of the patient in correspondence with the beacon included in the stored image of the patient's body, according to the position and orientation of the estimated beacon Adjust to video. In other words, the user's view is estimated based on the beacon signal of the head mount display 102, and the 3D view of the patient's body is displayed on the patient's body Adjust the size, direction, and position of the 3D image of the body.

또한, 영상 조정부(206)는 헤드 마운트 디스플레이(102)에 부착된 비콘(104) 및 수신된 의료용 기구에 부착된 비콘으로부터 송출된 신호 또는 정보를 기초로 의료용 기구에 부착된 비콘의 위치 및 방향를 추가로 추정한다. 영상 조정부(206)는 추정된 의료용 기구에 부착된 비콘의 위치 및 방향을 기초로 저장되어 있는 의료용 기구의 영상을 실제 환경에 투영시킬 영상으로 조정한다. 즉, 헤드 마운트 디스플레이(102)의 비콘(104) 신호에 기초하여 사용자의 시야를 추정하며, 해당 시야에서 보이는 실제 3차원 공간에서 생성된 의료용 기구의 영상이 실제 의료용 기구와 겹쳐질 수 있도록 의료용 기구의 영상의 크기, 방향, 위치 등을 조정한다.In addition, the image adjusting unit 206 may add the beacon 104 attached to the head mount display 102 and the position and orientation of the beacon attached to the medical instrument based on the signal or information sent out from the beacon attached to the received medical instrument Respectively. The image adjusting unit 206 adjusts the image of the medical instrument stored based on the position and the direction of the beacon attached to the estimated medical instrument to an image to be projected onto the actual environment. That is, the visual field of the user is estimated based on the beacon 104 signal of the head mount display 102, and the image of the medical instrument generated in the actual three-dimensional space visible in the field of view is superimposed on the actual medical instrument. The direction, the position, and the like of the image of the user.

의료용 기구가 침습용인 경우로서 의료용 기구가 실제 환자의 신체 내로 침습된 경우, 실제 환경에 투영시킬 영상은 의료용 기구 중 신체 내로 침습된 부분의 영상일 수 있다. 또는 의료용 기구가 신체 내로 침습된 부분 중 일부인 의료용 기구의 끝단만을 생성한 영상일 수도 있다. 한편, 의료용 기구가 비침습용인 경우에는, 실제 환경에 투영시킬 영상은 의료용 기구가 신체 내에 영향을 미치는 범위(예를 들면, 특정 파장이 미치는 범위)를 가시적으로 나타내는 영상이 될 수 있다.When the medical instrument is for invasion, and the medical instrument is actually infiltrated into the patient's body, the image to be projected onto the actual environment may be the image of the portion of the medical instrument that is invaded into the body. Alternatively, the medical instrument may be an image generated only at the end of the medical instrument, which is a part of the portion that has been infiltrated into the body. On the other hand, when the medical instrument is non-invasive, the image to be projected on the actual environment may be an image that visually shows a range (for example, a range of a specific wavelength) that the medical instrument affects within the body.

영상 생성부(208)는 의료용 기구의 영상이 별도로 저장되어 있지 않은 경우, 추정된 의료용 기구에 부착된 비콘의 위치 및 방향에 따라 의료용 기구의 영상을 생성한다. 영상 생성부(208)는 의료용 기구가 침습용인 경우에는, 의료용 기구가 신체 내로 침습된 부분의 의료용 기구의 끝단만을 나타내는 영상을 생성하거나, 의료용 기구 자체에 대한 영상을 생성할 수 있다. 한편, 영상 생성부(208)는 의료용 기구가 비침습용인 경우에는, 시술 또는 수술시 의료용 기구가 신체 내에 미치는 영향을 가시적으로 나타내는 영상을 생성할 수 있다. When the image of the medical instrument is not stored separately, the image generating unit 208 generates an image of the medical instrument according to the position and direction of the beacon attached to the estimated medical instrument. When the medical instrument is for invasive use, the image generating unit 208 may generate an image representing only the end of the medical instrument of the portion where the medical instrument is infiltrated into the body, or may generate an image of the medical instrument itself. On the other hand, when the medical instrument is non-invasive, the image generating unit 208 can generate an image that visually shows the influence of the medical instrument on the body during surgery or surgery.

송출부(204)는 조정된 환자의 신체의 3차원 영상을 헤드 마운트 디스플레이(102)로 송출할 수 있다. 또한, 송출부(204)는 조정되거나 생성된 의료용 기구에 대한 영상을 헤드 마운트 디스플레이(102)로 송출할 수 있다. The dispensing unit 204 can transmit the adjusted three-dimensional image of the patient's body to the head-mounted display 102. In addition, the dispensing unit 204 may send an image of the adjusted or created medical instrument to the head-mounted display 102.

도 3은 헤드 마운트 디스플레이(102)의 내부 구성을 개략적으로 도시한 도면이다. 실시예에 따라, 헤드 마운트 디스플레이(102)는 의료용 3차원 영상 처리 장치(100)의 기능을 모두 또는 일부를 수행할 수 있다. 또한, 실시예에 따라, 헤드 마운트 디스플레이는(102)는 별도의 기능없이 의료용 3차원 영상 처리 장치(100)로부터 송출된 영상을 수신하여 투영하는 기능만을 수행할 수도 있다. Fig. 3 is a view schematically showing an internal configuration of the head mount display 102. Fig. According to the embodiment, the head mount display 102 may perform all or part of the functions of the medical three-dimensional image processing apparatus 100. [ In addition, according to the embodiment, the head mount display 102 may perform only a function of receiving and projecting the image transmitted from the medical three-dimensional image processing apparatus 100 without any additional function.

먼저, 일 실시예에 따라, 헤드 마운트 디스플레이(102)가 의료용 3차원 영상 처리 장치(100)로부터 송출된 영상을 수신하여 투영하는 기능만을 수행하는 경우의 헤드 마운트 디스플레이(102)의 내부 구성을 설명하도록 한다. First, an internal configuration of the head mount display 102 in the case where the head mount display 102 performs only a function of receiving and projecting an image transmitted from the medical three-dimensional image processing apparatus 100 will be described .

일 실시예에서, 헤드 마운트 디스플레이(102)는 수신부(300), 영상 투영부(302) 및 렌즈부(304)를 포함한다. 또한, 헤드 마운트 디스플레이(102)에는 미리 정해진 위치에 비콘(104)이 부착되어 있다.In one embodiment, the head mounted display 102 includes a receiver 300, an image projection unit 302, and a lens unit 304. In addition, a beacon 104 is attached to the head mount display 102 at a predetermined position.

수신부(300)는 의료용 3차원 영상 처리 장치(100)로부터 조정된 환자의 신체의 3차원 영상을 수신한다. 또는, 의료용 3차원 영상 처리 장치(100)로부터 조정되거나 생성된 의료용 기구의 영상을 수신한다. The receiving unit 300 receives the adjusted three-dimensional image of the patient's body from the medical three-dimensional image processing apparatus 100. Or, the image of the medical instrument adjusted or generated from the medical three-dimensional image processing apparatus 100 is received.

영상 투영부(302)는 수신부(300)에서 수신한 조정된 환자의 신체의 3차원 영상 및 의료용 기구의 영상을 렌즈부(304)에 투영한다. 영상 투영부(302)는 투영하는 영상이 렌즈부(304)에서 결상되어 사용자가 실제 3차원 공간상에서 증강 영상으로 인식될 수 있도록 수신부(300)에서 수신한 영상을 투영한다.The image projecting unit 302 projects the adjusted three-dimensional image of the patient's body and the image of the medical instrument received by the receiving unit 300 onto the lens unit 304. The image projecting unit 302 projects the image received by the receiving unit 300 so that the image to be projected is image-formed on the lens unit 304 and can be recognized as an augmented image on the actual three-dimensional space by the user.

렌즈부(304)는 영상 투영부(302)에 의하여 투영된 조정된 환자의 신체의 3차원 영상의 상이 맺히도록 한다. 또한, 렌즈부(304)는 조정되거나 생성된 의료용 기구의 영상의 상이 맺히도록 한다. The lens unit 304 allows an image of the adjusted three-dimensional image of the patient's body projected by the image projection unit 302 to be formed. Further, the lens unit 304 allows an image of an image of the adjusted or generated medical instrument to be formed.

도 4에는 비콘의 부착된 환자의 신체의 재건 영상이 도시되어 있다. 비콘이 부착된 환자의 신체는 CT 또는 PET 촬영 등으로 촬영된다. 예를 들어, CT 촬영으로 비콘의 부착된 환자의 신체를 촬영하여 환자의 골격, 장기 그리고 대상 병변이 각각 3차원 영상으로 재건된다. 투영하는 설정에 따라 재건된 각각의 영상을 환자의 실제 신체 상에 투영시킬 수 있다. 도 4a는 환자의 재건된 피부 영상이고, 도 4b는 환자의 재건된 폐와 혈관이 투영되는 영상이고, 도 4c는 환자의 재건된 뼈 영상이다. Figure 4 shows a reconstructed image of the body of a patient with a beacon attached thereto. The body of a patient with a beacon is photographed by CT or PET. For example, the body of a patient with a beacon is photographed by a CT scan, and the skeletal, organ, and target lesions of the patient are reconstructed into three-dimensional images, respectively. Each reconstructed image can be projected onto the patient's actual body according to the projection setting. FIG. 4A is a reconstructed skin image of a patient, FIG. 4B is an image in which a reconstructed lung and a blood vessel of the patient are projected, and FIG. 4C is a reconstructed bone image of the patient.

도 5는 재건된 환자의 신체의 영상이 증강 현실에 의해 실제 환자의 신체 상에서 투영되는 실시를 나타내는 도면이다. 5 is a diagram showing an embodiment in which an image of the body of the reconstructed patient is projected on the actual patient's body by the augmented reality.

도 5에 도시된 바와 같이, 재건된 환자의 신체의 영상에 포함된 비콘에 대응하여, 실제로 환자의 신체에 부착된 비콘으로부터 송출되는 신호에 기초하여 추정된 비콘의 위치 및 방향에 매칭시켜 조정된 환자의 신체의 영상이 헤드 마운트 디스플레이(102)의 렌즈부(304) 상에 투영되어 보이는 영상이 도시된다. As shown in FIG. 5, in correspondence with the beacon contained in the reconstructed patient's body image, the position and orientation of the beacon estimated based on the signal emitted from the beacon actually attached to the patient's body are adjusted An image of the patient's body is projected on the lens unit 304 of the head-mounted display 102 and is shown.

또한, 재건된 환자의 신체의 영상은 사용자의 설정에 따라 환자의 내부 장기, 혈관 또는 뼈 등의 다양한 신체 영상일 수 있다.In addition, the body image of the reconstructed patient may be various body images such as internal organs, blood vessels or bones of the patient depending on the user's setting.

도 6은 침습용인 의료용 기구를 도시한다. 침습용 의료용 기구는 외부 수신부로 신호를 전송하는 비콘(602)이 미리 결정된 위치에 부착된 비콘 장착부(600)와, 침습이 이루어지는 침습부(604)를 포함한다. 비콘 장착부(600) 전체 또는 비콘 장착부(600) 중 비콘(602)이 장착된 일부는 침습부(604)로부터 분리 가능하다. 비콘 장착부(600)에는 비콘(602)이 적어도 2개가 부착된다. 비콘 장착부(600)에 부착된 비콘(602)은 미리 정해진 일정한 간격 또는 수시로 복수의 외부 수신부로 신호를 송출한다.Figure 6 shows a medical instrument for invasive purposes. The medical instrument for infusion includes a beacon mounting portion 600 to which a beacon 602 for transmitting a signal to an external receiving portion is attached at a predetermined position, and an infiltrating portion 604 for infiltration. A portion of the beacon mounting portion 600 or the portion of the beacon mounting portion 600 on which the beacon 602 is mounted is detachable from the inflatable portion 604. At least two beacons 602 are attached to the beacon mounting portion 600. The beacon 602 attached to the beacon mount 600 transmits a signal to a plurality of external receivers at a predetermined constant interval or from time to time.

도 7은 침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다. 도 7a는 생성된 영상이 의료용 기구의 영상인 경우의 도면이다. 의료용 기구의 영상은 미리 생성하여 저장되어 있을 수 있다. 다만, 의료용 3차원 영상 처리 장치(100) 또는 헤드 마운트 디스플레이(102)에서 의료용 기구에 부착된 비콘으로부터 실시간 송출되는 신호에 기초하여 의료용 기구에 부착된 비콘의 위치 및 방향에 매칭시켜 저장된 의료용 기구의 영상을 조정하고, 헤드 마운트 디스플레이(102)에서 조정된 영상을 투영한다. 투영되는 의료용 기구의 영상은 환자의 신체 내로 침습된 부분이고, 도 7a에서 도시된 700부분에 해당한다. 의료용 기구의 움직임에 따른 의료용 기구 상에 부착된 비콘(602)에서 실시간으로 송출되는 신호의 변경에 기초하여 비콘의 위치나 방향의 변경을 알 수 있고, 이에 기초하여 투영되는 영상 역시 조정이 된다. 비콘의 움직임에 따라 투영되는 영상의 변경부분은 도 7a의 왼쪽과 오른쪽 도면을 통해 알 수 있다. FIG. 7 is a view showing an exemplary projection image of the medical instrument for invasion. 7A is a view showing a case where the generated image is an image of a medical instrument. The image of the medical instrument may be generated and stored in advance. However, in the medical 3D image processing apparatus 100 or the head-mounted display 102, the position and direction of the beacon attached to the medical instrument are matched to the position and direction of the beacon attached to the medical instrument based on the signal transmitted from the beacon attached to the medical instrument in real- Adjusts the image, and projects the adjusted image on the head mount display 102. The image of the projected medical instrument is an invasive part of the patient's body and corresponds to the 700 part shown in Fig. 7A. It is possible to know the change of the position or direction of the beacon based on the change of the signal transmitted in real time from the beacon 602 attached to the medical instrument according to the motion of the medical instrument, The changed portion of the projected image according to the movement of the beacon can be seen from the left and right views of FIG. 7A.

도 7b는 생성된 영상이 의료용 기구가 침습되어 작용하는 부분을 나타내는 표시를 생성하는 영상인 경우의 도면이다. 의료용 3차원 영상 처리 장치(100) 또는 헤드 마운트 디스플레이(102)에서 의료용 기구에 부착된 비콘으로부터 실시간 송출되는 신호에 기초하여 의료용 기구에 부착된 비콘의 위치 및 방향에 매칭시켜 저장된 의료용 기구가 침습시에 의료용 기구의 끝단을 나타내는 표시를 영상으로 생성한다. 의료용 기구가 침습된 경우, 의료용 기구의 끝단을 나타내는 표시(704)가 도 7b에 도시되어 있다. 실제 시술 또는 수술 시에, 의료용 기구의 움직임으로 인하여 의료용 기구에 부착된 비콘(602) 역시 같이 움직임으로, 비콘(602)으로부터 실시간으로 송출된 신호의 변화를 통하여 비콘의 위치 및 방향에 변경이 생기고, 그에 대응하여 생성되는 의료용 기구의 끝단을 나타내는 표시도 변경이 된다. 비콘의 움직임에 따라 투영되는 영상의 변경부분은 도 7b의 왼쪽과 오른쪽 도면을 통해 알 수 있다. FIG. 7B is a view showing a case where the generated image is an image for generating an indication indicating a portion where the medical instrument is invaded. Based on signals transmitted in real time from a beacon attached to a medical instrument in the medical three-dimensional image processing apparatus 100 or the head-mounted display 102, a medical instrument stored in a match with the position and direction of a beacon attached to the medical instrument An image representing the end of the medical instrument is generated as an image. When the medical instrument is invaded, a display 704 indicating the end of the medical instrument is shown in FIG. 7B. During the actual procedure or operation, the beacon 602 attached to the medical instrument due to the movement of the medical instrument also moves in a similar manner, resulting in a change in the position and orientation of the beacon through a change in the signal transmitted in real time from the beacon 602 , The display indicating the end of the medical instrument produced corresponding thereto is also changed. The changed portion of the projected image according to the beacon motion can be seen from the left and right views of FIG. 7B.

도 8은 비침습용 의료용 기구를 도시한다. 비침습용 의료용 기구는 비콘(802)이 장착된 비콘 장착부(800) 및 의료 행위가 이루어지는 부분(804)을 포함한다. 비콘 장착부(800)는 비침습용 의료용 기구로부터 분리 가능하다. 비콘 장착부(800)에는 적어도 2개의 비콘(802)이 장착된다. 비콘 장착부(800)에 부착된 비콘(802)은 미리 정해진 일정한 간격 또는 수시로 복수의 외부 수신부로 신호를 송출한다.Figure 8 shows a non-repelling medical instrument. The non-immersion medical instrument includes a beacon mount 800 equipped with a beacon 802 and a portion 804 where a medical operation is performed. The beacon mount 800 is detachable from the non-repelling medical instrument. At least two beacons (802) are mounted on the beacon mount (800). The beacon 802 attached to the beacon mount 800 transmits a signal to a plurality of external receivers at a predetermined constant interval or from time to time.

도 9는 비침습용 의료용 기구의 투영 영상을 예시적으로 도시한 도면이다. 비침습용 의료용 기구는 예를 들어, 초음파를 이용한 기구일 수 있는데, 이 경우에는 해당 투영 영상은 환자의 신체 내에 초음파가 영향을 미치는 범위를 가시적으로 나타내는 영상일 수 있다. 9 is a diagram exemplarily showing a projection image of the non-opacifying medical instrument. The non-immersion medical instrument may be, for example, an ultrasonic wave instrument, in which case the projection image may be an image that visually shows the range of influence of the ultrasonic waves in the patient's body.

도 10 및 도 11은 환자의 신체의 영상이 투영되는 실시를 예시적으로 도시한 도면이다. 도 10에는 환자의 폐 부분의 영상을 촬영하여 상술한 방법으로 환자의 신체 상에 투영되도록 한 실시예가 도시되어 있고, 도 11에는 환자의 기도 부분의 영상을 촬영하여 상술한 방법으로 환자의 신체 상에 투영되도록 한 실시예가 도시되어 있다. Figs. 10 and 11 are views showing an example in which an image of a patient's body is projected. Fig. FIG. 10 shows an embodiment in which an image of a lung part of a patient is photographed and projected onto a patient's body in the manner described above. FIG. 11 shows an image of a part of a patient's airway, As shown in FIG.

도 12는 본 발명의 전반적인 실시 방법을 간략하게 나타낸 블록도이다. 12 is a block diagram briefly illustrating an overall implementation of the present invention.

환자의 신체에 부착된 비콘으로부터 비콘을 포함한 신체의 3차원 의료 영상을 촬영한다(S1200). 비콘을 포함한 신체의 3차원 의료 영상은 CT 또는 PET 촬영 등으로 촬영될 수 있다. 촬영된 영상을 기초로 비콘을 포함한 신체의 영상을 3차원으로 재건한다(S1202). 또한, 재건된 환자의 신체의 3차원 영상에는 환자의 골격, 장기 그리고 대상 병변이 각각 재건된 후 융합되어 있을 수 있다. 또한, 비콘의 부착된 의료용 기구의 삼차원 영상을 생성 또는 촬영하여(S1204), 비콘을 포함한 의료용 기구의 삼차원 영상을 재건한다(S1206). 여기서 의료용 기구의 삼차원 영상은 미리 저장되어 있을 수도 있고, 저장되어 있지 않은 경우, S1210에서 생성될 수도 있다. 의료용 기구의 영상을 생성하는 경우에는, 의료용 기구에 대해서 미리 저장된 정보를 기초로 생성할 수 있다. 또한, 의료용 기구의 영상은 예를 들어, 생성된 침습된 부분의 영상은, 의료용 기구의 모습 전체가 그대로 생성될 수 있고, 의료용 기구의 침습된 부분 중 의료용 기구의 끝단만을 표시하여 생성될 수도 있다. The 3D medical image of the body including the beacon is photographed from the beacon attached to the patient's body (S1200). The 3D medical image of the body including the beacon can be photographed by CT or PET. The body image including the beacon is reconstructed in three dimensions based on the photographed image (S1202). In addition, the reconstructed patient's three-dimensional images of the patient's skeleton, organ, and target lesion may be reconstructed and then fused. In addition, a three-dimensional image of the medical instrument having the beacon is generated or captured (S1204), and the three-dimensional image of the medical instrument including the beacon is reconstructed (S1206). Here, the 3D image of the medical instrument may be stored in advance or may be generated in S1210 if not stored. In the case of generating the image of the medical instrument, it is possible to generate based on the information previously stored in the medical instrument. Further, the image of the medical instrument may be generated, for example, by generating the entire image of the medical instrument as it is, or by displaying only the end of the medical instrument among the invasive portions of the medical instrument .

또한, 환자의 신체에 부착된 비콘, 의료용 기구에 부착된 비콘 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출되는 신호에 의하여 비콘의 위치를 추적한다(S1212). 비콘으로부터 송출된 신호가 각 복수의 수신기로 전송되는 기술로는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용된다. 따라서, 의료용 3차원 영상 처리 장치에서의 수신기는 각 위치 추적 기술에 적합한 구성으로 이루어지게 된다. 또한, 상술된 위치 추적 기술을 이용하여 비콘의 위치를 연산하는 방식으로는 예를 들어, RSSI 방식의 위치 추론 방식, TOA(Time of Arrival), TDOA(Time Difference of Attival), AOA(Angle of Arrival) 방식 등의 알고리즘을 사용할 수 있다. 환자의 신체에 부착된 비콘의 추적된 위치/방향, 및 비콘을 포함한 신체의 3차원 재건 영상을 이용하여 환자의 신체의 3차원 영상을 조정한다(S1214, S1208). 또한, 의료용 기구에 부착된 비콘의 추적된 위치/방향, 및 비콘을 포함한 의료용 기구의 3차원 재건 영상을 이용하여 실시간으로 의료용 기구의 재건 영상을 조정한다(S1214, S1210).In addition, the position of the beacon is tracked by the beacon attached to the patient's body, the beacon attached to the medical instrument, and the beacon attached to the head-mounted display (S1212). Wi-Fi, UWB, Bluetooth, RFID, ultrasound, etc. are used as a technique for transmitting a signal transmitted from a beacon to each of a plurality of receivers. Therefore, the receiver in the medical three-dimensional image processing apparatus is configured in a configuration suitable for each position tracking technology. In addition, as a method of calculating the location of the beacon using the above-described position tracking technique, for example, an RSSI-based position inference method, TOA (Time of Arrival), Time Difference of Attention (TDOA), Angle of Arrival ) Scheme can be used. The 3D image of the patient's body is adjusted (S1214, S1208) using the tracked position / orientation of the beacon attached to the patient's body, and the 3D reconstructed image of the body including the beacon. In addition, the reconstructed image of the medical instrument is adjusted in real time using the three-dimensional reconstructed image of the medical instrument including the tracked position / direction of the beacon attached to the medical instrument and the beacon (S1214, S1210).

또한, 상기 S1212 에서 추정된 각 비콘의 위치를 추적하여 헤드 마운트 디스플레이의 시점을 추정할 수 있다(S1216). 조정된 환자의 신체의 영상을 헤드 마운트 디스플레이 시점에 맞춰 헤드 마운트 디스플레이의 렌즈부 상에 투영시켜 영상을 송출한다(S1218, S1220). 제공된 증강 영상을 이용하여 의사는 수술 또는 시술을 시행한다(S1222).In addition, the position of each beacon estimated in S1212 may be tracked to estimate the viewpoint of the head mount display (S1216). The adjusted image of the body of the patient is projected on the lens unit of the head mount display in accordance with the head mount display time (S1218, S1220). The doctor performs surgery or surgery using the provided augmented image (S1222).

한편, 헤드 마운트 디스플레이가 의료용 3차원 영상 처리 장치의 기능을 수행하는 다른 실시예에 대해서 설명하도록 한다.On the other hand, another embodiment in which the head mount display performs the function of the medical three-dimensional image processing apparatus will be described.

도 13은 비콘(1306)이 부착된 헤드 마운트 디스플레이(1300)는 상술된 의료용 3차원 영상 처리 장치(104)의 기능을 수행하는 다른 실시예에 따른 본 발명의 전체적인 시스템을 간략하게 도시한다.13 schematically illustrates the overall system of the present invention in accordance with another embodiment of the head-mounted display 1300 to which the beacon 1306 is attached to perform the functions of the medical three-dimensional image processing apparatus 104 described above.

헤드 마운트 디스플레이(1300)는 복수의 수신기(1302)로부터 환자의 신체 및 헤드 마운트 디스플레이에 부착된 복수의 비콘(1304, 1306)으로부터 송출된 신호를 수신한다. 비콘(1304, 1306)으로부터 특정 위치 추적 기술을 이용하여 신호가 수신된다. 비콘(1304, 1306)으로부터 송출된 신호가 각 복수의 수신기로 전송되는 기술로는 Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용된다. 또한, 상술된 위치 추적 기술을 이용하여 비콘의 위치를 연산하는 방식으로는 예를 들어, RSSI 방식의 위치 추론 방식, TOA(Time of Arrival), TDOA(Time Difference of Attival), AOA(Angle of Arrival) 방식 등의 알고리즘을 사용할 수 있다. 이용되는 위치 추적 기술에 따라 헤드 마운트 디스플레이(1300)는 적합한 수신기를 가진다. The head mount display 1300 receives signals from a plurality of beacons 1304 and 1306 attached to the patient's body and head mounted display from a plurality of receivers 1302. A signal is received from beacons 1304 and 1306 using a specific location tracking technique. Wi-Fi, UWB, Bluetooth, RFID, ultrasonic waves, and the like are used as a technique in which signals transmitted from the beacons 1304 and 1306 are transmitted to each of a plurality of receivers. In addition, as a method of calculating the location of the beacon using the above-described position tracking technique, for example, an RSSI-based position inference method, TOA (Time of Arrival), Time Difference of Attention (TDOA), Angle of Arrival ) Scheme can be used. Depending on the location tracking technique used, the head mount display 1300 has a suitable receiver.

헤드 마운트 디스플레이(1300)는 비콘이 미리 정해진 위치에 부착된 환자의 신체 또는 의료용 기기의 3차원 영상을 저장할 수도 있고, 외부 장치로부터 환자의 신체 또는 의료용 기기의 3차원 영상을 수신할 수도 있다. 여기서 이용되는 수신기는 상술된 위치 추적 기술에 따라 비콘으로부터 송출되는 신호를 수신하는 수신기와는 다른 장치이다.The head mount display 1300 may store a three-dimensional image of a patient's body or a medical device attached to a predetermined location of the beacon, or may receive a three-dimensional image of the patient's body or a medical device from an external device. The receiver used here is a device different from the receiver that receives the signal transmitted from the beacon in accordance with the above-described positioning technique.

헤드 마운트 디스플레이(1300)는 복수의 수신기(1302)로부터 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘으로부터 송출된 신호를 수신하여, 수신된 신호를 기초로 환자의 신체 및 헤드 마운트 디스플레이에 부착된 비콘의 위치 및 방향을 추정한다. 또한, 헤드 마운트 디스플레이(1300)는 의료용 기구에 부착된 비콘으로부터 송출된 신호를 수신하여, 수신된 신호를 기초로 의료용 기구에 부착된 비콘의 위치 및 방향을 추정한다.The head mount display 1300 receives signals transmitted from a plurality of receivers 1302 from the beacon attached to the patient's body and the head mounted display and transmits a beacon attached to the patient's body and head mounted display And estimates the position and direction. In addition, the head mount display 1300 receives a signal transmitted from a beacon attached to a medical instrument, and estimates the position and direction of a beacon attached to the medical instrument based on the received signal.

수신기(1302)는 비콘의 공간적 위치를 판단할 수 있도록 그 개수가 적어도 4개인 것이 바람직하며, 위치추적 정밀도를 향상시키기 위해서는 4개 이상이 필요할 수도 있다. 또한, 환자를 수술하는 수술실에서 발생할 수 있는 다양한 상황, 예를 들어 비콘과 수신기(1302) 사이의 장애물 등으로 인한 간섭 발생 등을 고려하여 수신기(1302)의 개수를 결정할 수도 있을 것이다.It is preferable that the number of the receiver 1302 is at least four so as to determine the spatial position of the beacon, and four or more may be required to improve the tracking accuracy. In addition, the number of receivers 1302 may be determined in consideration of various situations that may occur in the operating room in which the patient is operated, for example, interference caused by obstacles between the beacon and the receiver 1302, and the like.

헤드 마운트 디스플레이(1300)는 추정된 비콘의 위치 및 방향에 따라 저장되어 있거나 수신된 환자의 신체의 영상에 포함되어 있는 비콘에 매칭시켜, 환자의 신체의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다. 또한, 헤드 마운트 디스플레이(1300)는 의료용 기구에 부착된 비콘의 위치 및 방향에 따라 저장되어 있거나 수신된 의료용 기구에 부착된 비콘에 매칭시켜, 저장되어 있는 의료용 기구의 3차원 영상을 실제 환경에 투영시킬 영상으로 조정한다.The head mount display 1300 displays an image to be projected onto a real environment by matching the beacon included in the image of the patient's body stored or received according to the estimated position and orientation of the beacon, Adjust. In addition, the head mount display 1300 may be configured to match a beacon stored or received according to the position and orientation of a beacon attached to a medical instrument, and to project a three-dimensional image of the stored medical instrument to a real environment Adjust to the video you want to set.

또한, 헤드 마운트 디스플레이(1300)는 의료용 기구의 영상이 저장되어 있거나 수신하지 않는 경우, 의료용 기구에 대해서 미리 저장된 정보에 기초하여 의료용 기구의 영상을 생성할 수 있다. 의료용 기구에 대해서 미리 저장된 정보는 예를 들어, 의료용 기구의 길이, 외형, 두께 및 비콘이 설치된 위치 정보를 포함한다. 또한, 생성된 의료용 기구가 침습용인 경우, 의료용 영상은 의료용 기구의 침습부분이 환자의 신체로 침습된 경우, 침습된 부분에 대한 영상이다. 또한, 생성된 침습된 부분의 영상은, 의료용 기구의 모습 그대로 생성될 수 있고, 의료용 기구의 침습된 부분 중 의료용 기구의 끝단 만을 표시하여 생성될 수도 있다. Further, the head mount display 1300 can generate an image of the medical instrument based on information previously stored in the medical instrument, when the image of the medical instrument is stored or not received. The information stored in advance with respect to the medical instrument includes, for example, the length, the outline, the thickness, and the position information of the beacon of the medical instrument. In addition, when the generated medical instrument is for invasive use, the medical image is an image of the invaded portion when the invasive portion of the medical instrument is invaded by the patient's body. Further, the generated image of the invasive portion may be generated as the medical instrument, and may be generated by displaying only the end of the medical instrument among the invasive portion of the medical instrument.

도 14는 헤드 마운트 디스플레이(1300)의 내부 구성을 개략적으로 도시한 도면이다. 다른 실시예에 따라, 헤드 마운트 디스플레이(1300)는 의료용 3차원 영상 처리 장치(100)의 기능을 모두 또는 일부를 수행할 수 있다. 따라서, 헤드 마운트 디스플레이(1300)는 수신부(1400), 저장부(1402), 영상 조정부(1404), 영상 생성부(1406), 렌즈부(1408) 및 비콘 신호 수신부(1410)를 포함한다. 또한, 헤드 마운트 디스플레이(1300)에는 미리 정해진 위치에 비콘(1306)이 부착되어 있다.14 is a view schematically showing the internal configuration of the head mount display 1300. Fig. According to another embodiment, the head mount display 1300 may perform all or part of the functions of the medical three-dimensional image processing apparatus 100. [ Accordingly, the head mount display 1300 includes a receiving unit 1400, a storage unit 1402, an image adjusting unit 1404, an image generating unit 1406, a lens unit 1408, and a beacon signal receiving unit 1410. A beacon 1306 is attached to the head mount display 1300 at a predetermined position.

수신부(1400)는 저장부(1402)에 CT 또는 PET 촬영한 환자의 신체의 3차원 영상 또는 의료용 기구의 3차원 영상이 저장되어 있지 않은 경우, 외부 장치로부터 환자의 신체의 3차원 영상 또는 의료용 기구의 3차원 영상을 수신할 수 있다. 다만, 헤드 마운트 디스플레이(1300)의 저장부(1402)에 환자의 신체의 3차원 영상 또는 의료용 기구의 3차원 영상이 저장되어 있는 경우에는 별도의 수신부(1400)를 가지지 않아도 된다. When the 3D image of the patient's body or the 3D image of the medical instrument is not stored in the storing unit 1402, the receiving unit 1400 may transmit the 3D image of the patient's body or the medical instrument Dimensional image of FIG. However, when a three-dimensional image of a patient's body or a three-dimensional image of a medical instrument is stored in the storage unit 1402 of the head mount display 1300, a separate receiving unit 1400 may not be provided.

저장부(1402)에는 비콘의 부착된 환자의 신체의 영상이 저장되어 있을 수 있다. 또한, 저장부(1402)에는 의료용 기구의 정보 또는 의료용 기구의 영상이 저장되어 있을 수 있다. 다만, 비콘의 부착된 환자의 신체의 영상, 의료용 기구의 정보 또는 의료용 기구의 영상을 외부 장치로부터 수신하는 경우에는 별도의 저장부(1402)가 필요하지 않을 수도 있다. In the storage unit 1402, an image of the body of the patient to which the beacon is attached may be stored. The storage unit 1402 may store information of the medical instrument or image of the medical instrument. However, a separate storage unit 1402 may not be required when receiving an image of a body of a patient having a beacon, information of a medical instrument, or image of a medical instrument from an external apparatus.

영상 조정부(1404)는 수신된 비콘의 신호를 기초로 비콘의 위치 및 방향을 추정한다. 영상 조정부(1404)는 저장되거나 수신된 비콘이 포함된 환자의 신체의 영상을 추정된 비콘의 위치 및 방향에 매칭시켜 실제 환경에 투영될 영상으로 조정한다. 또한, 영상 조정부(1404)는 비콘이 포함된 의료용 기구의 영상을 추정된 의료용 기구에 부착된 비콘의 위치 및 방향에 매칭시켜 실제 환경에 투영될 영상으로 조정한다. The image adjustment unit 1404 estimates the position and the direction of the beacon based on the received beacon signal. The image adjusting unit 1404 matches the body image of the patient including the stored or received beacon with the position and the direction of the estimated beacon and adjusts the image to be projected to the actual environment. Also, the image adjusting unit 1404 matches the image of the medical instrument including the beacon with the position and direction of the beacon attached to the estimated medical instrument, and adjusts the image to be projected to the actual environment.

영상 생성부(1406)는 의료용 기구의 영상을 별도로 저장하고 있거나 수신하지 않는 경우에, 저장된 의료용 기구의 정보에 기초하여, 추정된 의료용 기구에 부착된 비콘의 위치 및 방향에 따라, 의료용 기구의 영상을 생성할 수 있다. 생성된 의료용 기구의 영상은, 의료용 기구가 침습용인 경우, 의료용 기구의 정보에 기초하여 의료용 기구가 신체 내로 침습된 부분의 의료용 기구의 끝단만을 나타내는 영상을 생성하거나, 의료용 기구 자체에 대한 영상일 수 있다. 또는, 생성된 의료용 기구의 영상은, 의료용 기구의 정보에 기초하여, 의료용 기구가 비침습용인 경우에는, 시술 또는 수술시 의료용 기구가 신체 내에 미치는 영향을 가시적으로 나타내는 영상을 생성할 수 있다.The image generating unit 1406 generates a video image of the medical instrument based on the position and direction of the beacon attached to the estimated medical instrument based on the information of the stored medical instrument when the image of the medical instrument is separately stored or not received Can be generated. The image of the generated medical instrument is generated by generating an image representing only the end of the medical instrument in the portion in which the medical instrument is infiltrated into the body based on the information of the medical instrument, have. Alternatively, based on the information of the medical instrument, if the medical instrument is non-invasive, the image of the generated medical instrument may generate an image that visually shows the influence of the medical instrument on the body during surgery or surgery.

영상 투영부(1408)는 조정된 환자의 신체의 3차원 영상 및 조정되거나 생성된 의료용 기구의 영상을 렌즈부(1412)에 투영한다. 영상 투영부(1408)는 투영하는 영상이 렌즈부(1412)에서 결상되어 사용자가 실제 3차원 공간상에서 증강 영상으로 인식될 수 있도록 영상을 투영한다.The image projection unit 1408 projects the adjusted three-dimensional image of the patient's body and the image of the adjusted or generated medical instrument to the lens unit 1412. The image projecting unit 1408 projects an image to be projected on the lens unit 1412 so that the user can recognize the image as an augmented image in an actual three-dimensional space.

렌즈부(1412) 영상 투영부(1408)에 의하여 투영된 조정된 환자의 신체의 3차원 영상의 상이 맺히도록 한다. 또한, 렌즈부(1412)는 조정되거나 생성된 의료용 기구의 영상의 상이 맺히도록 한다.So that an image of the adjusted three-dimensional image of the patient's body projected by the image projection unit 1408 of the lens unit 1412 is formed. Further, the lens unit 1412 allows an image of an image of the adjusted or generated medical instrument to be formed.

비콘 신호 수신부(1410)는 복수의 외부 수신기로부터 환자의 신체 또는 헤드 마운트 디스플레이(1300)에 부착된 비콘(1304, 1306)으로부터 송출된 신호를 수신한다. 비콘에 대한 위치 추적 기술은 상술한 바와 같이, Wi-Fi, UWB, Bluetooth, RFID, 초음파 등이 사용되고, 사용되는 기술에 따라 비콘 신호 수신부(1410)는 해당하는 장치로 설정될 수 있다.The beacon signal receiving unit 1410 receives signals transmitted from beacons 1304 and 1306 attached to the patient's body or the head-mounted display 1300 from a plurality of external receivers. As described above, Wi-Fi, UWB, Bluetooth, RFID, ultrasonic waves, and the like are used for the beacon position tracking technique, and the beacon signal receiving unit 1410 can be set as a corresponding device according to the used technology.

도 15는 상술한 방법 및 장치를 이용하여 시행되고 있는 시술 또는 수술의 예시적인 도면이다.15 is an exemplary illustration of a procedure or operation being performed using the methods and apparatus described above.

도 15에는 실제의 환자의 신체 상에 조정된 환자의 신체의 3차원 영상을 투영하고, 시술 또는 수술 중인 의료용 기구의 침습된 부분의 3차원 영상을 투영하여 수술 또는 시술이 진행되고 있는 실시예가 도시되어 있습니다. 15 shows an example in which a three-dimensional image of a patient's body adjusted on the body of an actual patient is projected and a three-dimensional image of an invasive portion of the medical instrument during surgery or surgery is projected, became.

도 16은 환자의 신체의 3차원 영상이 예시적으로 도시된 도면이다. 환자의 신체의 영상은 예를 들어, CT 또는 PET 촬영 등을 통해서 이루어지며, 환자의 골격, 장기 그리고 대상 병변이 각각 재건된 후 융합되어 보여지거나, 각각 따로따로 보여질 수 있다. Fig. 16 is a view exemplarily showing a three-dimensional image of a patient's body. The patient's body image is obtained, for example, through CT or PET imaging, and the patient's skeleton, organs, and target lesion can be reconstructed and then fused, respectively, or can be seen separately.

도 17은 헤드 마운트 디스플레이가 실시간으로 영상을 촬영하여 촬영된 영상을 기초로 영상을 추가로 조정하는 실시예에 대한 도면이다. 17 is a diagram of an embodiment in which the head mount display captures an image in real time and further adjusts the image based on the captured image.

상술한 바와 같이, 헤드 마운트 디스플레이(1700)는 의료용 3차원 영상 처리 장치(100)로부터 조정된 환자의 신체의 영상 또는 의료용 기구의 영상을 수신하여 투영하거나, 자체적으로 영상 조정부(1404)를 가지고 있어서, 환자의 신체의 영상 또는 의료용 기구의 영상을 추정된 비콘의 위치 및 방향에 매칭하여 조정하여 투영한다. As described above, the head mount display 1700 receives the image of the patient's body or the image of the medical instrument adjusted from the medical three-dimensional image processing apparatus 100 and projects it, or has the image adjusting unit 1404 itself The image of the patient's body or the image of the medical instrument is adjusted and projected by matching with the position and direction of the estimated beacon.

여기서, 투영되는 영상의 정확도를 더 높이기 위하여, 헤드 마운트 디스플레이(1700)는 실시간으로 사용자의 시야범위를 촬영하는 카메라부(1706)를 구비하여, 실시간으로 촬영된 영상을 기초로 상기 조정된 환자의 신체의 영상 또는 의료용 기구의 영상을 추가적으로 조정할 수 있다. 즉, 실시간으로 촬영된 영상에 포함된 환자의 신체 또는 환자의 신체에 장착된 비콘 중 적어도 일부에 기초하여 조정된 환자의 신체 영상 또는 의료용 기구의 영상을 추가적으로 조정하여 실제 3차원 공간과 조정된 환자의 신체 영상 또는 의료용 기구의 영상을 더욱 정확하게 매칭시킬 수 있다.Here, in order to further increase the accuracy of the projected image, the head mount display 1700 includes a camera unit 1706 that photographs the user's field of view in real time, The image of the body or the image of the medical instrument can be additionally adjusted. That is, the body image of the patient or the image of the medical instrument adjusted based on at least a part of the body of the patient included in the image photographed in real time or the beacon mounted on the body of the patient is additionally adjusted, The body image of the medical instrument or the image of the medical instrument can be more accurately matched.

예를 들어, 도 18에 도시된 바와 같이, 카메라부(1706)에 의하여 촬영된 영상에서의 좌표계와, 환자의 신체의 영상의 좌표계를 각각 산출하고, 두 좌표계에서 동일하게 포함되어 있는 환자의 신체 또는 비콘들이 일치되도록 하는 좌표계 변환 행렬을 환자의 신체의 영상, 의료용 기구 등에 적용함으로써 추가적인 조정을 수행할 수 있을 것이다. 그러나 상술한 추가 조정 방법은 예시적인 것으로 이에 한정되는 것은 아니다.For example, as shown in Fig. 18, the coordinate system of the image taken by the camera unit 1706 and the coordinate system of the image of the patient's body are respectively calculated, and the body of the patient Or beacons may be matched to the patient's body image, medical instrument, etc., to perform further adjustments. However, the above-described additional adjustment method is illustrative and not restrictive.

상술된 장치 및 방법에 따라 신체 및 의료용 기구에 대한 3차원 영상을 실제 환경에 투영하여 수술 및 시술에 이용함으로써 보다 정확하고 편리하게 시술 또는 수술을 진행할 수 있다는 효과가 있다.According to the above-described apparatus and method, a three-dimensional image of a body and a medical instrument is projected onto a real environment and used for surgery and operation, thereby enabling the operation or surgery to be performed more accurately and conveniently.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

또한, 아울러 본 명세서에 개시되는 다양한 실시 예들은 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions, and alterations can be made hereto without departing from the spirit and scope of the appended claims. It should be regarded as belonging to the claims.

Claims

A head-mounted display for projecting a medical three-dimensional image,
A beacon attachment portion to which a beacon is attached at a predetermined position;
A receiving unit for receiving a video signal of a body adjusted according to a position of each of a plurality of beacons attached to a body and a head mount from a medical three-dimensional image processing apparatus; And
And a lens unit for projecting the image according to the position and direction of each of the plurality of beacons based on the received image signal of the body.

A receiving unit for receiving a plurality of beacons attached to a patient's body from a plurality of external receiving units and a signal transmitted from a beacon attached to the head mounted display, respectively;
An image adjusting unit for estimating a position of the beacon based on the signal and mounting a beacon at a predetermined position with respect to the patient according to the estimated position of the beacon, And
And a lens unit to which an image of the adjusted body is projected.

The method of claim 2,
A head-mounted display, further comprising a storage unit in which an image of a body photographed in advance is stored.

The method of claim 2,
Wherein the image of the body photographed in advance is received by the receiving section.

The method of claim 3,
Wherein the storage further stores images of the medical instrument to which the beacon is attached,
The receiving unit further receives a signal transmitted from a beacon attached to the medical instrument,
Wherein the image adjuster adjusts the image of the medical instrument according to a position of a beacon attached on the medical instrument based on a signal transmitted from the beacon attached on the medical instrument.

The method of claim 4,
The receiving unit further receives a signal transmitted from the beacon attached to the medical instrument from the plurality of receiving units,
Estimating a position of a beacon attached on the medical instrument based on a signal transmitted from the beacon attached on the medical instrument, and generating an image of the medical instrument according to the position of the beacon attached on the estimated medical instrument A head-mounted display, further comprising an image generator.

The method of claim 6,
When the medical instrument is for invasive use,
Wherein the image of the medical instrument is a video image generated based on information of the medical instrument, the portion of the medical instrument being invaded by the body.

The method of claim 7,
Further comprising: a storage unit for storing information of the medical instrument including a length, an outer shape, a thickness of the medical instrument, and position information on which beacons are installed.

The method of claim 2,
Further comprising a camera section for photographing an image in real time,
Wherein the image adjusting unit further adjusts the image of the adjusted body based on the body of the patient or a beacon attached to the body of the patient included in the image photographed by the camera unit.