KR101113219B1 - Augmented reality ultrasonograph system and image forming method of the same - Google Patents

Augmented reality ultrasonograph system and image forming method of the same Download PDF

Info

Publication number
KR101113219B1
KR101113219B1 KR1020090121149A KR20090121149A KR101113219B1 KR 101113219 B1 KR101113219 B1 KR 101113219B1 KR 1020090121149 A KR1020090121149 A KR 1020090121149A KR 20090121149 A KR20090121149 A KR 20090121149A KR 101113219 B1 KR101113219 B1 KR 101113219B1
Authority
KR
South Korea
Prior art keywords
image
probe
ultrasound
ultrasound image
movement information
Prior art date
Application number
KR1020090121149A
Other languages
Korean (ko)
Other versions
KR20110064501A (en
Inventor
이준교
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020090121149A priority Critical patent/KR101113219B1/en
Publication of KR20110064501A publication Critical patent/KR20110064501A/en
Application granted granted Critical
Publication of KR101113219B1 publication Critical patent/KR101113219B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4477—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device using several separate ultrasound transducers or probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/24—Probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques

Abstract

증강현실 초음파 시스템이 개시된다. 개시된 증강현실 초음파 시스템은 대상체에 초음파 신호를 전달하고 상기 대상체로부터 반사된 초음파 신호를 수신하는 프로브, 상기 프로브로부터 전달되는 초음파 신호로부터 초음파 영상을 생성하는 영상 생성부, 상기 대상체를 촬영하고 상기 프로브의 이동 정보를 인식하는 촬영부, 상기 촬영부로부터 전달되는 상기 프로브의 이동 정보를 이용하여 상기 초음파 영상을 변형하는 영상 변형부 및, 상기 영상 변형부로부터 전달되는 상기 초음파 영상을 표시하는 디스플레이를 포함한다.An augmented reality ultrasound system is disclosed. The disclosed augmented reality ultrasound system includes a probe that transmits an ultrasound signal to an object and receives an ultrasound signal reflected from the object, an image generator that generates an ultrasound image from the ultrasound signal transmitted from the probe, and photographs the object. It includes a photographing unit for recognizing movement information, an image transformation unit for transforming the ultrasound image using the movement information of the probe transmitted from the imaging unit, and a display for displaying the ultrasound image transmitted from the image transformation unit .

증강현실, 프로브, 영상, 정합 Augmented Reality, Probes, Imaging, Matching

Description

증강현실 초음파 시스템 및 증강현실 초음파 영상 형성 방법{AUGMENTED REALITY ULTRASONOGRAPH SYSTEM AND IMAGE FORMING METHOD OF THE SAME}Augmented Reality Ultrasound System and Augmented Reality Ultrasound Image Formation Method {AUGMENTED REALITY ULTRASONOGRAPH SYSTEM AND IMAGE FORMING METHOD OF THE SAME}

본 발명의 실시예들은 초음파 시스템 및 초음파 영상 형성 방법에 관한 것으로서, 보다 상세하게는 증강현실 초음파 시스템 및 증강현실 초음파 영상 형성 방법에 관한 것이다.Embodiments of the present invention relate to an ultrasound system and an ultrasound image forming method, and more particularly, to an augmented reality ultrasound system and an augmented reality ultrasound image forming method.

일반적인 초음파 진단 장치에서는 환자에 접촉하는 프로브를 통해 전달되는 초음파가 환자로부터 반사된 후 이를 수신하여 초음파 영상을 형성함으로써 사용자가 프로브가 접촉하고 있는 부위의 상태를 파악하여 이를 진단할 수 있다. 프로브에는 하나 이상의 트랜스듀서가 포함되어 초음파 펄스를 송신한다. 초음파가 상이한 밀도의 대상체에 부딪히는 경우 일부는 반사되어 프로브에 수신되고 일부는 에코로 검출된다. 에코를 발생시킨 세포 조직의 깊이는 프로브에 에코가 검출되는 시간을 측정하여 계산할 수 있다. In a general ultrasound diagnosis apparatus, an ultrasound image transmitted through a probe contacting a patient is reflected from a patient and received, thereby forming an ultrasound image, so that a user may diagnose the state of a region where the probe is in contact with the probe. The probe includes one or more transducers to transmit ultrasonic pulses. When ultrasound hits objects of different densities, some are reflected and received by the probe and some are detected as echoes. The depth of the tissue that generated the echo can be calculated by measuring the time at which the echo is detected in the probe.

초음파 영상은 프로브가 접촉하고 있는 환부의 내부 상태를 나타내는 것으로 프로브의 이동에 따라 초음파 영상도 변하게 되나 종래의 초음파 진단 장치에서는 프로브의 위치, 각도, 거리에 따른 변수가 고려되지 않고 단순히 상술한 초음파 송 수신 원리에 따른 초음파 영상을 제공한다.The ultrasound image represents the internal state of the affected part where the probe is in contact, and the ultrasound image also changes according to the movement of the probe. An ultrasound image according to a reception principle is provided.

또한 일반적인 초음파 장치를 이용하는 경우, 환자는 초음파 영상이 나타내고 있는 부분에 대해 정확히 어떤 부분인지 인식하기가 어렵다.In addition, when using a general ultrasound device, it is difficult for a patient to recognize exactly what part of the ultrasound image represents.

본 발명의 실시예들은 상술한 종래 기술의 문제점을 해결하기 위하여, 프로브의 이동에 따른 초음파 영상의 변화를 실시간으로 나타낼 수 있는 증강현실 초음파 시스템 및 증강현실 초음파 영상 형성 방법을 제공하고자 한다. Embodiments of the present invention provide an augmented reality ultrasound system and augmented reality ultrasound image forming method that can represent the change in the ultrasound image in accordance with the movement of the probe in real time in order to solve the above-mentioned problems of the prior art.

또한 본 발명의 실시예들은 초음파 영상과 환자의 영상을 정합하여 증강현실 초음파 영상을 표시할 수 있는 증강현실 초음파 시스템 및 증강현실 초음파 영상 형성 방법을 제공하고자 한다.In addition, embodiments of the present invention to provide an augmented reality ultrasound system and augmented reality ultrasound image forming method that can display an augmented reality ultrasound image by matching the ultrasound image and the image of the patient.

본 발명의 실시예에 따른 증강현실 초음파 시스템은, 대상체에 초음파 신호를 전달하고 상기 대상체로부터 반사된 초음파 신호를 수신하는 프로브;An augmented reality ultrasound system according to an embodiment of the present invention, a probe for transmitting an ultrasound signal to the object and receives the ultrasound signal reflected from the object;

상기 프로브로부터 전달되는 초음파 신호로부터 초음파 영상을 생성하는 영상 생성부; 상기 대상체를 촬영하고, 상기 프로브의 이동 정보를 인식하는 촬영부; 상기 촬영부로부터 전달되는 상기 프로브의 이동 정보를 이용하여 상기 초음파 영상을 변형하는 영상 변형부; 및 상기 영상 변형부로부터 전달되는 상기 초음파 영상을 표시하는 디스플레이;를 포함한다.An image generator configured to generate an ultrasound image from the ultrasound signal transmitted from the probe; A photographing unit which photographs the object and recognizes movement information of the probe; An image deforming unit deforming the ultrasound image by using movement information of the probe transmitted from the photographing unit; And a display configured to display the ultrasound image transmitted from the image transformation unit.

본 발명의 실시예에 따른 증강현실 초음파 영상 형성 방법은, 대상체의 초음파 영상을 형성하는 단계; 상기 대상체를 촬영하고, 상기 대상체 상의 프로브의 이동 정보를 인식하는 단계; 상기 프로브의 이동 정보에 따라 상기 대상체의 초음파 영상을 변형하는 단계; 및 상기 변형된 초음파 영상을 표시하는 단계;를 포함한다.A method for forming an augmented reality ultrasound image according to an embodiment of the present invention includes: forming an ultrasound image of an object; Photographing the object and recognizing movement information of a probe on the object; Modifying an ultrasound image of the object according to movement information of the probe; And displaying the modified ultrasound image.

본 발명의 실시예들은 프로브의 위치 이동에 따라 초음파 영상을 회전, 확대, 축소함으로써 사실적인 초음파 영상을 실시간으로 제공할 수 있다.Embodiments of the present invention can provide a realistic ultrasound image in real time by rotating, enlarging and reducing the ultrasound image in accordance with the positional movement of the probe.

본 발명의 실시예들은 환자의 영상과 초음파 영상을 정합시켜 환자가 직관적으로 진단결과를 인지할 수 있는 증강현실 초음파 영상을 제공할 수 있다. Embodiments of the present invention may provide an augmented reality ultrasound image in which the patient can intuitively recognize the diagnosis result by matching the image of the patient with the ultrasound image.

이하 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 증강현실 초음파 시스템 및 증강현실 초음파 영상 형성 방법에 대해 상세히 설명한다.Hereinafter, an augmented reality ultrasound system and an augmented reality ultrasound image forming method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 증강현실 초음파 시스템(100)을 보인 블록도이다.1 is a block diagram showing an augmented reality ultrasound system 100 according to an embodiment of the present invention.

도 1을 참조하면, 대상체에 초음파 신호를 전달하고 상기 대상체로부터 반사된 초음파 신호를 수신하는 프로브(101), 프로브(101)로부터 전달되는 초음파 신호로부터 초음파 영상을 생성하는 영상 생성부(103), 상기 대상체를 촬영하고 프로브(101)의 이동 정보를 인식하는 촬영부(105), 촬영부(105)로부터 전달되는 프로브(101)의 이동 정보를 이용하여 상기 초음파 영상을 변형하는 영상 변형부(107) 및, 영상 변형부(107)로부터 전달되는 상기 초음파 영상을 표시하는 디스플레이(109)를 포함하는 증강현실 초음파 시스템(100)이 도시된다. Referring to FIG. 1, a probe 101 for transmitting an ultrasound signal to an object and receiving an ultrasound signal reflected from the object, an image generator 103 for generating an ultrasound image from the ultrasound signal transmitted from the probe 101, An image deformer 107 that deforms the ultrasound image by using the photographing unit 105 that captures the object and recognizes the movement information of the probe 101, and the movement information of the probe 101 transmitted from the photographing unit 105. And an augmented reality ultrasound system 100 including a display 109 for displaying the ultrasound image transmitted from the image modifying unit 107.

프로브(101)는 대상체와 접촉하는 부분에 프로브(101)의 위치 이동에 따라 연동하는 이동 정보 신호를 송출할 수 있다. 이를 위해 바람직하게는 프로브(101)에 바코드를 형성할 수 있다. 다만, 프로브(101)의 움직임을 감지할 수 있는 소자 이면 어떤 소자이든 상기 바코드를 대신하여 형성될 수 있음에 유의한다.The probe 101 may transmit a movement information signal that cooperates with the position movement of the probe 101 to a portion in contact with the object. To this end, a barcode may be formed on the probe 101. However, it should be noted that any device may be formed in place of the barcode as long as the device can detect the movement of the probe 101.

촬영부(105)는 상기 대상체에 가시광선 또는 적외선을 조사하는 비디오 카메라 등이 이용될 수 있다. 촬영부(105)에서 전송되는 영상은 대상체의 실시간 영상 또는 정지 영상이다.The photographing unit 105 may be a video camera for irradiating visible or infrared light to the object. The image transmitted from the photographing unit 105 is a real time image or a still image of the object.

촬영부(105)는 대상체를 촬영하는 동시에 프로브(101)가 이동하는 이동 정보, 즉 프로브(101)의 위치, 각도 및 거리 중 적어도 하나에 대한 정보를 인식 추출하여 이를 영상 변형부(107)로 전송한다. The photographing unit 105 captures an object and simultaneously extracts and extracts movement information that the probe 101 moves, that is, information on at least one of the position, angle, and distance of the probe 101, and then extracts the information into the image modifying unit 107. send.

영상 변형부(107)는 프로브(101)의 이동 정보에 따라 상기 초음파 영상을 회전, 확대 및 축소 중 적어도 하나의 변형을 실행한다. The image deformer 107 performs at least one modification of the ultrasound image by rotating, enlarging and reducing the ultrasound image according to the movement information of the probe 101.

도 2a 내지 도 2c는 바코드를 가지는 프로브로부터 전송되는 초음파 영상을 보이는 도면이다.2A to 2C are diagrams illustrating an ultrasound image transmitted from a probe having a barcode.

도 2a는 바코드에 변형이 없을 때 초음파 영상을 보이는 사진이다. 하지만 프로브가 이동함에 따라 도 2b 및 도 2c에서 보이는 바와 같이 초음파 영상이 변형될 수 있다. 도 2b를 참조하면, 바코드가 오른쪽으로 기울어지고 좌우 크기의 확대가 있는 것을 보이며 이에 따라 초음파 영상도 오른쪽으로 소정 각도 회전되고 확대된 것을 볼 수 있다. 도 2c는 도 2b에 대해 바코드의 크기 축소가 일어난 경우이므로 초음파 영상은 동일한 회전축을 가지나 좌우 상하로 크기가 모두 축소된 것을 볼 수 있다. Figure 2a is a photograph showing the ultrasound image when there is no deformation in the barcode. However, as the probe moves, the ultrasound image may be modified as shown in FIGS. 2B and 2C. Referring to FIG. 2B, it can be seen that the barcode is inclined to the right side and there is an enlargement of the left and right sizes, and accordingly, the ultrasound image is rotated a predetermined angle to the right side and enlarged. In FIG. 2C, since the size reduction of the barcode occurs in FIG. 2B, the ultrasound image may have the same rotation axis, but may be reduced in size from left to right.

즉, 본 발명의 일 실시예에 따른 증강현실 초음파 시스템은 프로브의 이동에 따라 바코드와 같이 변형을 바로 인식하고 이동 정보를 전송할 수 있는 소자를 구 비하여 초음파 영상을 프로브 이동에 따라 실시간으로 변형함으로써 현실감 있는 증강현실 초음파 영상을 제공할 수 있다. That is, the augmented reality ultrasound system according to an embodiment of the present invention is equipped with a device that can immediately recognize the deformation as a bar code and transmit movement information in accordance with the movement of the probe to transform the ultrasound image in real time according to the movement of the probe Augmented reality ultrasound image can be provided.

도 3a 및 도 3b는 프로브의 영상과 초음파 영상을 매칭시킨 도면이다.3A and 3B are diagrams of matching an image of an probe with an ultrasound image.

도 3a를 참조하면, 도 2a 내지 도 2c에 도시된 바와 같이 프로브의 이동에 따라 변형되는 초음파 영상을 현실감있게 표시할 수 있도록 프로브의 영상을 합성하여 초음파 영상에 정합시켜 디스플레이(109)에 표시할 수 있다. 도 3a에 비해 도 3b는 프로브의 이동에 따라 바코드가 오른쪽으로 회전하고 축소된 것을 보인다. 그리고 바코드의 변형 신호에 연동하여 프로브의 영상을 오른쪽으로 회전하고 축소된 영상으로 형성하여 초음파 영상에 매칭시킬 수 있다. 여기서, 초음파 영상은 이미 도 2에서 도시된 바와 같이 변형 처리가 되어 있음을 가정한다. 이와 같은 증강현실 영상 처리 기술로부터 초음파 영상의 현실감이 더욱 강화될 수 있다. 다만, 초음파 영상의 변형은 일반적으로 확대, 축소 및 회전 중 적어도 하나가 적용될 수 있으나 이외에도 피스톤 영상의 합성, 바코드 영상의 합성, 진단자 영상의 합성 등 다양한 형태의 변형이 일어날 수 있음에 유의해야 한다.Referring to FIG. 3A, as shown in FIGS. 2A to 2C, an image of a probe may be synthesized and matched with an ultrasound image to be displayed on the display 109 so that an ultrasound image that is deformed according to the movement of the probe may be realistically displayed. Can be. 3b shows that the barcode is rotated to the right and shrunk as the probe moves. In addition, the probe image may be rotated to the right in association with the bar code distortion signal, and formed into a reduced image to be matched with the ultrasound image. Here, it is assumed that the ultrasound image is already deformed as shown in FIG. 2. Such augmented reality image processing technology may further enhance the reality of the ultrasound image. However, the deformation of the ultrasound image may be generally applied to at least one of magnification, reduction, and rotation. In addition, it should be noted that various forms of deformation, such as synthesis of a piston image, synthesis of a barcode image, and synthesis of a diagnostic image, may occur. .

또한, 디스플레이(109)는 촬영부(105)에서 전송되는 상기 대상체의 영상에 영상 변형부(107)로부터 전달되는 상기 초음파 영상을 합성하여 표시할 수 있다. 또는 디스플레이(109)에는 초음파 영상만을 표시하고, 별도로 촬영부(105)에서 전송되는 영상에 영상 변형부(107)로부터 전달되는 상기 초음파 영상을 합성하여 표시하는 부가 디스플레이(미도시)를 더 포함할 수도 있을 것이다. 즉, 디스플레이(109)의 종류와 개수에는 어떠한 한정도 없음에 유의해야 하며, 본 발명의 실시 예에 따른 증강현실 초음파 시스템(100)과 같이 프로브(101)의 이동에 따라 변형되는 초음파 영상이 표시될 수 있으면 된다.In addition, the display 109 may synthesize and display the ultrasound image transmitted from the image transformation unit 107 to the image of the object transmitted from the photographing unit 105. Alternatively, the display 109 may further include an additional display (not shown) which displays only an ultrasound image and synthesizes and displays the ultrasound image transmitted from the image modifying unit 107 to an image transmitted from the photographing unit 105. Could be That is, it should be noted that there is no limitation on the type and number of the display 109, and as shown in the augmented reality ultrasound system 100 according to an embodiment of the present invention, an ultrasound image that is deformed according to the movement of the probe 101 is displayed. If you can.

도 4는 촬영부에서 전송되는 대상체의 영상과 영상 변형부에서 전송되는 변형된 초음파 영상을 합성한 도면이다.FIG. 4 is a diagram illustrating a synthesis of an image of an object transmitted from a photographing unit and a modified ultrasound image transmitted from an image deforming unit.

도 4를 참조하면, 대상체인 환자의 복부 부분에 변형된 초음파 영상이 합성되어 정합되어 있음을 볼 수 있다. 디스플레이(109)를 보는 환자는 초음파 영상이 나타내는 대상체 부위를 직관적으로 이해할 수 있다. Referring to FIG. 4, it can be seen that the modified ultrasound image is synthesized and matched to the abdomen of the patient as a subject. The patient looking at the display 109 can intuitively understand the object region indicated by the ultrasound image.

본 발명의 실시예에 따른 증강현실 초음파 영상 형성 방법을 도 5를 참조하여 설명한다. 도 5는 본 발명의 일 실시예에 따른 증강현실 초음파 영상 형성 방법의 플로우 차트이다.An augmented reality ultrasound image forming method according to an embodiment of the present invention will be described with reference to FIG. 5. 5 is a flowchart of a method of forming an augmented reality ultrasound image according to an exemplary embodiment.

먼저 대상체의 초음파 영상을 형성한다(S10). 초음파 신호를 송수신하는 프로브는 바람직하게 바코드와 같이 프로브의 이동 정보를 인식하는 소자일 수 있다.First, an ultrasound image of an object is formed (S10). The probe for transmitting and receiving the ultrasonic signal may be a device that recognizes movement information of the probe, such as a barcode.

그리고 상기 대상체를 촬영하고, 상기 대상체 상의 프로브의 이동 정보를 인식한다(S12). 여기서, 상기 대상체를 촬영한 영상은 대상체에 가시광선 또는 적외선을 조사하여 촬영한 실시간 영상 또는 정지 영상일 수 있다. 상기 프로브의 이동 정보는 상기 프로브의 위치, 각도 및 거리 중 적어도 하나에 대한 정보이다. The object is photographed, and movement information of the probe on the object is recognized (S12). The image photographing the object may be a real time image or a still image photographed by irradiating visible or infrared light to the object. The movement information of the probe is information about at least one of the position, angle, and distance of the probe.

다음으로, 상기 프로브의 이동 정보에 따라 상기 대상체의 초음파 영상을 회전, 확대 및 축소 중 적어도 하나의 변형을 실행한다(S14). 마지막으로, 상기 변형된 초음파 영상을 표시한다(S16). 또는 상기 대상체를 촬영한 영상에 상기 변형된 초음파 영상을 합성하여 표시하는 단계(미도시)를 더 포함하여 증강현실 초음파 영 상을 표시할 수도 있다.Next, at least one deformation of the ultrasound image of the object is rotated, enlarged and reduced according to the movement information of the probe (S14). Finally, the modified ultrasound image is displayed (S16). Alternatively, the method may further include synthesizing and displaying the modified ultrasound image on the captured image of the object (not shown) to display the augmented reality ultrasound image.

따라서, 본 발명의 일 실시예에 따른 증강현실 초음파 시스템 및 초음파 영상 형성 방법은 프로브의 이동에 따른 실시간 초음파 영상 변형이 가능하여 생동감있는 초음파 영상을 제공할 수 있다. 또한 프로브의 영상 또는 환자의 영상 등을 합성하여 표시함으로써 보다 직관적으로 초음파 영상을 이해할 수 있고 신뢰성이 높은 진단결과를 전달할 수 있다.Therefore, the augmented reality ultrasound system and the ultrasound image forming method according to an embodiment of the present invention can provide a live ultrasound image by changing the real-time ultrasound image according to the movement of the probe. In addition, by synthesizing and displaying images of probes or images of patients, ultrasound images may be more intuitively understood and reliable diagnostic results may be delivered.

또한 본 발명의 일 실시예에 따른 증강현실 초음파 영상 형성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구 성될 수 있으며, 그 역도 마찬가지이다.In addition, the augmented reality ultrasound image forming method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

도 1은 본 발명의 일 실시예에 따른 증강현실 초음파 시스템을 보인 블록도,1 is a block diagram showing an augmented reality ultrasound system according to an embodiment of the present invention,

도 2는 바코드를 가지는 프로브로부터 전송되는 초음파 영상을 보이는 도면,2 is a view showing an ultrasound image transmitted from a probe having a barcode;

도 3은 프로브의 영상과 초음파 영상을 매칭시킨 도면,3 is a diagram matching an image of an probe and an ultrasound image;

도 4는 촬영부에서 전송되는 대상체의 영상과 영상 변형부에서 전송되는 변형된 초음파 영상을 합성한 도면,4 is a view showing a composite of an image of an object transmitted from a photographing unit and a modified ultrasound image transmitted from an image deforming unit;

도 5는 본 발명의 일 실시예에 따른 증강현실 초음파 영상 형성 방법의 플로우 차트.5 is a flow chart of a method for forming an augmented reality ultrasound image according to an embodiment of the present invention.

Claims (19)

대상체에 초음파 신호를 전달하고 상기 대상체로부터 반사된 초음파 신호를 수신하는 프로브;A probe transmitting an ultrasound signal to an object and receiving an ultrasound signal reflected from the object; 상기 프로브로부터 전달되는 초음파 신호로부터 초음파 영상을 생성하는 영상 생성부;An image generator configured to generate an ultrasound image from the ultrasound signal transmitted from the probe; 상기 대상체 및 상기 프로브를 촬영하고, 상기 촬영된 프로브의 영상을 이용하여 상기 프로브의 움직임을 나타내는 상기 프로브의 이동 정보를 인식하는 촬영부;A photographing unit which photographs the object and the probe and recognizes movement information of the probe indicating the movement of the probe by using the photographed image of the probe; 상기 촬영부로부터 전달되는 상기 프로브의 이동 정보를 이용하여 상기 프로브의 움직임이 반영되도록 상기 초음파 영상을 변형하는 영상 변형부; 및An image modifying unit configured to transform the ultrasound image to reflect movement of the probe by using movement information of the probe transmitted from the photographing unit; And 상기 영상 변형부로부터 전달되는 상기 초음파 영상을 표시하는 디스플레이;를 포함하는 증강현실 초음파 시스템.And a display for displaying the ultrasound image transmitted from the image transformation unit. 제1항에 있어서,The method of claim 1, 상기 영상 변형부는 상기 초음파 영상을 회전, 확대 및 축소 중 적어도 하나의 변형을 실행하는 증강현실 초음파 시스템.And the image deforming part to perform at least one deformation of the ultrasound image by rotating, enlarging and reducing the ultrasound image. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 영상 변형부는 상기 초음파 영상에 상기 프로브의 영상을 합성하여 정합하는 증강현실 초음파 시스템.The image transformation unit synthesizes and matches the image of the probe to the ultrasound image. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 영상 변형부는 상기 초음파 영상에 상기 대상체의 영상을 합성하여 정합하는 증강현실 초음파 시스템.The image transformation unit synthesizes and matches the image of the object with the ultrasound image. 제3항에 있어서,The method of claim 3, 상기 영상 변형부는 상기 초음파 영상에 상기 대상체의 영상을 합성하여 정합하는 증강현실 초음파 시스템.The image transformation unit synthesizes and matches the image of the object with the ultrasound image. 제1항에 있어서,The method of claim 1, 상기 촬영부에서 전송되는 상기 대상체의 영상에 상기 프로브의 영상 또는 상기 영상 변형부로부터 전달되는 상기 초음파 영상을 합성하여 표시하는 부가 디스플레이를 더 포함하는 증강현실 초음파 시스템.And an additional display for synthesizing and displaying the ultrasound image transmitted from the image of the probe or the image transforming unit to the image of the object transmitted from the photographing unit. 제1항에 있어서,The method of claim 1, 상기 촬영부는 실시간 영상 또는 정지 영상을 전송하는 증강현실 초음파 시스템.The imaging unit augmented reality ultrasound system for transmitting a real-time image or a still image. 제1항에 있어서,The method of claim 1, 상기 촬영부는 상기 대상체에 가시광선 또는 적외선을 조사하는 증강현실 초음파 시스템.The imaging unit augmented reality ultrasound system for irradiating visible or infrared light to the object. 제1항에 있어서,The method of claim 1, 상기 프로브는 바코드를 포함하고, The probe comprises a barcode, 상기 촬영부는 상기 프로브의 바코드를 촬영하고, 상기 촬영된 프로브의 바코드의 영상을 이용하여 상기 프로브의 이동 정보를 인식하는 증강현실 초음파 시스템.The photographing unit photographs the barcode of the probe, and augmented reality ultrasound system for recognizing the movement information of the probe using the image of the barcode of the probe. 제1항에 있어서,The method of claim 1, 상기 프로브의 이동 정보는 상기 프로브의 위치, 각도 및 거리 중 적어도 하나에 대한 정보인 증강현실 초음파 시스템.The movement information of the probe is augmented reality ultrasound system is information on at least one of the position, angle and distance of the probe. 대상체의 초음파 영상을 형성하는 단계;Forming an ultrasound image of the object; 상기 대상체 및 상기 대상체 상의 프로브를 촬영하고, 상기 대상체 상의 프로브의 상기 촬영된 프로브의 영상을 이용하여 상기 프로브의 움직임을 나타내는 상기 프로브의 이동 정보를 인식하는 단계;Photographing the object and the probe on the object, and recognizing movement information of the probe indicating the movement of the probe using an image of the photographed probe of the probe on the object; 상기 프로브의 이동 정보에 따라 상기 프로브의 움직임이 반영되도록 상기 대상체의 초음파 영상을 변형하는 단계; 및Modifying an ultrasound image of the object to reflect the movement of the probe according to the movement information of the probe; And 상기 변형된 초음파 영상을 표시하는 단계;Displaying the modified ultrasound image; 를 포함하는 증강현실 초음파 영상 형성 방법.Augmented reality ultrasound image forming method comprising a. 제11항에 있어서,The method of claim 11, 상기 대상체를 촬영한 영상에 상기 프로브 영상 또는 상기 변형된 초음파 영상을 합성하여 표시하는 단계를 더 포함하는 증강현실 초음파 영상 형성 방법.And synthesizing the probe image or the modified ultrasound image on the captured image of the object and displaying the synthesized ultrasound image. 제12항에 있어서,The method of claim 12, 상기 대상체를 촬영한 영상은 실시간 영상 또는 정지 영상인 증강현실 초음파 영상 형성 방법.The method of claim 1, wherein the captured image is a real time image or a still image. 제11항에 있어서,The method of claim 11, 상기 대상체를 촬영하고, 상기 대상체 상의 프로브의 이동 정보를 인식하는 단계에서, 상기 대상체에 가시광선 또는 적외선을 조사하여 상기 대상체를 촬영하는 증강현실 초음파 영상 형성 방법.And a step of photographing the object and recognizing movement information of the probe on the object. 제11항에 있어서,The method of claim 11, 상기 프로브는 바코드를 포함하고, The probe comprises a barcode, 상기 인식하는 단계는 상기 프로브의 바코드를 촬영하고, 상기 촬영된 프로브의 바코드의 영상을 이용하여 상기 프로브의 이동 정보를 인식하는 증강현실 초음파 영상 형성 방법.The recognizing may include photographing a barcode of the probe and recognizing movement information of the probe by using the image of the barcode of the probe. 제11항에 있어서,The method of claim 11, 상기 프로브의 이동 정보는 상기 프로브의 위치, 각도 및 거리 중 적어도 하나에 대한 정보인 증강현실 초음파 영상 형성 방법.The method of claim 1, wherein the movement information of the probe is information about at least one of a position, an angle, and a distance of the probe. 제11항에 있어서,The method of claim 11, 상기 프로브의 이동 정보에 따라 상기 대상체의 초음파 영상을 변형하는 단계에서, 상기 초음파 영상을 회전, 확대 및 축소 중 적어도 하나의 변형을 실행하는 증강현실 초음파 영상 형성 방법.And transforming the ultrasound image of the object according to the movement information of the probe, and performing at least one deformation of the ultrasound image by rotating, enlarging and reducing the ultrasound image. 제11항에 있어서,The method of claim 11, 상기 프로브의 이동 정보에 따라 상기 대상체의 초음파 영상을 변형하는 단계에서, 상기 초음파 영상에 상기 프로브의 영상을 합성하여 정합하는 증강현실 초음파 영상 형성 방법.And a step of deforming the ultrasound image of the object according to the movement information of the probe, and synthesizing and matching the probe image with the ultrasound image. 제11항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 11 to 18.
KR1020090121149A 2009-12-08 2009-12-08 Augmented reality ultrasonograph system and image forming method of the same KR101113219B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090121149A KR101113219B1 (en) 2009-12-08 2009-12-08 Augmented reality ultrasonograph system and image forming method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090121149A KR101113219B1 (en) 2009-12-08 2009-12-08 Augmented reality ultrasonograph system and image forming method of the same

Publications (2)

Publication Number Publication Date
KR20110064501A KR20110064501A (en) 2011-06-15
KR101113219B1 true KR101113219B1 (en) 2012-02-20

Family

ID=44397933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121149A KR101113219B1 (en) 2009-12-08 2009-12-08 Augmented reality ultrasonograph system and image forming method of the same

Country Status (1)

Country Link
KR (1) KR101113219B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093877A (en) * 2008-02-29 2009-09-02 바이오센스 웹스터 인코포레이티드 Location system with virtual touch screen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093877A (en) * 2008-02-29 2009-09-02 바이오센스 웹스터 인코포레이티드 Location system with virtual touch screen

Also Published As

Publication number Publication date
KR20110064501A (en) 2011-06-15

Similar Documents

Publication Publication Date Title
US6764449B2 (en) Method and apparatus for enabling a biopsy needle to be observed
US10893850B2 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
EP1523940B1 (en) Ultrasound diagnosis apparatus
US7033320B2 (en) Extended volume ultrasound data acquisition
KR101175497B1 (en) Ultrasound system and method for providing ultrasound spatial compound iamge
JP5530592B2 (en) Storage method of imaging parameters
US9474505B2 (en) Patient-probe-operator tracking method and apparatus for ultrasound imaging systems
US20130079627A1 (en) Augmented reality ultrasound system and image forming method
CN113260313A (en) Method and apparatus for ultrasound data collection
JP2006217939A5 (en)
JP2009022342A (en) Ultrasonic diagnostic system and image processing program
JP5160825B2 (en) Ultrasonic diagnostic apparatus and image processing program
KR102258800B1 (en) Ultrasound diagnosis apparatus and mehtod thereof
JP2011104137A (en) Ultrasonic diagnostic system
JPWO2018051578A1 (en) Ultrasonic diagnostic apparatus and control method of ultrasonic diagnostic apparatus
CN109923432A (en) Utilize the system and method for the feedback and tracking intervention instrument about tracking reliability
US6306092B1 (en) Method and apparatus for calibrating rotational offsets in ultrasound transducer scans
US11324487B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
KR101113219B1 (en) Augmented reality ultrasonograph system and image forming method of the same
KR100969541B1 (en) System and method for providing future facial image of fetus
KR100875620B1 (en) Ultrasound Imaging Systems and Methods
JP4847126B2 (en) Ultrasonic diagnostic equipment
KR20070105607A (en) Ultrasound system and method for forming ultrasound image
US11877893B2 (en) Providing a three dimensional ultrasound image
WO2022196088A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180111

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191226

Year of fee payment: 9