KR20200068880A

KR20200068880A - Untrasonic Imaging Apparatus having acupuncture guiding function

Info

Publication number: KR20200068880A
Application number: KR1020180155772A
Authority: KR
Inventors: 이상훈; 전영주; 전민호; 김대혁; 김소영
Original assignee: 한국 한의학 연구원
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2020-06-16
Also published as: WO2020116991A1; KR102188176B1

Abstract

Disclosed is an image display control technique of an ultrasonic imaging device, which comprises: a storage part; an ultrasonic signal processing part; a user interface part; a needle position detection part; and a procedure risk warning part. Risk area information is prepared and stored in advance for each acupuncture point. A needle position is tracked by a positioning system. When an acupuncture point is selected, risk area information corresponding to the selected acupuncture point is extracted from the stored risk area information, and an ultrasound image is recognized with the help of the risk area information to determine the risk area in an actual image. The determined risk area information is stored, and when the needle position approaches the risk area, a warning is given.

Description

Ultrasonic imaging device with acupuncture guide function{Untrasonic Imaging Apparatus having acupuncture guiding function}

초음파 영상 기기의 영상 표시 제어 기술이 개시된다.Disclosed is an image display control technology of an ultrasonic imaging device.

미국 특허 제9,292,654호는 지침(tutorial) 정보를 제공하는 초음파 영상 기기를 개시하고 있다. 초음파 영상 기기의 각 조작 단계별로 텍스트, 이미지, 그리고 동영상을 포함하는 지침 정보가 제공된다. 추가로, 각 조작 단계에 해당하는 설정 상태(setting status)의 기준 파라메터들이 준비되고, 이들이 조작 단계에 맞추어 설정된다. U.S. Patent No. 9,292,654 discloses an ultrasound imaging device that provides tutorial information. Instruction information including text, images, and videos is provided for each operation step of the ultrasound imaging apparatus. In addition, reference parameters of a setting status corresponding to each operation step are prepared, and they are set according to the operation step.

미국 공개특허공보 제2014/0039304A9호는 초음파 영상기기를 도플러 모드로 구동하여 혈류를 검출하여 혈류의 위치 정보를 생성하고, 니들이 혈관에 근접할 때 경고하는 기술을 개시하고 있다. US Patent Publication No. 2014/0039304A9 discloses a technique that detects blood flow by driving an ultrasound imaging device in a Doppler mode, generates location information of the blood flow, and warns when the needle approaches the blood vessel.

2005년~2010년 통계에 따르면, 침 시술 부위에는 신경이나 혈관이 비교적 많이 분포되어 있어 침 시술시 발생하는 의료 사고가 전체 한의 의료사고에서 40%가 넘는 비율로 발생하고 있다. 침 시술시 발생하는 의료 사고 중 부작용은 염증, 기흉, 신경 손상, 혈종 등으로 정확한 경혈 위치를 찾지 못해 발생한 것이 많다. 이에 따라 초음파 영상 기기를 이용하여 시술하는 실무가 보고되고 있으나, 이러한 경혈 침 시술에 특화된 초음파 영상 기기는 제공되고 있지 않다.According to statistics from 2005 to 2010, a large amount of nerves or blood vessels are distributed in the acupuncture site, resulting in medical accidents occurring during acupuncture surgery in more than 40% of all medical accidents. Among medical accidents that occur during acupuncture, side effects are often caused by inflammation, pneumothorax, nerve damage, and hematoma due to failure to find the correct acupuncture points. Accordingly, the practice of using an ultrasound imaging device has been reported, but an ultrasound imaging device specialized for such acupuncture acupuncture is not provided.

한의 분야의 경혈 침 시술에 적합한 초음파 영상 기기가 제안된다. 침이 시술되는 경혈 부위별로 초음파 영상 기기의 시술 경험이 많지 않은 사용자들에게 적합한 지침 정보가 제공된다. 경혈 침 시술시 위험 영역으로 침이 근접하면 초음파 영상 기기가 이를 인식하여 경고를 제공한다. 나아가 초음파 영상기기가 침이 위험 영역으로 진입하는 것을 좀 더 빠르고 신뢰성 있게 검출할 수 있는 방법이 제시된다.An ultrasound imaging apparatus suitable for acupuncture acupuncture in the field of Korean medicine is proposed. Guidance information suitable for users who do not have much experience with ultrasound imaging equipment is provided for each acupuncture point where acupuncture is performed. When acupuncture points are approached as a dangerous area during acupuncture points, an ultrasound imaging device recognizes this and provides a warning. In addition, a method is proposed in which an ultrasound imaging device can detect a needle's entry into a dangerous area more quickly and reliably.

제안된 발명의 일 양상에 따르면, 경혈 침 시술 부위 별로 위험 영역 정보가 미리 준비되어 저장된다. 침의 위치는 측위 시스템에 의해 추적된다. 경혈 침 시술 부위가 선택되면, 저장된 위험 영역 정보 중 선택된 경혈에 해당하는 위험 영역 정보가 추출되고, 초음파 영상을 이 위험 영역 정보의 도움을 받아 인식하여 실제 영상에서 위험 영역을 결정한다. 결정된 위험 영역 정보는 저장되고, 침 위치가 위험 영역에 근접하면 경고한다. According to one aspect of the proposed invention, risk zone information is prepared and stored in advance for each acupuncture points. The position of the needle is tracked by the positioning system. When the acupuncture points are selected, the risk area information corresponding to the selected acupuncture points is extracted from the stored risk area information, and the ultrasound image is recognized with the help of the risk area information to determine the risk area in the actual image. The determined danger zone information is stored, and alerts when the needle position approaches the danger zone.

추가적인 양상에 따르면, 화면에서 보이는 초음파 영상의 범위를 벗어난 경우에도 침 끝의 위치가 위험 영역에 근접할 경우 경고를 출력할 수 있다.According to an additional aspect, a warning may be output when the position of the tip of the needle is close to the dangerous area even if it is outside the range of the ultrasound image displayed on the screen.

제안된 발명에 따르면, 경혈 침 시술시 침 시술에 따른 위험을 줄일 수 있다. 나아가, 위험 영역 진입의 검출을 신속하고 정확하게 처리할 수 있어 실시간 처리에 유리하다.According to the proposed invention, it is possible to reduce the risk of acupuncture during acupuncture. Furthermore, it is advantageous for real-time processing because it is possible to quickly and accurately detect the danger zone entry.

도 1은 일 실시예에 따른 경혈 침 시술 시스템의 구성을 도시한다.
도 2는 일 실시예에 따른 프로브의 구성을 도시한 블록도이다.
도3은 일 실시예에 따른 경혈 침 시술용 초음파 영상 장치의 구성을 도시한 블록도이다.
도 4는 또 다른 실시예에 따른 침 위치 검출부의 구성을 도시한 블럭도이다.
도 5는 또 다른 실시예에 따른 시술 위험 경고부의 구성을 도시한 블럭도이다.
도 6은 일 실시예에 따른 초음파 영상 표시 제어 방법의 구성을 도시한 흐름도이다.
도 7은 센서 기반 위치 산출 단계(661)의 일 실시예의 구성을 도시한 흐름도이다.Figure 1 shows the configuration of the acupuncture acupuncture surgery system according to an embodiment.
2 is a block diagram showing the configuration of a probe according to an embodiment.
Figure 3 is a block diagram showing the configuration of an ultrasound imaging apparatus for acupuncture acupuncture according to an embodiment.
4 is a block diagram showing the configuration of the needle position detection unit according to another embodiment.
5 is a block diagram showing the configuration of a surgical risk warning unit according to another embodiment.
6 is a flowchart illustrating a configuration of an ultrasound image display control method according to an embodiment.
7 is a flow chart showing the configuration of one embodiment of the sensor-based position calculation step 661.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 다양한 조합이 가능한 것으로 이해된다. 즉, 도면은 비록 하나의 실시예로서 도시되었지만 하나의 실시예로 한정하여 이해되어서는 안 된다. 이하의 설명에서 별개의 선택적인 또는 추가적인 양상으로 설명되는 바와 같이, 각 블록들은 필수적인 블록들에 그렇지 않은 블록들이 한 개, 두 개 혹은 그 이상의 개수의 조합이 부가되어 다양한 실시예들을 표현하는 것으로 이해되어야 한다. The foregoing and additional aspects are embodied through the embodiments described with reference to the accompanying drawings. It is understood that various combinations of elements in each embodiment are possible within the embodiment, unless otherwise stated or contradictory to each other. That is, although the drawings are shown as one embodiment, it should not be understood as being limited to one embodiment. As described in the following description as a separate optional or additional aspect, each block is understood to represent various embodiments by adding a combination of one, two, or more numbers of blocks that are not necessary to essential blocks. Should be.

도 1은 일 실시예에 따른 경혈 침 시술 시스템의 구성을 도시한다. 도시한 바와 같이, 일 실시예에 따른 경혈 침 시술 시스템은 초음파 영상 장치(50)와, 프로브(10) 및 침(30)을 포함한다. 시술자는 경혈을 선택하고, 초음파 영상 장치(50)의 본체는 조작부를 통한 사용자의 조작에 응답하여 해당 경혈의 침 시술 방법을 설명하는 문서, 해당 경혈 부위의 해부학적 구조를 보여주는 2D 혹은 3D 영상, 해당 경혈 부위의 침 시술 과정을 보여주는 그래픽 애니메이션 혹은 동영상을 화면에 출력한다. 일 양상에 따라, 침(30)의 위치를 측위하는 측위 시스템이 탑재된다. 초음파 영상 장치(50)의 화면에는 프로브(10)에 의해 스캔된 영상에 측위 시스템에 의해 검출된 침(30)의 위치가 표시된다. Figure 1 shows the configuration of the acupuncture acupuncture surgery system according to an embodiment. As shown, the acupuncture needle acupuncture system according to an embodiment includes an ultrasound imaging apparatus 50, a probe 10, and a needle 30. The operator selects acupuncture points, and the body of the ultrasound imaging apparatus 50 is a document explaining acupuncture method of the corresponding acupuncture points in response to a user's manipulation through the operation portion, a 2D or 3D image showing the anatomical structure of the acupuncture points, A graphic animation or video showing the acupuncture procedure of the corresponding acupuncture points is displayed on the screen. According to one aspect, a positioning system for positioning the needle 30 is mounted. On the screen of the ultrasound imaging apparatus 50, the position of the needle 30 detected by the positioning system is displayed on the image scanned by the probe 10.

도 2는 일 실시예에 따른 프로브의 구성을 도시한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 프로브는 초음파 소자 어레이(250) 및 이 초음파 소자 어레이(250)를 구동하는 초음파 소자 구동부(225)를 포함한다. 추가적으로, 일 실시예에 따른 프로브는 가속도 센서(230) 및 가속도 센서 구동부(223)를 더 포함할 수 있다. 가속도 센서(230)는 예를 들어 자이로 센서일 수 있다. 가속도 센서를 이용하여 프로브의 절대 위치가 산출될 수 있다. 추가적으로, 일 실시예에 따른 프로브는 자기 위치 센서들(210-1,210-2,…,210-n)과, 이들을 구동하는 자기센서 구동부(221)를 더 포함할 수 있다. 일 실시예에서, 침의 측위 시스템은 자기력 기반 측위 시스템이다. 침은 자화되고, 프로브에 구비된 복수의 자기 위치 센서들이 자기 필드의 세기를 측정하여 자화된 침의 위치를 산출한다. 또 다른 실시예에서, 침의 측위 시스템은 RF 기반 측위 시스템이다. 침에 RF 송신기가 고정되고, 프로브에 구비된 복수의 수신기들이 RF 필드의 세기를 측정하여 침의 위치를 산출한다. 제안된 발명은 특정한 측위 시스템에 한정되지 않으며, 초음파 영상에 기반하지 않은 공지된 측위 시스템 중 하나가 될 수 있다. 2 is a block diagram showing the configuration of a probe according to an embodiment. As illustrated, a probe according to an embodiment includes an ultrasonic element array 250 and an ultrasonic element driver 225 driving the ultrasonic element array 250. Additionally, the probe according to an embodiment may further include an acceleration sensor 230 and an acceleration sensor driver 223. The acceleration sensor 230 may be, for example, a gyro sensor. The absolute position of the probe can be calculated using an acceleration sensor. Additionally, the probe according to an embodiment may further include magnetic position sensors 210-1, 210-2, ..., 210-n, and a magnetic sensor driver 221 for driving them. In one embodiment, the needle positioning system is a magnetic force based positioning system. The needle is magnetized, and a plurality of magnetic position sensors provided in the probe measure the intensity of the magnetic field to calculate the position of the magnetized needle. In another embodiment, the saliva positioning system is an RF based positioning system. The RF transmitter is fixed to the needle, and a plurality of receivers provided in the probe measure the intensity of the RF field to calculate the position of the needle. The proposed invention is not limited to a specific positioning system, and may be one of known positioning systems not based on ultrasound images.

도3은 일 실시예에 따른 경혈 침 시술용 초음파 영상 장치의 구성을 도시한 블록도이다. 경혈 침 시술용 초음파 영상 장치는 경혈 침 시술시 시술 부위의 생체 조직의 영상을 제공한다. 도시된 바와 같이, 일 실시예에 따른 경혈 침 시술용 초음파 영상 장치는 초음파 신호처리부(370)와, 사용자 인터페이스부(390)와, 침 위치 검출부(330)와, 그리고 시술 위험 경고부(310)를 포함한다. 도시된 실시예에 있어서, 초음파 신호처리부(370), 사용자 인터페이스부(390)와, 침 위치 검출부(330)와, 그리고 시술 위험 경고부(310)는 그 전부 혹은 일부에 있어서 마이크로프로세서, 디지털 신호처리 프로세서와 같은 하나 혹은 복수의 계산 요소에 의해 실행되는 프로그램 명령어들로 구현될 수 있다. 컴퓨팅 요소들은 저장부(320)에 저장된 프로그램 명령어들을 읽어 들여 실행하여 데이터를 처리한다. 저장부(storage)(320)는 예를 들면 하드디스크, SSD, 네트워크 스토리지와 같은 대용량 스토리지와, 불휘발성의 메모리 및 휘발성의 RAM과 같은 메모리들 중 하나 혹은 이들의 조합이 될 수 있다. Figure 3 is a block diagram showing the configuration of an ultrasound imaging apparatus for acupuncture acupuncture according to an embodiment. The ultrasound imaging apparatus for acupuncture needle acupuncture provides images of biological tissue at the treatment site during acupuncture acupuncture. As shown, the ultrasound imaging apparatus for acupuncture acupuncture according to an embodiment includes an ultrasound signal processing unit 370, a user interface unit 390, a needle position detection unit 330, and a procedure risk warning unit 310 It includes. In the illustrated embodiment, the ultrasonic signal processing unit 370, the user interface unit 390, the needle position detection unit 330, and the surgical risk warning unit 310 are all or part of the microprocessor, digital signal It may be implemented with program instructions executed by one or more computing elements, such as a processing processor. The computing elements process data by reading and executing program instructions stored in the storage unit 320. The storage 320 may be, for example, one or a combination of mass storage such as hard disk, SSD, and network storage, and memory such as nonvolatile memory and volatile RAM.

일 양상에 따라, 저장부(320)에는 시술 부위별 조작 안내 컨텐츠 및 시술 부위별 위험 영역 정보를 포함하는 시술 안내 정보가 저장된다. 일 실시예에서, 시술 부위는 경혈에 따라 정해진다. 시술자가 경혈을 선택하면, 해당하는 시술 부위가 선택된다. 침을 시술하는 경혈 부위는 한의 분야에서 정해져 있다. 경혈 부위를 정확히 시술하는 것은 많은 경험과 해부학적 지식을 필요로 한다. 일 양상에 따라, 조작 안내 컨텐츠는 경혈 부위의 대분류, 세분류 별로 트리 구조를 가진 데이터베이스로 준비된다. 일 실시예에서, 조작 안내 컨텐츠는 해당 경혈의 침 시술 방법을 설명하는 문서 정보, 해당 경혈 부위의 해부학적 구조를 보여주는 2D 혹은 3D 영상 정보, 해당 경혈 부위의 침 시술 과정을 보여주는 그래픽 애니메이션 혹은 동영상을 포함한다. 문서 정보는 해당 경혈 침 시술의 간략한 설명, 환자 자세 및 프로브를 위치할 부위에 대한 정보, 그리고 초음파를 이용하여 시술 부위를 정확히 찾는 구체적인 방법을 포함할 수 있다. According to an aspect, the storage unit 320 stores operation guide information including operation guide content for each treatment part and risk region information for each treatment part. In one embodiment, the treatment site is defined according to the acupuncture points. When the operator selects acupuncture points, a corresponding treatment site is selected. Acupuncture points for acupuncture are defined in the field of Korean medicine. Accurate treatment of acupuncture points requires a lot of experience and anatomical knowledge. According to one aspect, the manipulation guide content is prepared as a database having a tree structure for each major and sub-category of the acupuncture points. In one embodiment, the manipulation guide content includes document information describing acupuncture points of the acupuncture points, 2D or 3D image information showing the anatomical structure of the points, and graphic animations or videos showing acupuncture points of the points. Includes. The document information may include a brief description of the acupuncture needle acupuncture procedure, information about the patient posture and the location where the probe is to be located, and a specific method of accurately locating the treatment site using ultrasound.

추가적인 양상에 따라, 저장부(320)에는 시술 안내 정보가 저장될 수 있다. 시술 안내 정보는 시술 부위별 위험 영역 정보를 포함한다. 위험 영역 정보는 예를 들어 초음파 영상에서 특정한 생체 조직, 예를 들면 혈관을 구별할 수 있는 영상 패턴 혹은 특징(feature) 정보일 수 있다. 일반적으로 초음파 영상은 해상도에 한계가 있어 그 영상에서 특정한 생체 조직을 인식하는 것은 쉽지 않다고 알려져 있다. 경혈 침 시술은 정확한 시술 위치가 아주 좁은 위치로 한정되어 있으므로, 시술 부위가 특정될 수 있다. 사람마다 생체 조직이 약간씩 다르긴 하지만, 초음파 영상에서 흔히 보이는 해당 생체 조직의 영상의 패턴이나 특징(feature) 정보, 예를 들면 휘도 분포의 특성이나 경계선의 형태 등의 정보로부터 초음파 영상에서 위험 영역을 인식함에 있어서 정확도나 성공 가능성을 높일 수 있다. According to an additional aspect, the procedure guide information may be stored in the storage unit 320. The procedure guide information includes risk region information for each treatment site. The danger region information may be, for example, image patterns or feature information that can distinguish specific biological tissues, for example, blood vessels, from an ultrasound image. In general, it is known that an ultrasound image has a limited resolution, and thus it is not easy to recognize a specific biological tissue from the image. Since the acupuncture needle acupuncture procedure is limited to a very narrow location, the treatment site can be specified. Although the biological tissue differs slightly from person to person, a dangerous area in an ultrasound image is obtained from information such as a pattern or feature information of an image of the corresponding biological tissue commonly seen in an ultrasound image, for example, characteristics of a luminance distribution or a shape of a boundary line. In recognition, it can increase the accuracy or the likelihood of success.

또 다른 예로, 위험 영역 정보는 생체 조직의 3차원의 영역 정보일 수 있다. 표준적인 생체 조직의 3차원 영역 정보는 해당 생체 조직의 형태를 나타내며, 전체적인 3차원 영역 정보는 초음파 영상에서 해당 생체 조직을 찾는 지도가 될 수 있다. As another example, the danger area information may be 3D area information of biological tissue. The standard 3D region information of the biological tissue indicates the shape of the corresponding biological tissue, and the overall 3D region information may be a map for finding the biological tissue in an ultrasound image.

초음파 신호처리부(370)는 초음파 소자 어레이를 구동하여 획득하는 초음파 신호를 처리하여 영상을 생성한다. 초음파 영상 장치의 영상화 모드에는 B 모드(brightness mode), M 모드(motion mode), 도플러 효과(Doppler effect)를 이용하는 D 모드(Doppler mode), C 모드(color Doppler mode) 등이 있다. 초음파 신호 처리부(370)는 이들 중 하나의 모드로 초음파 소자 어레이(250)를 구동하여 출력되는 신호로부터 초음파 영상 정보를 생성한다. The ultrasound signal processing unit 370 generates an image by processing an ultrasound signal obtained by driving an array of ultrasound elements. The imaging mode of the ultrasound imaging apparatus includes a B mode (brightness mode), an M mode (motion mode), a D mode (Doppler mode) using a Doppler effect, and a C mode (color Doppler mode). The ultrasonic signal processing unit 370 drives the ultrasonic element array 250 in one of these modes to generate ultrasonic image information from the output signal.

사용자 인터페이스부(390)는 사용자의 조작 명령을 마우스, 터치패드, 키보드 등의 조작부를 통해 입력 받고, 초음파 영상이나 시스템에서 생성한 정보를 화면을 통해 시각적 정보로, 또는 스피커를 통해 오디오 정보로 출력한다. 일 양상에 따라, 사용자 인터페이스부(390)는 지침 정보 제공부(391)를 포함한다. 지침 정보 제공부(391)는 시술자로부터 경혈 시술 부위를 선택 받아 해당하는 조작 안내 컨텐츠를 저장부(320)에서 추출하여 제공한다. 일 양상에 따라, 사용자는 예를 들면 터치 입력을 통해 대분류 중 하나를 선택하고, 또 이어서 세분류 중 하나를 선택하여 경혈 시술 부위를 선택한다. 사용자 인터페이스부(390)는 데이터베이스에서 선택된 경혈 시술 부위의 조작 안내 컨텐츠를 추출한다. 선택된 경혈의 침 시술 방법을 설명하는 문서 정보, 해당 경혈 부위의 해부학적 구조를 보여주는 2D 혹은 3D 영상 정보, 해당 경혈 부위의 침 시술 과정을 보여주는 그래픽 애니메이션 혹은 동영상이 사용자의 선택에 따라 제공된다. The user interface unit 390 receives a user's operation command through a control unit such as a mouse, a touch pad, and a keyboard, and outputs ultrasound image or system generated information as visual information through a screen or audio information through a speaker. do. According to an aspect, the user interface unit 390 includes an instruction information providing unit 391. The instruction information providing unit 391 selects the acupuncture points from the operator and extracts and provides the corresponding operation guide content from the storage unit 320. According to one aspect, the user selects one of the major categories through, for example, a touch input, and then selects one of the sub-categories to select the acupuncture points. The user interface unit 390 extracts the operation guide content of the selected acupuncture points from the database. Document information explaining the method of acupuncture of the selected acupuncture points, 2D or 3D image information showing the anatomical structure of the acupuncture points, and graphic animations or videos showing the acupuncture points of the acupuncture points are provided according to the user's selection.

추가적인 양상에 따라, 사용자 인터페이스부(390)는 부위별 표시 설정부(393)를 더 포함할 수 있다. 이 경우 시술 안내 정보는 시술 부위별 설정 파라메터를 더 포함할 수 있다. 부위별 표시 설정부(393)는 저장부(320)에서 시술 부위별 설정 파라메터를 추출하여 그에 따라 초음파 영상의 표시 제어 파라메터를 설정한다. 초음파 스캔 깊이나 주밍 배율, 표시 범위의 선택에 관한 파라메터를 시술 부위별로 표준 값으로 설정함으로써, 표시되는 영상의 크기와 범위를 제한할 수 있다. 이에 따라 위험 영역 정보가 상정하고 있는 초음파 영상에 크기 및 범위 면에서 좀 더 근접한 실제 영상이 획득될 수 있고, 영상 인식의 속도나 정밀도가 향상될 수 있다. According to an additional aspect, the user interface unit 390 may further include a display setting unit 393 for each site. In this case, the procedure guide information may further include setting parameters for each treatment site. The display setting unit for each part 393 extracts the setting parameter for each treatment part from the storage unit 320 and sets the display control parameter of the ultrasound image accordingly. By setting the parameters related to the selection of the ultrasound scan depth, zooming magnification, and display range as standard values for each treatment site, it is possible to limit the size and range of the displayed image. Accordingly, a real image that is closer in size and range to the ultrasound image in which the danger region information is assumed may be obtained, and speed or precision of image recognition may be improved.

침 위치 검출부(330)는 적어도 2개의 센서 입력으로부터 침의 위치를 산출한다. 미국2017.03.21.자로 EZONO AG에게 허여된 미국 특허9,597,008호는 복수의 자기측위 검출소자(magneto-metric detector) 를 이용하여 자화된 니들(needle)의 자기장의 세기를 측정하고 이를 이용하여 니들의 위치를 측정하는 기술을 개시하고 있다. EZONO AG의 니들 측위 시스템은 상용화되어 제공되고 있으며, 본 출원인들은 EZONO AG와 협력하여 제안된 발명을 개발함에 있어서 이 기술을 사용하고 있다. EZONO AG의 자기 측위 시스템은 프로브에 내장된 복수의 자기측위 검출소자를 사용하며, 침의 위치를 산출하고 초음파 영상에 중첩하여 출력할 수 있다. 그러나 제안된 발명은 이에 한정되지 않으며, 전술한 바와 같은 RF 방식이나 앵커(anchor)를 이용한 방식, 전파 지문을 이용한 측위 시스템 등 공지된 다양한 측위 기술이 적용될 수 있다.The needle position detector 330 calculates the position of the needle from at least two sensor inputs. U.S. Patent No. 9,597,008, issued to EZONO AG on March 21, 2017, measures the strength of the magnetic field of a magnetized needle using a plurality of magneto-metric detectors and uses it to measure the position of the needle Disclosed is a technique for measuring. Needle positioning systems from EZONO AG are commercially available and the applicants are using this technology in developing the proposed invention in cooperation with EZONO AG. The self-positioning system of EZONO AG uses a plurality of self-positioning detection elements built into the probe, and can calculate the position of the needle and output it superimposed on the ultrasound image. However, the proposed invention is not limited to this, and various known positioning techniques such as the above-described RF method, an anchor method, and a positioning system using radio wave fingerprints can be applied.

일 실시예에서 프로브(10)는 가속도 센서(230), 예를 들면 자이로 센서를 포함한다. 프로브 위치 검출부(350)는 가속도 센서(230)의 출력으로부터 프로브의 위치와 자세, 즉 기울어진 방향을 측정한다. 침 위치 검출부(330)는 먼저 자기측위 검출소자들(210)의 출력으로부터 프로브(10)의 기준 좌표계에서 침(30)의 위치를 산출한다. 이후에 침 위치 검출부(330)는 프로브 위치 검출부(350)에서 검출된 프로브의 위치와 자세 정보를 이용하여 좌표계를 변환하여 침(30)의 절대 좌표계에서의 위치를 산출한다. In one embodiment, the probe 10 includes an acceleration sensor 230, for example a gyro sensor. The probe position detector 350 measures the position and posture of the probe, that is, the tilted direction, from the output of the acceleration sensor 230. The needle position detection unit 330 first calculates the position of the needle 30 in the reference coordinate system of the probe 10 from the output of the magnetic position detection elements 210. Thereafter, the needle position detection unit 330 converts the coordinate system using the position and posture information of the probe detected by the probe position detection unit 350 to calculate the position of the needle 30 in the absolute coordinate system.

시술 위험 경고부(310)는 선택된 시술 부위에 해당하는 위험 영역 정보와, 초음파 신호처리부에서 생성된 초음파영상으로부터 3차원의 위험 영역을 결정하고, 침 위치 검출부(330)에서 산출된 침의 위치에 따른 침 끝의 위치가 위험 영역에 근접할 경우 경고 신호를 출력한다. 일 실시예에서 시술 위험 경고부(310)는 위험 영역 인식부(313)와, 위험 판단부(311)를 포함한다. 위험 영역 인식부(313)는 위험 영역 정보를 이용하여 초음파 영상으로부터 3차원의 위험 영역을 인식한다. The operation danger warning unit 310 determines a three-dimensional danger region from the danger region information corresponding to the selected treatment region, and the ultrasound image generated by the ultrasonic signal processing unit, and the location of the needle calculated by the needle location detection unit 330 A warning signal is output when the position of the tip of the needle is close to the danger zone. In one embodiment, the operation risk warning unit 310 includes a danger area recognition unit 313 and a risk determination unit 311. The danger zone recognition unit 313 recognizes a 3D danger zone from an ultrasound image using the danger zone information.

일 실시예에서, 위험 영역 정보는 특정한 생체 조직의 영상 패턴 내지 특징(feature) 정보이다. 위험 영역, 예를 들면 특정한 경혈 부위에 존재하는 혈관의 3차원 모델링과, 각 모델링이 초음파 영상에서 보일 때 일반적으로 나타나는 영상 패턴들이 위험 영역 정보가 될 수 있다. 또 다른 예로, 블록, 예를 들면 16*16의 픽셀 블록들과 실제 초음파 영상의 해당 크기의 블록들간의 특정한 상관 함수를 계산했을 때 함수값을 기준값과 비교함으로써 혈관 영역을 판단할 수 있는 패턴값이 위험 영역 정보일 수 있다. In one embodiment, the danger zone information is image pattern or feature information of a specific biological tissue. The risk region, for example, three-dimensional modeling of blood vessels existing in a specific acupuncture site, and image patterns that appear when each modeling is seen on an ultrasound image may be risk region information. As another example, when calculating a specific correlation function between a block, for example, 16*16 pixel blocks and blocks of a corresponding size of an actual ultrasound image, a function value is compared with a reference value to determine a blood vessel region pattern value. This may be risk zone information.

일 실시예에서, 위험 영역 인식부(313)는 먼저 프로브(10)가 선택된 경혈 주위를 스캔하여 획득한 복수의 이미지를 저장하고 이들 복수의 이미지로부터 경혈 주위의 3차원 정보를 획득한다. 이 3차원 정보는 3차원 볼륨 이미지(volume image)로 모델링이 되지 않은 상태이다. 이 입력된 초음파 영상 모음에서 위험 영역 정보의 영상 패턴을 이용하여 3차원 위험 영역을 인식한다. 이 실시예에서, 먼저 획득된 3차원 이미지의 특징점 인식을 통해 저장된 위험 3차원 위험 영역 모델링 정보와 비교하여 동일한 스케일과 위치가 되도록 3차원 이미지가 주밍되고 천이(shift)된다. 이후에 변환된 3차원 초음파 이미지를 블록 단위로 구획한다. 이후에 위험 영역 정보에 포함된 위험 영역의 대응하는 위치 주변의 패턴과 이 초음파 이미지의 블록에 대해 상관 함수를 산출하여 초음파 이미지에서 3차원 모델링을 찾아 나간다. 이 같은 과정을 반복하여 획득된 초음파 이미지 모음에서 3차원 위험 영역 모델링 정보를 획득하고 초음파 이미지와 매칭시킬 수 있다. In one embodiment, the danger zone recognition unit 313 first stores a plurality of images obtained by scanning around the selected acupuncture points of the probe 10 and acquires three-dimensional information around the acupuncture points from the plurality of images. This 3D information is not modeled as a 3D volume image. The input ultrasound image collection recognizes the 3D danger area using the image pattern of the danger area information. In this embodiment, the 3D image is zoomed and shifted to have the same scale and position as compared to the 3D danger area modeling information stored through the recognition of the feature points of the 3D image obtained first. Subsequently, the transformed 3D ultrasound image is partitioned into blocks. Thereafter, a correlation function is calculated for the pattern around the corresponding position of the danger region included in the danger region information and the block of the ultrasound image to find a 3D model in the ultrasound image. By repeating the above process, 3D dangerous region modeling information may be obtained from the acquired ultrasound image collection and matched with the ultrasound image.

경혈 침 시술은 정확한 시술 위치가 아주 좁은 위치로 한정되어 있으므로, 시술 부위가 특정될 수 있다. 사람마다 생체 조직이 약간씩 다르긴 하지만, 초음파 영상에서 흔히 보이는 해당 생체 조직의 영상의 패턴이나 특징(feature) 정보, 예를 들면 휘도 분포의 특성이나 경계선의 형태 등의 정보로부터 초음파 영상에서 위험 영역을 인식함에 있어서 정확도나 성공 가능성을 높일 수 있다. Since the acupuncture needle acupuncture procedure is limited to a very narrow location, the treatment site can be specified. Although the biological tissue differs slightly from person to person, a dangerous area in an ultrasound image is obtained from information such as a pattern or feature information of an image of the corresponding biological tissue commonly seen in an ultrasound image, for example, characteristics of a luminance distribution or a shape of a boundary line. In recognition, it can increase the accuracy or the likelihood of success.

위험 판단부(311)는 침 위치 검출부(330)에서 산출된 침 끝의 위치가 위험 영역 인식부(313)에서 인식된 피시술자의 생체 조직에서의 3차원 위험 영역 모델링 영역에 얼마나 근접하였는지 계산하여, 일정 거리 이상, 또는 침 끝이 이동하는 방향이 위험 영역을 향하고 그 이동 속도가 일정 이상이면 경고 메시지를 생성하여 출력한다. 경고 메시지는 화면 및/또는 오디오로 출력될 수 있다. The risk determination unit 311 calculates how close the position of the needle end calculated by the needle position detection unit 330 is to the 3D danger area modeling area in the biological tissue of the patient recognized by the danger area recognition unit 313, If a certain distance is exceeded, or the direction where the tip of the needle moves is toward the danger zone and the movement speed is greater than a certain level, a warning message is generated and output. The warning message can be output on the screen and/or audio.

일 양상에 따르면, 침 위치는 초음파 영상과 분리된 독립된 시스템에 의해 절대위치가 산출된다. 또한 위험 영역의 3차원 모델링 정보는 초음파 볼륨 이미지(volume image)로부터 산출된 후 저장된다. 이에 따라 시술 위험 경고부(310)는 침 끝의 위치를 위험 영역의 3차원 모델링 영역 정보와 비교하여 처리하기 때문에, 저장된 침 끝의 위치가 초음파 신호 처리부(370)에서 생성하여 화면에 출력하는 초음파 영상의 범위를 벗어난 경우에도 위험 영역에 근접할 경우 경고를 출력할 수 있다. According to one aspect, the position of the needle is calculated by an absolute system separated from the ultrasound image. In addition, the 3D modeling information of the dangerous area is calculated and stored from the ultrasound volume image. Accordingly, since the operation risk warning unit 310 processes the position of the tip of the needle by comparing it with the 3D modeling area information of the danger area, the stored ultrasonic wave position is generated by the ultrasonic signal processing unit 370 and outputs it to the screen. Even if it is out of range of the image, a warning can be output when it approaches the danger zone.

또 다른 양상에 따르면, 침 위치 검출부(330)는 센서 기반 위치 산출부(331)와, 영상 기반 위치 산출부(333)와, 그리고 위치정보 출력부(335)를 포함할 수 있다. 도 4는 또 다른 실시예에 따른 침 위치 검출부의 구성을 도시한 블럭도이다. 센서 기반 위치 산출부(331)는 적어도 2개의 센서 입력으로부터 침의 위치를 산출한다. 이에 대해서는 전술한 바와 같다. According to another aspect, the needle position detection unit 330 may include a sensor-based location calculation unit 331, an image-based location calculation unit 333, and a location information output unit 335. 4 is a block diagram showing the configuration of the needle position detection unit according to another embodiment. The sensor-based position calculator 331 calculates the position of the needle from at least two sensor inputs. This is as described above.

영상 기반 위치 산출부(333)는 초음파 영상에서 조직의 움직임을 추적하여 침의 위치를 추산 한다. 자기 방식 측위 시스템이 작동하지 않는 순간에 위험 영역 진입이 이루어질 수도 있기 때문에 다른 방식을 병행하는 것이 유리하다. 침은 아주 가늘기 때문에 초음파 영상에서 보이지 않는다. The image-based position calculator 333 estimates the position of the needle by tracking the movement of the tissue in the ultrasound image. It is advantageous to use other methods in parallel because the danger zone entry may take place at the moment the magnetic system positioning system is inoperative. The needle is very thin, so it is not visible on the ultrasound image.

일 양상에 따르면, 영상 기반 위치 산출부(333)는 생성된 초음파 영상을 연속으로 비교하여 변화하는 부위와 변화하지 않는 부위를 식별하고 , 특정한 방향으로 변화하는 부위를 침 위치로 산출한다. 예를 들어 영상 프레임간의 변화량을 산출하면 움직임 벡터를 구할 수 있고, 이에 따라 생체 조직의 움직임을 식별할 수 있다. 바늘이 생체 조직으로 들어가면 주변 생체 조직이 밀려나므로 움직임이 발생한다. 이러한 변화량은 영상 품질이 좋지 않은 경우에도 비교적 잘 움직임을 반영할 수 있다. 생체 조직의 움직임 방향을 분석하여 침 끝의 위치를 추정할 수 있다. According to one aspect, the image-based position calculating unit 333 continuously compares the generated ultrasound image to identify a changing portion and a portion that does not change, and calculates a portion changing in a specific direction as a needle position. For example, by calculating a change amount between image frames, a motion vector can be obtained, and accordingly, motion of a biological tissue can be identified. When the needle enters the living tissue, movement occurs because the surrounding living tissue is pushed out. This amount of change can reflect motion relatively well even when the image quality is poor. The position of the tip of the needle can be estimated by analyzing the direction of movement of biological tissue.

또 다른 실시예에서, 초음파 신호 처리부(370)에서 초음파 소자 어레이를 도플러 모드로 구동하고, 바늘이 진입할 때 밀려나는 생체 조직의 속도를 검출하여 생체 조직을 식별하고, 그로부터 바늘의 위치를 추정할 수 있다. 휘도 모드에 비해 도플러 모드는 움직이는 조직을 민감하게 식별할 수 있다. 도플러 모드로 구동하면서 생체 조직의 움직임을 초음파 영상의 프레임간 차분을 통해 구하고, 움직임의 분포로부터 움직임이 큰 부분이나 움직임의 중심축을 찾아서 바늘 위치를 추정할 수 있다. In another embodiment, the ultrasonic signal processing unit 370 drives the array of ultrasonic elements in a Doppler mode, detects the speed of biological tissue pushed out when the needle enters, identifies biological tissue, and estimates the position of the needle therefrom Can be. Compared to the luminance mode, the Doppler mode can sensitively identify moving tissue. While operating in the Doppler mode, the movement of biological tissues can be obtained through the difference between frames of the ultrasound image, and the position of the needle can be estimated by finding the portion of the movement or the central axis of the movement from the distribution of the movement.

위치정보 출력부(335)는 센서 기반 위치 산출부(331)와 영상 기반 위치 산출부(333)의 출력을 종합하여 침의 위치를 산출한다. 위치정보 출력부(335)는 우선적으로 센서 기반 위치 산출부(331)의 출력을 선택하지만, 그 출력이 없거나 신뢰성이 없다고 판단되는 경우, 병행하여 실행되고 있는 영상 기반 위치 산출부(333) 타스크의 출력을 선택한다. 침 위치 산출 결과의 신뢰성은, 예를 들면 침 끝의 움직임의 연속성이 크게 깨어지는 경우 신뢰성이 없다고 판단할 수 있다. 또 다른 예로, 위치정보 출력부(335)는 우선적으로 센서 기반 위치 산출부(331)의 출력을 선택하지만, 그 출력이 없거나 신뢰성이 없다고 판단되는 경우, 병행하여 실행되고 있는 영상 기반 위치 산출부(333) 타스크의 출력과 조합하여 위치를 생성한다.The location information output unit 335 calculates the position of the needle by synthesizing the outputs of the sensor-based location calculation unit 331 and the image-based location calculation unit 333. The location information output unit 335 preferentially selects the output of the sensor-based location calculating unit 331, but when it is determined that there is no output or reliability, the location-based output calculating unit 333 is executed in parallel. Select output. The reliability of the result of calculating the needle position can be judged to be unreliable, for example, when the continuity of movement of the tip of the needle is largely broken. As another example, the location information output unit 335 preferentially selects the output of the sensor-based location calculation unit 331, but when it is determined that the output is not present or unreliable, the image-based location calculation unit executed in parallel ( 333) Create a location in combination with the output of the task.

도 3에서 영상 표시 제어부(360)는 초음파 신호 처리부(370)에서 생성된 초음파 영상과, 사용자 인터페이스부(390)에서 제공하는 지침 정보와, 침 위치 검출부(330)에서 검출된 침의 위치를 조합하여 표시한다. 예를 들어 영상 표시 제어부(360)는 초음파 신호 처리부(370)에서 생성된 초음파 영상에 침 위치 검출부(330)에서 검출된 침의 위치를 반영한 그래픽으로 생성된 침 이미지를 오버레이(overlay) 하여 표시할 수 있다. 또다른 예로, 영상 표시 제어부(360)는 초음파 신호 처리부(370)에서 생성된 초음파 영상에 사용자 인터페이스부(390)에서 제공하는 지침 정보를 화면을 구획하여 동시에 표시할 수 있다.In FIG. 3, the image display control unit 360 combines the ultrasound image generated by the ultrasound signal processing unit 370, the instruction information provided by the user interface unit 390, and the position of the needle detected by the needle position detection unit 330. Is displayed. For example, the image display control unit 360 overlays and displays a needle image generated as a graphic reflecting the position of the needle detected by the needle position detection unit 330 on the ultrasound image generated by the ultrasound signal processing unit 370. Can be. As another example, the image display control unit 360 may simultaneously display the instruction information provided by the user interface unit 390 on the ultrasound image generated by the ultrasound signal processing unit 370 by dividing the screen.

도 5는 또 다른 실시예에 따른 시술 위험 경고부의 구성을 도시한 블럭도이다. 도시된 바와 같이, 또 다른 실시예에 따른 시술 위험 경고부(310)의 위험 영역 인식부(313)는 반사계수 영상 분석부(315)와 도플러 영상 분석부(317)를 포함할 수 있다. 반사계수 영상 분석부(315)는 초음파 신호의 반사 계수를 처리하여 영상을 생성하는 휘도 모드 혹은 B 모드(brightness mode) 방식으로 초음파 신호 처리부(370)를 구동하여 위험 영역을 인식한다. 반사계수 영상 분석부(315)의 구체적인 동작은 전술한 위험 영역 인식부(313)의 동작과 유사하다. 도플러 영상 분석부(317)는 초음파 신호를 도플러 모드로 구동하여 영상을 생성하는 도플러 모드 혹은 D 모드(Doppler mode)나 C 모드(color Doppler mode)로 초음파 신호 처리부(370)를 구동하여 위험 영역을 인식한다. 도플러 모드로 구동할 경우 혈관과 같은 흐름이 있는 영역을 인식하는데 유리하다. 흐름이 있는 영역의 형태를 저장된 위험 영역 정보와 비교하여 피시술자의 생체 조직에서 위험 영역에 대한 모델링을 생성할 수 있다. 5 is a block diagram showing the configuration of a surgical risk warning unit according to another embodiment. As illustrated, the danger zone recognition unit 313 of the operation risk warning unit 310 according to another embodiment may include a reflection coefficient image analysis unit 315 and a Doppler image analysis unit 317. The reflection coefficient image analysis unit 315 recognizes a dangerous area by driving the ultrasonic signal processing unit 370 in a luminance mode or a B mode (brightness mode) method that generates an image by processing a reflection coefficient of an ultrasonic signal. The specific operation of the reflection coefficient image analysis unit 315 is similar to the operation of the dangerous area recognition unit 313 described above. The Doppler image analysis unit 317 drives the ultrasonic signal processing unit 370 in a Doppler mode or a D mode (Doppler mode) or a C mode (color Doppler mode) to generate an image by driving the ultrasonic signal in a Doppler mode, thereby displaying a dangerous area. Recognize. When driving in the Doppler mode, it is advantageous to recognize an area having a flow such as a blood vessel. Modeling of the danger zone in the subject's biological tissue can be generated by comparing the shape of the region with the flow to the stored danger zone information.

추가적인 양상에 따르면, 도플러 영상 분석부(317)는 초음파 신호 처리부(370)를 휘도 모드로 이미징을 하면서 백그라운드로 도플러 모드로 간헐적으로 구동할 수 있다. 휘도 모드 영상과 도플러 모드 영상을 모두 활용함으로써 위험 영역의 인식을 더 신뢰성 있을 뿐 아니라 침의 움직임으로 인한 조직의 위치 변화를 검출하여 침 위치 추적을 개선할 수 있다. According to an additional aspect, the Doppler image analysis unit 317 may intermittently drive the Doppler mode in the background while imaging the ultrasound signal processing unit 370 in a luminance mode. By utilizing both the luminance mode image and the Doppler mode image, it is possible to improve the tracking of the needle position by detecting a change in tissue position due to the motion of the needle as well as making the recognition of the danger zone more reliable.

도 6은 일 실시예에 따른 초음파 영상 표시 제어 방법의 구성을 도시한 흐름도이다. 도시된 바와 같이, 일 실시예에 따른 초음파 영상 표시 제어 방법은 경혈 선택 단계(610)와, 위험 영역 정보 추출 단계(620)와, 시술 부위 스캔 단계(640)와, 위험 영역 모델링 단계(650)와, 침 위치 검출 단계(660)와, 그리고 시술 위험 경고 단계(680)를 포함한다. 6 is a flowchart illustrating a configuration of an ultrasound image display control method according to an embodiment. As illustrated, the ultrasound image display control method according to an embodiment includes the acupuncture point selection step 610, the risk region information extraction step 620, the procedure site scanning step 640, and the risk region modeling step 650. And, a needle position detection step 660, and a surgical risk warning step 680.

경혈 선택 단계(610)에서 초음파 영상 기기는 조작부를 통해 시술자로부터 경혈 시술 부위를 선택 받는다. 경혈 선택 단계(610)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 사용자 인터페이스부(390)의 처리와 유사하므로 상세한 설명은 생략한다.In the acupuncture point selection step 610, the ultrasound imaging apparatus receives the acupuncture points from the operator through the manipulation unit. In the acupuncture point selection step 610, the processing configuration of the ultrasound imaging apparatus is similar to that of the user interface unit 390 described with reference to FIG. 3, so a detailed description thereof will be omitted.

위험 영역 정보 추출 단계(620)에서 초음파 영상 기기는 선택된 경혈 시술 부위에 해당하는 위험 영역 정보를 데이터베이스에서 읽어 들인다. 위험 영역 정보 추출 단계(620)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 위험 영역 인식부(313)의 처리와 유사하므로 상세한 설명은 생략한다.In the danger zone information extraction step 620, the ultrasound imaging apparatus reads risk zone information corresponding to the selected acupuncture points from the database. The processing configuration of the ultrasound imaging apparatus in the danger region information extraction step 620 is similar to the processing of the danger region recognition unit 313 described with reference to FIG. 3, so a detailed description thereof will be omitted.

시술 부위 스캔 단계(640)에서 초음파 영상 기기는 선택된 경혈 시술 부위 주변을 스캔한 초음파 볼륨 영상(volume image)을 생성한다. 시술 부위 스캔 단계(640)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 초음파 신호 처리부(370)의 모델링을 위한 스캔 처리와 유사하므로 상세한 설명은 생략한다.In step 640 of the scanning of the surgical site, the ultrasound imaging apparatus generates an ultrasound volume image scanned around the selected acupuncture points. The processing configuration of the ultrasound imaging apparatus in the procedure region scanning step 640 is similar to the scan processing for modeling the ultrasound signal processing unit 370 described with reference to FIG. 3, so a detailed description thereof will be omitted.

위험 영역 모델링 단계(650)에서 초음파 영상 기기는 시술 부위 스캔 단계(640)에서 생성된 초음파 볼륨 영상(volume image)으로부터 3차원의 위험 영역 정보를 생성하되, 위험 영역 정보 추출 단계(620)에서 추출된 해당 경혈 시술 부위의 위험 영역 정보를 참조하여 생성하여 저장한다. 위험 영역 모델링 단계(650)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 위험 영역 인식부(313)의 처리와 유사하므로 상세한 설명은 생략한다.In the danger zone modeling step 650, the ultrasound imaging apparatus generates 3D danger zone information from the ultrasound volume image generated in the operation site scan step 640, but is extracted in the risk zone information extraction step 620. It is created and stored by referring to the information on the danger area of the corresponding acupuncture points. The processing configuration of the ultrasound imaging apparatus in the danger zone modeling step 650 is similar to the processing of the danger zone recognition unit 313 described with reference to FIG. 3, so a detailed description thereof will be omitted.

침 위치 검출 단계(660)에서 초음파 영상 기기는 적어도 2개의 센서 입력으로부터 침의 위치를 산출한다. 침 위치 검출 단계(660)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 침 위치 검출부(330)의 처리와 유사하므로 상세한 설명은 생략한다.In the needle position detection step 660, the ultrasound imaging apparatus calculates the position of the needle from at least two sensor inputs. In the needle position detection step 660, the processing configuration of the ultrasound imaging apparatus is similar to the processing of the needle position detection unit 330 described with reference to FIG. 3, so a detailed description thereof will be omitted.

시술 위험 경고 단계(680)에서 초음파 영상 기기는 침 위치 검출 단계(660)에서 산출된 침의 위치에 따른 침 끝의 위치가 저장된 위험 영역에 근접할 경우 경고 신호를 출력한다. 일 양상에 따르면, 시술 위험 경고 단계(680)는 침 끝의 위치가 표시된 초음파 영상의 범위를 벗어난 경우에도 위험 영역에 근접할 경우 경고를 출력할 수 있다. 추가적인 양상에 따르면, 위험 영역 정보는 생체 조직의 영상 패턴 혹은 특징(feature) 정보를 포함할 수 있다. 추가적인 양상에 따르면, 위험 영역 정보는 생체 조직의 3차원 영역 정보를 포함할 수 있다. 시술 위험 경고 단계(680)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 위험 판단부(311)의 처리와 유사하므로 상세한 설명은 생략한다.In operation risk warning step 680, the ultrasound imaging apparatus outputs a warning signal when the position of the needle tip according to the position of the needle calculated in the needle position detection step 660 approaches the stored danger area. According to one aspect, the operation risk warning step 680 may output a warning when the position of the tip of the needle is close to the danger area even if it is outside the range of the displayed ultrasound image. According to a further aspect, the danger zone information may include image pattern or feature information of biological tissue. According to a further aspect, the danger area information may include 3D area information of biological tissue. The processing configuration of the ultrasound imaging apparatus in the procedure risk warning step 680 is similar to the processing of the risk determination unit 311 described with reference to FIG. 3, so a detailed description thereof will be omitted.

추가적인 양상에 따르면, 초음파 영상 표시 제어 방법은 부위별 표시 설정 단계(630)를 더 포함할 수 있다. 부위별 표시 설정 단계(630)에서 초음파 영상 기기는 시술 안내 정보에 포함된 시술 부위별 설정 파라메터에 따라 초음파 영상의 표시 제어 파라메터를 설정한다. 부위별 표시 설정 단계(630)에서 초음파 영상 기기의 처리 구성은 도 3을 참조하여 기술한 부위별 표시 설정부(393)의 처리와 유사하므로 상세한 설명은 생략한다. According to an additional aspect, the ultrasound image display control method may further include a display setting step 630 for each region. In the display setting step 630 for each part, the ultrasound imaging apparatus sets the display control parameter of the ultrasound image according to the setting parameter for each treatment part included in the procedure guide information. The processing configuration of the ultrasound imaging device in the display setting step 630 for each part is similar to the processing of the display setting part 393 for each part described with reference to FIG. 3, so a detailed description thereof will be omitted.

추가적인 양상에 따르면, 위험 영역 모델링 단계(650)는 초음파 신호처리부를 간헐적으로 도플러 모드로 구동하여 생성되는 영상에서 위험 영역을 인식할 수 있다. 여기서 위험 영역 모델링 단계(650)는 휘도 모드로 이미징을 하면서 백그라운드로 도플러 모드로 간헐적으로 구동할 수 있다. 위험 영역 모델링 단계(650)에서 초음파 영상 기기의 처리 구성은 도 5를 참조하여 기술한 도플러 영상 분석부(317)의 처리와 유사하므로 상세한 설명은 생략한다.According to an additional aspect, the danger region modeling step 650 may recognize the danger region in an image generated by intermittently driving the ultrasound signal processor in a Doppler mode. Here, the dangerous area modeling step 650 may be intermittently driven in the Doppler mode in the background while imaging in the luminance mode. In the danger zone modeling step 650, the processing configuration of the ultrasound imaging apparatus is similar to the processing of the Doppler image analysis unit 317 described with reference to FIG. 5, so a detailed description thereof will be omitted.

추가적인 양상에 따르면, 침 위치 검출 단계(660)는 센서 기반 위치 산출 단계(661)와, 영상 기반 위치 산출 단계(663)와, 위치정보 출력 단계(665)를 포함할 수 있다. 도 7은 센서 기반 위치 산출 단계(661)의 일 실시예의 구성을 도시한 흐름도이다. 센서 기반 위치 산출 단계(661)에서 초음파 영상 기기는 적어도 2개의 센서 입력으로부터 침의 위치를 산출한다. 영상 기반 위치 산출 단계(663)에서 초음파 영상 기기는 초음파 영상에서 조직의 움직임을 추적하여 침의 위치를 추산한다. 추가적인 양상에 따르면, 영상 기반 위치 산출 단계(663)에서 초음파 영상 기기는 생성된 초음파 영상을 연속으로 비교하여 변화하는 부위와 변화하지 않는 부위를 식별하고, 특정한 방향으로 변화하는 부위를 침 위치로 산출할 수 있다. 위치정보 출력 단계(665)에서 초음파 영상 기기는 센서 기반 위치 산출 단계(661)와 영상 기반 위치 산출 단계(663)의 출력을 종합하여 침의 위치를 산출한다. 침 위치 검출 단계(660)에서 초음파 영상 기기의 처리 구성은 도 4를 참조하여 기술한 침 위치 검출부(330)의 처리와 유사하므로 상세한 설명은 생략한다.According to a further aspect, the needle position detection step 660 may include a sensor-based position calculation step 661, an image-based position calculation step 663, and a location information output step 665. 7 is a flow chart showing the configuration of one embodiment of the sensor-based position calculation step 661. In the sensor-based position calculating step 661, the ultrasound imaging apparatus calculates the position of the needle from at least two sensor inputs. In the image-based position calculation step 663, the ultrasound imaging apparatus estimates the position of the needle by tracking the movement of the tissue in the ultrasound image. According to a further aspect, in the image-based position calculation step 663, the ultrasound imaging apparatus sequentially compares the generated ultrasound images to identify the changing and unchanging parts, and calculates the changing part in a specific direction as the needle position. can do. In the position information output step 665, the ultrasound imaging device calculates the position of the needle by synthesizing the outputs of the sensor-based position calculation step 661 and the image-based position calculation step 663. In the needle position detection step 660, the processing configuration of the ultrasound imaging apparatus is similar to the processing of the needle position detection unit 330 described with reference to FIG. 4, so a detailed description thereof will be omitted.

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 기재된 양상들은 상호간에 모순 없이 자유롭게 조합될 수 있으며, 이러한 조합들도 모두 본 발명의 범주에 포함된다. In the above, the present invention has been described through embodiments referring to the accompanying drawings, but is not limited thereto, and should be interpreted to cover various modifications that can be obviously derived by those skilled in the art. The described aspects can be freely combined without contradiction with each other, and all of these combinations are included in the scope of the present invention.

첨부된 특허청구범위는 이러한 조합들이나 도시가 생략되거나 간략화된 실시예들을 포괄하도록 의도되었으나, 이러한 모든 조합을 청구하지는 않고 있으며, 이러한 조합들이 향후 보정을 통해 본 발명의 범주에 진입하는 것이 허용되어야 한다.The appended claims are intended to cover such combinations or illustrations with omitted or simplified embodiments, but do not claim all such combinations, and such combinations should be allowed to enter the scope of the invention through future amendments. .

10 : 프로브 30 : 침
50 : 초음파 영상 기기
210 : 자기 위치 센서 221 : 자기 센서 구동부
223 : 가속도 센서 구동부 225 : 초음파 소자 구동부
230 : 가속도 센서
240 : 제어부 250 : 초음파 소자 어레이
270 : 인터페이스부
310 : 시술 위험 경고부 311 : 위험 판단부
313 : 위험 영역 인식부 315 : 반사 계수 영상 분석부
317 : 도플러 영상 분석부
320 : 저장부
330 : 침 위치 검출부 331 : 센서기반 위치산출부
333 : 영상기반 위치산출부 335 : 위치정보 출력부
350 : 프로브 위치 검출부 360 : 영상 표시 제어부
370 : 초음파 신호 처리부 380 : 디스플레이
390 : 사용자 인터페이스부 391 : 지침정보 제공부
393 : 부위별 표시 설정부10: probe 30: needle
50: ultrasound imaging equipment
210: magnetic position sensor 221: magnetic sensor driver
223: acceleration sensor driver 225: ultrasonic element driver
230: acceleration sensor
240: control unit 250: ultrasonic element array
270: interface
310: operation risk warning unit 311: risk determination unit
313: dangerous area recognition unit 315: reflection coefficient image analysis unit
317: Doppler image analysis unit
320: storage unit
330: needle position detection unit 331: sensor-based position calculation unit
333: image-based location calculation unit 335: location information output unit
350: probe position detection unit 360: image display control unit
370: ultrasonic signal processing unit 380: display
390: User interface unit 391: Guidance information providing unit
393: display setting unit for each part

Claims

In the acupuncture points, an ultrasound imaging apparatus that provides an image of a biological tissue at a treatment site,
A storage unit in which operation guide information including operation guide content for each treatment site and risk region information for each treatment site is stored;
An ultrasonic signal processing unit that generates ultrasonic images by transmitting ultrasonic waves and receiving reflected waves;
When the acupuncture points are selected, a user interface unit for extracting and providing corresponding operation guide content from the storage unit;
A needle position detector for calculating the position of the needle from at least two sensor inputs;
A danger zone is determined from the danger zone information corresponding to the selected operation site and the ultrasound image generated by the ultrasound signal processing unit, and a warning signal is issued when the position of the needle tip according to the position of the needle calculated by the needle position detection unit approaches the danger zone Treatment risk warning unit for outputting;
Ultrasound imaging apparatus comprising a.

The ultrasound imaging apparatus according to claim 1, wherein the operation danger warning unit outputs a warning when the position of the needle tip is close to the danger area even if it is outside the range of the ultrasound image generated and displayed by the ultrasound signal processing unit.

The ultrasound imaging apparatus according to claim 1, wherein the danger zone information includes image patterns or feature information of biological tissue.

The ultrasound imaging apparatus according to claim 1, wherein the danger area information includes 3D area information of biological tissue.

The method according to claim 4, User interface unit:
A display setting unit for each region for setting a display control parameter of an ultrasound image according to a setup parameter for each treatment region included in the procedure guide information;
The ultrasound imaging apparatus further comprising.

The method according to claim 1, the needle position detection unit:
A sensor-based position calculator for calculating the position of the needle from at least two sensor inputs;
An image-based position calculator configured to track the movement of tissue in the ultrasound image and estimate the position of the needle;
A position information output unit that calculates the position of the needle by synthesizing the outputs of the sensor-based position calculation unit and the image-based position calculation unit;
Ultrasound imaging apparatus comprising a.

The method according to claim 6, Image-based location calculator:
An ultrasound imaging apparatus that continuously compares the generated ultrasound images to identify a region that is changing and a region that does not change, and calculates the location of the needle therefrom.

The method according to claim 1, the danger zone recognition unit:
And an ultrasound signal processing unit intermittently driving in a Doppler mode to recognize a dangerous region in an image generated.

The method according to claim 8, Doppler image analysis unit:
An ultrasound imaging device that intermittently drives the Doppler mode in the background while imaging in the luminance mode.

In the acupuncture acupuncture procedure, in the ultrasound image display control method for providing an image of a living tissue at the treatment site
An acupuncture point selection step of receiving an acupuncture point from the operator through the operation unit;
A risk zone information extraction step of reading risk zone information corresponding to the selected acupuncture points from a database;
A surgical site scanning step of generating an ultrasound volume image scanned around the selected acupuncture points;
3D risk area information is generated from the ultrasound volume image generated in the procedure area scan step, but the risk area is generated and stored by referring to the risk area information of the corresponding acupuncture points extracted in the risk area information extraction step A modeling step;
A needle position detection step of calculating a position of the needle from at least two sensor inputs;
A surgical risk warning step of outputting a warning signal when the position of the needle tip according to the position of the needle calculated in the needle position detection step approaches the stored dangerous area;
Ultrasonic image display control method comprising a.

The method of claim 10, wherein the operation risk warning step outputs a warning when the position of the needle tip is close to the danger area even if it is out of the range of the displayed ultrasound image.

The method of claim 10, wherein the danger region information includes image pattern or feature information of a biological tissue.

The method of claim 10, wherein the danger region information includes 3D region information of biological tissue.

The method according to claim 13, wherein the control method:
The ultrasound image display control method further comprising; a display setting step by region for setting a display control parameter of the ultrasound image according to a setup parameter for each treatment site included in the procedure guide information.

The method of claim 10, wherein the needle position detection step:
A sensor-based position calculating step of calculating a position of the needle from at least two sensor inputs;
An image-based position calculation step of tracking the movement of tissue in the ultrasound image and estimating the position of the needle;
A position information output step of synthesizing the outputs of the sensor-based position calculation step and the image-based position calculation step to calculate the position of the needle;
Ultrasonic image display control method comprising a.

The method of claim 15, wherein the image-based location calculation step:
A method of controlling ultrasound image display by continuously comparing the generated ultrasound images to identify a region that is changing and a region that does not change, and calculate the location of the needle therefrom.

The method of claim 10, wherein the risk zone modeling step:
A method of controlling an ultrasound image display to recognize a dangerous area from an image generated by intermittently driving the ultrasound signal processor in a Doppler mode.

The method of claim 17, wherein the risk zone modeling step:
A method of controlling an ultrasound image display intermittently driving in a Doppler mode in the background while imaging in a luminance mode.