KR101898887B1 - 3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric - Google Patents

3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric Download PDF

Info

Publication number
KR101898887B1
KR101898887B1 KR1020170051855A KR20170051855A KR101898887B1 KR 101898887 B1 KR101898887 B1 KR 101898887B1 KR 1020170051855 A KR1020170051855 A KR 1020170051855A KR 20170051855 A KR20170051855 A KR 20170051855A KR 101898887 B1 KR101898887 B1 KR 101898887B1
Authority
KR
South Korea
Prior art keywords
landmark
voxel
information
reference information
input
Prior art date
Application number
KR1020170051855A
Other languages
Korean (ko)
Inventor
김진홍
Original Assignee
오스템임플란트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오스템임플란트 주식회사 filed Critical 오스템임플란트 주식회사
Priority to KR1020170051855A priority Critical patent/KR101898887B1/en
Application granted granted Critical
Publication of KR101898887B1 publication Critical patent/KR101898887B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

A 3D landmark suggestion system for 3D cephalometric analysis and a method thereof are disclosed. The 3D landmark suggestion method includes: a step of receiving input information including volume information composed of voxels from a photographing apparatus; a step of receiving reference information corresponding to the attribute of the input information from a knowledge base database that manages and sets a landmark inputted by a user as reference information; a step of setting a landmark candidate region in the input information according to the reference information; a step of matching a voxel included in the reference information with input information in consideration of a deviation between voxels included in the landmark candidate region and a voxel included in the reference information; and a step of displaying a landmark candidate in a voxel matched with a voxel included in the reference information among the voxels included in the input information and suggesting a position to be inputted as a landmark. A user can quickly and easily set up a 3D landmark.

Description

3D 두부 계측 분석을 위한 3D 랜드마크 제안 시스템 및 그 방법{3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric}Technical Field [0001] The present invention relates to a 3D landmark proposal system for 3D head measurement,

본 발명은 3D 교정술과 그것의 플래닝을 위한 3D 두부 계측(Cephalometric) 분석에서 사용될 3D 랜드마크를 의사에게 제안하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for proposing to a physician a 3D landmark to be used in a 3D cephalometric analysis for 3D correction and its planning.

두부 계측(Cephalometric) 분석은 치아와 뼈의 관계를 분석하는 방법으로, 치과의사, 교정의사 그리고 구강과 상악 안면 외과의 들에게 자주 사용된다. Cephalometric analysis is a method of analyzing the relationship between teeth and bones, and is frequently used by dentists, orthodontists, and oral and maxillofacial surgeons.

두부 계측 분석을 위해서 두부 계측 방사선 사진 위에 추적선을 그려야 하며 이것이 두부 계측 트레이싱(cephalometric tracing)이다. 이때, 추적선은 랜드마크(landmark)를 기준으로 그려진다. 랜드마크는 두개골(Skull)에서 임상학적인 의미가 있는 특정 기준점이며, 랜드마크들은 선분으로 연결되어 분석을 위한 축(axis)이나 벡터, 각 그리고 평면들을 구성하게 된다. For cephalometric analysis, a tracing line should be drawn on the cephalometric radiograph, which is cephalometric tracing. At this time, the trace line is drawn based on the landmark. A landmark is a specific reference point that is clinically meaningful in the skull, and the landmarks are connected by segments to form an axis, vector, angle, and planes for analysis.

두부 계측 분석은 앞서 설명한 바와 같이 구성된 선분이나 평면들간의 위치나 관계를 따져, 환자의 임상적 상태를 분석하고 그 수치를 계산하여 미래의 교정 계획을 세우게 된다. The head measurement analysis analyzes the patient's clinical condition and calculates the numerical value of the patient based on the position or relationship between the line segments or planes as described above, and establishes a future correction plan.

차세대 교정술인 3D 교정술은 3D 두부 계측 분석(cephalometric analysis)에 기초하여 수행되며, 기존의 2D 두부 계측에 비하여 다양한 입체적인 정보를 얻을 수 있다. 3D 두부 계측 분석은 3D 영상을 사용하여 치아와 뼈의 관계를 분석함으로써, 왜곡문제에서 자유롭고, 입체적인 영상을 통한 매복치의 위치파악 문제가 쉬우며 석고 모델없이 가상으로 교합상태를 확인할 수도 있다.3D Correction, a next-generation orthodontic, is performed based on 3D cephalometric analysis and provides a variety of stereoscopic information compared to conventional 2D head measurement. 3D head measurement analysis analyzes the relationship between teeth and bones using 3D images, free from distortion problems, easy to locate the impact point by stereoscopic images, and can visually confirm the occlusal state without a plaster model.

그러나, 3D 두부 계측 분석 방법이 아직 표준화되지 않아, 다양한 분석법이 존재하며 그에 따라 다양한 개수의 랜드마크 입력이 요구된다.However, the 3D head measurement method is not yet standardized, and various analysis methods exist, and accordingly, a variety of landmark input is required.

또한, 3D 랜드마크는 골 표면에 존재하지만, 영상센서의 품질과 볼륨 렌더링의 변환 파라미터인OTF(Opacity Transfer Function)의 조절에 따라 구분이 어려울 수 있다. 그리고 의사의 경험에 따라 랜드마크를 구분하는데 어려움을 겪을 수 있다.In addition, although the 3D landmark is present on the surface of the bone, it may be difficult to distinguish it depending on the quality of the image sensor and the adjustment of the OTF (Opacity Transfer Function), which is a conversion parameter of volume rendering. And, depending on the doctor's experience, it can be difficult to distinguish landmarks.

따라서, 3D 랜드마크를 빠르고 용이하게 설정할 수 있도록 하는 방법이 요청되고 있다.Therefore, there is a need for a method that allows quick and easy setting of a 3D landmark.

본 발명은 지식기반 데이터베이스와 영상분석을 통하여 3D 랜드마크를 사용자에게 제안함으로써, 사용자가 3D 랜드마크를 빠르고 용이하게 설정하도록 할 수 있는 장치 및 방법을 제공할 수 있다. The present invention can provide an apparatus and a method for allowing a user to quickly and easily set a 3D landmark by suggesting a 3D landmark to a user through a knowledge base database and image analysis.

또한, 본 발명은 랜드마크를 입력할 수 있는 자문가에게 입력 정보의 볼륨 정보를 전송하고, 자문가로부터 랜드마크의 위치 및 랜드마크의 위치에 대한 의견을 수신함으로써, 자문가가 랜드마크의 위치를 원격으로 선택할 수 있으므로, 랜드마크의 위치 자문 서비스 또는 랜드 마킹 대행 서비스를 제공할 수 있는 장치 및 방법을 제공할 수 있다.The present invention also relates to a method and apparatus for transmitting a volume of input information to an adviser who can input a landmark and receiving an opinion on the position of the landmark and the position of the landmark from the consultant, It is possible to provide an apparatus and method for providing a landmark's location consulting service or landmarking agency service.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법은 촬영 장치로부터 복셀들로 구성된 볼륨 정보를 포함하는 입력 정보를 수신하는 단계; 사용자가 입력하였던 랜드마크를 레퍼런스 정보로 설정하여 관리하는 지식 기반 데이터베이스로부터 상기 입력 정보의 속성에 대응하는 레퍼런스 정보를 수신하는 단계; 상기 레퍼런스 정보에 따라 상기 입력 정보에 랜드마크 후보 영역을 설정하는 단계; 상기 랜드마크 후보 영역에 포함된 복셀들과 상기 레퍼런스 정보에 포함된 복셀 간의 편차를 고려하여 상기 레퍼런스 정보에 포함된 복셀을 입력 정보에 매칭하는 단계; 및 입력 정보에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시하여 랜드마크로 입력할 위치를 제안하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a 3D landmark proposal method including: receiving input information including volume information composed of voxels from a photographing apparatus; Receiving reference information corresponding to an attribute of the input information from a knowledge base database that manages and sets a landmark input by a user as reference information; Setting a landmark candidate region in the input information according to the reference information; Matching a voxel included in the reference information with input information in consideration of a deviation between voxels included in the landmark candidate region and a voxel included in the reference information; And a step of displaying a landmark candidate in a voxel matched with a voxel included in the reference information among the voxels included in the input information and suggesting a position to input as a landmark.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법의 매칭하는 단계는, 입력 정보를 컨볼루션하여 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 레퍼런스 정보에 포함된 복셀과의 편차가 가장 작은 복셀을 탐색하는 단계; 및 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 편차가 가장 작은 복셀을 레퍼런스 정보에 포함된 복셀과 매칭하는 단계를 포함할 수 있다.The matching step of the 3D landmark proposed method according to an embodiment of the present invention includes convoluting input information to generate a voxel having a smallest deviation from a voxel included in the reference information among voxels included in the landmark candidate region, ; And matching the voxel having the smallest deviation among the voxels included in the landmark candidate region with a voxel included in the reference information.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법의 랜드마크 후보 영역을 설정하는 단계는, 상기 입력 정보에서 상기 레퍼런스 정보에 포함된 복셀과 동일한 위치의 복셀을 검색하는 단계; 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정하는 단계를 포함할 수 있다.The step of setting the landmark candidate region of the 3D landmark proposal method according to an embodiment of the present invention includes: searching for a voxel at the same position as the voxel included in the reference information in the input information; And setting a landmark candidate region including voxels located within a predetermined distance from the searched voxel.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법의 랜드마크 후보 영역을 설정하는 단계는, 상기 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 거리 및 방향을 식별하는 단계; 상기 입력 정보에서 환자의 신체 부위의 위치를 식별하는 단계; 상기 환자의 신체 부위를 기준으로 상기 복셀과 환자의 신체 부위 간의 거리 및 방향에 대응하는 복셀을 검색하는 단계; 및 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정하는 단계를 포함할 수 있다.The step of setting the landmark candidate region of the 3D landmark proposal method according to an embodiment of the present invention includes: identifying a distance and a direction between a voxel included in the reference information and a body part of a patient; Identifying a position of a body part of a patient in the input information; Searching for a voxel corresponding to a distance and a direction between a body part of the patient and the voxel based on the body part of the patient; And setting a landmark candidate region including voxels located within a certain distance from the searched voxel.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법는 사용자 단말로부터 상기 입력 정보에 입력할 랜드마크에 대하여 자문가와 의견을 교환하고 싶다는 메시지를 수신한 경우, 상기 자문가의 자문 단말로 상기 입력 정보 및 랜드마크로 입력할 위치를 요청하는 메시지를 전송하는 단계; 상기 자문 단말로부터 상기 자문가가 상기 입력 정보에서 랜드마크로 선택한 복셀을 수신하는 단계; 및 상기 랜드마크로 선택한 복셀을 상기 사용자 단말로 전송하여 상기 랜드마크로 선택한 복셀에 랜드마크 후보를 표시하도록 하는 단계를 더 포함할 수 있다.The 3D landmark proposal method according to an embodiment of the present invention is a method for providing a 3D landmark according to an embodiment of the present invention, when receiving a message that a user wishes to exchange opinions with an adviser about a landmark to be input in the input information, Transmitting a message requesting a location to input a macro; Receiving from the advisory terminal a voxel selected by the adviser as a landmark in the input information; And transmitting the voxel selected as the landmark to the user terminal to display the landmark candidate in the voxel selected as the landmark.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법는 사용자 단말로부터 상기 랜드마크 후보를 참조하여 사용자가 입력한 랜드마크를 수신하는 경우, 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치를 비교하는 단계; 및 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치가 서로 다른 경우, 상기 사용자 단말로부터 수신한 랜드마크의 위치에 따라 상기 레퍼런스 정보를 업데이트하는 단계를 더 포함할 수 있다.A 3D landmark proposal method according to an embodiment of the present invention is a 3D landmark proposal method in which, when a user inputs a landmark input by referring to the landmark candidate from a user terminal, the 3D landmark is set to the position of the landmark received from the user terminal, Comparing positions of the landmarks; And updating the reference information according to the position of the landmark received from the user terminal when the position of the landmark received from the user terminal is different from the position of the landmark set by the reference information have.

본 발명의 일실시예에 따른 3D 랜드마크 제안 방법의 지식 기반 데이터베이스는, 성별, 연령, 중 적어도 하나의 속성에 따라 상기 레퍼런스 정보들을 분류하여 관리할 수 있다.The knowledge base database of the 3D landmark proposal method according to an embodiment of the present invention can classify and manage the reference information according to at least one attribute of sex, age, and the like.

본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템은 사용자가 입력하였던 랜드마크를 레퍼런스 정보로 설정하여 관리하는 지식 기반 데이터베이스; 및 촬영 장치로부터 복셀들로 구성된 볼륨 정보를 포함하는 입력 정보를 수신하고, 상기 지식 기반 데이터베이스로부터 상기 입력 정보의 속성에 대응하는 레퍼런스 정보를 수신하며, 상기 레퍼런스 정보에 따라 상기 입력 정보에 랜드마크 후보 영역을 설정하고, 상기 랜드마크 후보 영역에 포함된 복셀들과 상기 레퍼런스 정보에 포함된 복셀 간의 편차를 고려하여 상기 레퍼런스 정보에 포함된 복셀을 입력 정보에 매칭하며, 입력 정보에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시하여 랜드마크로 입력할 위치를 제안하는 3D 랜드마크 제안 장치를 포함할 수 있다.A 3D landmark proposal system according to an embodiment of the present invention includes a knowledge base database configured to set and manage a landmark input by a user as reference information; And input information including volume information composed of voxels from a photographing apparatus, receiving reference information corresponding to an attribute of the input information from the knowledge base database, and inputting a landmark candidate The voxels included in the reference information are matched with the input information in consideration of the difference between the voxels included in the landmark candidate region and the voxels included in the reference information, And a 3D landmark suggesting apparatus for displaying a landmark candidate in a voxel matched with a voxel included in the reference information and suggesting a position to input as a landmark.

본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템의 3D 랜드마크 제안 장치는, 입력 정보를 컨볼루션하여 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 레퍼런스 정보에 포함된 복셀과의 편차가 가장 작은 복셀을 탐색하고, 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 편차가 가장 작은 복셀을 레퍼런스 정보에 포함된 복셀과 매칭할 수 있다.The 3D landmark suggesting apparatus of the 3D landmark suggesting system according to an embodiment of the present invention convolutes input information to determine a deviation of a voxel included in the reference information from a voxel included in the landmark candidate region A small voxel may be searched and a voxel having the smallest deviation among the voxels included in the landmark candidate region may be matched with a voxel included in the reference information.

본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템의 3D 랜드마크 제안 장치는, 상기 입력 정보에서 상기 레퍼런스 정보에 포함된 복셀과 동일한 위치의 복셀을 검색하고, 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정할 수 있다.The 3D landmark suggesting apparatus of the 3D landmark suggesting system according to an embodiment of the present invention searches for a voxel in the same position as the voxel included in the reference information in the input information, It is possible to set the landmark candidate area including the landmark candidate area.

본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템의 3D 랜드마크 제안 장치는, 상기 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 거리 및 방향을 식별하고, 상기 입력 정보에서 환자의 신체 부위의 위치를 식별하며, 상기 환자의 신체 부위를 기준으로 상기 복셀과 환자의 신체 부위 간의 거리 및 방향에 대응하는 복셀을 검색하고, 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정할 수 있다.The 3D landmark proposal apparatus of the 3D landmark proposal system according to an embodiment of the present invention identifies a distance and a direction between a body part of a patient and a voxel included in the reference information, A voxel corresponding to the distance and direction between the voxel and the body part of the patient is searched for based on the body part of the patient and a landmark candidate area including voxels located within a certain distance from the searched voxel is set have.

본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템의 3D 랜드마크 제안 장치는, 사용자 단말로부터 상기 입력 정보에 입력할 랜드마크에 대하여 자문가와 의견을 교환하고 싶다는 메시지를 수신한 경우, 상기 자문가의 자문 단말로 상기 입력 정보 및 랜드마크로 입력할 위치를 요청하는 메시지를 전송하고, 상기 자문 단말로부터 상기 자문가가 상기 입력 정보에서 랜드마크로 선택한 복셀을 수신하며, 상기 랜드마크로 선택한 복셀을 상기 사용자 단말로 전송하여 상기 랜드마크로 선택한 복셀에 랜드마크 후보를 표시하도록 할 수 있다.In the 3D landmark suggesting apparatus of the 3D landmark proposal system according to an embodiment of the present invention, when receiving a message that the user wishes to exchange opinions with the consultant about the landmark to be input to the input information from the user terminal, And transmits to the consulting terminal a message requesting a position to be input as the input information and the landmark, receives the voxel selected by the adviser terminal as a landmark from the input information, and transmits the voxel selected as the landmark to the user terminal So that the landmark candidate is displayed on the voxel selected as the landmark.

본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템의 3D 랜드마크 제안 장치는, 사용자 단말로부터 상기 랜드마크 후보를 참조하여 사용자가 입력한 랜드마크를 수신하는 경우, 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치를 비교하고, 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치가 서로 다른 경우, 상기 사용자 단말로부터 수신한 랜드마크의 위치에 따라 상기 레퍼런스 정보를 업데이트할 수 있다.The 3D landmark proposal apparatus of the 3D landmark proposal system according to an embodiment of the present invention is characterized in that when receiving a landmark input by a user with reference to the landmark candidate from a user terminal, When the position of the landmark received from the user terminal and the position of the landmark set by the reference information are different from each other, the position of the landmark received from the user terminal is compared with the position of the landmark received from the user terminal. The reference information can be updated according to the position.

본 발명의 일실시예에 의하면, 지식기반 데이터베이스와 영상분석을 통하여 3D 랜드마크를 사용자에게 제안함으로써, 사용자가 3D 랜드마크를 빠르고 용이하게 설정하도록 할 수 있다. According to an embodiment of the present invention, a 3D landmark is proposed to a user through a knowledge base database and image analysis, so that a user can quickly and easily set a 3D landmark.

또한, 본 발명의 일실시예에 의하면, 랜드마크를 입력할 수 있는 자격을 가진 자문가에게 입력 정보의 볼륨 정보를 전송하고, 자문가로부터 랜드마크의 위치 및 랜드마크의 위치에 대한 의견을 수신함으로써, 자문가가 랜드마크의 위치를 원격으로 선택할 수 있으므로, 랜드마크의 위치 자문 서비스 또는 랜드 마킹 대행 서비스를 제공할 수 있다.According to an embodiment of the present invention, volume information of input information is transmitted to an advisor who is entitled to input a landmark, and by receiving opinions of the position of the landmark and the position of the landmark from the consultant, Since the consultant can remotely select the location of the landmark, it can provide the landmark's location advisory service or landmark agency service.

도 1은 본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따라 3D 랜드마크를 제안한 결과의 일례이다.
도 3은 본 발명의 일실시예에 따라 입력 정보의 볼륨 정보에 랜드마크를 입력한 결과의 일례이다.
도 4는 본 발명의 일실시예에 따라 제안한 3D 랜드마크를 이용하여 프로필로그램을 생성하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따라 랜드마크 후보 영역을 설정하는 제1 실시예이다.
도 6은 본 발명의 일실시예에 따라 랜드마크 후보 영역을 설정하는 제2 실시예이다.
도 7은 본 발명의 일실시예에 따라 3D 랜드마크 중 비근점(Nasion)을 제안하는 일례이다.
도 8은 본 발명의 일실시예에 따라 3D 랜드마크 중 기저점(Basion)을 제안하는 일례이다.
도 9는 본 발명의 일실시예에 따라 3D 랜드마크 중 안와점(Orbitale)을 제안하는 일례이다.
도 10은 본 발명의 일실시예에 따라 3D 랜드마크 중 외이도(Porion)을 제안하는 일례이다.
도 11은 본 발명의 일실시예에 따라 랜드마크의 지식을 공유하는 과정의 일례이다.
도 12는 본 발명의 일실시예에 따른 3D 랜드마크 제안 방법을 도시한 플로우차트이다.
1 is a diagram illustrating a 3D landmark proposed system according to an embodiment of the present invention.
2 is an example of a result of proposing a 3D landmark according to an embodiment of the present invention.
3 is an example of a result of inputting a landmark in volume information of input information according to an embodiment of the present invention.
4 is an example of a process of generating a profile graph using the proposed 3D landmark according to an embodiment of the present invention.
5 is a first embodiment for setting a landmark candidate region according to an embodiment of the present invention.
FIG. 6 is a second embodiment for setting a landmark candidate region according to an embodiment of the present invention.
FIG. 7 is an example of suggesting a nasion of a 3D landmark according to an embodiment of the present invention.
8 is an example of suggesting a base point of a 3D landmark according to an embodiment of the present invention.
9 is an example of suggesting an Orbitale among 3D landmarks according to an embodiment of the present invention.
FIG. 10 is an example of proposing an ear canal among 3D landmarks according to an embodiment of the present invention.
11 is an example of a process of sharing knowledge of landmarks according to an embodiment of the present invention.
12 is a flowchart illustrating a 3D landmark proposal method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 3D 랜드마크 제안 방법은 3D 랜드마크 제안 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The 3D landmark proposal method according to an embodiment of the present invention can be performed by the 3D landmark proposal apparatus.

도 1은 본 발명의 일실시예에 따른 3D 랜드마크 제안 시스템을 나타내는 도면이다.1 is a diagram illustrating a 3D landmark proposed system according to an embodiment of the present invention.

3D 랜드마크 제안 시스템은 도 1에 도시된 바와 같이 촬영 장치(110), 지식 기반 데이터베이스(120), 및 3D 랜드마크 제안 장치(130)를 포함할 수 있다. The 3D landmark suggestion system may include a photographing device 110, a knowledge base database 120, and a 3D landmark suggestion device 130, as shown in FIG.

촬영 장치(110)는 환자를 촬영하여 입력 정보를 생성할 수 있다. 그리고, 촬영 장치(110)는 생성한 입력 정보를 3D 랜드마크 제안 장치(130)로 전송할 수 있다. 이때, 입력 정보는 복셀들로 구성된 볼륨 정보를 포함할 수 있다. 예를 들어, 촬영 장치(110)는 컴퓨터 단층 촬영(Computed Tomography: CT) 장치이고, 입력 정보는 환자의 CT 영상, 또는 의료 영상 정보일 수 있다. 또한, 복셀(Voxel)은 환자와 관련된 3차원 공간의 점을 정의한 그래픽 정보일 수 있다. 예를 들어, 복셀은 위치, 컬러 및 밀도를 나타내는 3가지 좌표를 포함할 수 있다.The photographing apparatus 110 can photograph the patient and generate input information. Then, the photographing apparatus 110 can transmit the generated input information to the 3D landmark suggesting apparatus 130. At this time, the input information may include volume information composed of voxels. For example, the imaging device 110 may be a computed tomography (CT) device, and the input information may be a CT image of the patient, or medical image information. Also, the voxel may be graphical information defining a point of a three-dimensional space associated with the patient. For example, a voxel may include three coordinates representing position, color, and density.

지식 기반 데이터베이스(120)는 사용자가 입력하였던 랜드마크들을 레퍼런스 정보들로 설정하여 저장하고 관리할 수 있다. 이때, 지식 기반 데이터베이스(120)는 성별, 연령, 특수 케이스와 같은 속성별로 레퍼런스 정보들을 분류(classifying)하여 관리할 수 있다. 예를 들어, 특수 케이스는 랜드마크의 위치가 변경될 수 있는 환자의 질병이나 상처일 수 있다.The knowledge base database 120 may store and manage landmarks that the user has input as reference information. At this time, the knowledge base database 120 classifies and manages reference information by gender, age, special case, and the like. For example, a special case may be a disease or a wound of a patient that can change the position of the landmark.

이때, 레퍼런스 정보들을 분류하는 조건은 분류 규칙으로 정의될 수 있다. 또한, 레퍼런스 정보는 사용자가 입력하였던 랜드마크의 위치, 사용자가 입력하였던 랜드마크에 대응하는 복셀 및 사용자가 입력하였던 랜드마크의 타입을 포함할 수 있다. 그리고, 사용자는 의사와 같이 입력 정보에 3D 랜드마크, 또는 레퍼런스 포인트를 설정할 수 있는 권한을 가진 사람일 수 있다.At this time, a condition for classifying the reference information can be defined as a classification rule. In addition, the reference information may include a position of a landmark that the user has input, a voxel corresponding to the landmark that the user has input, and a type of landmark that the user has input. The user may be a person who has the authority to set a 3D landmark or a reference point in input information such as a doctor.

예를 들어, 지식 기반 데이터베이스(120)는 10대 남성의 입력 정보에 사용자가 입력한 랜드마크, 20대 남성의 입력 정보에 사용자가 입력한 랜드마크, 30대 남성의 입력 정보에 사용자가 입력한 랜드마크, 10대 여성의 입력 정보에 사용자가 입력한 랜드마크, 20대 여성의 입력 정보에 사용자가 입력한 랜드마크, 30대 여성의 입력 정보에 사용자가 입력한 랜드마크와 같이 속성의 조합 별로 레퍼런스 정보를 저장하고 관리할 수 있다. For example, the knowledge base database 120 may include a landmark input by the user in the input information of the teen male, a landmark input by the user in the input information of the male in their 20s, A landmark entered by a user in input information of a teenager woman, a landmark input by a user in input information of a woman in her twenties, and a landmark input by a user in input information of a woman in her thirties You can store and manage reference information.

또한, 지식 기반 데이터베이스(120)는 영상의 탐색은 성별, 연령, 특수 케이스 중 적어도 하나의 속성에 따른 3D 프로필로그램(profilogram)을 저장하고 관리할 수 있다. 이때, 3D 프로필로그램은 레퍼런스 정보들을 연결하여 생성된 환자의 골격 구조를 나타내는 다각형일 수 있다. 또한, 3D 프로필로그램은 환자에 따라 생성된 다각형 모양이 조금씩 다르기는 하나 골격 구조의 차이는 없을 수 있다.In addition, the knowledge base database 120 can store and manage a 3D profile profile according to at least one attribute of sex, age, and special case. At this time, the 3D profile graph may be a polygon representing the skeletal structure of the patient created by connecting the reference information. In addition, the shape of the polygons generated by the patient in the 3D profile graph may be slightly different, but there may be no difference in the skeletal structure.

3D 랜드마크 제안 장치(130)로부터 기저장된 3D 프로필로그램과 서로 다른 속성의 3D 프로필로그램을 수신하는 경우, 지식 기반 데이터베이스(120)는 수신한 3D 프로필로그램을 저장할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)로부터 기저장된 3D 프로필로그램과 동일한 속성의 3D 프로필로그램을 수신하는 경우, 지식 기반 데이터베이스(120)는 수신한 3D 프로필로그램을 이용하여 기 저장된 3D 프로필로그램을 업데이트하는 지식 정보 처리 기능을 수행할 수 있다.When receiving the 3D profile log of the different attributes from the 3D profile profile stored previously from the 3D landmark suggestion device 130, the knowledge base database 120 may store the received 3D profile profile. When receiving the 3D profile log of the same attribute as the previously stored 3D profile log from the 3D landmark proposal device 130, the knowledge base database 120 stores the 3D profile, which is previously stored using the received 3D profile log, A knowledge information processing function for updating a program can be performed.

그리고, 지식 기반 데이터베이스(120)는 3D 랜드마크 제안 장치(130)의 요청에 따라 레퍼런스 정보를 3D 랜드마크 제안 장치(130)로 전송할 수 있다. The knowledge base database 120 may transmit the reference information to the 3D landmark suggesting device 130 at the request of the 3D landmark suggesting device 130.

3D 랜드마크 제안 장치(130)는 촬영 장치(110)로부터 입력 정보를 수신하고, 지식 기반 데이터베이스(120)에서 레퍼런스 정보를 수신할 수 있다. 이때, 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)에 저장된 복수의 3D 프로필로그램들 중에서 입력 정보의 속성에 대응하는 레퍼런스 정보, 또는 3D 프로필로그램을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 검색된 레퍼런스 정보, 또는 검색된 3D 프로필로그램을 구성하는 레퍼런스 정보들을 요청할 수 있다. 3D landmark suggestion device 130 may receive input information from imaging device 110 and receive reference information from knowledge base database 120. [ At this time, the 3D landmark suggesting device 130 can search for the reference information corresponding to the attribute of the input information or the 3D profile log among the plurality of 3D profile maps stored in the knowledge base database 120. The 3D landmark suggestion device 130 may request the retrieved reference information or the reference information constituting the retrieved 3D profile log.

예를 들어, 입력 정보가 20대 여성인 환자를 촬영하여 생성된 영상인 경우, 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)에서 20대 여성에 대응하는 레퍼런스 정보, 또는 3D 프로필로그램을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)에게 검색된 레퍼런스 정보 또는 3D 프로필로그램을 구성하는 레퍼런스 정보들을 전송하도록 요청할 수 있다.For example, if the input information is a video generated by photographing a patient who is a female in his twenties, the 3D landmark suggestion device 130 may obtain reference information corresponding to the twenties female in the knowledge base database 120, You can search for grams. The 3D landmark suggestion device 130 may request the knowledge base database 120 to transmit the retrieved reference information or the reference information constituting the 3D profile log.

다음으로, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 따라 입력 정보에 랜드마크 후보 영역을 설정할 수 있다. 이때, 레퍼런스 정보에 포함된 복셀은 사용자가 랜드마크로 선택하였던 복셀일 수 있다.Next, the 3D landmark suggesting apparatus 130 can set the landmark candidate region in the input information according to the reference information. At this time, the voxel included in the reference information may be a voxel selected by the user as a landmark.

이때, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀의 위치에 따라 랜드마크 후보 영역을 설정할 수 있다. 3D 랜드마크 제안 장치(130)가 레퍼런스 정보에 포함된 복셀의 위치에 따라 랜드마크 후보 영역을 설정하는 과정은 이하 도 7를 참조하여 상세히 설명한다.At this time, the 3D landmark suggestion apparatus 130 can set the landmark candidate region according to the position of the voxel included in the reference information. The process of setting the landmark candidate region according to the position of the voxel included in the reference information by the 3D landmark suggesting apparatus 130 will be described in detail with reference to FIG.

또한, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 관계에 따라 입력 정보에 랜드마크 후보 영역을 설정할 수 있다. 3D 랜드마크 제안 장치(130)가 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 관계에 따라 랜드마크 후보 영역을 설정하는 과정은 이하 도 8을 참조하여 상세히 설명한다.Also, the 3D landmark suggestion device 130 can set the landmark candidate region in the input information according to the relationship between the body part of the patient and the voxel included in the reference information. The process of setting the landmark candidate region according to the relationship between the body part of the patient and the voxel included in the reference information of the 3D landmark suggestion device 130 will be described in detail with reference to FIG.

그 다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역에 포함된 복셀들과 레퍼런스 정보에 포함된 복셀 간의 편차가 최소화되도록 입력 정보를 컨볼루션시켜, 레퍼런스 정보와 입력 정보를 매칭할 수 있다.Next, the 3D landmark suggesting device 130 can convert the input information to minimize the deviation between the voxels included in the landmark candidate region and the voxels included in the reference information, and match the reference information with the input information have.

예를 들어, 3D 랜드마크 제안 장치(130)는 SAD(Sum of absolute differences)를 사용하여 레퍼런스 정보와 입력 정보를 매칭할 수 있다. 이때, 레퍼런스 정보에 포함된 복셀은 SAD에 타겟(Target) 이미지로 입력되고, 랜드마크 후보 영역에 포함된 복셀들은 SAD에 소스(Source) 이미지로 입력될 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 수학식 1을 이용하여 타겟 이미지와 소스 이미지의 편차를 비교할 수 있다.For example, the 3D landmark suggestion device 130 may use the sum of absolute differences (SAD) to match the reference information with the input information. At this time, the voxels included in the reference information are input to the SAD as a target image, and the voxels included in the landmark candidate region can be input as a source image to the SAD. Then, the 3D landmark suggesting device 130 can compare the deviation between the target image and the source image using Equation (1).

Figure 112017039562030-pat00001
Figure 112017039562030-pat00001

그리고, 3D 랜드마크 제안 장치(130)는 입력 정보를 컨볼루션(convolution)하여 입력 정보의 랜드마크 후보 영역에 포함된 복셀들 중에서 SAD가 가장 작은 복셀을 탐색할 수 있다. 이때, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역에 포함된 복셀들 중에서 SAD가 가장 작은 복셀을 레퍼런스 정보에 포함된 복셀과 매칭할 수 있다. The 3D landmark suggestion device 130 may then convolute the input information to search for a voxel having the smallest SAD among the voxels included in the landmark candidate region of the input information. At this time, the 3D landmark suggestion device 130 can match the voxel having the smallest SAD among the voxels included in the landmark candidate region to the voxel included in the reference information.

3D 랜드마크 제안 장치(130)는 3D 랜드마크 제안 장치(130)가 수행한 복셀 정보와 볼륨 정보 간의 매칭 결과에 따라 입력 정보에서 랜드마크로 입력할 위치를 제안할 수 있다.The 3D landmark suggesting device 130 can suggest a position to input as a landmark in the input information according to the matching result between the voxel information and the volume information performed by the 3D landmark suggesting device 130. [

구체적으로, 3D 랜드마크 제안 장치(130)는 입력 정보의 랜드마크 후보 영역에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시함으로써, 랜드마크 후보를 표시한 위치에 랜드마크를 입력하도록 사용자에게 제안할 수 있다.Specifically, the 3D landmark suggestion device 130 displays the landmark candidate in the voxel matched with the voxel included in the reference information among the voxels included in the landmark candidate region of the input information, The user may be asked to input a landmark.

또한, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시한 입력 정보를 사용자 단말(140)로 전송함으로써, 사용자에게 랜드마크 후보의 위치를 제공할 수 있다. 이때, 사용자 단말(140)은 사용자가 사용하는 PC, 또는 사용자가 소지한 스마트 단말일 수 있다.In addition, the 3D landmark suggestion device 130 transmits input information indicating a landmark candidate to a voxel matched with the voxel included in the reference information to the user terminal 140, thereby providing the user with the position of the landmark candidate . At this time, the user terminal 140 may be a PC used by a user or a smart terminal carried by a user.

그리고, 랜드마크 후보가 표시된 입력 정보를 사용자에게 제공한 사용자 단말(140)은 사용자로부터 랜드마크를 입력받아 3D 랜드마크 제안 장치(130)로 전송할 수 있다. 이때, 사용자 단말(140)이 사용자로부터 입력받은 랜드마크의 위치는 랜드마크 후보의 위치와 일치할 수도 있고, 다를 수도 있다. 또한, 사용자 단말(140)이 3D 랜드마크 제안 장치(130)로 전송하는 정보는 사용자가 랜드마크를 입력한 위치의 복셀일 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 수신한 랜드마크를 지식 기반 데이터베이스(120)로 전송할 수 있다.The user terminal 140, which has provided the user with the input information indicating the landmark candidate, receives the landmark from the user, and transmits the landmark to the 3D landmark suggesting device 130. At this time, the position of the landmark received from the user by the user terminal 140 may match the position of the landmark candidate or may be different. In addition, the information transmitted from the user terminal 140 to the 3D landmark suggesting apparatus 130 may be a voxel at a position where the user inputs the landmark. The 3D landmark suggesting device 130 may transmit the landmark received from the user terminal 140 to the knowledge base database 120. [

또한, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 입력 정보에 입력할 랜드마크에 대하여 자문가와 의견을 교환하고 싶다는 메시지를 수신할 수 있다. In addition, the 3D landmark suggestion device 130 may receive a message from the user terminal 140 indicating that it wishes to exchange opinion with the landmark to be input in the input information.

예를 들어, 환자의 케이스에 따라 골격이 일부 소손되거나, 랜드마크를 구별하기 어려운 상황이 발생한 경우, 사용자는 환자의 랜드마크를 잘못 입력할 가능성이 있다고 판단할 수 있다. 이때, 사용자는 사용자 단말(140)을 통하여 3D 랜드마크 제안 장치(130)로 자문가들과 의견을 교환하고 싶다는 메시지를 전송할 수 있다. 이때, 자문가는 3D 랜드마크 제안 시스템에 등록된 의사, 또는 교정 전문의일 수 있다.For example, when a skeleton is partially burned or a landmark is difficult to distinguish according to the patient's case, the user may determine that there is a possibility that the patient's landmark is erroneously input. At this time, the user can transmit a message to the 3D landmark suggestion device 130 through the user terminal 140 that he / she wishes to exchange opinions with advisors. At this time, the consultant may be a doctor registered in the 3D landmark proposal system, or an orthopedist.

그리고, 3D 랜드마크 제안 장치(130)는 자문 단말(150)로 입력 정보 및 환자의 특징 정보를 전송할 수 있다. 이때, 자문 단말(150)은 자문가가 사용하는 PC, 또는 자문가가 소지한 스마트 단말과 같이 네트워크의 접속이 가능한 단말일 수 있다. 또한, 특징 정보는 환자의 성별, 연령, 및 질환과 같은 환자의 속성을 포함할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 이름, 주소와 같이 환자를 식별할 수 있는 정보를 특징 정보에 포함시키지 않으므로써, 자문가에게 환자의 신상이 노출되는 것을 방지할 수 있다.The 3D landmark suggestion device 130 can transmit the input information and the characteristic information of the patient to the advisory terminal 150. At this time, the advisory terminal 150 may be a PC used by a consultant or a terminal capable of accessing a network such as a smart terminal owned by an adviser. In addition, the feature information may include attributes of the patient such as the sex, age, and disease of the patient. In addition, the 3D landmark suggestion device 130 does not include information that can identify the patient, such as name and address, in the feature information, thereby preventing the consultant from being exposed to the patient's personal image.

또한, 자문가가 3D 랜드마크를 선택하기 위하여 필요한 정보는 입력 정보에 포함된 볼륨 정보이므로, 3D 랜드마크 제안 장치(130)는 입력 정보 전체가 아니라 입력 정보에 포함된 볼륨 정보만 자문 단말(150)로 전송할 수도 있다.The 3D landmark suggesting apparatus 130 can not only input volume information but also volume information included in the input information, rather than the entire input information, since the information necessary for the consultant to select the 3D landmark is volume information included in the input information. .

이때, 자문 단말(150)은 입력 정보에 포함된 볼륨 정보를 회전, 또는 스케일링하여 표시할 수 있다. 또한, 자문 단말(150)은 자문가가 마우스 포인터를 이용하여 볼륨 정보에서 선택한 위치 및 랜드마크와 관련하여 자문가가 입력한 정보를 3D 랜드마크 제안 장치(130)로 전송할 수 있다. 예를 들어, 마우스 포인터를 이용하여 볼륨 정보에서 선택한 위치는 볼륨 정보를 구성하는 복셀들 중에서 자문가가 랜드마크로 선택한 복셀, 또는 랜드마크와 관련하여 자문가가 확인하고자 하는 복셀일 수 있다. 또한, 랜드마크와 관련하여 자문가가 입력한 정보는 자문가가 사용자에게 하고자 하는 질문, 또는 사용자의 질문에 대한 자문가의 답변, 또는 랜드마크의 위치와 관련된 자문가의 의견 중 하나일 수 있다.At this time, the advisory terminal 150 may display the volume information included in the input information by rotating or scaling. Also, the consultant terminal 150 can transmit the information input by the consultant to the 3D landmark suggesting device 130 in association with the location and the landmark selected by the consultant from the volume information using the mouse pointer. For example, the position selected from the volume information using the mouse pointer may be a voxel selected by the consultant as a landmark among the voxels constituting the volume information, or a voxel which the consultant intends to check with respect to the landmark. In addition, the information entered by the consultant in relation to the landmark may be one of the consultant's question to the user, the consultant's answer to the user's question, or the consultant's opinion related to the location of the landmark.

이때, 3D 랜드마크 제안 장치(130)는 자문 단말(150)로부터 수신한 복셀 및 랜드마크와 관련하여 자문가가 입력한 정보를 사용자 단말(140)로 전송함으로써, 자문가가 선택한 랜드마크의 위치 및 자문가가 입력한 정보를 사용자에게 제공할 수 있다.At this time, the 3D landmark suggestion device 130 transmits the information inputted by the consultant in relation to the voxel and the landmark received from the consultant terminal 150 to the user terminal 140 so that the position of the landmark selected by the consultant, The information input by the user can be provided to the user.

또한, 자문 단말(150)과 사용자 단말(140)은 자문가, 또는 사용자가 입력 정보에 입력한 랜드마크를 실시간으로 공유하여 동시 화면으로 표시할 수 있다. 구체적으로, 3D 랜드마크 제안 장치(130)는 자문 단말(150)로부터 수신한 복셀을 사용자 단말(140)로 전송할 수 있다. 그리고, 사용자 단말(140)은 3D 랜드마크 제안 장치(130)로부터 수신한 복셀에 랜드마크 후보를 추가로 표시함으로써, 자문자가 입력한 랜드마크의 위치를 사용자에게 제공할 수 있다.In addition, the consulting terminal 150 and the user terminal 140 can share the landmark inputted by the consultant or the user in real time and display the same on a simultaneous screen. Specifically, the 3D landmark suggestion device 130 may transmit the voxels received from the advisory terminal 150 to the user terminal 140. [ The user terminal 140 can additionally display the landmark candidate in the voxel received from the 3D landmark suggesting device 130, thereby providing the user with the position of the landmark inputted by the consultant.

또한, 사용자 단말(140)이 사용자로부터 랜드마크를 추가로 입력받는 경우, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 사용자가 랜드마크로 입력한 복셀을 수신하여 자문 단말(150)로 전송할 수 있다. 그리고, 자문 단말(150)은 3D 랜드마크 제안 장치(130)로부터 수신한 복셀에 랜드마크 후보를 추가로 표시함으로써, 사용자에 의하여 추가된 랜드마크의 위치를 자문가에게 제공할 수 있다.When the user terminal 140 further receives a landmark from the user, the 3D landmark suggestion device 130 receives the voxel input by the user from the user terminal 140 as a landmark, and transmits the voxel to the advisory terminal 150 Lt; / RTI > The advisory terminal 150 may further display the landmark candidate in the voxel received from the 3D landmark suggesting device 130, thereby providing the adviser with the position of the landmark added by the user.

그리고, 자문 단말(150)과 사용자 단말(140)은 자문가와 사용자가 각각 입력하는 랜드마크를 실시간으로 서로의 단말에 표시함으로써, 랜드마크를 입력하는 과정에서 자문가와 사용자간의 협업이 가능하도록 할 수 있다. The advisory terminal 150 and the user terminal 140 can display the landmarks inputted by the consultant and the user on the terminals in real time so that collaboration between the consultant and the user can be performed in the process of inputting the landmark have.

예를 들어, 랜드마크 입력 시간을 단축하기 위하여 사용자와 자문가가 입력 정보의 서로 다른 영역에 랜드마크를 입력하기로 결정할 수 있다. 이때, 사용자와 자문가는 각각 서로가 랜드마크를 입력할 영역을 결정할 수 있다. 그리고, 사용자는 사용자 단말(140)을 이용하여 사용자에게 할당된 영역에 랜드마크를 입력하고, 자문가는 자문 단말(150)를 이용하여 자문가에게 할당된 영역에 랜드마크를 입력할 수 있다. 이때, 자문 단말(150)과 사용자 단말(140)은 자문가와 사용자가 각각 입력하는 랜드마크를 실시간으로 서로의 단말에 표시하고 있으므로, 상대방의 랜드마크 입력 상황을 용이하게 확인할 수 있다. For example, to shorten the landmark input time, the user and consultant may decide to enter the landmark in different areas of the input information. At this time, the user and the consultant can determine the area in which the landmark is input to each other. Then, the user inputs the landmark into the area assigned to the user using the user terminal 140, and the consultant can input the landmark into the area assigned to the consultant using the consultant terminal 150. [ At this time, since the consultant terminal 150 and the user terminal 140 display the landmark inputted by the consultant and the user respectively on the terminals in real time, the landmark input situation of the other party can be easily confirmed.

또한, 사용자와 자문가가 입력 정보의 서로 다른 방향부터 순차적으로 랜드마크를 입력하기로 결정할 수 있다. 이때, 랜드마크의 입력 속도, 또는 진행 방향에 따라 사용자와 자문가가 랜드마크를 중복으로 입력할 가능성이 있다. 예를 들어, 자문자의 랜드마크 입력 속도가 사용자의 랜드마크 입력 속도보다 빠른 경우, 사용자가 입력 정보의 중심부까지 랜드마크를 입력하기 전에 자문자가 입력 정보의 중심부에 랜드마크를 모두 입력할 수 있다. 이때, 자문 단말(150)과 사용자 단말(140)은 3D 랜드마크 제안 장치(130)의 중계에 따라 자문가와 사용자가 각각 입력하는 랜드마크를 실시간으로 서로의 단말에 표시하고 있으므로, 랜드마크가 입력된 것을 확인한 사용자는 입력 정보의 중심부에 랜드마크를 중복 입력하지 않을 수 있다.Further, the user and consultant can decide to input the landmark sequentially from different directions of the input information. At this time, there is a possibility that the user and the consultant input landmarks in duplicate in accordance with the input speed or direction of the landmark. For example, if the landmark input speed of the character is faster than the landmark input speed of the user, the consultant can input all the landmarks at the center of the input information before the user inputs the landmark to the center of the input information . At this time, since the advisory terminal 150 and the user terminal 140 display the landmark inputted by the consultant and the user on the terminal in real time according to the relay of the 3D landmark suggesting device 130, The user who has confirmed that the landmark is not overlapped with the landmark in the center of the input information.

그리고, 3D 랜드마크 제안 장치(130)는 웹 서비스를 제공하는 서버, 또는 프로세서의 형태로 구현될 수 있다. 예를 들어, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 웹 서비스를 통하여 입력 정보에 포함된 볼륨 정보 및 환자의 특징 정보를 수신할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 수신한 볼륨 정보 및 환자의 특징 정보를 자문 단말(150)로 전송함으로써, 지식 기반 데이터베이스를 이용한 랜드마크 제안이 아니라 사용자와 자문가 간의 의견을 중계하는 서비스를 제공할 수도 있다.The 3D landmark suggestion device 130 may be implemented in the form of a server or a processor for providing a web service. For example, the 3D landmark suggestion device 130 may receive the volume information and the feature information of the patient included in the input information through the Web service from the user terminal 140. The 3D landmark proposal apparatus 130 transmits the volume information and the characteristic information of the patient received from the user terminal 140 to the advisory terminal 150 so that the 3D landmark suggestion apparatus 130 can not provide the landmark proposal using the knowledge base database, It may also provide a service to relay opinions.

또한, 자문가가 랜드마크에 대한 전문 리뷰, 또는 자문을 수행하는 의사이거나, 랜드마크를 대행하는 의사인 경우, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)에 소정의 비용을 부과할 수 있다.In addition, if the consultant is a doctor who performs a professional review or advice on a landmark, or a doctor who acts on behalf of a landmark, the 3D landmark suggestion device 130 may charge a predetermined fee to the user terminal 140 have.

사용자 단말(140)은 사용자로부터 자문가가 선택한 위치를 고려하여 확정된 랜드마크의 위치를 입력 받을 수 있다. 그리고, 사용자 단말(140)은 랜드마크로 입력된 복셀을 3D 랜드마크 제안 장치(130)로 전송할 수 있다. 이때, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 수신한 복셀과 레퍼런스 정보에 포함된 복셀을 비교할 수 있다. 그리고, 사용자 단말(140)로부터 수신한 복셀이 레퍼런스 정보에 포함된 복셀과 서로 다른 경우, 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 수신한 복셀에 따라 레퍼런스 정보에 랜드마크의 위치로 설정된 복셀을 업데이트할 수 있다.The user terminal 140 may receive the location of the landmark determined by the user in consideration of the location selected by the consultant. Then, the user terminal 140 can transmit the voxel input as the landmark to the 3D landmark suggesting device 130. At this time, the 3D landmark suggestion device 130 can compare the voxel received from the user terminal 140 with the voxel included in the reference information. If the voxel received from the user terminal 140 is different from the voxel included in the reference information, the 3D landmark suggesting apparatus 130 may display the position of the landmark in the reference information according to the voxel received from the user terminal 140 Can be updated.

자문 단말(150)과 사용자 단말(140)을 사용한 자문가와 사용자의 협의에 따라 랜드마크의 위치가 확정된 경우, 3D 랜드마크 제안 서비스의 형태에 따라 자문 단말(150)에 대응하는 지식 기반 데이터베이스(120)에서 랜드마크의 위치로 설정된 복셀을 업데이트할 수 있다.If the location of the landmark is determined according to the consultant's consultation using the consulting terminal 150 and the user terminal 140 and the user's consultation, the knowledge base database 150 corresponding to the advisory terminal 150 120 to update the voxel set to the location of the landmark.

본 발명의 실시예에 따른 3D 랜드마크 제안 시스템은 지식기반 데이터베이스와 영상분석을 통하여 3D 랜드마크, 또는 레퍼런스 포인트(Reference Points)를 사용자에게 제안함으로써, 사용자가 3D 랜드마크, 또는 레퍼런스 포인트를 빠르고 용이하게 설정하도록 할 수 있다. A 3D landmark proposal system according to an embodiment of the present invention proposes a 3D landmark or reference points to a user through a knowledge base database and an image analysis so that a user can quickly and easily access a 3D landmark or a reference point .

또한, 본 발명의 실시예에 따른 3D 랜드마크 제안 시스템은 랜드마크를 입력할 수 있는 자격을 가진 자문가에게 입력 정보를 전송하고, 자문가로부터 랜드마크의 위치 및 랜드마크의 위치에 대한 의견을 수신함으로써, 자문가가 랜드마크의 위치를 원격으로 선택할 수 있으므로, 랜드마크의 위치 자문 서비스 또는 랜드 마킹 대행 서비스를 제공할 수 있다.In addition, the 3D landmark suggestion system according to the embodiment of the present invention transmits input information to a consultant who is qualified to input a landmark, and receives opinions of the position of the landmark and the position of the landmark from the consultant , The consultant can remotely select the location of the landmark, thereby providing the landmark's location consulting service or landmarking agency service.

도 2는 본 발명의 일실시예에 따라 3D 랜드마크를 제안한 결과의 일례이다. 2 is an example of a result of proposing a 3D landmark according to an embodiment of the present invention.

도 2는 3D 랜드마크들을 심볼로 표시하고 있으며, 도 2에 도시된 랜드마크 심볼들 각각에 대응하는 랜드마크의 이름 및 설명은 표 1 내지 표 5에 도시된 바와 같다.FIG. 2 shows 3D landmarks as symbols, and the names and descriptions of the landmarks corresponding to the landmark symbols shown in FIG. 2 are as shown in Tables 1 to 5.

Figure 112017039562030-pat00002
Figure 112017039562030-pat00002

Figure 112017039562030-pat00003
Figure 112017039562030-pat00003

Figure 112017039562030-pat00004
Figure 112017039562030-pat00004

Figure 112017039562030-pat00005
Figure 112017039562030-pat00005

Figure 112017039562030-pat00006
Figure 112017039562030-pat00006

도 4는 본 발명의 일실시예에 따라 제안한 3D 랜드마크를 이용하여 프로필로그램을 생성하는 과정의 일례이다.4 is an example of a process of generating a profile graph using the proposed 3D landmark according to an embodiment of the present invention.

단계(410)에서 3D 랜드마크 제안 장치(130)는 도 3에 도시된 바와 같이 사용자 단말(140)로부터 입력 정보에서 랜드마크로 입력된 복셀들을 수신할 수 있다.In step 410, the 3D landmark suggestion device 130 may receive the voxels input as landmarks from the input information from the user terminal 140, as shown in FIG.

단계(420)에서 3D 랜드마크 제안 장치(130)는 단계(410)에서 수신한 복셀들을 랜드마크로 설정하고, 랜드마크로 설정된 복셀들을 연결할 수 있다.In step 420, the 3D landmark suggestion device 130 may set the received voxels as landmarks and concatenate the voxels set as landmarks.

단계(430)에서 3D 랜드마크 제안 장치(130)는 단계(430)에서 랜드마크로 설정된 복셀들을 연결하여 생성된 다각형을 랜드마크들에 대응하는 3D 프로필로그램으로 정의하여 지식 기반 데이터베이스(120)에 저장할 수 있다. 이때, 환자에 따라 생성된 다각형 모양이 조금씩 다르기는 하나 골격 구조의 차이는 없다.In step 430, the 3D landmark suggestion apparatus 130 defines the polygon generated by connecting the voxels set as the landmark in step 430 to the 3D profile corresponding to the landmarks, and transmits the 3D profile to the knowledge base database 120 Can be stored. At this time, although the shape of the polygons generated by the patient is slightly different, there is no difference in the skeletal structure.

도 5는 본 발명의 일실시예에 따라 랜드마크 후보 영역을 설정하는 제1 실시예이다.5 is a first embodiment for setting a landmark candidate region according to an embodiment of the present invention.

지식 기반 데이터베이스(120)는 20대 여성에 대응하는 레퍼런스 정보로 구성된 3D 프로필로그램(511), 30대 여성에 대응하는 레퍼런스 정보로 구성된 3D 프로필로그램(512), 및 20대 남성에 대응하는 레퍼런스 정보로 구성된 3D 프로필로그램(513)을 저장하고 관리할 수 있다.The knowledge base database 120 includes a 3D profile 511 composed of reference information corresponding to the twenties female, a 3D profile log 512 composed of reference information corresponding to thirties female, It is possible to store and manage the 3D profile 513 composed of the reference information.

입력 정보(530)가 20대 여성인 환자를 촬영하여 생성된 영상인 경우, 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)에서 20대 여성에 대응하는 레퍼런스 정보들, 또는 3D 프로필로그램(511)을 검색하고, 검색된 레퍼런스 정보들 또는 3D 프로필로그램(511)을 구성하는 레퍼런스 정보들을 전송하도록 요청할 수 있다. 이때, 검색된 레퍼런스 정보들은 3D 프로필로그램(511)을 구성하는 레퍼런스 정보들과 동일한 정보일 수 있다.In the case where the input information 530 is a video generated by photographing a patient who is a female in her twenties, the 3D landmark suggesting apparatus 130 may acquire reference information corresponding to twenties in the knowledge base database 120, Gram 511 and request reference information that constitutes the 3D reference profile 511 or the retrieved reference information. At this time, the retrieved reference information may be the same information as the reference information constituting the 3D profile log 511.

이때, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀(521)에 따라 랜드마크 후보 영역을 설정할 수 있다. 구체적으로, 3D 랜드마크 제안 장치(130)는 입력 정보(530)에서 복셀(521)과 동일한 위치의 복셀을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 복셀(521)과 동일한 위치의 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역(531)을 설정할 수 있다.At this time, the 3D landmark suggesting apparatus 130 can set the landmark candidate region according to the voxel 521 included in the reference information. Specifically, the 3D landmark suggesting apparatus 130 can search for the voxel at the same position as the voxel 521 in the input information 530. [ The 3D landmark suggestion device 130 can set a landmark candidate area 531 including voxels located within a certain distance from a voxel at the same position as the voxel 521. [

다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(531)에 포함된 복셀들 중에서 복셀(521)과 편차가 가장 적은 복셀(540)를 탐색할 수 있다.Next, the 3D landmark suggestion device 130 can search the voxel 521 and the voxel 540 having the least deviation among the voxels included in the landmark candidate area 531. [

마지막으로 3D 랜드마크 제안 장치(130)는 복셀(540)에 랜드마크 후보를 표시함으로써, 사용자에게 랜드마크의 위치를 제안할 수 있다.Finally, the 3D landmark suggestion device 130 may suggest the location of the landmark to the user by displaying the landmark candidate in the voxel 540. [

도 6은 본 발명의 일실시예에 따라 랜드마크 후보 영역을 설정하는 제2 실시예이다.FIG. 6 is a second embodiment for setting a landmark candidate region according to an embodiment of the present invention.

지식 기반 데이터베이스(120)는 20대 여성에 대응하는 레퍼런스 정보로 구성된 3D 프로필로그램(611), 30대 여성에 대응하는 레퍼런스 정보로 구성된 3D 프로필로그램(612), 및 20대 남성에 대응하는 레퍼런스 정보로 구성된 3D 프로필로그램(613)을 저장하고 관리할 수 있다.The knowledge base database 120 is composed of a 3D profile 611 composed of reference information corresponding to twenties female, a 3D profile 612 composed of reference information corresponding to thirties female, It is possible to store and manage the 3D profile 613 composed of the reference information.

입력 정보(630)가 20대 여성인 환자를 촬영하여 생성된 영상인 경우, 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)에서 20대 여성에 대응하는 레퍼런스 정보들, 또는 3D 프로필로그램(611)을 검색하고, 검색된 레퍼런스 정보들 또는 3D 프로필로그램(611)을 구성하는 레퍼런스 정보들을 전송하도록 요청할 수 있다. 이때, 검색된 레퍼런스 정보들은 3D 프로필로그램(611)을 구성하는 레퍼런스 정보들과 동일한 정보일 수 있다.In the case where the input information 630 is a video generated by photographing a patient who is a female in her twenties, the 3D landmark suggesting apparatus 130 may acquire reference information corresponding to the twenties female in the knowledge base database 120, Gram 611 and request to transmit the retrieved reference information or reference information constituting the 3D profile 611. At this time, the retrieved reference information may be the same information as the reference information constituting the 3D profile log 611.

이때, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀(620)과 환자의 신체 부위 간의 관계에 따라 랜드마크 후보 영역을 설정할 수 있다. 구체적으로, 3D 랜드마크 제안 장치(130)는 복셀(620)과 환자의 눈(621)간의 거리 및 방향을 식별할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 입력 정보(630)에서 환자의 눈(631)의 위치를 식별할 수 있다. 다음으로, 3D 랜드마크 제안 장치(130)는 환자의 눈(631)을 기준으로 복셀(620)과 환자의 눈(621)간의 거리 및 방향에 대응하는 복셀을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역(631)을 설정할 수 있다.At this time, the 3D landmark suggestion apparatus 130 can set the landmark candidate region according to the relationship between the voxel 620 included in the reference information and the body part of the patient. Specifically, the 3D landmark suggestion device 130 can identify the distance and direction between the voxel 620 and the eye 621 of the patient. Then, the 3D landmark suggestion device 130 can identify the position of the patient's eyes 631 in the input information 630. [ Next, the 3D landmark suggestion device 130 can search for a voxel corresponding to the distance and direction between the voxel 620 and the patient's eye 621 based on the patient's eyes 631. The 3D landmark suggestion device 130 can set a landmark candidate area 631 including voxels located within a certain distance from the searched voxel.

다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(631)에 포함된 복셀들 중에서 복셀(620)과 편차가 가장 적은 복셀(640)를 탐색할 수 있다.Next, the 3D landmark suggesting apparatus 130 can search for the voxel 620 among the voxels included in the landmark candidate region 631 and the voxel 640 having the least deviation.

마지막으로 3D 랜드마크 제안 장치(130)는 복셀(640)에 랜드마크 후보를 표시함으로써, 사용자에게 랜드마크의 위치를 제안할 수 있다.Finally, the 3D landmark suggestion device 130 may suggest the location of the landmark to the user by displaying the landmark candidate in the voxel 640.

도 7은 본 발명의 일실시예에 따라 3D 랜드마크 중 비근점(Nasion)을 제안하는 일례이다.FIG. 7 is an example of suggesting a nasion of a 3D landmark according to an embodiment of the present invention.

3D 랜드마크 제안 장치(130)는 입력 정보에서 비근점으로 설정된 레퍼런스 정보의 복셀과 동일한 위치의 복셀을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역(710)을 설정할 수 있다.The 3D landmark suggestion device 130 can search for a voxel in the same position as the voxel of the reference information set as the non-nearby point in the input information. The 3D landmark suggestion device 130 can set a landmark candidate region 710 including voxels located within a certain distance from the searched voxel.

다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(710)에 포함된 복셀들 중에서 비근점으로 설정된 레퍼런스 정보의 복셀과 편차가 가장 적은 복셀(720)를 3D 영상(700)에 표시함으로써, 사용자에게 비근점의 위치를 제안할 수 있다.Next, the 3D landmark suggestion device 130 displays the voxel of the reference information set to the near point and the voxel 720 having the least deviation among the voxels included in the landmark candidate region 710 on the 3D image 700 , It is possible to suggest the position of the non-nearby point to the user.

도 8은 본 발명의 일실시예에 따라 3D 랜드마크 중 기저점(Basion)을 제안하는 일례이다.8 is an example of suggesting a base point of a 3D landmark according to an embodiment of the present invention.

3D 랜드마크 제안 장치(130)는 입력 정보에서 기저점으로 설정된 레퍼런스 정보의 복셀과 동일한 위치의 복셀을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역(810)을 설정할 수 있다.The 3D landmark suggestion device 130 can search for a voxel at the same position as the voxel of the reference information set as the base point in the input information. The 3D landmark suggestion apparatus 130 can set a landmark candidate region 810 including voxels located within a predetermined distance from the searched voxel.

다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(810)에 포함된 복셀들 중에서 기저점으로 설정된 레퍼런스 정보의 복셀과 편차가 가장 적은 복셀(720)를 3D 영상(800)에 표시함으로써, 사용자에게 기저점의 위치를 제안할 수 있다.Next, the 3D landmark suggesting apparatus 130 displays the voxel of the reference information set to the base point among the voxels included in the landmark candidate region 810 and the voxel 720 having the smallest deviation on the 3D image 800 , It is possible to suggest the position of the base point to the user.

도 9는 본 발명의 일실시예에 따라 3D 랜드마크 중 안와점(Orbitale)을 제안하는 일례이다.9 is an example of suggesting an Orbitale among 3D landmarks according to an embodiment of the present invention.

3D 랜드마크 제안 장치(130)는 입력 정보에서 안와점으로 설정된 레퍼런스 정보의 복셀들과 동일한 위치의 복셀들을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 검색된 복셀들에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역(910)을 설정할 수 있다. The 3D landmark suggestion device 130 can search for the voxels in the same position as the voxels of the reference information set as the orbit point in the input information. The 3D landmark suggestion apparatus 130 can set a landmark candidate region 910 including voxels located within a certain distance from the searched voxels.

다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(910)에 포함된 복셀들 중에서 안와점으로 설정된 레퍼런스 정보의 복셀과 편차가 가장 적은 복셀(920)를 3D 영상(900)에 표시함으로써, 사용자에게 안와점의 위치를 제안할 수 있다.Next, the 3D landmark suggesting apparatus 130 displays the voxel of the reference information set to the orbit point and the voxel 920 having the least deviation among the voxels included in the landmark candidate region 910 on the 3D image 900 Thus, it is possible to suggest the position of the orbit point to the user.

도 9는 환자의 왼쪽 눈 아래 위치한 안와점으로 설정된 레퍼런스 정보의 복셀과 동일한 위치의 복셀을 검색하여 설정한 랜드마크 후보 영역(910)만 표시되어 있다. 그러나, 3D 랜드마크 제안 장치(130)는 동일한 과정을 통하여 환자의 오른쪽 눈 아래 위치한 안와점으로 설정된 레퍼런스 정보의 복셀에 대응하는 랜드마크 후보 영역을 설정할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(910)에 포함된 복셀들 중에서 오른쪽 눈 아래 위치한 안와점으로 설정된 레퍼런스 정보의 복셀과 편차가 가장 적은 복셀(930)를 3D 영상(900)에 표시함으로써, 사용자에게 오른쪽 눈 아래 위치한 안와점의 위치를 제안할 수 있다.9 shows only the landmark candidate region 910 which is set by searching for a voxel at the same position as the voxel of the reference information set to the orbital point located below the left eye of the patient. However, the 3D landmark suggestion device 130 may set the landmark candidate region corresponding to the voxel of the reference information set as the anvil point located below the right eye of the patient through the same process. The 3D landmark suggestion device 130 converts the voxel of the reference information set to the orbit point located below the right eye of the voxel included in the landmark candidate region 910 and the voxel 930 having the smallest deviation to the 3D image 900 ), It is possible to suggest to the user the position of the orbiting point located below the right eye.

도 10은 본 발명의 일실시예에 따라 3D 랜드마크 중 외이도(Porion)을 제안하는 일례이다.FIG. 10 is an example of proposing an ear canal among 3D landmarks according to an embodiment of the present invention.

3D 랜드마크 제안 장치(130)는 입력 정보에서 오른쪽 귀에 위치한 외이도로 설정된 레퍼런스 정보의 복셀 및 왼쪽 귀에 위치한 외이도로 설정된 레퍼런스 정보의 복셀과 동일한 위치의 복셀들을 검색할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 검색된 복셀들에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역(1010)과 랜드마크 후보 영역(1030)을 설정할 수 있다. The 3D landmark suggestion device 130 can search for the voxels of the reference information set to the ear canal located at the right ear and the voxels at the same position as the voxel of the reference information set to the ear canal located at the left ear from the input information. The 3D landmark suggestion device 130 can set the landmark candidate region 1010 and the landmark candidate region 1030 including the voxels located within a certain distance from the searched voxels.

다음으로, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(1010)에 포함된 복셀들 중에서 오른쪽 귀에 위치한 외이도로 설정된 레퍼런스 정보의 복셀과 편차가 가장 적은 복셀(1020)를 환자의 오른쪽 얼굴을 표시한 3D 영상(1000)에 표시함으로써, 사용자에게 오른쪽 귀에 위치한 외이도의 위치를 제안할 수 있다.Next, the 3D landmark proposal apparatus 130 searches for a voxel of the reference information set to the ear canal located in the right ear and a voxel 1020 having the smallest deviation from the voxel 1020 located in the right ear among the voxels included in the landmark candidate region 1010, By displaying the displayed 3D image 1000, it is possible to suggest the position of the ear canal located in the right ear to the user.

또한, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역(1030)에 포함된 복셀들 중에서 왼쪽 귀에 위치한 외이도로 설정된 레퍼런스 정보의 복셀과 편차가 가장 적은 복셀(1040)를 환자의 왼쪽 얼굴을 표시한 3D 영상(1001)에 표시함으로써, 사용자에게 왼쪽 귀에 위치한 외이도의 위치를 제안할 수 있다.In addition, the 3D landmark suggestion apparatus 130 displays the voxel of the reference information set to the ear canal located in the left ear and the voxel 1040 having the least deviation among the voxels included in the landmark candidate region 1030, By displaying on a 3D image 1001, the user can suggest the location of the ear canal located in the left ear.

도 11은 본 발명의 일실시예에 따라 랜드마크의 지식을 공유하는 과정의 일례이다.11 is an example of a process of sharing knowledge of landmarks according to an embodiment of the present invention.

사용자(1110)는 자문가(1120)에게 사용자 단말(140)에 표시된 입력 정보에서 사용자(1110)가 선택한 랜드마크에 대한 리뷰이나 자문, 또는 입력 정보에 대한 랜드 마킹 대행을 요청할 수 있다. 예를 들어, 자문가(1120)는 랜드마크 자문가, 또는 랜드 마킹 대행자일 수 있다. The user 1110 may request the consultant 1120 to review or consult the landmark selected by the user 1110 in the input information displayed on the user terminal 140 or to perform landmarking for the input information. For example, consultant 1120 may be a landmark consultant or a landmarking agent.

이때, 사용자 단말(140)는 사용자(1110)의 요청에 따라 3D 랜드마크 제안 장치(130)로 자문가와 의견을 교환하고 싶다는 메시지를 전송할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 자문 단말(150)로 입력 정보에 포함된 볼륨 정보 및 환자의 특징 정보를 전송할 수 있다. At this time, the user terminal 140 may transmit a message to the 3D landmark suggestion device 130 that the user 1110 wishes to exchange opinions with the consultant at the request of the user 1110. The 3D landmark suggestion device 130 may transmit the volume information and the characteristic information of the patient included in the input information to the advisory terminal 150.

이때, 자문 단말(150)은 3D 랜드마크 제안 장치(130)로부터 수신한 볼륨 정보를 회전, 또는 스케일링하여 표시할 수 있다. 또한, 자문 단말(150)은 자문가(1120)가 마우스 포인터로 선택한 위치 및 랜드마크와 관련하여 자문가가 입력한 정보를 3D 랜드마크 제안 장치(130)로 전송할 수 있다. 이때, 마우스 포인터로 선택한 위치는 볼륨 정보를 구성하는 복셀들 중에서 자문가가 랜드마크로 선택한 복셀, 또는 랜드마크와 관련하여 자문가가 확인하고자 하는 복셀일 수 있다At this time, the consultant terminal 150 can display the volume information received from the 3D landmark suggesting device 130 by rotating or scaling it. The advisory terminal 150 may also send information entered by the consultant to the 3D landmark suggesting device 130 in relation to the location and landmark selected by the consultant 1120 as a mouse pointer. At this time, the position selected by the mouse pointer may be a voxel selected as a landmark from the voxels constituting the volume information, or a voxel to be consulted by the consultant regarding the landmark

그리고, 3D 랜드마크 제안 장치(130)는 자문 단말(150)로부터 수신한 복셀 및 랜드마크와 관련하여 자문가가 입력한 정보를 사용자 단말(140)로 전송함으로써, 자문가가 선택한 랜드마크의 위치 및 자문가가 입력한 정보를 사용자에게 제공할 수 있다..The 3D landmark suggestion device 130 transmits the information inputted by the consultant in relation to the voxel and the landmark received from the advisory terminal 150 to the user terminal 140 so that the position of the landmark selected by the consultant, Can provide the user with the input information.

도 12는 본 발명의 일실시예에 따른 3D 랜드마크 제안 방법을 도시한 플로우차트이다.12 is a flowchart illustrating a 3D landmark proposal method according to an embodiment of the present invention.

단계(1210)에서 3D 랜드마크 제안 장치(130)는 촬영 장치(110)로부터 복셀들로 구성된 볼륨 정보가 포함된 입력 정보를 수신할 수 있다. In step 1210, the 3D landmark suggestion apparatus 130 may receive input information including volume information composed of voxels from the photographing apparatus 110. [

단계(1220)에서 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)에서 입력 정보의 속성에 대응하는 레퍼런스 정보들, 또는 3D 프로필로그램을 검색할 수 있다. 이때, 레퍼런스 정보는 입력 정보를 수신하기 전에 사용자가 입력하였던 랜드마크에 따라 설정된 정보일 수 있다.In step 1220, the 3D landmark suggestion device 130 may search the knowledge base database 120 for reference information corresponding to the attribute of the input information, or 3D profile log. In this case, the reference information may be information set according to the landmark that the user has input before receiving the input information.

그리고, 3D 랜드마크 제안 장치(130)는 지식 기반 데이터베이스(120)로부터 검색된 레퍼런스 정보들 또는 검색된 3D 프로필로그램을 구성하는 레퍼런스 정보들을 수신할 수 있다.The 3D landmark suggestion device 130 may receive the reference information retrieved from the knowledge base database 120 or the reference information constructing the retrieved 3D profile log.

단계(1230)에서 3D 랜드마크 제안 장치(130)는 단계(1220)에서 수신한 레퍼런스 정보에 따라 입력 정보에 랜드마크 후보 영역을 설정할 수 있다. 이때, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀의 위치에 따라 랜드마크 후보 영역을 설정할 수 있다. 또한, 3D 랜드마크 제안 장치(130)는 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 관계에 따라 랜드마크 후보 영역을 설정할 수도 있다.In step 1230, the 3D landmark suggestion device 130 may set the landmark candidate area in the input information according to the reference information received in step 1220. [ At this time, the 3D landmark suggestion apparatus 130 can set the landmark candidate region according to the position of the voxel included in the reference information. In addition, the 3D landmark suggestion apparatus 130 may set the landmark candidate region according to the relationship between the body part of the patient and the voxel included in the reference information.

단계(1240)에서 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역에 포함된 복셀들과 레퍼런스 정보에 포함된 복셀 간의 편차에 따라 랜드마크를 사용자에게 제안할 수 있다.In step 1240, the 3D landmark suggestion device 130 may suggest a landmark to the user according to a deviation between the voxels included in the landmark candidate region and the voxel included in the reference information.

구체적으로, 3D 랜드마크 제안 장치(130)는 입력 정보를 컨볼루션하여 입력 정보의 랜드마크 후보 영역에 포함된 복셀들 중에서 편차가 가장 작은 복셀을 탐색할 수 있다. 이때, 3D 랜드마크 제안 장치(130)는 랜드마크 후보 영역에 포함된 복셀들 중에서 편차가 가장 작은 복셀을 레퍼런스 정보에 포함된 복셀과 매칭할 수 있다. 그리고, 3D 랜드마크 제안 장치(130)는 입력 정보의 랜드마크 후보 영역에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시함으로써, 랜드마크 후보를 표시한 위치에 랜드마크를 입력하도록 사용자에게 제안할 수 있다.Specifically, the 3D landmark suggestion apparatus 130 can search for a voxel having the smallest deviation among the voxels included in the landmark candidate region of the input information by convoluting the input information. At this time, the 3D landmark suggestion device 130 may match the voxel having the smallest deviation among the voxels included in the landmark candidate region, with the voxel included in the reference information. The 3D landmark suggestion device 130 displays the landmark candidate in the voxel matched with the voxel included in the reference information among the voxels included in the landmark candidate region of the input information, It is possible to suggest to the user to input the landmark.

단계(1250)에서 3D 랜드마크 제안 장치(130)는 사용자가 랜드마크에 대한 의견을 필요로 하는지 여부를 확인할 수 있다. 예를 들어, 사용자 단말(140)로부터 입력 정보에 대하여 자문가와 의견을 교환하고 싶다는 메시지를 수신한 경우, 3D 랜드마크 제안 장치(130)는 사용자가 랜드마크에 대한 의견을 필요로 하는 것으로 판단할 수 있다.In step 1250, the 3D landmark suggestion device 130 may determine whether the user needs an opinion on the landmark. For example, if the 3D landmark suggestion device 130 receives a message that the user terminal 140 wishes to exchange opinions with the consultant about the input information, the 3D landmark suggestion device 130 determines that the user needs a comment on the landmark .

사용자가 랜드마크에 대한 의견을 필요로 하는 경우, 3D 랜드마크 제안 장치(130)는 단계(1260)를 수행하여 자문 단말(150)로 입력 정보 및 랜드마크로 입력할 위치를 요청하는 메시지를 전송할 수 있다. 또한, 사용자가 랜드마크에 대한 의견을 필요로 하지 않는 경우, 3D 랜드마크 제안 장치(130)는 단계(1280)를 수행할 수 있다.If the user needs a comment on the landmark, the 3D landmark suggestion device 130 may perform step 1260 to send a message to the advisory terminal 150 requesting a location to input as input information and a landmark have. In addition, if the user does not need a comment on the landmark, the 3D landmark suggestion device 130 may perform step 1280. [

자문가가 3D 랜드마크를 선택하기 위하여 필요한 정보는 입력 정보에 포함된 볼륨 정보이므로, 3D 랜드마크 제안 장치(130)는 입력 정보 전체가 아니라 입력 정보에 포함된 볼륨 정보만 자문 단말(150)로 전송할 수도 있다.The 3D landmark suggestion device 130 transmits only the volume information included in the input information to the advisory terminal 150, not the entire input information, since the information required for the consultant to select the 3D landmark is the volume information included in the input information It is possible.

단계(1260)에서 입력 정보, 또는 입력 정보의 볼륨 정보를 수신한 자문 단말(150)은 입력 정보의 볼륨 정보를 회전, 또는 스케일링하여 표시할 수 있다. 그리고, 자문 단말(150)은 볼륨 정보에서 자문가가 랜드마크로 선택한 복셀을 입력받을 수 있다. In step 1260, the advisory terminal 150 receiving the input information or the volume information of the input information can display the volume information of the input information by rotating or scaling it. The consultant terminal 150 can receive a voxel selected by the consultant as a landmark in the volume information.

단계(1270)에서 3D 랜드마크 제안 장치(130)는 자문 단말(150)로부터 볼륨 정보를 구성하는 복셀들 중에서 자문가가 랜드마크로 선택한 복셀을 수신할 수 있다. 이때, 3D 랜드마크 제안 장치(130)는 수신한 복셀에 랜드마크 후보를 표시함으로써, 자문 단말로부터 수신한 자문가의 의견을 고려한 랜드마크를 사용자에게 제안할 수 있다.In step 1270, the 3D landmark suggestion device 130 may receive a voxel selected by the advisory terminal 150 as a landmark from the voxels constituting the volume information. At this time, the 3D landmark suggesting device 130 can display the landmark candidate in the received voxel, thereby suggesting the landmark considering the opinion of the adviser received from the consulting terminal to the user.

단계(1280)에서 3D 랜드마크 제안 장치(130)는 사용자 단말(140)로부터 사용자가 입력한 랜드마크를 수신하였는지 여부를 확인할 수 있다.In step 1280, the 3D landmark suggestion device 130 can confirm whether or not the landmark input by the user has been received from the user terminal 140. [

사용자가 입력한 랜드마크를 수신하지 못한 경우, 3D 랜드마크 제안 장치(130)는 사용자가 입력한 랜드마크를 수신할 때까지 단계(1280)를 반복하여 수행할 수 있다. 또한, 사용자 단말(140)로부터 랜드마크에 대한 의견을 재요청하는 메시지를 수신한 경우, 3D 랜드마크 제안 장치(130)는 단계(1250)를 수행할 수도 있다.If the user does not receive the input landmark, the 3D landmark suggestion device 130 may repeat step 1280 until it receives the landmark input by the user. In addition, if the user terminal 140 receives a message requesting feedback on the landmark, the 3D landmark suggestion device 130 may perform step 1250. [

그리고, 사용자가 입력한 랜드마크를 수신한 경우, 3D 랜드마크 제안 장치(130)는 단계(1280)을 수행하여 사용자가 입력한 랜드마크의 위치와 레퍼런스 정보로 설정되어 지식 기반 데이터베이스(120)에 저장된 랜드마크의 위치를 비교할 수 있다. 그리고, 사용자가 입력한 랜드마크의 위치와 레퍼런스 정보로 설정되어 지식 기반 데이터베이스(120)에 저장된 랜드마크의 위치가 서로 다른 경우, 3D 랜드마크 제안 장치(130)는 사용자가 입력한 랜드마크에 따라 지식 기반 데이터베이스(120)에 저장된 레퍼런스 정보를 업데이트할 수 있다.When receiving the landmark input by the user, the 3D landmark suggesting device 130 performs step 1280 to set the location of the landmark input by the user and the reference information, and outputs it to the knowledge base database 120 The position of the stored landmark can be compared. If the location of the landmark input by the user is different from the location of the landmark stored in the knowledge base database 120 by setting the reference information, the 3D landmark suggesting apparatus 130 may search for the landmark And may update the reference information stored in the knowledge base database 120. [

본 발명은 지식기반 데이터베이스와 영상분석을 통하여 3D 랜드마크를 사용자에게 제안함으로써, 사용자가 3D 랜드마크를 빠르고 용이하게 설정하도록 할 수 있다. The present invention proposes a 3D landmark to a user through a knowledge base database and image analysis, so that a user can quickly and easily set a 3D landmark.

또한, 본 발명은 랜드마크를 입력할 수 있는 자문가에게 입력 정보를 전송하고, 자문가로부터 랜드마크의 위치 및 랜드마크의 위치에 대한 의견을 수신함으로써, 자문가가 랜드마크의 위치를 원격으로 선택할 수 있으므로, 랜드마크의 위치 자문 서비스 또는 랜드 마킹 대행 서비스를 제공할 수 있다.The present invention also allows the adviser to remotely select the location of the landmark by sending input information to an advisor who can enter the landmark and by receiving feedback on the location of the landmark and the location of the landmark from the consultant , A landmark's location advisory service or a landmark agency service.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.Meanwhile, the method according to the present invention may be embodied as a program that can be executed by a computer, and may be embodied as various recording media such as a magnetic storage medium, an optical reading medium, and a digital storage medium.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에 기록된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented in a computer program product, such as an information carrier, e.g., a machine readable storage device, such as a computer readable storage medium, for example, for processing by a data processing apparatus, May be embodied as a computer program recorded on a device (computer readable medium). A computer program, such as the computer program (s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be stored as a stand-alone program or in a module, component, subroutine, As other units suitable for use in the present invention. A computer program may be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communications network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general purpose and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read-only memory or a random access memory or both. The elements of a computer may include at least one processor for executing instructions and one or more memory devices for storing instructions and data. Generally, a computer may include one or more mass storage devices for storing data, such as magnetic, magneto-optical disks, or optical disks, or may receive data from them, transmit data to them, . ≪ / RTI > Information carriers suitable for embodying computer program instructions and data include, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tape, compact disk read only memory A magneto-optical medium such as a floppy disk, an optical disk such as a DVD (Digital Video Disk), a ROM (Read Only Memory), a RAM , Random Access Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and the like. The processor and memory may be supplemented or included by special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체를 포함할 수 있다.In addition, the computer-readable medium can be any available media that can be accessed by a computer, and can include computer storage media.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While the specification contains a number of specific implementation details, it should be understood that they are not to be construed as limitations on the scope of any invention or claim, but rather on the description of features that may be specific to a particular embodiment of a particular invention Should be understood. Certain features described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Further, although the features may operate in a particular combination and may be initially described as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, Or a variant of a subcombination.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a particular order, it should be understood that such operations must be performed in that particular order or sequential order shown to achieve the desired result, or that all illustrated operations should be performed. In certain cases, multitasking and parallel processing may be advantageous. Also, the separation of the various device components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and devices will generally be integrated together into a single software product or packaged into multiple software products It should be understood.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.It should be noted that the embodiments of the present invention disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

120: 지식 기반 데이터베이스
130: 3D 랜드마크 제안 장치
140: 사용자 단말
150: 자문 단말
120: knowledge base database
130: 3D landmark suggestion device
140: User terminal
150: Advisory terminal

Claims (14)

지식 기반 데이터 베이스 및 3D 랜드마크 제안 장치를 포함하는 3D 랜드마크 제안 시스템이 수행하는 3D 랜드마크 제안 방법에 있어서,
상기 3D 랜드마크 제안 장치가 촬영 장치로부터 복셀들로 구성된 볼륨 정보를 포함하는 입력 정보를 수신하는 단계;
상기 3D 랜드마크 제안 장치가 사용자가 입력한 랜드마크를 레퍼런스 정보로 설정하여 관리하는 지식 기반 데이터베이스로부터 상기 입력 정보의 속성에 대응하는 레퍼런스 정보를 수신하는 단계;
상기 3D 랜드마크 제안 장치가 상기 레퍼런스 정보에 따라 상기 입력 정보에 랜드마크 후보 영역을 설정하는 단계;
상기 3D 랜드마크 제안 장치가 상기 랜드마크 후보 영역에 포함된 복셀들과 상기 레퍼런스 정보에 포함된 복셀 간의 편차를 고려하여 상기 레퍼런스 정보에 포함된 복셀을 입력 정보에 매칭하는 단계; 및
상기 3D 랜드마크 제안 장치가 입력 정보에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시하여 랜드마크로 입력할 위치를 제안하는 단계
를 포함하는 3D 랜드마크 제안 방법.
A 3D landmark proposal method performed by a 3D landmark proposal system including a knowledge base database and a 3D landmark proposal apparatus,
The 3D landmark suggestion apparatus receiving input information including volume information composed of voxels from a photographing apparatus;
Receiving reference information corresponding to an attribute of the input information from a knowledge base database in which the 3D landmark suggestion apparatus manages and manages a landmark input by a user as reference information;
Setting the landmark candidate region in the input information according to the reference information;
Matching the input information with the voxels included in the reference information by considering the deviation between the voxels included in the landmark candidate region and the voxels included in the reference information; And
The 3D landmark suggesting apparatus displays a landmark candidate in a voxel matched with a voxel included in the reference information among the voxels included in the input information and suggests a position to input as a landmark
/ RTI >
제1항에 있어서,
상기 매칭하는 단계는,
상기 3D 랜드마크 제안 장치가 입력 정보를 컨볼루션하여 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 레퍼런스 정보에 포함된 복셀과의 편차가 가장 작은 복셀을 탐색하는 단계; 및
상기 3D 랜드마크 제안 장치가 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 편차가 가장 작은 복셀을 레퍼런스 정보에 포함된 복셀과 매칭하는 단계
를 포함하는 3D 랜드마크 제안 방법.
The method according to claim 1,
The matching step comprises:
Searching for a voxel having a smallest deviation from a voxel included in the reference information among voxels included in the landmark candidate region by the 3D landmark suggesting apparatus; And
Wherein the 3D landmark suggestion device matches a voxel having the smallest deviation among the voxels included in the landmark candidate region to a voxel included in the reference information
/ RTI >
제1항에 있어서,
상기 랜드마크 후보 영역을 설정하는 단계는,
상기 3D 랜드마크 제안 장치가 상기 입력 정보에서 상기 레퍼런스 정보에 포함된 복셀과 동일한 위치의 복셀을 검색하는 단계;
상기 3D 랜드마크 제안 장치가 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정하는 단계
를 포함하는 3D 랜드마크 제안 방법.
The method according to claim 1,
Wherein the step of setting the landmark candidate region comprises:
The 3D landmark suggestion apparatus searching for a voxel at the same position as the voxel included in the reference information in the input information;
Setting the landmark candidate region including the voxels located within a certain distance in the voxel searched for by the 3D landmark suggesting apparatus
/ RTI >
제1항에 있어서,
상기 랜드마크 후보 영역을 설정하는 단계는,
상기 3D 랜드마크 제안 장치가 상기 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 거리 및 방향을 식별하는 단계;
상기 3D 랜드마크 제안 장치가 상기 입력 정보에서 환자의 신체 부위의 위치를 식별하는 단계;
상기 3D 랜드마크 제안 장치가 상기 환자의 신체 부위를 기준으로 상기 복셀과 환자의 신체 부위 간의 거리 및 방향에 대응하는 복셀을 검색하는 단계; 및
상기 3D 랜드마크 제안 장치가 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정하는 단계
를 포함하는 3D 랜드마크 제안 방법.
The method according to claim 1,
Wherein the step of setting the landmark candidate region comprises:
Identifying the distance and direction between the voxel and the body part of the patient included in the reference information;
The 3D landmark suggestion device identifying the location of the body part of the patient in the input information;
Searching for a voxel corresponding to a distance and a direction between a body part of the patient and a body part of the patient based on the body part of the patient; And
Setting the landmark candidate region including the voxels located within a certain distance in the voxel searched for by the 3D landmark suggesting apparatus
/ RTI >
제1항에 있어서,
사용자 단말로부터 상기 입력 정보에 입력할 랜드마크에 대하여 자문가와 의견을 교환하고 싶다는 메시지를 수신한 경우, 상기 3D 랜드마크 제안 장치가 상기 자문가의 자문 단말로 상기 입력 정보 및 랜드마크로 입력할 위치를 요청하는 메시지를 전송하는 단계;
상기 3D 랜드마크 제안 장치가 상기 자문 단말로부터 상기 자문가가 상기 입력 정보에서 랜드마크로 선택한 복셀을 수신하는 단계; 및
상기 3D 랜드마크 제안 장치가 상기 랜드마크로 선택한 복셀을 상기 사용자 단말로 전송하여 상기 랜드마크로 선택한 복셀에 랜드마크 후보를 표시하도록 하는 단계
를 더 포함하는 3D 랜드마크 제안 방법.
The method according to claim 1,
When the 3D landmark suggestion device requests the consultant terminal of the consultant to input the input information and the landmark into the advisory terminal, Transmitting a message to the terminal;
Receiving the voxel selected by the consulting terminal from the 3D landmark suggesting apparatus as the landmark in the input information; And
Transmitting the voxel selected by the 3D landmark suggesting device as the landmark to the user terminal and displaying the landmark candidate in the voxel selected as the landmark
Further comprising the steps of:
제1항에 있어서,
사용자 단말로부터 상기 랜드마크 후보를 참조하여 사용자가 입력한 랜드마크를 수신하는 경우, 상기 3D 랜드마크 제안 장치가 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치를 비교하는 단계; 및
상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치가 서로 다른 경우, 상기 3D 랜드마크 제안 장치가 상기 사용자 단말로부터 수신한 랜드마크의 위치에 따라 상기 레퍼런스 정보를 업데이트하는 단계
를 더 포함하는 3D 랜드마크 제안 방법.
The method according to claim 1,
The 3D landmark suggesting apparatus compares the position of the landmark received from the user terminal with the position of the landmark set in the reference information when receiving the landmark input by the user with reference to the landmark candidate from the user terminal ; And
When the position of the landmark received from the user terminal is different from the position of the landmark set by the reference information, the 3D landmark suggesting apparatus updates the reference information according to the position of the landmark received from the user terminal step
Further comprising the steps of:
제1항에 있어서,
상기 지식 기반 데이터베이스는,
성별, 연령, 중 적어도 하나의 속성에 따라 상기 레퍼런스 정보들을 분류하여 관리하는 3D 랜드마크 제안 방법.
The method according to claim 1,
The knowledge base database includes:
And classifying and managing the reference information according to at least one attribute of the user's name, gender, age, and the like.
사용자가 입력하였던 랜드마크를 레퍼런스 정보로 설정하여 관리하는 지식 기반 데이터베이스; 및
촬영 장치로부터 복셀들로 구성된 볼륨 정보를 포함하는 입력 정보를 수신하고, 상기 지식 기반 데이터베이스로부터 상기 입력 정보의 속성에 대응하는 레퍼런스 정보를 수신하며, 상기 레퍼런스 정보에 따라 상기 입력 정보에 랜드마크 후보 영역을 설정하고, 상기 랜드마크 후보 영역에 포함된 복셀들과 상기 레퍼런스 정보에 포함된 복셀 간의 편차를 고려하여 상기 레퍼런스 정보에 포함된 복셀을 입력 정보에 매칭하며, 입력 정보에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시하여 랜드마크로 입력할 위치를 제안하는 3D 랜드마크 제안 장치
를 포함하는 3D 랜드마크 제안 시스템.
A knowledge base database configured to set and manage landmarks input by a user as reference information; And
Receiving input information including volume information composed of voxels from a photographing apparatus, receiving reference information corresponding to an attribute of the input information from the knowledge base database, and inputting a landmark candidate region Matches the input information with the voxels included in the reference information in consideration of the difference between the voxels included in the landmark candidate region and the voxels included in the reference information, A 3D landmark proposal device which suggests a landmark input position by displaying a landmark candidate in a voxel matched with a voxel included in the information
The 3D landmark proposed system comprising:
제8항에 있어서,
상기 3D 랜드마크 제안 장치는,
입력 정보를 컨볼루션하여 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 레퍼런스 정보에 포함된 복셀과의 편차가 가장 작은 복셀을 탐색하고, 상기 랜드마크 후보 영역에 포함된 복셀들 중에서 상기 편차가 가장 작은 복셀을 레퍼런스 정보에 포함된 복셀과 매칭하는 3D 랜드마크 제안 시스템.
9. The method of claim 8,
The 3D landmark suggestion apparatus includes:
Searching for a voxel having the smallest deviation from the voxel included in the reference information among the voxels included in the landmark candidate region by convoluting the input information and searching for a voxel among the voxels included in the landmark candidate region, A 3D landmark proposal system that matches a small voxel with a voxel included in the reference information.
제8항에 있어서,
상기 3D 랜드마크 제안 장치는,
상기 입력 정보에서 상기 레퍼런스 정보에 포함된 복셀과 동일한 위치의 복셀을 검색하고, 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정하는 3D 랜드마크 제안 시스템.
9. The method of claim 8,
The 3D landmark suggestion apparatus includes:
Searching for a voxel at the same position as the voxel included in the reference information in the input information, and setting a landmark candidate region including voxels located within a predetermined distance from the searched voxel.
제8항에 있어서,
상기 3D 랜드마크 제안 장치는,
상기 레퍼런스 정보에 포함된 복셀과 환자의 신체 부위 간의 거리 및 방향을 식별하고, 상기 입력 정보에서 환자의 신체 부위의 위치를 식별하며, 상기 환자의 신체 부위를 기준으로 상기 복셀과 환자의 신체 부위 간의 거리 및 방향에 대응하는 복셀을 검색하고, 검색된 복셀에서 일정 거리 안에 위치한 복셀들을 포함하는 랜드마크 후보 영역을 설정하는 3D 랜드마크 제안 시스템.
9. The method of claim 8,
The 3D landmark suggestion apparatus includes:
The method includes identifying a distance and a direction between a body part of a patient and a voxel included in the reference information, identifying a position of the body part of the patient in the input information, determining a position of the body part of the patient based on the body part of the patient, Searching for a voxel corresponding to the distance and direction of the voxel, and setting a landmark candidate region including voxels located within a predetermined distance from the searched voxel.
제8항에 있어서,
상기 3D 랜드마크 제안 장치는,
사용자 단말로부터 상기 입력 정보에 입력할 랜드마크에 대하여 자문가와 의견을 교환하고 싶다는 메시지를 수신한 경우, 상기 자문가의 자문 단말로 상기 입력 정보 및 랜드마크로 입력할 위치를 요청하는 메시지를 전송하고, 상기 자문 단말로부터 상기 자문가가 상기 입력 정보에서 랜드마크로 선택한 복셀을 수신하며, 상기 랜드마크로 선택한 복셀을 상기 사용자 단말로 전송하여 상기 랜드마크로 선택한 복셀에 랜드마크 후보를 표시하도록 하는 3D 랜드마크 제안 시스템.
9. The method of claim 8,
The 3D landmark suggestion apparatus includes:
A message requesting the input of the input information and the landmark is transmitted to the adviser terminal of the adviser when the user terminal receives a message asking for consultation with the consultant about the landmark to be input in the input information, Wherein the consultant terminal receives the voxel selected by the consultant as a landmark in the input information and transmits the voxel selected as the landmark to the user terminal to display the landmark candidate in the voxel selected as the landmark.
제8항에 있어서,
상기 3D 랜드마크 제안 장치는,
사용자 단말로부터 상기 랜드마크 후보를 참조하여 사용자가 입력한 랜드마크를 수신하는 경우, 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치를 비교하고, 상기 사용자 단말로부터 수신한 랜드마크의 위치와 상기 레퍼런스 정보로 설정된 랜드마크의 위치가 서로 다른 경우, 상기 사용자 단말로부터 수신한 랜드마크의 위치에 따라 상기 레퍼런스 정보를 업데이트하는 3D 랜드마크 제안 시스템.
9. The method of claim 8,
The 3D landmark suggestion apparatus includes:
And a control unit for comparing the position of the landmark received from the user terminal with the position of the landmark set by the reference information when receiving the landmark inputted by the user with reference to the landmark candidate from the user terminal, And updates the reference information according to the position of the landmark received from the user terminal when the position of the landmark is different from the position of the landmark set by the reference information.
촬영 장치로부터 복셀들로 구성된 볼륨 정보를 포함하는 입력 정보를 수신하는 단계;
사용자가 입력하였던 랜드마크를 레퍼런스 정보로 설정하여 관리하는 지식 기반 데이터베이스로부터 상기 입력 정보의 속성에 대응하는 레퍼런스 정보를 수신하는 단계;
상기 레퍼런스 정보에 따라 상기 입력 정보에 랜드마크 후보 영역을 설정하는 단계;
상기 랜드마크 후보 영역에 포함된 복셀들과 상기 레퍼런스 정보에 포함된 복셀 간의 편차를 고려하여 상기 레퍼런스 정보에 포함된 복셀을 입력 정보에 매칭하는 단계; 및
입력 정보에 포함된 복셀들 중에서 레퍼런스 정보에 포함된 복셀과 매칭된 복셀에 랜드마크 후보를 표시하여 랜드마크로 입력할 위치를 제안하는 단계
를 지식 기반 데이터 베이스 및 3D 랜드마크 제안 장치를 포함하는 3D 랜드마크 제안 시스템이 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
Receiving input information including volume information composed of voxels from a photographing apparatus;
Receiving reference information corresponding to an attribute of the input information from a knowledge base database that manages and sets a landmark input by a user as reference information;
Setting a landmark candidate region in the input information according to the reference information;
Matching a voxel included in the reference information with input information in consideration of a deviation between voxels included in the landmark candidate region and a voxel included in the reference information; And
A step of displaying a landmark candidate in a voxel matched with a voxel included in the reference information among the voxels included in the input information and suggesting a position to input as a landmark
A program for executing the 3D landmark proposal system including a knowledge base database and a 3D landmark proposal device is recorded.
KR1020170051855A 2017-04-21 2017-04-21 3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric KR101898887B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170051855A KR101898887B1 (en) 2017-04-21 2017-04-21 3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170051855A KR101898887B1 (en) 2017-04-21 2017-04-21 3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric

Publications (1)

Publication Number Publication Date
KR101898887B1 true KR101898887B1 (en) 2018-11-02

Family

ID=64328464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170051855A KR101898887B1 (en) 2017-04-21 2017-04-21 3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric

Country Status (1)

Country Link
KR (1) KR101898887B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210112646A (en) 2020-03-05 2021-09-15 림헬스케어 주식회사(RIM Healthcare Co., Ltd.) Urination Detection Method and System using Wearable Device
KR20210118328A (en) 2020-03-20 2021-09-30 부산대학교 산학협력단 Method and System for Determining Reference Point for Three-Dimensional Cephalometry

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070197902A1 (en) 2004-06-25 2007-08-23 Medicim N.V. Method for deriving a treatment plan for orthognatic surgery and devices therefor
EP2617012B1 (en) 2010-09-16 2015-06-17 Mor Research Applications Ltd. Method and system for analyzing images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070197902A1 (en) 2004-06-25 2007-08-23 Medicim N.V. Method for deriving a treatment plan for orthognatic surgery and devices therefor
EP2617012B1 (en) 2010-09-16 2015-06-17 Mor Research Applications Ltd. Method and system for analyzing images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210112646A (en) 2020-03-05 2021-09-15 림헬스케어 주식회사(RIM Healthcare Co., Ltd.) Urination Detection Method and System using Wearable Device
KR20210118328A (en) 2020-03-20 2021-09-30 부산대학교 산학협력단 Method and System for Determining Reference Point for Three-Dimensional Cephalometry

Similar Documents

Publication Publication Date Title
NL1027673C2 (en) Method for generating result images of a research object.
Gwilliam et al. Reproducibility of soft tissue landmarks on three-dimensional facial scans
JP2024038500A (en) Network for medical image analysis, decision support systems, and related graphical user interface (GUI) applications
US20140341449A1 (en) Computer system and method for atlas-based consensual and consistent contouring of medical images
JP2015205164A (en) Medical image display device and medical image display system
CN109887077B (en) Method and apparatus for generating three-dimensional model
US11749399B2 (en) Cross section views of wounds
JP7080304B2 (en) Learning support device, learning support method, learning support program, region of interest discrimination device, region of interest discrimination method, region of interest discrimination program and trained model
JP2019008349A (en) Learning data generation support apparatus and learning data generation support method and learning data generation support program
EP3574837A1 (en) Medical information virtual reality server system, medical information virtual reality program, medical information virtual reality system, method of creating medical information virtual reality data, and medical information virtual reality data
KR101898887B1 (en) 3D Landmark Suggestion System And Method For Analyzing 3d Cephalometric
JP2020171687A (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
US20230368893A1 (en) Image context aware medical recommendation engine
Glick et al. Impact of explainable artificial intelligence assistance on clinical decision-making of novice dental clinicians
US10614570B2 (en) Medical image exam navigation using simulated anatomical photographs
US10438351B2 (en) Generating simulated photographic anatomical slices
US20180067958A1 (en) Exam prefetching based on subject anatomy
Liang et al. Human-centered ai for medical imaging
US20180247701A1 (en) System and Method to Combine, View, and Distribute Patient Health Records from Multiple Sources
Kawale et al. Automated identification of fiducial points on 3D torso images
US10741283B2 (en) Atlas based prior relevancy and relevancy model
EP3522100A1 (en) Dementia patient care burden degree determination device, dementia patient care burden degree determination method, dementia patient care burden degree determination program, dementia treatment effect determination device, dementia treatment effect determination method, and dementia treatment effect determination program
Talks et al. Cone-beam computed tomography allows accurate registration to surgical navigation systems: A multidevice phantom study
KR102372766B1 (en) Method And Apparatus for diagnosing a SMI stage of a patient using a X-ray image of a hand wrist
US20230386647A1 (en) Medical image processing apparatus, method, and medical system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant