WO2022145988A1 - 인공지능을 이용한 안면부 골절 판독 장치 및 방법 - Google Patents

인공지능을 이용한 안면부 골절 판독 장치 및 방법 Download PDF

Info

Publication number
WO2022145988A1
WO2022145988A1 PCT/KR2021/020079 KR2021020079W WO2022145988A1 WO 2022145988 A1 WO2022145988 A1 WO 2022145988A1 KR 2021020079 W KR2021020079 W KR 2021020079W WO 2022145988 A1 WO2022145988 A1 WO 2022145988A1
Authority
WO
WIPO (PCT)
Prior art keywords
fracture
facial
target image
learning
reading
Prior art date
Application number
PCT/KR2021/020079
Other languages
English (en)
French (fr)
Inventor
문경철
고성제
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200186799A external-priority patent/KR102672010B1/ko
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2022145988A1 publication Critical patent/WO2022145988A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6878—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present application is to solve the problems of the prior art described above, and a facial fracture reading apparatus using artificial intelligence that can derive information related to a facial fracture from a CT image of a subject's facial region using artificial intelligence, etc.
  • the purpose is to provide a method.
  • the facial fracture reading method using artificial intelligence includes the steps of preparing learning data including a plurality of learning images taken for a patient with a facial fracture, Based on the learning data, when a target image obtained by photographing the subject's face is input, learning an artificial intelligence-based discrimination model that outputs information related to a facial fracture of the subject from the target image, receiving the target image and deriving information related to the facial fracture for the target image based on the discrimination model.
  • the information associated with the facial fracture may include fracture information and location information of the fracture region.
  • the deriving may include determining a candidate area for searching for the location of the fracture area in consideration of left-right symmetry of the subject's face.
  • the preparing of the learning data may include marking a region including at least one fracture site included in the plurality of learning images based on a preset figure shape.
  • each of the plurality of training images is a three-dimensional CT image including a plurality of two-dimensional slice images
  • the plurality of two-dimensional slice images is an axial slice image and a coronal slice image.
  • the facial fracture reading method using artificial intelligence may include displaying the target image so that the fracture region is visually identified.
  • the facial fracture reading apparatus using artificial intelligence includes a collection unit for preparing learning data including a plurality of learning images photographed for a patient with a facial fracture, based on the learning data, the subject's
  • a learning unit for learning an artificial intelligence-based discrimination model that outputs information related to a facial fracture of the target from the target image and the target image are received, and based on the discrimination model It may include a determination unit for deriving information related to the facial fracture for the target image.
  • the determination unit may determine a candidate area for searching for the location of the fracture area in consideration of left-right symmetry of the subject's face.
  • the facial fracture reading apparatus using artificial intelligence may include a visualization unit that displays the target image so that the fracture region is visually identified.
  • FIG. 4 is a conceptual diagram illustrating the entire process of deriving information related to facial fractures based on an AI-based discrimination model.
  • FIG. 5 is a conceptual diagram illustrating a detailed structure of an AI-based discrimination model.
  • image data corresponding to the learning image or the target image may be a 3D computed tomography (CT) image including a plurality of 2D slice images corresponding to different directions.
  • CT computed tomography
  • the fracture reading apparatus 100 diagnoses an actual facial fracture in order to learn an AI-based discrimination model that can perform a diagnosis similar to that of an actual facial fracture that can be performed by a plastic surgeon.
  • Learning data can be selected as medical images used in
  • FIG. 2 is a diagram illustrating an axial slice image and a coronal slice image among training images collected for learning of an AI-based discrimination model.
  • the fracture reading apparatus 100 uses an axial slice image and a coronal slice image as a learning image corresponding to a three-dimensional CT image for learning of an AI-based discrimination model. data can be collected.
  • CT computed tomography
  • the learning data of the AI-based discrimination model to include axial CT images and coronal CT images, which are mainly used by actual plastic surgeons when diagnosing facial fractures.
  • the AI-based discrimination model here derives information related to facial fractures including fracture information and location information of fracture regions. Because a large number of fracture types of bones and facial regions spanning a wide range are required, and facial bones may vary in the shape of the bones when no fractures have occurred depending on the individual, the learning data is based on images without fractures and various regions. It may be more appropriate to collect images corresponding to fractures at an appropriate rate.
  • the fracture presence information is derived by the 'Classification' function of the AI-based discrimination model
  • the location information of the fracture area is derived by the 'Segmentation' function of the AI-based discrimination model.
  • FIG. 3 is a diagram illustrating an example of a marking result for a region including a fracture site of a learning image.
  • the fracture reading apparatus 100 may mark an area including at least one fracture site included in a plurality of learning images based on a preset figure shape.
  • the figure shape for marking the region including the fracture site may be exemplarily circular or oval.
  • the marking technique for the fracture area can be largely divided into two types.
  • the first is a method of marking by marking a bounding box of a polygonal shape such as a rectangle made of border lines surrounding the fracture area.
  • the second is a method of displaying the color of the fractured area to be distinguished.
  • one displayed bounding box may correspond to one fracture site. It may not be suitable because it is dense and has an ambiguous characteristic to specify the number of fractures (the number of fracture sites that are differentiated from each other).
  • the artificial intelligence-based discrimination model herein learned by the fracture reading device 100 may be learned to determine a candidate region for searching for the location of the fracture region in consideration of the left-right symmetry of the subject's face.
  • the AI-based discrimination model may include at least one layer that determines the similarity between an input feature map and a transformation map obtained by flip-converting the corresponding feature map.
  • the flip transformation may mean rotation in the vertical direction applied to the feature map.
  • the output of at least one layer that determines the similarity between the input feature map and the transformation map may be calculated by Equation 1 below.
  • the operation of the first half is performed in the reverse direction to increase the resolution of the extracted features, and the operation is repeated to extract the corresponding features again, and finally localization of the same size as the input image is performed. act to generate the resulting image.
  • FIG. 6 is a schematic configuration diagram of a facial fracture reading apparatus using artificial intelligence according to an embodiment of the present application.
  • the fracture reading apparatus 100 may include a collection unit 110 , a learning unit 120 , a determination unit 130 , and a visualization unit 140 .
  • the visualization unit 140 may display the target image through the user terminal 400 so that the fracture region is visually identified based on information associated with the facial fracture for the derived target image.
  • the facial fracture reading method using artificial intelligence shown in FIG. 7 may be performed by the fracture reading apparatus 100 described above. Therefore, even if omitted below, the description of the fracture reading apparatus 100 may be equally applied to the description of the facial fracture reading method using artificial intelligence.
  • step S12 the learning unit 120 outputs, based on the learning data secured in step S11, when a target image obtained by photographing the subject's face is input, information associated with the fracture of the subject's face from the input target image AI-based discrimination model can be trained.
  • the visualization unit 140 may display the target image through the user terminal 400 or the like so that the fracture region is visually identified.
  • steps S11 to S15 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present application.
  • some steps may be omitted if necessary, and the order between steps may be changed.
  • the facial fracture reading method using artificial intelligence may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Rheumatology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Image Analysis (AREA)

Abstract

인공지능을 이용한 안면부 골절 판독 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 방법은, 안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비하는 단계, 상기 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 상기 대상 영상으로부터 상기 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시키는 단계, 상기 대상 영상을 수신하는 단계 및 상기 판별 모델에 기초하여 상기 대상 영상에 대한 상기 안면부 골절과 연계된 정보를 도출하는 단계를 포함할 수 있다.

Description

인공지능을 이용한 안면부 골절 판독 장치 및 방법
본원은 인공지능을 이용한 안면부 골절 판독 장치 및 방법에 관한 것이다.
인공지능은 인간의 일상생활에 많은 변화를 가져 왔으며, 의학계에서도 인공지능을 이용한 데이터 분석, 지식 습득, 판단력 향상 등을 추구하려는 시도가 점차 증가하고 있다. 구체적으로, 소프트웨어 프로그래밍의 급진적인 발전에 힘입어 영상의학 분야에서는 정형외과, 신경외과, 심장내과 등 다양한 분과에서 인공지능을 이용한 판독 기술력 향상을 위한 연구가 폭넓게 진행되어 왔다.
그러나, 성형외과의 경우 상대적으로 인공지능을 이용한 판독 기술이 거의 개발되지 못한 실정이며, 주로 안면부 외상, 미용, 재건 등을 주로 다루는 성형외과 분야 내의 진단 중 가장 기본적인 안면부 골절의 진단을 위해 인공지능 기술을 접목하는 기법 역시도 현재까지 개발된바 없다.
특히, 이러한 안면부 골절의 진단을 위해서는 주로 엑스레이(X-ray), 컴퓨터 단층촬영(CT) 기반의 영상 데이터를 사용하게 되는데, 안면부의 경우 뼈가 두개골과 겹쳐 보이고 작은 공간 안에 작은 뼈들이 모여 있기 때문에 골절의 진단을 어렵게 한다는 문제가 있다. 또한, 엑스레이 촬영의 한계를 고려하여 안면 골절의 진단을 위해 컴퓨터 단층촬영을 수행한다 하더라도 비골(코뼈) 골절과 같은 몹시 작은 뼈의 골절의 경우에는 숙련된 성형외과 전문의가 아니라면 정확하게 진단하기가 어렵다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-2119057호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인공지능을 이용하여 대상자의 안면 영역을 촬영한 CT 영상 등으로부터 안면부 골절과 연계된 정보를 도출할 수 있는 인공지능을 이용한 안면부 골절 판독 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 방법은, 안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비하는 단계, 상기 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 상기 대상 영상으로부터 상기 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시키는 단계, 상기 대상 영상을 수신하는 단계 및 상기 판별 모델에 기초하여 상기 대상 영상에 대한 상기 안면부 골절과 연계된 정보를 도출하는 단계를 포함할 수 있다.
또한, 상기 안면부 골절과 연계된 정보는, 골절 유무 정보 및 골절 영역의 위치 정보를 포함할 수 있다.
또한, 상기 도출하는 단계는, 상기 대상자의 안면의 좌우 대칭성을 고려하여 상기 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정하는 단계를 포함할 수 있다.
또한, 상기 판별 모델은, 입력된 특징 맵 및 상기 특징 맵을 플립 변환한 변환 맵 간의 유사도를 판단하는 적어도 하나의 레이어를 포함할 수 있다.
또한, 상기 유사도는, 상기 특징 맵 및 상기 변환 맵 사이의 코사인 거리에 기초하여 도출될 수 있다.
또한, 상기 학습 데이터를 준비하는 단계는, 상기 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹하는 단계를 포함할 수 있다.
또한, 상기 복수의 학습 영상 각각은, 복수의 2차원 슬라이스 영상을 포함하는 3차원 CT 영상이되, 상기 복수의 2차원 슬라이스 영상은 축상면(axial) 슬라이스 영상 및 관상면(coronal) 슬라이스 영상을 포함할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 방법은, 상기 골절 영역이 시각적으로 식별되도록 상기 대상 영상을 표출하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치는, 안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비하는 수집부, 상기 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 상기 대상 영상으로부터 상기 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시키는 학습부 및 상기 대상 영상을 수신하고, 상기 판별 모델에 기초하여 상기 대상 영상에 대한 상기 안면부 골절과 연계된 정보를 도출하는 판단부를 포함할 수 있다.
또한, 상기 판단부는, 상기 대상자의 안면의 좌우 대칭성을 고려하여 상기 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정할 수 있다.
또한, 상기 수집부는, 상기 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치는, 상기 골절 영역이 시각적으로 식별되도록 상기 대상 영상을 표출하는 시각화부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 인공지능을 이용하여 대상자의 안면 영역을 촬영한 CT 영상 등으로부터 안면부 골절과 연계된 정보를 도출할 수 있는 인공지능을 이용한 안면부 골절 판독 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 숙련된 성형외과 전문의가 아니더라도 안면부 골절에 대한 정확한 진단을 제공할 수 있고, 나아가 성형외과 분야에서의 다양한 교육 및 연구 개발에 접목될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치를 포함하는 안면골절 판독 시스템의 개략적인 구성도이다.
도 2는 인공지능 기반의 판별 모델의 학습을 위해 수집되는 학습 영상 중 축상면 슬라이스 영상 및 관상면 슬라이스 영상을 예시적으로 나타낸 도면이다.
도 3은 학습 영상의 골절 부위를 포함하는 영역에 대한 마킹 결과를 예시적으로 나타낸 도면이다.
도 4는 인공지능 기반의 판별 모델에 기초하여 안면부 골절과 연계된 정보를 도출하는 전체 프로세스를 나타낸 개념도이다.
도 5는 인공지능 기반의 판별 모델의 세부 구조를 나타낸 개념도이다.
도 6은 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 인공지능을 이용한 안면부 골절 판독 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치를 포함하는 안면골절 판독 시스템의 개략적인 구성도이다.
도 1을 참조하면, 안면골절 판독 시스템(10)은, 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치(100)(이하, '골절 판독 장치(100)'라 한다.), 영상 데이터베이스(200), 촬영 디바이스(300) 및 사용자 단말(400)을 포함할 수 있다.
골절 판독 장치(100), 영상 데이터베이스(200), 촬영 디바이스(300) 및 사용자 단말(400) 상호간은 네트워크(미도시)를 통해 통신할 수 있다. 네트워크(미도시)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
본원의 실시예에 관한 설명에서, 영상 데이터베이스(200)는 대상 영상으로부터 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습하기 위해 필요한 학습 영상을 저장하도록 구비되는 디바이스 또는 서버일 수 있다. 예를 들어, 영상 데이터베이스(200)는 안면부 골절 환자에 대하여 촬영된 컴퓨터 단층촬영(CT) 영상, X-ray 영상, 초음파 영상, MRI 영상 등의 유형에 해당하는 각종 학습 영상을 저장할 수 있다. 또한, 영상 데이터베이스(200)는 안면부 골절이 발생하지 않은 정상인의 안면 영역을 촬영한 학습 영상을 저장할 수 있다. 달리 말해, 영상 데이터베이스(200)는 골절이 없는 환자군에 대하여 촬영된 영상 데이터와 안면 골절 환자군에 대하여 촬영된 영상 데이터를 구분하여 저장하도록 구비될 수 있다.
한편, 본원의 일 실시예에 따르면, 학습 영상 또는 대상 영상에 해당하는 영상 데이터는 서로 다른 방향에 대응하는 복수의 2차원 슬라이스 영상을 포함하는 3차원 컴퓨터 단층촬영(CT) 영상일 수 있다.
또한, 본원의 실시예에 관한 설명에서, 촬영 디바이스(300)는 의료용 컴퓨터 단층촬영(Computed Tomography, CT) 스캐너, X-선 촬영 기기, 자기공명영상(MRI) 기기 등을 포함할 수 있으나, 이에만 한정되는 것은 아니다. 즉, 본원에서의 촬영 디바이스(300) 및 촬영 디바이스(300)에 의해 촬영되어 분석의 대상이 되는 영상 데이터(의료 영상)는 특정한 유형으로 한정되지 않으며, 환자 등의 대상자의 안면 영역을 포함하는 신체 내부를 촬영하는 종래의 의료 분야 촬영 기기 및 앞으로 개발될 촬영 기기를 폭넓게 포함하는 개념으로 이해됨이 바람직하다. 또한, 본원의 실시예에 따르면, 영상 데이터베이스(200)는 촬영 디바이스(300)로부터 촬영된 영상 데이터를 수신하여 학습 영상으로서 저장하는 것일 수 있다.
사용자 단말(400)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 본원의 실시예에 관한 설명에서, 사용자 단말(400)은 대상 영상 및 대상 영상에 대하여 도출된 안면부 골절과 연계된 정보를 골절 판독 장치(100)로부터 수신하여 사용자에게 표출하도록 동작할 수 있다.
이하에서는, 골절 판독 장치(100)의 기능 및 동작에 대해 상세히 설명하도록 한다.
골절 판독 장치(100)는 안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비할 수 있다. 예를 들어, 골절 판독 장치(100)는 영상 데이터베이스(200) 및 촬영 디바이스(300) 중 적어도 하나로부터 안면부 골절 환자에 대한 영상 데이터를 수신하여 학습 영상으로 활용할 수 있다.
달리 말해, 골절 판독 장치(100)는 성형외과 전문의에 의해 수행될 수 있는 실제 안면 골절의 진단과 유사한 형태의 진단을 수행할 수 있는 인공지능 기반의 판별 모델의 학습을 위하여, 실제 안면 골절의 진단에 사용되는 의료 영상으로 학습 데이터를 선정할 수 있다.
도 2는 인공지능 기반의 판별 모델의 학습을 위해 수집되는 학습 영상 중 축상면 슬라이스 영상 및 관상면 슬라이스 영상을 예시적으로 나타낸 도면이다.
도 2를 참조하면, 골절 판독 장치(100)는 3차원 CT 영상에 해당하는 학습 영상으로서 축상면(axial) 슬라이스 영상 및 관상면(coronal) 슬라이스 영상을 인공지능 기반의 판별 모델의 학습을 위한 학습 데이터로서 수집할 수 있다.
이와 관련하여, 안면 영역의 경우 협소한 공간 안에 작은 뼈들이 존재하기 때문에 복수의 2차원 슬라이스(Slice) 영상을 포함하는 3차원 컴퓨터 단층촬영(CT) 영상을 다각도로 확인하여 골절 영역을 특정하여야 하며, 안면 영역의 상술한 특수성으로 인하여 안면 골절을 정밀하게 진단하기 위해서는 서로 다른 축에 기반하여 촬영된 CT 영상을 함께 학습 데이터로서 사용해야 한다.
따라서, 인공지능 기반의 판별 모델의 학습 데이터는 실제 성형외과 전문의가 안면 골절을 진단할 때 주로 활용하는 축상면(axial) CT 영상 및 관상면(coronal) CT 영상을 포함하도록 수집하는 것이 바람직하다.
한편, 본원에서의 인공지능 기반의 판별 모델은 골절 유무 정보 및 골절 영역의 위치 정보를 포함하는 안면부 골절과 연계된 정보를 도출하게 되는데, 효과적인 학습을 위해선 안면 영역에 골절이 존재하지 않는 일반적인 형태의 뼈와 다양한 범위에 걸친 안면 영역의 골절 형태가 다수 필요하며, 얼굴 뼈는 개개인에 따라 골절이 발생하지 않은 경우의 뼈의 형태에 있어서도 편차가 있을 수 있기 때문에 학습 데이터는 골절이 없는 영상과 다양한 부위에서 골절이 발생한 경우에 대응하는 영상을 적절한 비율로 수집하는 것이 보다 적절할 수 있다.
참고로, 골절 유무 정보는 인공지능 기반의 판별 모델의 'Classification' 기능에 의해 도출되고, 골절 영역의 위치 정보는 인공지능 기반의 판별 모델의 'Segmentation' 기능에 의해 도출되는 것으로 이해될 수 있다.
도 3은 학습 영상의 골절 부위를 포함하는 영역에 대한 마킹 결과를 예시적으로 나타낸 도면이다.
도 3을 참조하면, 골절 판독 장치(100)는 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹할 수 있다. 또한, 도 3을 참조하면, 골절 부위를 포함하는 영역에 대한 마킹을 위한 도형 형상은 예시적으로 원형 또는 타원형일 수 있다.
이와 관련하여, 골절 영역에 대한 마킹 기법은 크게 두 종류로 구분될 수 있는데, 첫 번째는 골절 영역을 포위하는 테두리 선으로 이루어진 사각형 등의 다각형 형상의 경계 박스(Bounding Box)를 표시하여 마킹하는 방식이고, 두 번째는 골절이 발생한 영역의 색상을 구분되게 표시하는 방법이다.
먼저, 경계 박스 기반 방식에 의할 때, 표시되는 하나의 경계 박스가 하나의 골절 부위에 대응될 수 있으나, 안면부의 경우, 비골(코뼈) 골절 등과 같이 몹시 작은 뼈의 골절은 각각의 골절 영역이 밀집되어 있고, 골절의 수(상호 구분되는 골절 부위의 개수)를 특정하기 모호한 특성이 크기 때문에 적합하지 않을 수 있다.
한편, 골절이 발생한 영역을 구분되는 색상으로 표시(마킹)하는 방식의 경우에는, 다시 골절이 발생한 뼈를 표시하는 방법과 단순히 골절영역을 표시하는 방법으로 구분될 수 있는데, 전자의 경우는 표시해야 하는 뼈의 시작 부위와 끝 부위를 특정하기 어렵고, 골절이 발생한 것이 아닌데도 구분되어 표시된 두 뼈 사이에 단순히 공간이 존재하는 경우에도 진단 모델이 이를 최종적으로 골절 부위로 오인할 수 있는 가능성이 크기 때문에 부적합할 수 있다.
따라서, 본원에서 개시하는 골절 판독 장치(100)는 협소한 영역 내에서 발생하는 안면 골절과 연계된 정보를 효과적으로 도출하는 인공지능 기반의 판별 모델을 정밀하게 학습시키기 위하여 골절 부위를 원형 또는 타원형의 브러쉬를 이용하여 마킹(도 3의 A)하는 방식으로 학습 데이터를 준비할 수 있다.
이에 따라, 골절 판독 장치(100)는 단순한 브러쉬 방식의 전처리를 통해 신속하게 학습 데이터를 준비할 수 있으며, 마킹된 골절 부위를 포함하는 영역이 원형 또는 타원으로 정형화된 형태를 가지기 때문에 인공지능 기반의 판별 모델의 학습이 용이하게 이루어질 수 있는 이점이 있다.
또한, 골절 판독 장치(100)는 준비된 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 입력된 대상 영상으로부터 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시킬 수 있다.
보다 구체적으로, 인공지능 기반의 판별 모델의 출력인 안면부 골절과 연계된 정보란 골절 유무 정보 및 골절 영역의 위치 정보를 포함할 수 있다. 특히, 골절 영역의 위치 정보는 인공지능 기반의 판별 모델에 기초하여 탐색된 골절 영역의 중심 좌표(예를 들면, (x, y) 형태 등)와 영역의 크기(예를 들면, 너비 정보 및 높이 정보를 포함하는 (w, h) 형태 등)를 포함할 수 있다.
도 4는 인공지능 기반의 판별 모델에 기초하여 안면부 골절과 연계된 정보를 도출하는 전체 프로세스를 나타낸 개념도이고, 도 5는 인공지능 기반의 판별 모델의 세부 구조를 나타낸 개념도이다.
도 4 및 도 5를 참조하면, 인공지능 기반의 판별 모델은 입력된 학습 영상 시퀀스(예를 들면, 컴퓨터 단층촬영(CT) 시퀀스 등)의 연속하는 영상 중 골절이 관찰되기 시작하는 영상에서 인접 영상과 대비하여 특정 영역에서 불연속성이 관찰되는 것을 탐지하고, 안면부가 좌우 대칭을 이루는 특성을 이용하여 좌우 대칭성이 깨지는 특성이 나타나는 영역을 골절이 발생한 특정 영역(부위)으로 탐지하도록 학습될 수 있다.
참고로, 본원에서 개시하는 인공지능 기반의 판별 모델은 SMFF(Specialized Modifications for diagnosis of Facial Fracture) 모델로 지칭될 수 있으며, 특정 영역에서의 불연속성이 관찰되는 특징을 탐지하는 기능은 Channel attention scheme에 의해 구현되고, 좌우 대칭성이 깨지는 영역을 탐지하는 기능은 Flipped-spatial attention scheme에 의해 구현되는 것일 수 있다.
달리 말해, 골절 판독 장치(100)에 의해 학습되는 본원에서의 인공지능 기반의 판별 모델은 대상자의 안면의 좌우 대칭성을 고려하여 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정하도록 학습될 수 있다. 또한, 이를 위해 인공지능 기반의 판별 모델은 입력된 특징 맵(Feature Map) 및 해당 특징 맵(Feature Map)을 플립(Flip) 변환한 변환 맵 간의 유사도를 판단하는 적어도 하나의 레이어를 포함할 수 있다. 또한, 플립(Flip) 변환은 도 5를 참조하면, 특징 맵에 대하여 적용되는 Vertical 방향으로의 회전을 의미할 수 있다.
구체적으로, 도 5를 참조하면, 본원에서의 인공지능 기반의 판별 모델이 실제 성형외과 전문의들이 환자의 안면 골절을 판단하기 위해 고려하는 안면부의 상호 대칭되는 영역 간의 비교 프로세스를 유사하게 진행하여 판별 성능을 향상시키기 위하여, 본원에서 개시하는 인공지능 기반의 판별 모델은 대칭적 유사도(Symmetric Similarity)를 도출하는 모듈을 포함하는 구조로 구축될 수 있다. 상기 모듈은 입력된 특징 맵을 플립 변환한 변환 맵과 원본 특징 맵의 코사인 거리(Cosine Distance)를 계산하여 대칭적 유사도를 계산하도록 동작할 수 있다. 달리 말해, 유사도는 원본 특징 맵과 변환 맵 사이의 코사인 거리에 기초하여 도출될 수 있다.
또한, 본원에서의 인공지능 기반의 판별 모델은 도출된 대칭적 유사도를 이용하여 좌우 대칭이 이루어지지 않는 것으로 판단되는 영역(부위)을 골절이 발생한 것으로 판단될 확률이 높은 영역으로 간주하여 네트워크의 Attention을 수행할 수 있다.
보다 구체적으로, 도 5를 참조하면, 입력된 특징 맵 및 변환 맵 간의 유사도를 판단하는 적어도 하나의 레이어의 출력은 하기 식 1으로 연산될 수 있다.
[식 1]
Figure PCTKR2021020079-appb-I000001
여기서, FeatureO는 해당 레이어의 출력 맵이고, FeatureI는 해당 레이어에 대하여 입력된 특징 맵이고, SSM은 연산된 유사도(대칭적 유사도)일 수 있다.
또한, 도 5를 참조하면, 본원에서 개시하는 인공지능 기반의 판별 모델은 골절 영역의 위치 정보를 도출하는 제1네트워크(Segmentation Network) 및 골절 유부 정보를 도출하는 제2네트워크(Binary Classification Network)를 포함할 수 있다.
한편, 딥러닝 등의 인공지능 기법을 활용하여 골절을 검출하는 종래의 기법들은 주로 VGG와 U-Net 모델을 이용하며, VGG 모델은 입력 영상으로부터 특징(Feature)을 추출하고, 추출된 특징의 해상도를 줄이는 과정을 반복하여 최종적으로 스칼라 또는 벡터 형태의 결과물을 생성하며, 이 결과물은 입력 영상에 대한 이진(binary) 또는 멀티 라벨(multi-label)의 분류 정보일 수 있다. 또한, U-Net 모델은 전반부가 VGG와 동일한 형태로 특징(Feature)을 추출한 후 해상도를 줄이는 과정을 반복적으로 포함한다.
또한, U-Net 모델의 후반부는 전반부의 연산을 역방향으로 수행하여 추출된 특징의 해상도를 늘리고 해당 특징을 재차 추출하도록 연산을 반복하여 최종적으로 입력 영상과 동일한 크기의 국부화(Localization)가 수행된 결과 영상을 생성하도록 동작한다.
그러나, 종래의 VGG, U-Net 등의 모델은 입력 영상에서 지역적인 정보를 추출하여 특징(Feature)을 생성하는 합성곱(Convolution) 연산을 반복적으로 수행하여 최종 결과물을 생성하나, 이러한 합성곱 연산은 영상 내의 국부적인 정보만을 반영하여 특징을 도출하는 한계가 있다.
또한, 골절 판독 장치(100)는 대상 영상을 수신하고, 학습된 판별 모델에 기초하여 수신된 대상 영상에 대한 안면부 골절과 연계된 정보를 도출할 수 있다. 또한, 전술한 바와 같이 인공지능 기반의 판별 모델은 안면부의 좌우 대칭성을 고려하도록 학습되므로, 골절 판독 장치(100)는 인공지능 기반의 판별 모델에 기초하여 대상자의 안면의 좌우 대칭성을 고려하여 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정할 수 있다.
이와 관련하여, 골절 영역의 위치 정보는 결정된 후보 영역에 기반하여 결정될 수 있다. 달리 말해, 후보 영역은 골절 영역에 해당하는 것으로 최종적으로 판단될 확률이 높아지도록 판별 모델이 동작할 수 있다.
또한, 골절 판독 장치(100)는 도출된 골절 유무 정보 및 골절 영역의 위치 정보에 기초하여 대상 영상을 사용자 단말(400)을 통해 시각화하여 표출할 수 있다. 예를 들어, 골절 판독 장치(100)는 골절 유무 정보에 기초하여 대상 영상에 골절 부위가 존재하는 것으로 판단되면, 골절 영역의 위치 정보를 대상 영상 내에서 구분되도록 표시(예를 들면, 학습 영상의 마킹 방식과 동일한 원형 또는 타원형의 브러쉬로 구분되는 색상으로 표시하는 등)할 수 있다.
도 6은 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 장치의 개략적인 구성도이다.
도 6을 참조하면, 골절 판독 장치(100)는, 수집부(110), 학습부(120), 판단부(130) 및 시각화부(140)를 포함할 수 있다.
수집부(110)는, 안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비할 수 있다. 구체적으로, 수집부(110)는 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹할 수 있다.
학습부(120)는, 준비된 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 대상 영상으로부터 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시킬 수 있다.
판단부(130)는, 대상 영상을 수신하고, 학습된 판별 모델에 기초하여 대상 영상에 대한 안면부 골절과 연계된 정보를 도출할 수 있다. 또한, 판단부(130)는 대상자의 안면의 좌우 대칭성을 고려하여 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정할 수 있다.
시각화부(140)는, 도출된 대상 영상에 대한 안면부 골절과 연계된 정보에 기초하여 골절 영역이 시각적으로 식별되도록 대상 영상을 사용자 단말(400)을 통해 표출할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 방법에 대한 동작 흐름도이다.
도 7에 도시된 인공지능을 이용한 안면부 골절 판독 방법은 앞서 설명된 골절 판독 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 골절 판독 장치(100)에 대하여 설명된 내용은 인공지능을 이용한 안면부 골절 판독 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S11에서 수집부(110)는, 안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비할 수 있다. 구체적으로, 단계 S11에서 수집되는 복수의 학습 영상 각각은, 복수의 2차원 슬라이스 영상을 포함하는 3차원 CT 영상일 수 있다. 또한, 학습 영상인 3차원 CT 영상에 포함된 복수의 2차원 슬라이스 영상은 축상면(axial) 슬라이스 영상 및 관상면(coronal) 슬라이스 영상을 포함할 수 있다.
또한, 단계 S11에서 수집부(110)는, 수집된 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹할 수 있다.
다음으로, 단계 S12에서 학습부(120)는, 단계 S11에서 확보된 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 입력된 대상 영상으로부터 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시킬 수 있다.
다음으로, 단계 S13에서 판단부(130)는, 대상 영상을 수신할 수 있다.
다음으로, 단계 S14에서 판단부(130)는, 학습된 판별 모델에 기초하여 수신된 대상 영상에 대한 안면부 골절과 연계된 정보를 도출할 수 있다.
구체적으로, 단계 S14에서 판단부(130)는, 대상자의 안면의 좌우 대칭성을 고려하여 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정할 수 있다.
다음으로, 단계 S15에서, 시각화부(140)는 골절 영역이 시각적으로 식별되도록 대상 영상을 사용자 단말(400) 등을 통해 표출할 수 있다.
상술한 설명에서, 단계 S11 내지 S15은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 인공지능을 이용한 안면부 골절 판독 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 인공지능을 이용한 안면부 골절 판독 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 인공지능을 이용한 안면부 골절 판독 방법에 있어서,
    안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비하는 단계;
    상기 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 상기 대상 영상으로부터 상기 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시키는 단계;
    상기 대상 영상을 수신하는 단계; 및
    상기 판별 모델에 기초하여 상기 대상 영상에 대한 상기 안면부 골절과 연계된 정보를 도출하는 단계,
    를 포함하는, 골절 판독 방법.
  2. 제1항에 있어서,
    상기 안면부 골절과 연계된 정보는,
    골절 유무 정보 및 골절 영역의 위치 정보를 포함하는 것인, 골절 판독 방법.
  3. 제2항에 있어서,
    상기 도출하는 단계는,
    상기 대상자의 안면의 좌우 대칭성을 고려하여 상기 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정하는 단계,
    를 포함하는 것인, 골절 판독 방법.
  4. 제3항에 있어서,
    상기 판별 모델은,
    입력된 특징 맵 및 상기 특징 맵을 플립 변환한 변환 맵 간의 유사도를 판단하는 적어도 하나의 레이어를 포함하는 것인, 골절 판독 방법.
  5. 제4항에 있어서,
    상기 유사도는,
    상기 특징 맵 및 상기 변환 맵 사이의 코사인 거리에 기초하여 도출되는 것인, 골절 판독 방법.
  6. 제1항에 있어서,
    상기 학습 데이터를 준비하는 단계는,
    상기 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹하는 단계,
    를 포함하는 것인, 골절 판독 방법.
  7. 제6항에 있어서,
    상기 복수의 학습 영상 각각은,
    복수의 2차원 슬라이스 영상을 포함하는 3차원 CT 영상이되, 상기 복수의 2차원 슬라이스 영상은 축상면(axial) 슬라이스 영상 및 관상면(coronal) 슬라이스 영상을 포함하는 것인, 골절 판독 방법.
  8. 제2항에 있어서,
    상기 골절 영역이 시각적으로 식별되도록 상기 대상 영상을 표출하는 단계,
    를 더 포함하는 것인, 골절 판독 방법.
  9. 인공지능을 이용한 안면부 골절 판독 장치에 있어서,
    안면부 골절 환자에 대하여 촬영된 복수의 학습 영상을 포함하는 학습 데이터를 준비하는 수집부;
    상기 학습 데이터에 기초하여, 대상자의 안면을 촬영한 대상 영상이 입력되면 상기 대상 영상으로부터 상기 대상자의 안면부 골절과 연계된 정보를 출력하는 인공지능 기반의 판별 모델을 학습시키는 학습부; 및
    상기 대상 영상을 수신하고, 상기 판별 모델에 기초하여 상기 대상 영상에 대한 상기 안면부 골절과 연계된 정보를 도출하는 판단부,
    를 포함하는, 골절 판독 장치.
  10. 제9항에 있어서,
    상기 안면부 골절과 연계된 정보는,
    골절 유무 정보 및 골절 영역의 위치 정보를 포함하는 것인, 골절 판독 장치.
  11. 제10항에 있어서,
    상기 판단부는,
    상기 대상자의 안면의 좌우 대칭성을 고려하여 상기 골절 영역의 위치를 탐색하기 위한 후보 영역을 결정하는 것인, 골절 판독 장치.
  12. 제11항에 있어서,
    상기 판별 모델은,
    입력된 특징 맵 및 상기 특징 맵을 플립 변환한 변환 맵 간의 유사도를 판단하는 적어도 하나의 레이어를 포함하고,
    상기 유사도는,
    상기 특징 맵 및 상기 변환 맵 사이의 코사인 거리에 기초하여 도출되는 것인, 골절 판독 장치.
  13. 제9항에 있어서,
    상기 수집부는,
    상기 복수의 학습 영상에 포함된 적어도 하나 이상의 골절 부위를 포함하는 영역을 미리 설정된 도형 형상에 기초하여 마킹하는 것인, 골절 판독 장치.
  14. 제10항에 있어서,
    상기 골절 영역이 시각적으로 식별되도록 상기 대상 영상을 표출하는 시각화부,
    를 더 포함하는 것인, 골절 판독 장치.
  15. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
PCT/KR2021/020079 2020-12-29 2021-12-28 인공지능을 이용한 안면부 골절 판독 장치 및 방법 WO2022145988A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200186799A KR102672010B1 (ko) 2020-12-29 인공지능을 이용한 안면부 골절 판독 장치 및 방법
KR10-2020-0186799 2020-12-29

Publications (1)

Publication Number Publication Date
WO2022145988A1 true WO2022145988A1 (ko) 2022-07-07

Family

ID=82260726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020079 WO2022145988A1 (ko) 2020-12-29 2021-12-28 인공지능을 이용한 안면부 골절 판독 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2022145988A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180061888A (ko) * 2016-11-30 2018-06-08 한국과학기술연구원 안와벽 재건술을 위한 수술 계획 생성 방법, 이를 수행하는 수술 계획 생성 서버, 및 이를 저장하는 기록매체
JP2020062378A (ja) * 2018-08-19 2020-04-23 チャン グァン メモリアル ホスピタル，リンコウＣｈａｎｇ Ｇｕｎｇ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ，Ｌｉｎｋｏｕ 医療画像の分析方法、システムおよびモデル
KR102119057B1 (ko) * 2019-10-08 2020-06-29 (주)제이엘케이 골절 진단모델의 학습 방법 및 장치
KR20200094393A (ko) * 2019-01-30 2020-08-07 동아대학교 산학협력단 치매 진단 및 예측을 위한 심층학습 기반 pet 영상 분석 방법
KR20200094640A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 연속 학습을 이용해 검출 가능한 클래스의 종류를 실시간으로 업데이트할 수 있는 객체 검출 시스템을 제공하는 방법 및 이를 이용한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180061888A (ko) * 2016-11-30 2018-06-08 한국과학기술연구원 안와벽 재건술을 위한 수술 계획 생성 방법, 이를 수행하는 수술 계획 생성 서버, 및 이를 저장하는 기록매체
JP2020062378A (ja) * 2018-08-19 2020-04-23 チャン グァン メモリアル ホスピタル，リンコウＣｈａｎｇ Ｇｕｎｇ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ，Ｌｉｎｋｏｕ 医療画像の分析方法、システムおよびモデル
KR20200094393A (ko) * 2019-01-30 2020-08-07 동아대학교 산학협력단 치매 진단 및 예측을 위한 심층학습 기반 pet 영상 분석 방법
KR20200094640A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 연속 학습을 이용해 검출 가능한 클래스의 종류를 실시간으로 업데이트할 수 있는 객체 검출 시스템을 제공하는 방법 및 이를 이용한 장치
KR102119057B1 (ko) * 2019-10-08 2020-06-29 (주)제이엘케이 골절 진단모델의 학습 방법 및 장치

Also Published As

Publication number Publication date
KR20220095401A (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
Tang et al. Xlsor: A robust and accurate lung segmentor on chest x-rays using criss-cross attention and customized radiorealistic abnormalities generation
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN110310281A (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN111986177B (zh) 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
WO2019143177A1 (ko) 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN110310289A (zh) 基于深度学习的肺部组织图像分割方法
WO2017051944A1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2020231007A2 (ko) 의료기계 학습 시스템
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2019124836A1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
WO2022075641A1 (ko) 인공지능 기반의 의료 영상 합성 장치 및 방법
JP6845071B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
Souid et al. Xception-ResNet autoencoder for pneumothorax segmentation
Cao et al. X-ray classification of tuberculosis based on convolutional networks
CN112862752A (zh) 一种图像处理显示方法、系统电子设备及存储介质
WO2022145988A1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
CN103164599A (zh) 基于腹部ct图像传输的肝硬化远程会诊系统
Fonseca et al. Automatic orientation identification of pediatric chest x-rays
CN110197722B (zh) Ai-cpu系统平台
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
Guo et al. Double U-Nets for image segmentation by integrating the region and boundary information
Kumari et al. Data efficient deep learning for medical image analysis: A survey
US11872069B2 (en) Method for providing fracture-detection tool

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915786

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21915786

Country of ref document: EP

Kind code of ref document: A1