KR20220026845A - 의료 영상의 가명화 방법 및 장치 - Google Patents
의료 영상의 가명화 방법 및 장치 Download PDFInfo
- Publication number
- KR20220026845A KR20220026845A KR1020200107873A KR20200107873A KR20220026845A KR 20220026845 A KR20220026845 A KR 20220026845A KR 1020200107873 A KR1020200107873 A KR 1020200107873A KR 20200107873 A KR20200107873 A KR 20200107873A KR 20220026845 A KR20220026845 A KR 20220026845A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pseudonymization
- body part
- target body
- medical image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000010801 machine learning Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 210000004872 soft tissue Anatomy 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 210000001519 tissue Anatomy 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 230000001936 parietal effect Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000083547 Columella Species 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 210000001142 back Anatomy 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 210000000281 joint capsule Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000003254 palate Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Bioethics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 의료 영상의 가명화 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 가명화 방법은 전자 장치가 수행하는 의료 영상의 가명화 방법으로서, 대상자의 대상 신체 부위에 대한 의료 영상에서 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하는 단계; 및 상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성하는 단계;를 포함한다.
Description
본 발명은 의료 영상 처리에 관한 것으로서, 더욱 상세하게는 의료 영상의 가명화 방법 및 장치에 관한 것이다.
최근, 의료 정보(또는 건강 정보)를 활용한 헬스 캐어 빅데이터(health care big-data) 분석 기술이 각광을 받고 있다. 이러한 헬스 캐어 빅데이터 분석 기술을 구현하려면 먼저 대량의 의료 정보를 수집해야 한다. 하지만, 해당 의료 정보 수집과 관련하여, 개인정보보호 등에 관련된 법에 대한 저촉 문제가 새롭게 대두되고 있다.
이에 따라, 의료 정보에서 개인 정보를 가명화(pseudonymization)함으로써 비식별화 처리하는 다양한 가명화 기술이 제시되고 있다. 이때, 가명화는 개인 정보에 대해 임의의 코드 또는 번호 등(Pseudonym; 가명)을 부여함으로써, 원래의 상태로 복원하기 위한 추가 정보의 사용 결합 없이는 특정 개인에 대한 파악이 불가능하도록 하는 처리를 의미한다. 또한, 이와 같이 가명화 처리된 정보를 “가명 정보”라 지칭한다.
종래의 의료 정보에 대한 가명화 기술은 이름, 나이, 성별, 전화번호 등과 같은 개인 신상에 관련된 텍스트 형태의 개인 정보에 대한 가명화 기술에 불과하였다. 이러한 테스트 형태의 개인 정보 외에 영상 형태인 의료 영상 등도 경우에 따라 개인 정보로 인식될 수 있다. 하지만, 현재까지 이러한 의료 영상에 대한 가명화 기술, 즉 의료 영상을 가명화 처리하여 가명 정보인 가명화 영상을 생성하는 기술은 전무한 실정이었다.
한편, 의료 영상에 대한 가명화를 위해, 의료 영상에서 특정 영역에 대해 마스킹, 블러링 등의 단순한 영상 처리 기법을 적용하는 기술이 제안될 수도 있다. 하지만, 이러한 제안 기술의 경우, 영상 처리 결과로 얻어진 가명화 영상 자체가 가지는 리얼리티(reality)가 떨어지는 문제점이 있다. 가령, 사람 안면에 대한 의료 영상을 제안 기술로 가명화 처리할 경우, 생성된 가명화 영상은 의료인(의사 등)에게 사람 안면에 대한 영상이 아닌 것으로 인식되거나 상당히 변형되어 실제로 존재하지 않을 거 같은 형태의 사람 안면에 대한 영상으로 인식될 수 있다.
다만, 상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 본 발명의 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안될 것이다.
상기한 바와 같은 문제점을 해결하기 위하여, 본 발명은 의료 영상에 대해 가명화 처리하는 새로운 기술을 제안함으로써 의료 영상 활용 시 개인정보보호 등에 관련된 법에 저촉되는 이슈를 방지할 수 있는 의료 영상의 가명화 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 리얼리티(reality)가 유지되는, 즉 의료인(의사 등)에게 실제로 존재하는 것으로 인식될 수 있는 가명화 영상을 생성하는 가명화 방법 및 장치를 제공하는데 그 다른 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 가명화 방법은 전자 장치가 수행하는 의료 영상의 가명화 방법으로서, 대상자의 대상 신체 부위에 대한 의료 영상에서 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하는 단계; 및 상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성하는 단계;를 포함한다.
상기 가공 영상은 해당 대상 신체 부위의 신체 구조를 가지면서 다른 대상자의 해당 대상 신체 부위로 인식되는 페이크 영상(fake image)일 수 있다.
상기 가공 영상은 다양한 다른 대상자의 해당 대상 신체 부위의 의료 영상을 이용하여 합성된 영상일 수 있다.
상기 가공 영상 또는 상기 가명화 영상은 기 학습된 머신 러닝 모델을 이용해 생성될 수 있다.
상기 머신 러닝 모델은 GAN(Generative Adversarial Network) 알고리즘의 머신 러닝으로 학습될 수 있다.
상기 구분하는 단계는 사용자의 선택에 따라 상기 식별 부분을 조절할 수 있다.
상기 구분하는 단계는 대상자의 대상 신체 부위를 중요도의 가중치 범위에 따라 다수의 부분 영역으로 구분하며, 적용 가중치에 따라 상기 식별 부분에 포함되는 부분 영역의 종류를 조절할 수 있다.
상기 구분하는 단계는 상기 의료 영상에서 각 부분 영역을 다양한 색상으로 표시할 수 있다.
상기 부분 영역은 가중치 범위가 가장 높은 제1 부분 영역, 가중치 범위가 제1 부분 영역 보다 낮은 제2 부분 영역, 및 가중치 범위가 가장 낮은 제3 부분 영역을 포함할 수 있다.
상기 구분하는 단계는 적어도 제1 부분 영역에서 상기 식별 부분을 선택할 수 있고, 적어도 제3 부분 영역에서 상기 비식별 부분을 선택할 수 있다.
상기 구분하는 단계는 적용 가중치가 낮아짐에 따라 제1 부분 영역 외에 제2 부분 영역도 식별 부분에 포함할 수 있다.
상기 구분하는 단계는 대상 신체 부위의 윤곽선을 이루는 윤곽점들 중 서로 이격된 복수개를 식별 부분으로 구분할 수 있다.
본 발명의 일 실시예에 따른 가명화 방법은 상기 식별 부분에 대한 정보를 메타 정보로 저장하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 가명화 방법은 상기 가명화 영상을 타 전자 장치로 전송 시, 상기 메타 정보의 전송 여부를 선택하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 가명화 장치는, 대상자의 대상 신체 부위에 대한 의료 영상을 저장한 메모리; 및 상기 의료 영상에 대한 가명화 처리를 제어하는 제어부;를 포함하며, 상기 제어부는, 상기 의료 영상의 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하며, 상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성한다.
본 발명의 일 실시예에 따른 가명화 서버는 단말로부터 수신한 대상자의 대상 신체 부위에 대한 의료 영상을 가명화 처리하는 서버로서, 상기 단말로부터 상기 의료 영상을 수신하며, 상기 단말로 가명화 영상을 전송하는 통신부; 및 상기 가명화 처리를 제어하는 제어부;를 포함하며, 상기 제어부는, 상기 의료 영상의 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하며, 상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성한다.
상기와 같이 구성되는 본 발명은 의료 영상에 대해 가명화 처리하는 새로운 기술을 제안함으로써 의료 영상 활용 시 개인정보보호 등에 관련된 법에 저촉되는 이슈를 방지할 수 있는 이점이 있다.
또한, 본 발명은 리얼리티(reality)가 유지되는, 즉 의료인(의사 등)에게 실제로 존재하는 것으로 인식될 수 있는 가명화 영상을 생성할 수 있는 이점이 있다.
또한, 본 발명은 GAN 알고리즘을 적용하여 가명화 영상을 생성하는 경우 그 학습 시간 및 그 가명화 처리 시간이 상당히 단축될 수 있는 이점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 가명화 장치(100)의 블록 구성도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 가명화 방법의 순서도를 나타낸다.
도 3 내지 도 11은 다양한 의료 영상의 예들을 나타낸다.
도 12는 치아 교합면의 형상을 추출한 의료 영상의 예를 나타낸다.
도 13 및 도 14는 GAN 알고리즘의 머신 러닝 모델에 대한 개념도를 나타낸다.
도 15는 본 발명의 다른 일 실시예에 따른 가명화 방법의 순서도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 가명화 방법의 순서도를 나타낸다.
도 3 내지 도 11은 다양한 의료 영상의 예들을 나타낸다.
도 12는 치아 교합면의 형상을 추출한 의료 영상의 예를 나타낸다.
도 13 및 도 14는 GAN 알고리즘의 머신 러닝 모델에 대한 개념도를 나타낸다.
도 15는 본 발명의 다른 일 실시예에 따른 가명화 방법의 순서도를 나타낸다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 가명화 장치(100)의 블록 구성도를 나타낸다.
본 발명의 일 실시예에 따른 가명화 장치(100)는 기 저장된 의료 영상을 가명화 처리하는 장치로서, 컴퓨팅(computing)이 가능한 전자 장치 또는 컴퓨팅 네트워크일 수 있다. 이러한 가명화 장치(100)는 가명화 처리를 위한 서버 등으로 동작할 수도 있다. 즉, 서버인 경우, 가명화 장치(100)는 의료 영상을 저장하고 있는 단말로부터 의료 영상을 수신할 수 있고, 수신한 의료 영상을 가명화 처리하여 가명화 처리된 영상(이하, “가명화 영상”이라 지칭함)을 해당 단말 또는 타 단말로 전송하는 서버 등으로 동작할 수도 있다. 이때, 단말은 의료 영상을 측정하는 전자 장치이거나, 해당 측정 장치에서 측정된 의료 영상을 기 저장하고 있는 전자 장치일 수 있다.
한편, 의료 영상은 대상자(치료 대상 환자 등)의 대상 신체 부위(치료 대상 부위 등)에 대한 영상으로서, 경조직(뼈, 연골 등) 또는 연조직(근육, 근막, 건, 인대, 관절낭, 피부, 지방 등)에 대한 영상을 포함할 수 있다. 예를 들어, 의료 영상은 초음파 영상, X-ray 영상, CT(Computed Tomography) 영상, 또는 MRI(Magnetic Resonance Image) 영상 등과 같이 신체 내부 파악을 위해 초음파 또는 방사선 등을 이용한 2차원 또는 3차원 영상일 수 있다. 또한, 의료 영상은 신체 외부 부위 표면(얼굴 등)에 대한 임상 영상 또는 구강 내부 표면에 대한 구강 스캔 영상 등과 같이 신체 내외 표면 파악을 위한 2차원 또는 3차원 광학 영상일 수 있다. 이러한 광학 영상은 광학 카메라 등으로 치료 대상자의 치료 대상 부위와 관련된 부위 표면을 촬영한 영상으로서, 성형 외과 또는 치과 등에서 치료 대상자의 신체 부위 표면의 모습 등을 확인하기 위해 영상일 수 있으며, 신체 부위 표면에 대한 영상이므로, 연조직 중에서도 피부 표면에 대한 영상을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 의료 영상은 대상 신체 부위의 다양한 방향(정면, 배면, 평면, 측면 등)에서의 영상일 수 있다. 다만, 의료 영상은 상술한 종류에 한정되지 않고, 진단, 교정, 수술 등의 치료(또는 의료 행위) 시에 사용되는 신체에 대한 다양한 영상을 포함할 수 있다.
예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), 스마트폰(smartphone), 스마트패드(smartpad), 또는 휴대폰(mobile phone), 등일 수 있으나, 이에 한정되는 것은 아니다.
이러한 가명화 장치(100)는, 도 1에 도시된 바와 같이, 입력부(110), 통신부(120), 디스플레이(130), 메모리(140), 제어부(150) 등을 포함할 수 있다.
입력부(110)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 가령, 입력부(110)는 사용자로부터 의료 영상의 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하거나, 식별 부분의 조절하는 등을 입력 받을 수 있다. 예를 들어, 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(120)는 단말 등의 다른 장치와 통신을 수행하는 구성이다. 가령, 통신부(120)는 단말로부터 의료 영상을 수신하거나, 제어부(150)에서 생성된 가명화 영상 등을 해당 단말 또는 타 단말 등으로 송신할 수 있다. 또한, 통신부(120)는 기 학습된 머신 러닝 모델에 대한 정보를 다른 장치로부터 수신할 수도 있다. 예를 들어, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.
디스플레이(130)는 다양한 영상 데이터를 화면으로 표시한다. 가령, 디스플레이(130)는 의료 영상, 의료 영상에 대한 가명화 처리 과정, 가명화 영상 등을 표시할 수 있다. 이러한 디스플레이(130)는 비발광형 패널이나 발광형 패널로 구성될 수 있다. 예를 들어, 디스플레이(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(130)는 입력부(120)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.
메모리(140)는 가명화 장치(100)의 동작에 필요한 각종 정보를 저장한다. 가령, 저장 정보로는 의료 영상, 가명화 영상, 머신 러닝 모델, 후술할 가명화 방법에 관련된 프로그램 정보 등이 포함될 수 있다. 예를 들어, 메모리(140)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(Sagnetic media type), CD-ROM(compact disc read only memory), 광기록 매체 타입(Optical Media type), 자기-광 매체 타입(Sagneto-optical media type), 멀티미디어 카드 마이크로 타입(Sultimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(140)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 보조기억장치, 또는 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.
제어부(150)는 가명화 장치(100)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(150)는 후술할 가명화 방법의 수행을 제어할 수 있으며, 가명화 장치(100)의 나머지 구성, 즉 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 등의 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 하드웨어인 프로세서(processor) 또는 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 가명화 방법의 순서도를 나타낸다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 가명화 방법은 S101 및 S102를 포함할 수 있다. 이때, S101 및 S102는 각각 제어부(150)의 하드웨어 또는 소프트웨어를 통해 그 수행이 제어될 수 있다.
먼저, S101는 의료 영상에서 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하는 단계이다.
이때, 식별 부분은 의료 영상의 대상 신체 부위 중에서 대상자의 치료를 위해 의료인(의사 등)에게 최소한으로 제공되어야 할 해당 대상자의 대상 신체 부위에 대한 특징 부분을 지칭한다. 즉, 의료인은 해당 식별 부분을 파악함으로써, 대상자에 대한 진단, 교정, 수술 등의 치료를 위한 대상자의 상태를 파악할 수 있다. 물론, 식별 부분은 의료 영상 전체에서 아주 적은 부분에 불과하므로, 해당 식별 부분만으로는 특정 개인에 대한 파악이 어렵다. 반면, 비식별 부분은 의료 영상의 대상 신체 부위 중에서 대상자의 치료 시 의료인이 참고할 필요 없어 의료인에게 제공되지 않아도 되는 부분을 지칭한다. 즉, 비식별 부분은 의료 영상의 대상 신체 부위 중 식별 부분으로 설정되지 않은 나머지 부위일 수 있다. 또한, 비식별 부분은 의료 영상에서 신체 부위가 아니더라도, 식별 부분으로 설정되지 않은 나머지 부분 중에 대상 신체 부위에 영향을 주는 보철 등의 개체 부위일 수도 있다.
도 3 내지 도 11은 다양한 의료 영상의 예들을 나타낸다. 즉, 도 3은 측모 두부에 대한 X-ray 영상(세팔로 영상), 도 4는 정모 두부에 대한 X-ray 영상, 도 5는 측모 두부에 대한 임상 영상, 도 6은 정모 두부에 대한 임상 영상, 도 7은 미소(smile) 시 정면의 입 주변에 대한 임상 영상, 도 8은 정면의 입 주변에 대한 X-ray 영상(파노라마 영상), 도 9는 정면의 구강 내 표면 영상, 도 10은 일 측면의 구강 내 표면 영상, 도 11은 타 측면의 구강 내 표면 영상을 각각 나타낸다. 또한, 도 12는 치아 교합면의 형상을 추출한 의료 영상의 예를 나타낸다. 다만, 도 3 내지 도 12에서, 다양한 색상의 점들은 다양한 신체 부위에 대한 해부학적 랜드 마크(즉, 신체 부위에 대한 위치 또는 형상을 대표하여 나타내기 위한 하나 이상의 점, 선 또는 면)이다.
이러한 식별 부분 및 비식별 부분은 대상 신체 부위 종류, 치료 종류(목적), 의료 영상 종류 등에 따라 다양하게 구분될 수 있다. 특히, 식별 부분 및 비식별 부분은 다양한 알고리즘을 통해 자동적으로 추출(이하, “자동 추출 처리”이라 지칭함)될 수 있다. 또한, 입력부(110)는 사용자로부터 의료 영상의 대상 신체 부위 중에서 어느 부분을 식별 부분으로 설정할지에 대해 입력 받을 수 있으며, 제어부(150)는 해당 입력에 따라 식별 부분을 조절할 수 있다. 이러한 사용자의 선택에 따른 식별 부분의 조절은 자동 추출 처리 후에 추가적으로 수행될 수도 있다.
제어부(150)는 자동 추출 처리 시, 도 3 내지 도 12에 도시된 바와 같이, 의료 영상에서 다양한 신체 부위에 대한 랜드 마크나, 보철 등의 개체 부위에 대한 랜드 마크(즉, 객체 부위에 대한 위치 또는 형상을 대표하여 나타내기 위한 하나 이상의 점, 선 또는 면)를 표시할 수 있다(이하, 이러한 신체 부위 또는 객체 부위에 대한 랜드 마크를 단순히 “랜드 마크”라 지칭함). 물론, 이러한 랜드 마크는 입력부(110)를 통해 사용자가 자동 추출 미처리 시에 설정하거나 또는 자동 추출 처리 후에도 설정할 수 있다. 이때, 해당 신체 부위 또는 그 신체 부위의 중요도에 따라 자동 추출 처리 또는 사용자의 선택에 따라 다양한 색으로 표시될 수 있다.
도 3을 참조하면, 측모 두부에 대한 X-ray 영상에서, 각 점은 치과 치료 시 참고할 수 있는 랜드 마크로서, 붉은색 및 주황색 점은 경조직의 랜드 마크를 나타내고, 초록색 점은 연조직의 랜드 마크를 나타낸다. 이때, 붉은색 점은 치과 치료 시 중요도가 높은 랜드 마크, 주황색 점은 치과 치료 시 중요도가 중간 정도인 랜드 마크, 초록색 점은 치과 치료 시 중요도가 낮은 랜드 마크일 수 있다. 즉, 각 랜드 마크는 그 중요도에 따라 가중치가 설정되며 해당 가중치 범위에 따라 다양한 색상으로 설정될 수 있다.
상술한 바와 같이, 제어부(150)는 자동 추출 처리 또는 사용자 설정을 통해 대상자의 대상 신체 부위를 중요도의 가중치 범위에 따라 다수의 부분 영역(의료 영상의 신체 부위 중 어느 영역)으로 구분하되, 각 부분 영역을 다양한 색상으로 표시할 수 있다. 또한, 제어부(150)는 적용 가중치에 따라 식별 부분에 포함되는 부분 영역의 종류를 조절할 수 있다. 즉, 일정 이상 범위의 가중치를 가지는 부분 영역이 식별 부분에 포함되도록 사용자가 입력부(110)를 통해 적용 가중치를 선택할 수 있으며, 이 경우에 제어부(150)는 해당 가중치 범위에 포함되는 랜드 마크를 식별 부분으로 설정할 수 있다.
예를 들어, 도 3에서, 가중치 범위가 가장 높은 제1 부분 영역은 붉은색 점들이고, 가중치 범위가 제1 부분 영역 보다 낮은 제2 부분 영역은 주황색 점들이며, 가중치 범위가 가장 낮은 제3 부분 영역은 초록색 점들을 포함한 나머지 모든 신체 부위의 영역일 수 있다. 이때, 사용자가 선택한 적용 가중치가 높아질수록, 제1 부분 영역만이 식별 부분으로 설정될 수 있다.
반대로, 적용 가중치가 낮아질수록, 제1 부분 영역 외에 제2 부분 영역도 식별 부분으로 설정될 수 있다. 다만, 초록색 점은 측모 외부 표면의 연조직에 대한 랜드 마크이므로, 적용 가중치가 최하로 설정되더라도 치과 치료의 목적에 따라 식별 부분으로 설정되지 않고 비식별 부분으로 설정될 수 있다. 이 경우, 적어도 붉은색 점들은 식별 부분으로 선택될 수 있으며, 적어도 초록색 점들은 비식별 부분으로 선택될 수 있다. 다만, 본 발명이 상술한 예에 한정되는 것은 아니다.
한편, 도 4 내지 도 6에서, 붉은색 점은 정모 또는 측모 두부에서의 각 신체 부위에 대한 랜드 마크를 나타낸다. 도 7에서, 붉은색 점은 정면에서의 치아에 대한 랜드 마크를 나타내고, 노란색 점은 정면에서의 입술에 대한 랜드 마크를 나타낸다. 도 8 내지 도 11에서, 붉은색 점은 정면 또는 측면에서의 상악 치아에 대한 랜드 마크를 나타내고, 노란색 점은 정면 또는 측면에서의 하악 치아에 대한 랜드 마크를 나타낸다. 즉, 각 랜드 마크는 자동 추출 처리 또는 사용자의 설정에 따라, 그 중요도의 가중치에 따른 다양한 색상으로 표시될 뿐 아니라, 도 7 내지 도 11에 도시된 바와 같이, 그 신체 부위의 종류에 따른 다양한 색상으로도 표시될 수 있다. 또한, 신체 부위 중에서도, 경조직에 대한 랜드 마크와, 연조직에 대한 랜드 마크는 서로 다른 다양한 색상으로 표시될 수 있다. 또한, 신체 부위에 대한 랜드 마크와 개체 부위에 대한 랜드 마크도 서로 다른 다양한 색상으로 표시될 수 있다. 이러한 다양한 색상 표시에 따라, 의료인의 사용자는 대상 신체 부위 종류 또는 치료 종류(목적)에 맞게 식별 부분의 선택을 보다 용이하게 선택할 수 있다.
참고로, 도 5에서, 각 랜드 마크의 부위에 대한 상세한 내용은 다음과 같다.
| 번호 | 상세 부위 | 번호 | 상세 부위 |
| 1 | Glabella | 12 | Upper embrasure |
| 2 | Soft tissue Nasion | 13 | Lower embrasure |
| 3 | Nasal bridge | 14 | Stomion inferius |
| 4 | Dorsum of Nose | 15 | Lower lip |
| 5 | Pronasale | 16 | Labrale inferius |
| 6 | Columella | 17 | Soft tissue B point |
| 7 | Subnasale | 18 | Soft tissue Pogonion |
| 8 | Soft tissue A point | 19 | Soft tissue Gnathion |
| 9 | Labrale superius | 20 | Soft tissue Menton |
| 10 | Upper lip | 21 | Submandibular point |
| 11 | Stomion superius | 22 | Cervical point |
한편, 대상 신체 부위에 대한 윤곽선을 이루는 윤곽점들 중 서로 이격된 복수개가 자동 추출 처리 또는 사용자의 설정에 따라 식별 부분으로 설정될 수 있다. 물론, 해당 대상 신체 부위의 나머지 부분이 치아 비식별 부분으로 설정될 수 있다.
즉, 도 7 내지 도 11을 참조하면, 치과 치료를 위해 의료 영상의 대상 신체 부위가 치아를 포함하는 경우, 해당 치아의 윤곽선을 이루는 윤곽점들 중 서로 이격된 복수개가 자동 추출 처리 또는 사용자의 설정에 따라 식별 부분으로 설정될 수 있다. 또한, 해당 치아의 나머지 부분은 치아 비식별 부분으로 설정될 수 있다. 예를 들어, 하나의 치아에 대한 식별 부분은 4개의 이격된 윤곽점이 포함될 수 있으며, 각 점은 해당 치아의 상하좌우의 위치를 대표하는 점일 수 있다. 다만, 본 발명이 상술한 예에 한정되는 것은 아니다.
한편, 자동 추출 처리를 위해, 제어부(150)는 대상 신체 부위 종류, 치료 종류(목적), 의료 영상 종류 등에 따라 랜드 마크를 설정하여 표시하는 다양한 알고리즘을 포함할 수 있다.
특히, 제어부(150)는 머신 러닝 모델(machine learning model)을 통해 해당 랜드 마크를 설정할 수 있다. 이때, 머신 러닝 모델은 입력 데이터 및 출력 데이터 쌍(데이터셋)의 학습 데이터를 통해 지도 학습(supervised learning)의 머신 러닝 기법에 따라 학습된 모델일 수 있다. 즉, 머신 러닝 모델은 의료 영상의 입력 데이터와, 해당 의료 영상에서 랜드 마크가 설정된 출력 데이터를 포함하는 학습 데이터 세트를 이용해 학습될 수 있다. 이러한 출력 데이터의 해당 랜드 마크의 설정은 대상 신체 부위 종류, 치료 종류(목적), 의료 영상 종류 등에 따라 의료인 등에 의해 설정될 수 있다.
이에 따라, 머신 러닝 모델은 입력 데이터인 의료 영상과 출력 데이터인 랜드 마크(또는 랜드 마크가 설정된 의료 영상) 간의 관계에 대한 함수를 가지며, 이를 다양한 파라미터를 이용해 표현한다. 예를 들어, 머신 러닝 모델은 가중치(Weights)와 편항치(Biases) 등의 파라미터를 이용해 의료 영상과 랜드 마크 간의 관계를 표현할 수 있다. 즉, 기 학습된 머신 러닝 모델에 의료 영상의 입력 데이터가 입력되는 경우, 해당 함수에 따른 랜드 마크(또는 랜드 마크가 설정된 의료 영상)의 출력 데이터가 출력될 수 있다.
예를 들어, 머신 러닝 기법은 Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of classifiers, 또는 Deep learning 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
특히, 딥 러닝(Deep learning) 기법에 의해 학습된 딥 러닝 모델은 입력 데이터와 출력 데이터 간의 관계를 다수의 층(레이어)으로 표현하며, 이러한 다수의 표현층을 “신경망(neural network)”라 지칭하기도 한다. 이러한 딥 러닝 모델은 본 발명과 같은 영상 처리 분야에서 고무적인 성능을 가질 수 있다.
예를 들어, 딥 러닝 기법은 Deep Neural Network(DNN), Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Restricted Boltzmann Machine(RBM), Deep Belief Network(DBN), Deep Q-Networks 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이후, S102는 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(이하, “가공 영상”이라 지칭함)으로 매핑하여 가명화 영역을 설정함으로써 가명화 영상을 생성하는 단계이다. 즉, 가명화 영상에서, 가명화 영역은 가공 영상으로 대체된 비식별 부분의 영역을 지칭한다. 이때, 식별 부분은 영상 처리가 이루어지지 않고 의료 영상에서의 원래 값이 그대로 유지될 수 있다.
즉, 식별 부분 및 비식별 부분은 각각 하나 이상의 픽셀을 포함하는데, 해당 각 픽셀에 대해서는 위치 값 및 픽셀 값(색상 값 등)이 픽셀 정보로 저장된다. 이때, 비식별 부분에 해당하는 픽셀은 가공 영상에 대응되는 해당 픽셀로 대체될 수 있는 반면, 식별 부분에 해당하는 픽셀은 가공 영상에 대응되는 해당 픽셀로 대체되지 않고 원래 랜드 마크의 특징(가령, 그 위치 값, 또는 그 위치 값 및 픽셀 값)을 유지할 수 있다. 이러한 식별 부분의 랜드 마크에 대한 정보(특히, 그 위치 값에 대한 정보)는 메타 정보로 가명화 영상과 함께 별도로 메모리(140)에 저장될 수 있다. 가명화 장치(100)가 서버 등으로 동작하는 경우, 이러한 메타 정보는 단말 등으로 가명화 영상 전송 시 선택적으로 전송될 수도 있다.
한편, 가명화 영상을 생성하는 방법으로는 다양한 영상 처리 기법을 이용하거나 머신 러닝 모델을 이용할 수 있다. 이를 통해 생성된 가공 영상은 합성된 가공 영역과 원래 랜드 마크의 특성이 유지된 식별 부분을 함께 포함하되, 의료인(의사 등)에게 해당 대상 신체 부위에 대한 영상인 것으로 인식되는 영상이어야 한다. 즉, 가공 영상은 해당 대상 신체 부위의 신체 구조를 가지면서 다른 대상자의 해당 대상 신체 부위로 인식되는 페이크 영상(fake image)이어야 한다. 예를 들어, A 형상의 치아에 대한 가공 영상은 전혀 다른 B 형상의 치아에 대한 영상이되, A 형상의 치아가 가지고 있던 식별 부분의 랜드 마크 특성은 그대로 포함하고 있는 영상이어야 한다.
가령, 영상 처리 기법을 이용하는 경우, 종래에 기 저장된 다른 대상자의 의료 영상에서, 해당 대상 신체 부위들을 합성하되 대상자의 의료 영상의 식별 부분에 대한 랜드 마크의 특성을 그대로 유지하면서 비식별 부분만을 합성할 수 있다. 이러한 합성은 하나 외에 복수의 다른 대상자의 의료 영상을 이용해 합성할 수도 있다.
도 13 및 도 14는 GAN 알고리즘의 머신 러닝 모델에 대한 개념도를 나타낸다.
또한, 머신 러닝 모델을 이용할 경우, 지도 방식 외에도 비지도 방식의 머신 러닝 기법으로 학습된 머신 러닝 모델을 이용해 가명화 영상을 생성할 수 있다. 특히, 도 13 및 도 14에 도시된 바와 같이, GAN(Generative Adversarial Network; 생성 적대적 네트워크) 알고리즘의 머신 러닝 모델을 이용해 가명화 영상을 생성할 수 있다.
이러한 GAN 알고리즘은 미리 정의된 2개의 네트워크 모델인 생성기(G)와 분류기(D)를 이용한 방식이다. 즉, 분류기(D)를 먼저 학습시킨 후, 생성기(G)를 학습시키며, 서로의 결과를 주고받으면서 반복 학습시키는 방식으로서, 생성기(G)와 분류기(D)가 서로 경쟁하여 조금씩 학습되는 방식이다. 이때, 분류기(D)의 경우, 실제 의료 영상(진짜 데이터)을 입력 받아 해당 의학 영상이 실제(진짜)인 것으로 분류하도록 학습시킨 후, 이와 반대로 생성기(G)에서 생성한 합성 의학 영상(가짜 데이터)을 입력 받아 해당 의학 영상이 합성(가짜)인 것으로 분류하도록 학습될 수 있다. 또한, 생성기(G)의 경우, 의료 영상 및 그 식별 부분의 랜드 마크를 입력 받아 해당 식별 부분의 랜드 마크 특성을 그대로 두면서 가명화 영역에 대해서는 다른 대상자의 해당 대상 신체 부위인 것으로 인식되게 하는 합성 의료 영상을 가명화 영상으로 생성하도록 학습될 수 있다. 이때, 생성기(G)에서 생성한 가짜 데이터를 판별기(D)에 입력하고, 가짜 데이터를 진짜라고 분류할 만큼 진짜 데이터와 유사한 데이터를 만들어 내도록 생성기(G)를 학습시킬 수 있다. 다만, 종래와 달리, 생성기(G)에서 생성된 가공 영상이 의료인(의사 등)에게 해당 대상 신체 부위에 대한 영상인 것으로 인식되는 정도의 영상이면 되므로, 그 학습 수준이 너무 높을 필요까지는 없다. 따라서, 본 발명에 GAN 알고리즘이 적용되는 경우 학습 시간 및 그 가명화 처리 시간이 상당히 단축될 수 있는 이점이 있다.
예를 들어, GAN 알고리즘은 일반적인 GAN 외에도, DCGAN(Deep Convolutional GAN), LSGAN(Least Squares GAN), SGAN(Semi-Supervised GAN), ACGAN(Auxiliary Classifier GAN), WGAN(Wasserstein Generative Adversarial Networks, ConGAN(Continuous GAN), cGAN(Conditional GAN), SNcGAN(Spectral Normalization Conditional GAN), starGAN 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 15는 본 발명의 다른 일 실시예에 따른 가명화 방법의 순서도를 나타낸다.
한편, 도 15를 참조하면, 본 발명의 다른 일 실시예에 따른 가명화 방법은 S201 내지 S204을 포함할 수 있다. 즉, S201 내지 S204는 가명화 장치(100)가 서버 등으로 동작하는 경우에 대한 과정일 수 있다. 이때, S201 내지 S204는 각각 제어부(150)의 하드웨어 또는 소프트웨어를 통해 그 수행이 제어될 수 있다.
먼저, S201은 단말 등으로부터 의료 영상을 수신하는 단계이다. 즉, 단말은 가명화 처리를 수행하는 서버인 가명화 장치(100)로 자신이 가지고 있는 의료 영상을 전송할 수 있다. 이때, 제어부(150)는 통신부(120)를 통해 해당 의료 영상을 수신하도록 제어할 수 있으며, 수신된 의료 영상을 메모리(140)에 저장하도록 제어할 수 있다.
이후, S202 및 S203이 수행된다. 다만, S202 및 S203은 상술한 S101 및 S102와 각각 대응하므로, 이에 대한 설명은 생략하도록 한다.
이후, S204는 S202 및 S203을 통해 가명화 처리된 가명화 영상을 해당 단말 또는 타 단말로 전송하는 단계이다. 이때, 제어부(150)는 식별 부분의 랜드 마크 특성에 대한 정보인 메타 정보를 선택적으로 전송할 수 있다.
상술한 바와 같이 구성되는 본 발명은 의료 영상에 대해 가명화 처리하는 새로운 기술을 제안함으로써 의료 영상 활용 시 개인정보보호 등에 관련된 법에 저촉되는 이슈를 방지할 수 있는 이점이 있다. 또한, 본 발명은 리얼리티(reality)가 유지되는, 즉 의료인(의사 등)에게 실제로 존재하는 것으로 인식될 수 있는 가명화 영상을 생성할 수 있는 이점이 있다. 또한, 본 발명은 GAN 알고리즘을 적용하여 가명화 영상을 생성하는 경우 그 학습 시간 및 그 가명화 처리 시간이 상당히 단축될 수 있는 이점이 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 가명화 장치
110: 입력부
120: 통신부 130: 디스플레이
140: 메모리 150: 제어부
120: 통신부 130: 디스플레이
140: 메모리 150: 제어부
Claims (15)
- 전자 장치가 수행하는 의료 영상의 가명화 방법으로서,
대상자의 대상 신체 부위에 대한 의료 영상에서 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하는 단계; 및
상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성하는 단계;
를 포함하는 가명화 방법.
- 제1항에 있어서,
상기 가공 영상은 해당 대상 신체 부위의 신체 구조를 가지면서 다른 대상자의 해당 대상 신체 부위로 인식되는 페이크 영상(fake image)인 가명화 방법.
- 제2항에 있어서,
상기 가공 영상은 다양한 다른 대상자의 해당 대상 신체 부위의 의료 영상을 이용하여 합성된 영상인 가명화 방법.
- 제2항에 있어서,
상기 가공 영상 또는 상기 가명화 영상은 기 학습된 머신 러닝 모델을 이용해 생성되는 가명화 방법.
- 제4항에 있어서,
상기 머신 러닝 모델은 GAN(Generative Adversarial Network) 알고리즘의 머신 러닝으로 학습된 가명화 방법.
- 제1항에 있어서,
상기 구분하는 단계는 사용자의 선택에 따라 상기 식별 부분을 조절하는 가명화 방법.
- 제6항에 있어서,
상기 구분하는 단계는 신체 부위 종류, 경조직/연조직 여부, 또는 신체 외 개체 부위 종류에 따라 표시된 랜드 마크 중에서 상기 식별 부분이 선택되는 가명화 방법.
- 제1항에 있어서,
상기 구분하는 단계는 대상자의 대상 신체 부위를 중요도의 가중치 범위에 따라 다수의 부분 영역으로 구분하며, 적용 가중치에 따라 상기 식별 부분에 포함되는 부분 영역의 종류를 조절하는 가명화 방법.
- 제8항에 있어서,
상기 구분하는 단계는 상기 의료 영상에서 각 부분 영역을 다양한 색상으로 표시하는 가명화 방법.
- 제8항에 있어서,
상기 부분 영역은 가중치 범위가 가장 높은 제1 부분 영역, 가중치 범위가 제1 부분 영역 보다 낮은 제2 부분 영역, 및 가중치 범위가 가장 낮은 제3 부분 영역을 포함하며,
상기 구분하는 단계는 적어도 제1 부분 영역에서 상기 식별 부분을 선택하고 적어도 제3 부분 영역에서 상기 비식별 부분을 선택하는 가명화 방법.
- 제10항에 있어서,
상기 구분하는 단계는 적용 가중치가 낮아짐에 따라 제1 부분 영역 외에 제2 부분 영역도 식별 부분에 포함하는 가명화 방법.
- 제1항에 있어서,
상기 구분하는 단계는 대상 신체 부위의 윤곽선을 이루는 윤곽점들 중 서로 이격된 복수개를 식별 부분으로 구분하는 가명화 방법.
- 제1항에 있어서,
상기 식별 부분에 대한 정보를 메타 정보로 저장하는 단계; 및
상기 가명화 영상을 타 전자 장치로 전송 시, 상기 메타 정보의 전송 여부를 선택하는 단계;를 더 포함하는 가명화 방법.
- 대상자의 대상 신체 부위에 대한 의료 영상을 저장한 메모리; 및
상기 의료 영상에 대한 가명화 처리를 제어하는 제어부;를 포함하며,
상기 제어부는,
상기 의료 영상의 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하며, 상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성하는 가명화 장치.
- 단말로부터 수신한 대상자의 대상 신체 부위에 대한 의료 영상을 가명화 처리하는 서버로서,
상기 단말로부터 상기 의료 영상을 수신하며, 상기 단말로 가명화 영상을 전송하는 통신부; 및
상기 가명화 처리를 제어하는 제어부;를 포함하며,
상기 제어부는,
상기 의료 영상의 상기 대상 신체 부위 중 식별 부분과 비식별 부분을 구분하며, 상기 비식별 부분을 다른 대상자의 해당 대상 신체 부위의 영상(가공 영상)으로 매핑함으로써 가명화 영상을 생성하는 가명화 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200107873A KR102542016B1 (ko) | 2020-08-26 | 2020-08-26 | 의료 영상의 가명화 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200107873A KR102542016B1 (ko) | 2020-08-26 | 2020-08-26 | 의료 영상의 가명화 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220026845A true KR20220026845A (ko) | 2022-03-07 |
| KR102542016B1 KR102542016B1 (ko) | 2023-06-09 |
Family
ID=80817770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200107873A KR102542016B1 (ko) | 2020-08-26 | 2020-08-26 | 의료 영상의 가명화 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102542016B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102587233B1 (ko) * | 2022-11-24 | 2023-10-10 | 인하대학교 산학협력단 | 소수의 협소화각 rgbd 영상으로부터 360 rgbd 영상 합성 |
| KR102634835B1 (ko) * | 2023-03-29 | 2024-02-07 | 주식회사 더로벨 | 비식별화된 의료 영상 이미지 합성 데이터 생성 방법 및 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011508332A (ja) | 2007-12-28 | 2011-03-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 情報交換システム及び装置 |
| JP2012159982A (ja) * | 2011-01-31 | 2012-08-23 | Kddi Corp | 公開情報のプライバシー保護装置、公開情報のプライバシー保護方法およびプログラム |
| KR20190126587A (ko) * | 2018-05-02 | 2019-11-12 | 재단법인 아산사회복지재단 | 의료 영상 비식별화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102083192B1 (ko) * | 2018-09-28 | 2020-03-02 | 주식회사 이고비드 | 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치 |
| KR20200036656A (ko) * | 2018-09-28 | 2020-04-07 | 한국전자통신연구원 | 얼굴 이미지 비식별화 장치 및 방법 |
-
2020
- 2020-08-26 KR KR1020200107873A patent/KR102542016B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011508332A (ja) | 2007-12-28 | 2011-03-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 情報交換システム及び装置 |
| JP2012159982A (ja) * | 2011-01-31 | 2012-08-23 | Kddi Corp | 公開情報のプライバシー保護装置、公開情報のプライバシー保護方法およびプログラム |
| KR20190126587A (ko) * | 2018-05-02 | 2019-11-12 | 재단법인 아산사회복지재단 | 의료 영상 비식별화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102083192B1 (ko) * | 2018-09-28 | 2020-03-02 | 주식회사 이고비드 | 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치 |
| KR20200036656A (ko) * | 2018-09-28 | 2020-04-07 | 한국전자통신연구원 | 얼굴 이미지 비식별화 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Tao Li 외, AnonymousNet: Natural Face De-Identification with Measurable Privacy, CPVR, 2019.06.17., pp.1-10.* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102587233B1 (ko) * | 2022-11-24 | 2023-10-10 | 인하대학교 산학협력단 | 소수의 협소화각 rgbd 영상으로부터 360 rgbd 영상 합성 |
| KR102634835B1 (ko) * | 2023-03-29 | 2024-02-07 | 주식회사 더로벨 | 비식별화된 의료 영상 이미지 합성 데이터 생성 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102542016B1 (ko) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11779213B2 (en) | Metaverse system | |
| JP7091531B2 (ja) | 身体上ジェスチャ・インターフェース及び投影表示のための方法 | |
| US20200364624A1 (en) | Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources | |
| US20210007606A1 (en) | Method of and imaging system for clinical sign detection | |
| US11297285B2 (en) | Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures | |
| KR102085178B1 (ko) | 의료 기기를 통한 대상체의 위치 관련 정보를 제공하는 방법 및 장치 | |
| US20200411167A1 (en) | Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning | |
| US20110311116A1 (en) | System and methods for anatomical structure labeling | |
| US11217350B2 (en) | Systems and method for artificial-intelligence-based dental image to text generation | |
| KR20210006244A (ko) | 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치 | |
| US11311247B2 (en) | System and methods for restorative dentistry treatment planning using adversarial learning | |
| KR102542016B1 (ko) | 의료 영상의 가명화 방법 및 장치 | |
| US20230149135A1 (en) | Systems and methods for modeling dental structures | |
| WO2019190968A1 (en) | Systems and methods of measuring the body based on image analysis | |
| TW201434008A (zh) | 健康狀態的個人化地視覺化呈現 | |
| KR20210071188A (ko) | 해부학적 랜드마크의 추정장치 및 이의 추정방법 | |
| KR102041888B1 (ko) | 구강 관리 시스템 | |
| US20240135534A1 (en) | Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity | |
| WO2021090921A1 (ja) | 被験者の顎運動を測定するためのシステム、プログラム、および方法 | |
| US11393576B2 (en) | Method for setting a medical imaging protocol, system for setting a medical instrument, computer program and computer-readable medium | |
| KR102475962B1 (ko) | 임상 영상의 시뮬레이션 방법 및 장치 | |
| KR102373429B1 (ko) | 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 | |
| KR20220059908A (ko) | 데이터 처리 장치 및 데이터 처리 방법 | |
| CN116829055A (zh) | 用于生成三维（3d）图像模型的皮肤病学成像系统和方法 | |
| US20220071510A1 (en) | Method and apparatus for obtaining a 3d map of an eardrum |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |