KR102343363B1 - 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR102343363B1
KR102343363B1 KR1020200028402A KR20200028402A KR102343363B1 KR 102343363 B1 KR102343363 B1 KR 102343363B1 KR 1020200028402 A KR1020200028402 A KR 1020200028402A KR 20200028402 A KR20200028402 A KR 20200028402A KR 102343363 B1 KR102343363 B1 KR 102343363B1
Authority
KR
South Korea
Prior art keywords
hand bone
projection image
image
bone projection
rotated
Prior art date
Application number
KR1020200028402A
Other languages
English (en)
Other versions
KR20210112848A (ko
Inventor
이민호
안재신
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020200028402A priority Critical patent/KR102343363B1/ko
Publication of KR20210112848A publication Critical patent/KR20210112848A/ko
Application granted granted Critical
Publication of KR102343363B1 publication Critical patent/KR102343363B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/505—Clinical applications involving diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은, 합성곱신경망(Convolutional Neural Network, CNN)을 통해, 입력받은 2차원 손뼈 투영 이미지에 대한 특징을 압축한 특징 벡터를 추출하는 단계; 상기 특징 벡터를 추출하는 동안 상기 합성곱신경망의 각 레이어로부터 특징 행렬(Feature Matrix)을 추출하는 단계; 상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation)하는 단계; 및 상기 손뼈의 각도 코드가 접합된 특징 벡터와 상기 각 레이어에서 추출되는 특징 행렬을 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 단계;를 포함한다. 이에 따라, 1장의 실제 2차원 투영 이미지를 통해 회전된 가상의 2차원 투영 이미지를 생성할 수 있다.

Description

2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR GENERATING ROTATED HAND BONE 2D PROJECTION IMAGE FROM 1 HAND BONE 2D PROJECTION IMAGE, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 1장의 실제 2차원 손뼈 투영 이미지를 기초로 다각도의 2차원 손뼈 투영 이미지를 생성하는 기술에 관한 것이다.
의료 영상(medical image)은 x-ray를 발견한 이래 질병의 진단과 치료에 중요한 역할을 해오고 있다. 의료영상 기기는 일정한 에너지를 투과하면 인체 내의 밀도와 성질에 따라 입사, 반사, 또는 투과되는 특징을 이용하여 인체 내부의 영상을 획득한다.
과거 수십 년간 방사선의 응용이 유일한 의료영상이었으나, 최근에는 초음파, 자기장, 레이저 등을 이용한 다양한 의료영상 기기가 개발되고 있다. 사용되는 의료영상 기술 분류별 분포를 보면 X선 영상 기술이 70%, 초음파 진단 기술이 11%, CT가 8%, MRI가 5%, 핵의학 영상 기술이 3%로 임상에서 활용되고 있다.
인체를 통과하는 X-선을 이용한 기술로는 대표적으로, X-ray(X선 영상 기술, radiography)와 CT(전산화 단층 촬영 기술, Computed Tomography)가 있다.
X-ray는 각 부위 조직의 투과된 X선의 감쇄 특성을 이용하여 평면 형광판이나 필름에 생체 내부 구조를 영상화한다. 구체적으로, X-ray 기술은 X선을 생체에 투과해 인체 각 부위 조직에 투과된 X선의 감쇄(減殺)특성을 이용해 평면형 필름에 생체 내부의 구조를 영상화하는 기술이다. MRI, CT, PET, 초음파 등 다른 영상 진단 기술에 비해 제일 오래된 비침습적(非侵襲的) 영상 이미지 기술이며, 병원에서 가장 일반적으로 이용되는 의료 영상법이다.
CT는 인체의 단면 주위를 돌면서 X-선을 투사하고 X-선이 인체를 통과하면서 감소되는 양을 측정하여 내부 구조를 영상화한다. 그러나, CT는 방사선 피복량이 현저히 많으므로 환자에게 부담이 된다.
한편, 최근 딥러닝 기반 이미지 생성 시스템이 뛰어난 성능을 보이고 있어 정확한 진단을 필요로 하는 의료 분야에서도 이미지 생성 시스템을 적용하려는 시도가 늘어나고 있다. 이를 이용하여, 인체에 부담을 줄이는 영상 처리 기술이 필요하다.
KR 10-1903996 B1 KR 10-2020-0011425 A KR 10-2014-0141159 A
A Style-Based Generator Architecture for Generative Adversarial Networks, Tero Karras NVIDIA et al., arXiv:1812.04948v3 [cs.NE] 29 Mar 2019
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 1장의 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은, 합성곱신경망(Convolutional Neural Network, CNN)을 통해, 입력받은 2차원 손뼈 투영 이미지에 대한 특징을 압축한 특징 벡터를 추출하는 단계; 상기 특징 벡터를 추출하는 동안 상기 합성곱신경망의 각 레이어로부터 특징 행렬(Feature Matrix)을 추출하는 단계; 상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation)하는 단계; 및 상기 손뼈의 각도 코드가 접합된 특징 벡터와 상기 각 레이어에서 추출되는 특징 행렬을 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 단계;를 포함한다.
본 발명의 실시예에서, 상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은, 매핑 네트워크(Mapping Network)를 통해 상기 특징 벡터로부터 학습된 분포를 참조하여 샘플링하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 특징 벡터를 추출하는 단계는, 상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 단계; 손뼈의 현재 각도 또는 회전된 각도를 의미하는 레이블 코드(Label Code)를 출력하는 단계; 및 상기 2차원 손뼈 투영 이미지를 인코딩(Encoding)하여 만든 잠재 벡터(Latent Vector)를 출력하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 합성곱신경망의 각 레이어로부터 특징 행렬을 추출하는 단계는, 상기 2차원 손뼈 투영 이미지를 순차적으로 서로 다른 사이즈로 다운 샘플링(Downsampling)하는 단계; 및 서로 다른 사이즈로 다운 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 구별자 특징 행렬을 추출하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 단계는, 상기 손뼈의 각도 코드가 접합된 특징 벡터를 특정 사이즈의 이미지로 리쉐입(Reshape)하는 단계; 리쉐입된 이미지를 순차적으로 서로 다른 사이즈로 업 샘플링(Upsampling)하는 단계; 서로 다른 사이즈로 업 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 생산자 특징 행렬을 추출하는 단계; 및 상기 구별자 특징 행렬 및 상기 생산자 특징 행렬의 인자들을 대응하는 각 픽셀마다 더하여 회전된 2차원 손뼈 투영 이미지를 생성하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 다운 샘플링하는 단계 및 상기 업 샘플링하는 단계는,
Figure 112020024164216-pat00001
(여기서, n은 자연수) 사이즈의 역순으로 또는 순서로 샘플링될 수 있다.
본 발명의 실시예에서, 상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 단계는, 상기 2차원 손뼈 투영 이미지가 실제 이미지인 경우에는 1을 출력하고, 상기 2차원 손뼈 투영 이미지가 생성된 가짜 이미지인 경우에는 0을 출력할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치는, 합성곱신경망(Convolutional Neural Network, CNN)을 통해, 입력된 2차원 손뼈 투영 이미지에 대한 특징을 압축한 특징 벡터와 상기 합성곱신경망의 각 레이어에서 추출되는 특징 행렬을 추출하는 구별자; 상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation)하는 접합부; 및 상기 구별자로부터 전달 받은 상기 각 레이어에서 추출되는 특징 행렬과 상기 접합부로부터 전달 받은 상기 손뼈의 각도 코드가 접합된 특징 벡터를 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 생성자;를 포함한다.
본 발명의 실시예에서, 상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치는, 랜덤한 분포를 갖는 상기 특징 벡터로부터 학습된 분포를 참조하여 샘플링한 잠재 벡터를 출력하는 매핑 네트워크(Mapping Network)를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 구별자는, 상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 RF 코드를 출력하는 이미지 판별부; 손뼈의 현재 각도 또는 회전된 각도를 의미하는 레이블 코드(Label Code)를 출력하는 레이블 코드부; 상기 2차원 손뼈 투영 이미지를 인코딩(Encoding)하여 만든 잠재 벡터(Latent Vector)를 출력하는 벡터 출력부; 상기 2차원 손뼈 투영 이미지를 순차적으로 서로 다른 사이즈로 다운 샘플링(Downsampling)하는 다운 샘플링부; 및 다운 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 구별자 특징 행렬을 추출하는 제1 특징 행렬 추출부;를 포함할 수 있다.
본 발명의 실시예에서, 상기 생성자는, 상기 손뼈의 각도 코드가 접합된 특징 벡터를 특정 사이즈의 이미지로 리쉐입(Reshape) 하는 리쉐입부; 리쉐입된 이미지를 순차적으로 서로 다른 사이즈로 업 샘플링(Upsampling)하는 업 샘플링부; 서로 다른 사이즈로 업 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 생산자 특징 행렬을 추출하는 제2 특징 행렬 추출부; 및 상기 구별자 특징 행렬 및 상기 생산자 특징 행렬의 인자들을 대응하는 각 픽셀마다 더하여 회전된 2차원 손뼈 투영 이미지를 생성하는 이미지 생성부;를 포함할 수 있다.
이와 같은 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법에 따르면, 딥 뉴럴 네트워크를 이용하여 다각도의 2D 손뼈 투영 이미지를 생성할 수 있다. 이에 따라, 1장의 2D 손뼈 투영 이미지로부터 회전된 2D 손뼈 투영 이미지를 생성하므로, 여러 각도에서 손뼈 이미지를 관찰할 수 있도록 하여 의사들의 진단에 도움을 줄 수 있다.
또한, 손뼈의 정형외과적 진단에 있어 2D 단면 이미지만을 사용하는 것이 아닌 2D 표면 이미지도 함께 사용하므로, CT와 달리 표면 상태도 관찰할 수 있기 때문에 진단에 유용하게 사용될 수 있다. 나아가, 생성된 2D 표면 이미지들을 통해 3D 볼륨을 생성하여 의사에게 제공함으로써 보다 정확한 진단을 할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치의 블록도이다.
도 2는 도 1의 회전된 2차원 손뼈 투영 이미지 생성 장치의 구조를 나타내는 개념도이다.
도 3은 도 1의 구별자에 대한 상세한 블록도이다.
도 4는 도 1의 생성자에 대한 상세한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치의 블록도이다. 도 2는 도 1의 회전된 2차원 손뼈 투영 이미지 생성 장치의 구조를 나타내는 개념도이다.
본 발명에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치(10, 이하 장치)는 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 1장의 2차원 손뼈 투영 이미지로부터 다각도의 2차원 손뼈 투영 이미지를 생성하는 기술에 관한 것이다.
도 1을 참조하면, 본 발명에 따른 장치(10)는 입력부(100), 구별자(300), 접합부(500), 생성자(700) 및 출력부(900)를 포함한다. 상기 장치(10)는 매핑 네트워크(400, 도 2 참조)를 더 포함할 수 있다.
본 발명은 1장의 손뼈 2D 투영 이미지로부터 회전된 손뼈 2D 투영 이미지들을 생성해 낼 수 있는 장치이다. 이를 위해, 본 발명은 기존 이미지 생성 네트워크의 구조를 변경하여 새로운 네트워크 구조를 제안한다.
본 발명에서 제안된 새로운 네트워크 구조는 기존 이미지 생성 네트워크에 비해 보다 뛰어난 품질의 회전된 이미지를 생성한다. 이러한 네트워크는 손뼈의 2차원 투영 이미지만이 아니라 다양한 이미지 생성에 사용될 수 있다.
본 발명의 상기 장치(10)는 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지를 생성하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 입력부(100), 상기 구별자(300), 상기 접합부(500), 상기 생성자(700) 및 상기 출력부(900)의 구성은 상기 장치(10)에서 실행되는 상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지를 생성하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 입력부(100), 상기 구별자(300), 상기 접합부(500), 상기 생성자(700) 및 상기 출력부(900)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 입력부(100)는 영상 장치로부터 2차원 손뼈 투영 이미지를 입력받아 상기 구별자(300)에 전달한다.
상기 구별자(300)는 합성곱신경망(Convolutional Neural Network, CNN)을 통해, 입력된 2차원 손뼈 투영 이미지에 대한 특징을 압축한 특징 벡터를 추출하여 상기 생성자(700)에 전달한다. 또한, 상기 특징 벡터로 압축하는 동안 상기 합성곱신경망의 각 레이어에서 추출되는 특징 행렬을 추출하여 상기 생성자(700)에 전달한다.
본 발명에서 이용하는 CNN은 입력 이미지의 윤곽선, 모양, 색감 등의 특징(Feature)을 추출하는 네트워크이다. 한편, GAN(Generative Adversarial Networks)은 입력된 이미지가 실제 이미지인지 생성된 가짜 이미지인지 구별하는 Discriminator와 랜덤 잠재 벡터로부터 최대한 실제 이미지와 유사한 이미지를 생성해 Discriminator를 속이려는 Generator, 총 2개의 네트워크를 적대적으로 학습시켜 최종적으로 실제 이미지와 유사한 이미지를 생성하는 Generator를 만드는 네트워크이다.
또한, Autoencoder는 이미지를 입력받아 그 이미지의 특성을 벡터로 압축해 나타내는 Encoder와 압축된 벡터를 입력받아 원래 이미지를 재구성하는 Decoder, 2개의 네트워크를 학습시켜 실제 이미지와 유사한 이미지를 생성할 수 있도록 하는 네트워크이다.
본 발명에서 제안하는 구조의 경우 GAN의 Generator와 Autoencoder의 Decoder, GAN의 Discriminator와 Autoencoder의 Encoder를 비슷한 개념으로 간주하고 기능을 합쳐서 구현하였다.
도 3을 참조하면, 상기 매핑 네트워크(400, Mapping Network f)는 랜덤한 분포를 가지고 있는 벡터 z를 입력으로 받아 데이터 분포를 더 잘 표현할 수 있는 벡터 w를 만들어 출력하는 네트워크이다.
상기 구별자(300, Discriminator D) 입력된 이미지가 진짜 이미지인지 가짜 이미지인지 판별하는 네트워크이다.
일 실시예에서, 상기 구별자(300)는 128x128, 64x64, 32x32, 16x16, 8x8 순서로 이미지를 다운샘플링(Downsampling)한다. 이때, 128x128, 64x64, 32x32, 16x16, 8x8 사이즈마다 CNN을 통과시켜 특징 행렬(Feature Matrix)을 추출한다.
상기 구별자(300)는 128x128 사이즈의 이미지를 입력으로 받아 3가지 벡터(r/f, l, z)를 출력한다. 여기서, z(Latent Vector)는 상기 구별자(300)가 입력 이미지를 인코딩(Encoding)하여 만든 잠재 벡터이다. w(Mapped Latent Vector)는 일반적으로 사용하는 랜덤 정규분포보다 데이터 분포를 더 잘 표현할 수 있도록 학습된 분포로부터 샘플링한 잠재 벡터이다.
또한, l(Label Code)은 손뼈의 각도(현재 각도 또는 회전된 각도)를 의미하는 코드이다. r/f(Real / Fake)는 입력 이미지가 실제 이미지인지 생성된 가짜 이미지인지 상기 구별자(300)가 판단한 결과, 실제(real)인 경우 1, 가짜(fake)인 경우 0의 코드를 출력한다.
사용 시 동작을 살펴보면, 실제 이미지(Real Image,
Figure 112020024164216-pat00002
)를 상기 구별자(300, D)에 넣어 아래의 수학식 1과 같이
Figure 112020024164216-pat00003
,
Figure 112020024164216-pat00004
,
Figure 112020024164216-pat00005
를 계산한다
Figure 112020024164216-pat00006
이 경우,
Figure 112020024164216-pat00007
의 경우 학습 과정에 필요한 요소로, 실제 사용 시엔 불필요하다.
다시 말해, 학습 시에는 상기 구별자(300, D)는
Figure 112020024164216-pat00008
,
Figure 112020024164216-pat00009
,
Figure 112020024164216-pat00010
를 계산하지만, 추후 학습에 따른 결과 출력 시에는
Figure 112020024164216-pat00011
만을 계산하여 출력할 수 있다. 따라서, 본 발명을 이용하는 경우, 실시간으로 의료영상에 적용되어 의사의 진단에 도움을 줄 수 있다.
[수학식 1]
Figure 112020024164216-pat00012
Figure 112020024164216-pat00013
Figure 112020024164216-pat00014
Figure 112020024164216-pat00015
,
Figure 112020024164216-pat00016
,
Figure 112020024164216-pat00017
를 계산하는 과정 중간에 CNN을 통해 만들어지는 특징 행렬(Feature Matrix)(
Figure 112020024164216-pat00018
,
Figure 112020024164216-pat00019
,
Figure 112020024164216-pat00020
,
Figure 112020024164216-pat00021
,
Figure 112020024164216-pat00022
)을 아래의 수학식 2와 같이 추출한다.
[수학식 2]
Figure 112020024164216-pat00023
Figure 112020024164216-pat00024
Figure 112020024164216-pat00025
Figure 112020024164216-pat00026
Figure 112020024164216-pat00027
상기 구별자(300, D)가 계산한
Figure 112020024164216-pat00028
를
Figure 112020024164216-pat00029
에 넣어 아래의 수학식 3과 같이 벡터
Figure 112020024164216-pat00030
를 얻을 수 있다.
[수학식 3]
Figure 112020024164216-pat00031
상기 접합부(500)는 상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation)한다. 구체적으로, 상기 매핑 네트워크(400) 또는 상기 구별자(300)로부터 출력되는 벡터
Figure 112020024164216-pat00032
에 손뼈 각도 코드
Figure 112020024164216-pat00033
을 이어 붙여서 상기 생성자(700)로 출력한다.
상기 생성자(700)는 상기 구별자(300)로부터 전달 받은 상기 각 레이어에서 추출되는 특징 행렬과 상기 접합부(500)로부터 전달 받은 상기 손뼈의 각도 코드가 접합된 특징 벡터를 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성한다.
상기 생성자(700)는 입력된 벡터로부터 이미지를 생성하는 네트워크이다.
일 실시예에서, 상기 생성자(700)는 전달받은 벡터를 8x8 이미지로 리쉐입(Reshape)하고, 8x8, 16x16, 32x32, 64x64, 128x128 순서로 이미지를 업 샘플링(Upsampling)한다. 이때, 8x8, 16x16, 32x32, 64x64, 128x128 사이즈마다 CNN을 통과시켜 특징 행렬(Feature Matrix)을 추출한다.
상기 생성자(700)는 벡터를 입력으로 받아 최종적으로 128x128 사이즈의 이미지를 생성할 수 있다. 구체적으로, 상기 생성자(700)는
Figure 112020024164216-pat00034
와
Figure 112020024164216-pat00035
을 붙인 벡터를 기초로, 아래의 수학식 4와 같은 이미지(Generated Image,
Figure 112020024164216-pat00036
)를 생성한다.
[수학식 4]
Figure 112020024164216-pat00037
(
Figure 112020024164216-pat00038
: 벡터간 Concatenation)
상기 생성자(700)는 이미지를 생성하는 과정 중간에 CNN을 통해 만들어지는 특징 벡터(
Figure 112020024164216-pat00039
,
Figure 112020024164216-pat00040
,
Figure 112020024164216-pat00041
,
Figure 112020024164216-pat00042
,
Figure 112020024164216-pat00043
)와
Figure 112020024164216-pat00044
에서 추출한 특징 벡터(
Figure 112020024164216-pat00045
,
Figure 112020024164216-pat00046
,
Figure 112020024164216-pat00047
,
Figure 112020024164216-pat00048
,
Figure 112020024164216-pat00049
)를 아래의 수학식 5와 같이 픽셀 바이 픽셀(Pixel-by-Pixel)로 더해서 이후 연산에 사용할 수 있다.
[수학식 5]
Figure 112020024164216-pat00050
Figure 112020024164216-pat00051
Figure 112020024164216-pat00052
Figure 112020024164216-pat00053
Figure 112020024164216-pat00054
상기 출력부(900)는 상기 생성자(700)가 생성한 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 출력한다.
아래에서는 상기 수학식 등으로 표현된 상기 구별자(300) 및 상기 생성자(700)를 기능적인 관점에서 다시 설명한다. 도 3은 도 1의 구별자에 대한 상세한 블록도이다. 도 4는 도 1의 생성자에 대한 상세한 블록도이다.
도 3을 참조하면, 상기 구별자(300)는 이미지 판별부(310), 레이블 코드부(330), 벡터 출력부(350), 다운 샘플링부(370) 및 제1 특징 행렬 추출부(390)를 포함한다.
상기 이미지 판별부(310)는 상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 RF 코드를 출력한다. 상기 2차원 손뼈 투영 이미지가 실제(real)인 경우 1, 가짜(fake)인 경우 0의 코드를 출력한다.
상기 레이블 코드부(330)는 손뼈의 현재 각도 또는 회전된 각도를 의미하는 레이블 코드(Label Code)를 출력한다. 상기 벡터 출력부(350)는 상기 2차원 손뼈 투영 이미지를 인코딩(Encoding)하여 만든 잠재 벡터(Latent Vector)를 출력한다.
상기 다운 샘플링부(370)는 상기 2차원 손뼈 투영 이미지를 순차적으로 서로 다른 사이즈로 다운 샘플링(Downsampling)한다. 이때,
Figure 112020024164216-pat00055
(여기서, n은 자연수) 사이즈의 역순으로 샘플링될 수 있다.
상기 제1 특징 행렬 추출부(390)는 다운 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 구별자 특징 행렬을 추출하여 상기 생성자(700)로 전달한다.
도 4를 참조하면, 상기 생성자(700)는 리쉐입부(710), 업 샘플링부(730), 제2 특징 행렬 추출부(750) 및 이미지 생성부(770)를 포함한다.
상기 리쉐입부(710)는 상기 손뼈의 각도 코드가 접합된 특징 벡터를 특정 사이즈의 이미지로 리쉐입(Reshape)한다. 상기 업 샘플링부(730)는 리쉐입된 이미지를 순차적으로 서로 다른 사이즈로 업 샘플링(Upsampling)한다. 이때,
Figure 112020024164216-pat00056
(여기서, n은 자연수) 사이즈의 순서로 샘플링될 수 있다.
상기 제2 특징 행렬 추출부(750)는 서로 다른 사이즈로 업 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 생산자 특징 행렬을 추출하고, 상기 이미지 생성부(770)는 상기 구별자 특징 행렬 및 상기 생산자 특징 행렬의 인자들을 대응하는 각 픽셀마다 더하여 회전된 2차원 손뼈 투영 이미지를 생성한다.
본 발명에서 상기 생성자(700)는 상기 구별자(300)로부터 벡터 외에 단계별 특징 행렬을 그대로 전달받아 입력 이미지의 특징을 보다 잘 반영할 수 있다. 즉, 압축되는 벡터만으로 표현하기 힘든 특징들을 반영하여 최종 이미지를 생성할 수 있다.
본 발명은 다각도의 2차원 손뼈 투영 이미지를 딥 뉴럴 네트워크를 이용해 생성하는 이미지 생성 시스템을 제안한다. 보통 2차원 투영 이미지는 2차원 단면 이미지를 모아 3차원 데이터를 구성하는 CT 영상을 볼륨 렌더링하여 얻게 되며, CT 영상과 달리 표면 상태를 관찰할 수 있기 때문에 경우에 따라 진단에 유용하게 활용된다.
본 발명은 1장의 실제 2차원 투영 이미지를 통해 회전된 가상의 2차원 투영 이미지를 생성한다. 본 발명은 손뼈의 정형외과적 진단에 있어 2D 단면 이미지만을 사용하는 것이 아닌 2D 표면 이미지도 함께 사용해 진단할 수 있게 한다. 또한, 생성된 2D 표면 이미지들을 통해 3D 볼륨을 생성하여 의사에게 제공함으로써 보다 정확한 진단을 할 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법의 흐름도이다.
본 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또한, 본 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지를 생성하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
본 발명에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은 합성곱신경망(Convolutional Neural Network, CNN)을 이용하여 1장의 2차원 손뼈 투영 이미지로부터 다각도의 2차원 손뼈 투영 이미지를 생성하는 기술에 관한 것이다.
도 5를 참조하면, 본 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은, 2차원 손뼈 투영 이미지를 입력 받으면, 각 1장의 이미지로부터 합성곱신경망(Convolutional Neural Network, CNN)을 통해 이미지에 대한 특징을 압축한 특징 벡터를 추출한다(단계 S10).
상기 특징 벡터를 추출하는 단계(단계 S10)는, 상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하여 출력하고, 손뼈의 현재 각도 또는 회전된 각도를 의미하는 레이블 코드(Label Code)를 출력한다. 상기 가짜 이미지인지 판별하는 RF 코드와 레이블 코드(Label Code)는 학습 시에만 출력할 수 있다.
상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 RF 코드는 상기 2차원 손뼈 투영 이미지가 실제 이미지인 경우에는 1을 출력하고, 상기 2차원 손뼈 투영 이미지가 생성된 가짜 이미지인 경우에는 0을 출력할 수 있다.
학습 후 실 적용에서는 상기 특징 벡터를 추출하는 단계(단계 S10)는, 상기 2차원 손뼈 투영 이미지를 인코딩(Encoding)하여 만든 잠재 벡터(Latent Vector)만을 출력할 수 있다. 이를 통해, 생성된 이미지가 실시간으로 의료영상에 적용되어 의사의 진단에 도움을 줄 수 있다.
상기 특징 벡터를 추출하는 동안 상기 합성곱신경망의 각 레이어로부터 특징 행렬(Feature Matrix)을 추출한다(단계 S30).
상기 합성곱신경망의 각 레이어로부터 특징 행렬을 추출하는 단계는, 상기 2차원 손뼈 투영 이미지를 순차적으로 서로 다른 사이즈로 다운 샘플링(Downsampling)하고, 서로 다른 사이즈로 다운 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 구별자 특징 행렬을 추출할 수 있다.
본 실시예에 따른 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은, 매핑 네트워크(Mapping Network)를 통해 상기 특징 벡터로부터 학습된 분포를 참조하여 샘플링하는 단계(단계 S50)를 더 포함할 수 있다.
상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation) 한다(단계 S70).
상기 손뼈의 각도 코드가 접합된 특징 벡터와 상기 각 레이어에서 추출되는 특징 행렬을 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성한다(단계 S90).
상기 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 단계는, 상기 손뼈의 각도 코드가 접합된 특징 벡터를 특정 사이즈의 이미지로 리쉐입(Reshape)하는 단계, 리쉐입된 이미지를 순차적으로 서로 다른 사이즈로 업 샘플링(Upsampling)하는 단계, 서로 다른 사이즈로 업 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 생산자 특징 행렬을 추출하는 단계 및 상기 구별자 특징 행렬 및 상기 생산자 특징 행렬의 인자들을 대응하는 각 픽셀마다 더하여 회전된 2차원 손뼈 투영 이미지를 생성하는 단계를 포함할 수 있다.
상기 다운 샘플링하는 단계 및 상기 업 샘플링하는 단계는,
Figure 112020024164216-pat00057
(여기서, n은 자연수) 사이즈의 역순으로 또는 순서로 샘플링될 수 있다.
본 발명은 다각도의 2차원 손뼈 투영 이미지를 딥 뉴럴 네트워크를 이용해 생성하는 이미지 생성 시스템을 제안한다. 보통 2차원 투영 이미지는 2차원 단면 이미지를 모아 3차원 데이터를 구성하는 CT 영상을 볼륨 렌더링하여 얻게 되며, CT 영상과 달리 표면 상태를 관찰할 수 있기 때문에 경우에 따라 진단에 유용하게 활용된다.
본 발명은 1장의 실제 2차원 투영 이미지를 통해 회전된 가상의 2차원 투영 이미지를 생성한다. 본 발명은 손뼈의 정형외과적 진단에 있어 2D 단면 이미지만을 사용하는 것이 아닌 2D 표면 이미지도 함께 사용해 진단할 수 있게 한다. 또한, 생성된 2D 표면 이미지들을 통해 3D 볼륨을 생성하여 의사에게 제공함으로써 보다 정확한 진단을 할 수 있도록 한다.
이와 같은, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 다각도의 2D 투영 이미지 생성 및 기타 이미지 생성 등 영상처리(Image Processing)와 생성 모델 분야에 활용될 수 있다. 이에 따라, 실시간으로 의료영상에 적용되어 의사의 진단에 도움을 줄 수 있으며, 특히 의료현장에서 정형외과적 진단에 유용하게 쓰일 수 있다. 이를 통해 환자는 더 나은 진료를 받을 수 있다.
10: 회전된 2차원 손뼈 투영 이미지 생성 장치
100: 입력부
300: 구별자
400: 매핑 네트워크
500: 접합부
700: 생성자
900: 출력부
310: 이미지 판별부
330: 레이블 코드부
350: 벡터 출력부
370: 다운 샘플링부
390: 제1 특징 행렬 추출부
710: 리쉐입부
730: 업 샘플링부
750: 제2 특징 행렬 추출부
770: 이미지 생성부

Claims (12)

  1. 2차원 손뼈 투영 이미지 생성 장치에서 수행되는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법에 있어서,
    합성곱신경망(Convolutional Neural Network, CNN)을 통해, 입력받은 2차원 손뼈 투영 이미지에 대한 특징을 압축한 특징 벡터를 추출하는 단계;
    상기 특징 벡터를 추출하는 동안 상기 합성곱신경망의 각 레이어로부터 특징 행렬(Feature Matrix)을 추출하는 단계;
    상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation)하는 단계; 및
    상기 손뼈의 각도 코드가 접합된 특징 벡터와 상기 각 레이어에서 추출되는 특징 행렬을 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 단계;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  2. 제1항에 있어서,
    매핑 네트워크(Mapping Network)를 통해 상기 특징 벡터로부터 학습된 분포를 참조하여 샘플링하는 단계를 더 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  3. 제1항에 있어서, 상기 특징 벡터를 추출하는 단계는,
    상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 단계;
    손뼈의 현재 각도 또는 회전된 각도를 의미하는 레이블 코드(Label Code)를 출력하는 단계; 및
    상기 2차원 손뼈 투영 이미지를 인코딩(Encoding)하여 만든 잠재 벡터(Latent Vector)를 출력하는 단계;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  4. 제3항에 있어서, 상기 합성곱신경망의 각 레이어로부터 특징 행렬을 추출하는 단계는,
    상기 2차원 손뼈 투영 이미지를 순차적으로 서로 다른 사이즈로 다운 샘플링(Downsampling)하는 단계; 및
    서로 다른 사이즈로 다운 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 구별자 특징 행렬을 추출하는 단계;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  5. 제4항에 있어서, 상기 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 단계는,
    상기 손뼈의 각도 코드가 접합된 특징 벡터를 특정 사이즈의 이미지로 리쉐입(Reshape)하는 단계;
    리쉐입된 이미지를 순차적으로 서로 다른 사이즈로 업 샘플링(Upsampling)하는 단계;
    서로 다른 사이즈로 업 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 생산자 특징 행렬을 추출하는 단계; 및
    상기 구별자 특징 행렬 및 상기 생산자 특징 행렬의 인자들을 대응하는 각 픽셀마다 더하여 회전된 2차원 손뼈 투영 이미지를 생성하는 단계;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  6. 제5항에 있어서, 상기 다운 샘플링하는 단계 및 상기 업 샘플링하는 단계는,
    Figure 112020024164216-pat00058
    (여기서, n은 자연수) 사이즈의 역순으로 또는 순서로 샘플링되는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  7. 제3항에 있어서, 상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 단계는,
    상기 2차원 손뼈 투영 이미지가 실제 이미지인 경우에는 1을 출력하고, 상기 2차원 손뼈 투영 이미지가 생성된 가짜 이미지인 경우에는 0을 출력하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법.
  8. 제1항에 있어서,
    상기 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
  9. 합성곱신경망(Convolutional Neural Network, CNN)을 통해, 입력된 2차원 손뼈 투영 이미지에 대한 특징을 압축한 특징 벡터와 상기 합성곱신경망의 각 레이어에서 추출되는 특징 행렬을 추출하는 구별자;
    상기 특징 벡터와 손뼈의 각도 코드를 벡터간 접합(Concatenation)하는 접합부; 및
    상기 구별자로부터 전달 받은 상기 각 레이어에서 추출되는 특징 행렬과 상기 접합부로부터 전달 받은 상기 손뼈의 각도 코드가 접합된 특징 벡터를 이용하여, 상기 2차원 손뼈 투영 이미지가 일정 각도만큼 회전된 2차원 손뼈 투영 이미지를 생성하는 생성자;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치.
  10. 제9항에 있어서,
    랜덤한 분포를 갖는 상기 특징 벡터로부터 학습된 분포를 참조하여 샘플링한 잠재 벡터를 출력하는 매핑 네트워크(Mapping Network)를 더 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치.
  11. 제9항에 있어서, 상기 구별자는,
    상기 2차원 손뼈 투영 이미지가 실제 이미지인지 생성된 가짜 이미지인지 판별하는 RF 코드를 출력하는 이미지 판별부;
    손뼈의 현재 각도 또는 회전된 각도를 의미하는 레이블 코드(Label Code)를 출력하는 레이블 코드부;
    상기 2차원 손뼈 투영 이미지를 인코딩(Encoding)하여 만든 잠재 벡터(Latent Vector)를 출력하는 벡터 출력부;
    상기 2차원 손뼈 투영 이미지를 순차적으로 서로 다른 사이즈로 다운 샘플링(Downsampling)하는 다운 샘플링부; 및
    다운 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 구별자 특징 행렬을 추출하는 제1 특징 행렬 추출부;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치.
  12. 제11항에 있어서, 상기 생성자는,
    상기 손뼈의 각도 코드가 접합된 특징 벡터를 특정 사이즈의 이미지로 리쉐입(Reshape) 하는 리쉐입부;
    리쉐입된 이미지를 순차적으로 서로 다른 사이즈로 업 샘플링(Upsampling)하는 업 샘플링부;
    서로 다른 사이즈로 업 샘플링된 각 이미지로부터 상기 합성곱신경망을 통해 생산자 특징 행렬을 추출하는 제2 특징 행렬 추출부; 및
    상기 구별자 특징 행렬 및 상기 생산자 특징 행렬의 인자들을 대응하는 각 픽셀마다 더하여 회전된 2차원 손뼈 투영 이미지를 생성하는 이미지 생성부;를 포함하는, 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 장치.
KR1020200028402A 2020-03-06 2020-03-06 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 KR102343363B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200028402A KR102343363B1 (ko) 2020-03-06 2020-03-06 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200028402A KR102343363B1 (ko) 2020-03-06 2020-03-06 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (2)

Publication Number Publication Date
KR20210112848A KR20210112848A (ko) 2021-09-15
KR102343363B1 true KR102343363B1 (ko) 2021-12-24

Family

ID=77793365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028402A KR102343363B1 (ko) 2020-03-06 2020-03-06 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR102343363B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564739B1 (ko) * 2022-05-25 2023-08-10 주식회사 래디센 회전된 투사각을 갖는 X-ray 이미지 재구성 방법 및 이를 위한 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142780A (ja) 2015-12-07 2017-08-17 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 二次元画像からの三次元モデル化オブジェクトの認識
WO2018213723A1 (en) 2017-05-19 2018-11-22 The Rockefeller University Imaging signal extraction apparatus and methods of using same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903996B1 (ko) 2012-09-03 2018-12-03 삼성전자주식회사 의료 영상 시뮬레이션 방법 및 그 방법을 이용한 장치
KR20140141159A (ko) 2013-05-31 2014-12-10 주식회사 나노포커스레이 의료 영상 처리 방법 및 시스템
AU2017267983B2 (en) * 2016-05-20 2022-03-31 Magic Leap, Inc. Method and system for performing convolutional image transformation estimation
US11544871B2 (en) 2017-12-13 2023-01-03 Google Llc Hand skeleton learning, lifting, and denoising from 2D images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142780A (ja) 2015-12-07 2017-08-17 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 二次元画像からの三次元モデル化オブジェクトの認識
WO2018213723A1 (en) 2017-05-19 2018-11-22 The Rockefeller University Imaging signal extraction apparatus and methods of using same

Also Published As

Publication number Publication date
KR20210112848A (ko) 2021-09-15

Similar Documents

Publication Publication Date Title
EP3470006B1 (en) Automated segmentation of three dimensional bony structure images
JP2022505587A (ja) Ｃｔ画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
US11080895B2 (en) Generating simulated body parts for images
CN113506334A (zh) 基于深度学习的多模态医学图像融合方法及系统
KR102314455B1 (ko) 두부경부 컴퓨터단층촬영영상에서의 안와뼈 분할 방법 및 장치
WO2023142781A1 (zh) 图像三维重建方法、装置、电子设备及存储介质
KR20220137220A (ko) 인공지능 기반의 의료 영상 3차원 변환 장치 및 방법
KR102372046B1 (ko) 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
US20210225491A1 (en) Diagnostic image converting apparatus, diagnostic image converting module generating apparatus, diagnostic image recording apparatus, diagnostic image converting method, diagnostic image converting module generating method, diagnostic image recording method, and computer recordable recording medium
KR102343363B1 (ko) 2차원 손뼈 투영 이미지로부터 회전된 2차원 손뼈 투영 이미지 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101885562B1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
KR102006795B1 (ko) 유방 형상 변형 방법 및 장치
CN107705350B (zh) 医学图像生成方法、装置及设备
KR102456467B1 (ko) 인공지능 기반의 의료 영상 합성 장치 및 방법
EP4085841A1 (en) Method for analyzing human tissue on basis of medical image and device thereof
KR102527017B1 (ko) 평면 보간 기반 2차원 의료 영상을 생성하는 방법 및 장치
KR20130082655A (ko) 휴대단말용 진단의료영상 디스플레이 시스템 및 방법
KR102346199B1 (ko) 파노라믹 영상 생성 방법 및 이를 위한 영상 처리장치
KR102078159B1 (ko) 3d 프린터를 이용한 유방 보형물 제작 시스템
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
CN115841591A (zh) 一种跨模态医学图像合成系统、方法及计算机设备
JP2016159116A (ja) ３次元モデル生成装置及び方法、及び、３次元モデル生成用プログラム
US11138736B2 (en) Information processing apparatus and information processing method
KR20220095401A (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
Pan et al. Ultimate reconstruction: understand your bones from orthogonal views

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant