KR20210047489A - 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 - Google Patents

인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20210047489A
KR20210047489A KR1020190131146A KR20190131146A KR20210047489A KR 20210047489 A KR20210047489 A KR 20210047489A KR 1020190131146 A KR1020190131146 A KR 1020190131146A KR 20190131146 A KR20190131146 A KR 20190131146A KR 20210047489 A KR20210047489 A KR 20210047489A
Authority
KR
South Korea
Prior art keywords
image
diagnostic
artificial neural
neural network
diagnostic image
Prior art date
Application number
KR1020190131146A
Other languages
English (en)
Other versions
KR102322927B1 (ko
Inventor
이영한
양재문
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190131146A priority Critical patent/KR102322927B1/ko
Publication of KR20210047489A publication Critical patent/KR20210047489A/ko
Application granted granted Critical
Publication of KR102322927B1 publication Critical patent/KR102322927B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 장치는 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어진 인공신경망과, 영상 내 신체의 좌우가 알려지지 않은 진단 영상이 입력되면, 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 전처리부와, 상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 판단부를 포함한다.

Description

인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for distinguishing diagnostic images using artificial neural networks, method thereof and computer recordable medium storing program to perform the method}
본 발명은 진단 영상 구분 기술에 관한 것으로, 보다 상세하게는, 인공신경망을 이용한 진단 영상 내에서 신체의 좌우를 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.
종래에는 엑스레이(X-ray) 영상 판독 시 의무 기록상의 일치 여부를 확인하여 영상 내의 신체의 좌우를 구분하였다. 이러한 구분은 촬영 방사선사의 업무상 주의를 요하지만, 영상 내에서 신체의 좌우가 뒤바뀌는 문제가 발생할 수 있으며, 이러한 실수를 예방할 수 있는 방안이 요구된다.
한국공개특허 제2011-0098077호 2011년 09월 01일 공개 (명칭: 비트플레인의 블록패턴 매칭을 이용한 비밀정보 삽입장치 및 그 방법)
본 발명의 목적은 진단 영상 내에서 신체의 좌우가 뒤바뀌는 문제를 방지할 수 있는 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 장치는 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어진 인공신경망과, 영상 내 신체의 좌우가 알려지지 않은 진단 영상이 입력되면, 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 전처리부와, 상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 판단부를 포함한다.
상기 전처리부는 상기 진단 영상의 원본과 상기 진단 영상의 모든 픽셀의 명도를 증가시킨 가공본과 상기 진단 영상의 모든 픽셀의 명도를 감소시킨 가공본을 병합하여 상기 소스 영상을 생성하는 것을 특징으로 한다.
상기 전처리부는 상기 진단 영상의 원본과 상기 진단 영상을 좌우로 균등분할 했을 때 좌우 중 어느 일 측의 픽셀의 명도를 증가시키고, 다른 측의 픽셀의 명도를 감소시킨 가공본을 병합하여 상기 소스 영상을 생성하는 것을 특징으로 한다.
상기 전처리부는 영상 내 신체의 좌우가 알려진 진단 영상이 입력되면, 상기 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하고, 상기 장치는 상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하도록 상기 가중치를 수정하는 학습부를 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 장치는 입력층, 적어도 하나의 컨볼루션층, 상기 컨볼루션층에 대응하는 적어도 하나의 풀링층 및 출력층을 포함하는 복수의 계층을 포함하고, 상기 복수의 계층 각각은 복수의 연산을 포함하며, 상기 복수의 계층 중 어느 하나의 계층의 연산의 결과는 가중치가 적용되어 다음 계층의 입력이 되는 인공신경망과, 영상 내 신체의 좌우가 알려지지 않은 진단 영상이 입력되면, 상기 진단 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값으로부터 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 판단부를 포함한다.
상기 컨볼루션층은 상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 생성되는 복수의 특징지도를 포함하며, 상기 커널의 컨벌루션 연산은 상기 입력층의 상기 진단 영상의 모든 픽셀의 명도를 증가시키거나, 상기 입력층에 입력되는 상기 진단 영상의 모든 픽셀의 명도를 감소시키는 것을 특징으로 한다.
상기 컨볼루션층은 상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 생성되는 복수의 특징지도를 포함하며, 상기 커널의 컨벌루션 연산은 상기 진단 영상의 원본과 상기 진단 영상을 좌우를 균등분할 했을 때 좌우 중 어느 일 측 픽셀의 명도를 증가시키고, 다른 측 픽셀의 명도를 감소시키는 것을 특징으로 한다.
상기 장치는 영상 내 신체의 좌우가 알려진 진단 영상이 입력되면, 상기 진단 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 구분하도록 상기 가중치를 수정하는 학습부를 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 방법은 전처리부가 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계와, 전처리부가 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 단계와, 판단부가 상기 소스 영상을 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어진 인공신경망에 입력하고, 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 단계를 포함한다.
상기 소스 영상을 생성하는 단계는 상기 전처리부가 상기 진단 영상의 모든 픽셀의 명도를 증가시킨 가공본 및 상기 진단 영상의 모든 픽셀의 명도를 감소시킨 가공본을 생성하는 단계와, 상기 전처리부가 상기 진단 영상의 원본과 상기 명도를 증가시킨 가공본과 상기 명도를 감소시킨 가공본을 병합하여 상기 소스 영상을 생성하는 단계를 포함한다.
상기 소스 영상을 생성하는 단계는 상기 전처리부가 상기 진단 영상의 원본과 상기 진단 영상을 좌우로 균등분할 했을 때 좌우 중 어느 일 측의 픽셀의 명도를 증가시키고, 다른 측의 픽셀의 명도를 감소시킨 가공본을 생성하는 단계와, 상기 전처리부는 상기 진단 영상의 원본과 상기 가공본을 병합하여 상기 소스 영상을 생성하는 단계를 포함한다.
상기 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계 전, 상기 전처리부가 영상 내 신체의 좌우가 알려진 진단 영상이 입력되면, 입력된 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 단계와, 학습부가 상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 구분하도록 상기 가중치를 수정하는 단계를 더 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 입력층, 적어도 하나의 컨볼루션층, 상기 컨볼루션층에 대응하는 적어도 하나의 풀링층 및 출력층을 포함하는 복수의 계층을 포함하고, 상기 복수의 계층 각각은 복수의 연산을 포함하며, 상기 복수의 계층 중 어느 하나의 계층의 연산의 결과는 가중치가 적용되어 다음 계층의 입력이 되는 인공신경망을 이용한 진단 영상을 구분하기 위한 방법은 판단부가 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계와, 상기 판단부가 상기 진단 영상을 상기 인공신경망에 입력하는 단계와, 상기 인공신경망이 상기 진단 영상에 대해 가중치가 적용되는 복수의 연산을 수행하여 출력값을 출력하는 단계와, 상기 판단부가 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 단계를 포함한다.
상기 출력값을 출력하는 단계는 상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 복수의 특징지도를 생성하는 단계를 포함하며, 상기 커널의 컨벌루션 연산은 상기 입력층의 상기 진단 영상의 모든 픽셀의 명도를 증가시키거나, 상기 입력층에 입력되는 상기 진단 영상의 모든 픽셀의 명도를 감소시키는 것을 특징으로 한다.
상기 출력값을 출력하는 단계는 상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 복수의 특징지도를 생성하는 단계를 포함하며, 상기 커널의 컨벌루션 연산은 상기 진단 영상의 원본과 상기 진단 영상을 좌우를 균등분할 했을 때 좌우 중 어느 일 측 픽셀의 명도를 증가시키고, 다른 측 픽셀의 명도를 감소시키는 것을 특징으로 한다.
상기 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계 전, 학습부가 영상 내 신체의 좌우가 알려진 진단 영상을 입력받는 단계와, 상기 학습부가 상기 영상 내 신체의 좌우가 알려진 진단 영상을 상기 인공신경망에 입력하는 단계와, 상기 인공신경망이 상기 영상 내 신체의 좌우가 알려진 진단 영상에 대해 가중치가 적용되는 복수의 연산을 수행하여 출력값을 출력하는 단계와, 상기 영상 내 신체의 좌우가 알려진 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 구분하도록 상기 가중치를 수정하는 단계를 더 포함한다.
본 발명의 다른 견지에 따르면, 상술한 본 발명의 실시예에 따른 진단 영상을 구분하기 위한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명의 다른 견지에 따르면, 상술한 본 발명의 실시예에 따른 진단 영상을 구분하기 위한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명에 따르면, 인공신경망을 이용하여 진단 영상 내에서 신체의 좌우를 명확하게 구분할 수 있다. 이에 따라, 진단 영상 내에서 신체의 좌우가 뒤바꿔 진단하는 실수를 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 인공신경망의 내부 구성을 설명하기 위한 개념도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 전처리부의 동작을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 실시예에 따른 컨벌루션 연산을 통해 생성되는 컨벌루션층의 특징 지도를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 진단 영상의 좌우를 구분하도록 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 방법을 설명하기 위한 흐름도이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 장치의 구성을 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 진단 영상을 구분하기 위한 장치(10, 이하, '구분장치'로 칭함)는 진단 영상이 입력되면, 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 여부를 구분하기 위한 장치이다. 이를 위하여, 본 발명의 실시예에 따른 구분장치(10)는 인공신경망(100), 학습부(200) 및 판단부(300)를 포함한다. 또한, 구분장치(10)는 선택적으로, 전처리부(400)를 더 포함할 수 있다.
인공신경망(100)은 본 발명의 실시예에 따라 진단 영상에서 신체의 좌우가 반전되었는지 여부를 구분하기 위한 학습을 수행한다. 이때, 학습을 위하여 영상 내 신체의 좌우가 알려진 진단 영상을 학습 데이터로 이용한다. 그리고 인공신경망(100)은 충분히 학습이 수행된 경우, 영상 내 신체의 좌우가 알려진 진단 영상을 입력받아 영상 내 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 좌우가 반전된 비정상 상태인지를 확률값으로 출력한다.
학습부(200)는 인공신경망(100)을 학습시키기 위한 것이다. 학습을 위하여 영상 내 신체의 좌우가 알려진 진단 영상을 이용할 수 있다.
판단부(300)는 학습이 완료된 인공신경망(100)에 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력하고, 그 인공신경망(100)의 출력값에 따라 영상 내 신체의 좌우가 반전되었는지 여부를 판단한다.
전처리부(400)는 학습부(200) 및 판단부(300)에 의해 인공신경망(100)에 진단 영상을 입력하기 전, 진단 영상의 좌우의 구별이 더욱 명확해지도록 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성한다. 이러한 전처리부(400)은 선택적으로 사용할 수 있다.
그러면, 본 발명의 실시예에 따른 인공신경망(100)에 대해서 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 인공신경망의 내부 구성을 설명하기 위한 개념도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 인공신경망(100)은 복수의 계층을 포함한다. 인공신경망(100)은 입력계층(input layer: IL), 컨볼루션계층(convolution layer: CL), 풀링계층(pooling layer: PL), 완전연결계층(fully-connected layer: FL) 및 출력계층(output layer: OL)을 포함한다. 여기서, 컨볼루션 계층(CL)과 풀링 계층(PL)은 각각 하나 또는 그 이상이 쌍으로 존재할 수 있다. 이 실시예에서 인공신경망(100)은 제1 컨볼루션 계층(CL1), 제1 풀링 계층(PL1), 제2 컨볼루션 계층(CL2) 및 제2 풀링 계층(PL2)을 포함한다.
입력계층(IL)은 소정 크기의 행렬로 이루어진다. 입력계층(IL) 행렬의 크기는 입력되는 영상, 즉, 진단 영상 혹은 소스 영상의 크기와 동일하다. 입력계층(IL) 행렬의 각 원소는 영상의 각 픽셀에 대응한다. 학습부(200) 또는 판단부(300)는 진단 영상 혹은 소스 영상을 입력 행렬(IM)에 입력할 수 있다.
컨볼루션계층(CL: CL1, CL2)과 풀링 계층(PL: PL1, PL2) 각각은 복수의 특징 지도(Feature Map)로 이루어지며, 이러한 특징 지도 각각은 소정 크기의 행렬이다. 특징 지도를 이루는 행렬의 원소 각각의 값은 커널을 이용한 컨볼루션 연산(convolution) 혹은 풀링 연산(pooling 혹은 subsampling)을 통해 산출된다. 여기서, 여기서, 커널은 소정 크기의 행렬이며, 그 행렬 원소의 각 값은 가중치(w)가 된다.
완전연결계층(FL)은 복수의 노드(혹은 sigmoid: F1, F2, F3, ..., Fn)를 포함하며, 완전연결계층의 연산 또한 가중치(w)가 적용되어 출력계층(OL)의 복수의 노드(N1, N2)에 입력된다.
출력계층(OL)은 복수의 출력노드(혹은 sigmoid: N1, N2)로 구성될 수 있다. 특히, 2개의 출력 노드(N1, N2) 각각은 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태와, 진단 영상 내의 신체의 좌우가 반전된 비정상 상태에 대응한다. 이러한 복수의 출력 노드(N1, N2) 각각의 출력값은 확률값이다. 예를 들면, 제1 출력 노드(N1)의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전되지 않은 정상 상태일 확률을 나타내며, 제2 출력 노드(N2)의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전된 비정상 상태일 확률을 나타낸다.
인공신경망(100)의 복수의 계층(IL, CL, PL, FL, OL) 각각은 복수의 연산을 포함한다. 특히, 인공신경망(100)의 복수의 계층의 복수의 연산 각각은 가중치(w)가 적용되어 그 결과가 다음 계층으로 전달되어 다음 계층의 입력이 된다. 좀 더 자세히, 도 2에 도시된 바를 예로 하여 인공신경망(100)의 각 계층의 연산과 그 가중치(w)에 대해 설명하기로 한다.
예컨대, 도시된 바에 따르면, 입력계층(IL)은 32×32 크기의 행렬이 될 수 있다. 이에 따라, 입력되는 영상(진단 영상 혹은 소스 영상) 또한 32×32 픽셀의 크기의 영상이다. 학습부(200) 혹은 판단부(300)는 영상(진단 영상 또는 소스 영상)의 각 픽셀값을 입력계층(IL)의 32 × 32 크기의 행렬에 입력한다. 그러면, 입력계층 행렬에 대해 커널(w)을 이용한 컨벌루션 연산(convolution)을 수행하여, 컨벌루션 연산의 수행 결과 제1 컨벌루션 계층(CL1)의 복수의 특징지도가 생성된다. 일례로, 커널(w)은 5×5 크기의 행렬을 이용하면, 28×28 크기의 행렬인 제1 컨벌루션 계층(CL1)의 특징지도가 생성된다.
그런 다음, 제1 컨벌루션 계층(CL1)의 복수의 특징 지도에 대해 2×2 크기의 행렬인 커널(w)을 이용한 풀링 연산(subsampling)을 수행하여 각각이 14×14 크기의 행렬인 6개의 특징 지도로 이루어진 제1 풀링 계층(PL1)을 구성한다. 이어서, 제1 폴링 계층(PL1)의 복수의 특징 지도에 대해 5×5 크기의 행렬인 커널을 이용한 컨벌루션 연산(convolution)을 수행하여, 각각이 10×10 크기의 행렬인 16개의 특징 지도로 이루어진 제2 컨벌루션 계층(CL2)을 구성한다. 다음으로, 제2 컨벌루션 계층(CL2)의 복수의 특징 지도에 대해 2×2 크기의 행렬인 커널을 이용한 풀링 연산(subsampling)을 수행하여 각각이 5×5 크기의 행렬인 16개의 특징 지도로 이루어진 제2 풀링 계층(PL2)을 구성한다. 그런 다음, 제2 폴링 계층(PL2)의 복수의 특징 지도에 대해 5×5 크기의 행렬인 커널을 이용한 컨벌루션 연산(convolution)을 수행하여, 완전연결계층(FL)의 복수의 노드(F1 내지 Fn)에 입력된다. 완전연결계층(FL)의 복수의 노드(F1 내지 Fn) 각각은 제2 폴링 계층(PL2)으로부터 입력에 대해 전달함수 등을 이용한 소정의 연산을 수행하고, 그 연산에 가중치를 적용하여 출력계층(OL)의 각 노드에 입력한다. 이에 따라, 출력계층(OL)의 복수의 노드(N1, N2)는 완전연결계층(FL)으로부터 입력된 값에 대해 소정의 연산을 수행하고, 그 결과를 출력한다. 전술한 바와 같이, 복수의 출력 노드(N1, N2) 각각의 출력값은 확률값이다.
예를 들면, 제1 출력 노드(N1)의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전되지 않은 정상 상태일 확률을 나타내며, 제2 출력 노드(N2)의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전된 비정상 상태일 확률일 수 있다.
만약, 제1 출력 노드(N1)의 출력값이 제2 출력 노드(N2)의 출력값 보다 크면, 판단부(300)는 진단 영상이 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인 것으로 판단할 수 있다. 반면, 제1 출력 노드(N1)의 출력값이 제2 출력 노드(N2)의 출력값 보다 작으면, 판단부(300)는 진단 영상이 영상 내의 신체의 좌우가 반전된 비정상 상태인 것으로 판단할 수 있다.
전술한 바와 같이, 인공신경망(100)을 통해 진단 영상 내의 신체의 반전 여부를 판단하기 위해, 학습부(200)는 복수의 학습 데이터(진단 영상 혹은 소스 영상)를 이용하여 인공신경망(100)을 학습(learning)시킨다. 이러한 학습 방법에 대해서 설명하기로 한다. 전술한 바와 같이, 인공신경망(100)의 복수의 계층 각각은 복수의 연산으로 이루어지며, 어느 하나의 계층의 그 연산 결과는 가중치(w)가 적용되어 다른 하나의 계층의 입력이 된다. 이때, 어느 하나의 계층의 출력은 가중치(w)가 곱해진 후, 다음 계층의 입력이 될 수 있다. 예컨대, 전술한 바와 같이, 32×32 크기의 행렬인 입력계층(IL)에 대해 5×5 크기의 행렬인 커널을 이용한 컨벌루션 연산을 수행하여, 각각이 28×28 크기의 행렬인 6개의 특징 지도로 이루어진 제1 컨벌루션 계층(CL1)을 구성한다. 이때, 커널의 크기 5×5, 입력 행렬의 수 1 그리고 특징 지도의 수 6을 고려하면, 1 × 5 × 5 × 6개의 가중치(w)가 존재한다. 다른 예로, 완전연결계층(FL)이 120개의 노드(F1~F120)으로 이루어진 것으로 가정하면, 16개의 특징 지도를 가지는 제2 풀링계층(PL2)의 출력은 120개의 노드를 가지는 완전연결계층(FL)의 입력이 된다. 제2 풀링 계층(PL2)은 5×5 행렬로 이루어진 커널을 통해 컨볼루션 연산의 결과가 출력된다. 또한, 하나의 노드 당 16개의 입력이 있으며, 120개의 노드가 존재하기 때문에 5 × 16 × 120개의 가중치가 존재한다. 또 다른 예로, 120개의 노드를 가지는 완전연결 계층(FL)의 출력은 3개의 출력노드(N1, N2)를 가지는 출력 계층에 입력된다. 이에 따라, 120 × 2개의 가중치가 존재할 수 있다.
진단 영상 혹은 소스 영상이 인공신경망(100)에 입력되면, 인공신경망(100)은 가중치가 적용되는 복수의 연산을 통해 연산 결과를 출력할 것이다. 인공신경망(100)의 출력, 즉, 출력계층(OL)의 출력 노드 각각의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전되지 않은 정상 상태일 확률 및 진단 영상이 영상 내의 신체의 좌우가 반전된 비정상 상태일 확률을 나타낸다.
이때, 입력 학습 영상에 포함된 학습 영상은 사용되는 은닉 기법이 알려진 것이기 때문에 학습부(200)가 해당 입력 학습 영상을 인공신경망(100)에 입력했을 때, 인공신경망(100)의 출력은 대응하는 출력 노드의 출력값이 가장 높은 확률값이 출력될 것으로 기대할 수 있다. 이러한 기대에 따른 출력값을 목표값이라고 한다. 하지만, 학습되지 않은 인공신경망(100)의 실제 출력값과 목표값은 차이가 있다.
따라서 프로세스부(300)는 학습 데이터를 입력할 때마다, 목표값과 출력값의 차이가 최소가 되도록 역전파(Back-propagation) 알고리즘을 통해 인공신경망(100)의 가중치(W)를 수정하는 학습을 수행한다. 이와 같이, 본 발명의 실시예에 따른 학습은 입력되는 학습 데이터에 따른 답인 목표값을 정해 놓고, 그 학습 영상에 따라 출력값과 목표값의 차이가 최소가 되도록 인공신경망(100)의 연산에 적용되는 가중치(w)를 수정하는 것이다.
다음으로, 본 발명의 실시예에 따른 전처리부(400)에 대해서 보다 상세하게 설명하기로 한다. 도 3 및 도 4는 본 발명의 실시예에 따른 전처리부의 동작을 설명하기 위한 도면이다.
도 3 및 도 4를 참조하면, 전처리부(400)는 학습부(200) 및 판단부(300)에 의해 인공신경망(100)에 진단 영상을 입력하기 전, 진단 영상의 좌우의 구별이 더욱 명확해지도록 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성한다.
일 실시예에 따르면, 도 3에 도시된 바와 같이, 전처리부(400)는 진단 영상(A0)이 입력되면, 진단 영상의 원본(A0), 진단 영상의 모든 픽셀의 명도를 증가시킨 가공본(A+) 및 진단 영상의 모든 픽셀의 명도를 감소시킨 가공본(A-)을 생성하고, 이들(A-, A0, A+)을 병합하여 소스 영상(S)을 생성할 수 있다.
다른 실시예에 따르면, 도 4에 도시된 바와 같이, 전처리부(400)는 진단 영상(A0)이 입력되면, 진단 영상의 원본(A0), 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 어느 일 측의 픽셀의 명도를 증가시키고, 다른 측의 픽셀의 명도를 감소시킨 가공본(A1, A2)을 생성하고, 이들(A1, A0, A2)을 병합하여 소스 영상(S)을 생성할 수 있다.
다음으로, 본 발명의 실시예에 따른 입력층에 입력된 영상과 커널의 컨벌루션 연산을 통해 생성되는 특징지도로 이루어진 컨벌루션층에 대해서 보다 상세하게 설명하기로 한다. 도 5 및 도 6은 본 발명의 실시예에 따른 컨벌루션 연산을 통해 생성되는 컨벌루션층의 특징 지도를 생성하는 방법을 설명하기 위한 도면이다.
도 2, 도 5 및 도 6을 참조하면, 제1 컨볼루션층(CL)은 입력층(IL)에 입력된 진단 영상과 커널(W)의 컨벌루션 연산을 통해 생성되는 복수의 특징지도(FM1, FM2, ... FMn)를 포함한다. 커널(w)의 컨벌루션 연산을 통해 진단 영상의 좌우의 구별이 더욱 명확해지도록 진단 영상의 픽셀값을 가공할 수 있다.
일 실시예에 따르면, 도 5에 도시된 바와 같이, 커널(w)의 컨벌루션 연산은 입력층(IL)에 입력된 진단 영상(A0)의 모든 픽셀의 명도를 증가(A+)시키거나, 입력층(IL)에 입력된 진단 영상(A0)의 모든 픽셀의 명도를 감소(A-)시킬 수 있다. 이에 따라, 진단 영상(A0)의 모든 픽셀의 명도가 증가(A+)된 제1 특징지도(FM1) 및 진단 영상(A0)의 모든 픽셀의 명도가 감소(A-)된 제2 특징지도(FM2)를 생성할 수 있다.
다른 실시예에 따르면, 도 6에 도시된 바와 같이, 커널(w)의 컨벌루션 연산은 입력층(IL)에 입력된 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 어느 일 측 픽셀의 명도를 증가시키고, 다른 측 픽셀의 명도를 감소시킬 수 있다(A1, A2). 이에 따라, 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 우측 픽셀의 명도가 증가되고, 좌측 픽셀의 명도가 감소된 영상(A1)을 가지는 제1 특징지도(FM1) 및 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 좌측 픽셀의 명도가 증가되고, 우측 픽셀의 명도가 감소된 영상(A2)을 가지는 제2 특징지도(FM2)를 생성할 수 있다.
그러면, 보다 자세히 본 발명의 실시예에 따른 인공신경망(100)을 이용한 진단 영상을 구분하기 위한 방법에 대해서 설명하기로 한다. 인공신경망(100)을 이용하여 진단 영상의 영상 내 신체의 좌우를 구분하기 위해서는 우선 인공신경망(100)을 학습시켜야 한다. 이에 따라, 먼저, 인공신경망(100)을 학습시키는 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 진단 영상의 좌우를 구분하도록 인공신경망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 구분장치(10)는 S110 단계에서 영상 내에서 신체의 좌우가 알려진 진단 영상(A0)을 입력받는다. 진단 영상이 입력되면, 선택적으로, 전처리부(400)는 S120 단계에서 소스 영상(S)을 생성할 수 있다. 진단 영상, 즉, X-ray 영상은 'anode heel effect' 등의 이유로 좌우의 밀도(density)가 상이하다. 따라서 본 발명의 전처리부(400)는 이러한 차이를 극대화하기 위해 진단 영상의 픽셀값을 가공할 수 있다.
일 실시예에 따르면, 소스 영상(S)은 도 3에 도시된 바와 같이, 진단 영상의 원본(A0)과 진단 영상의 모든 픽셀의 명도를 증가시킨 가공본(A+)과 진단 영상의 모든 픽셀의 명도를 감소시킨 가공본(A-)을 병합한 영상이 될 수 있다. 다른 실시예에 따르면, 소스 영상(S)은 도 4에 도시된 바와 같이, 진단 영상의 원본(A0)과 진단 영상을 좌우로 균등분할 했을 때 좌우 중 어느 일 측의 픽셀의 명도를 증가시키고, 다른 측의 픽셀의 명도를 감소시킨 가공본(A1, A2)을 병합한 영상이 될 수 있다.
전술한 S120 단계는 선택적인 단계로 생략될 수도 있다.
그러면, 학습부(200)는 S140 단계에서 진단 영상의 알려진 영상의 좌우에 맞춰 목표값을 설정한다.
일례로, 진단 영상의 영상 내 신체가 좌우가 반전되지 않은 정상 상태인 경우, 제1 출력 노드(N1)의 출력값이 제2 출력 노드(N2)의 출력값 보다 크면서, 소정 수치이상이 되도록 목표값을 설정한다. 구체적인 예로, 진단 영상의 영상 내 신체가 좌우가 반전되지 않은 정상 상태인 경우, 학습부(200)는 'N1 ≥ 0.70, N2 < 0.30'와 같이 목표값을 설정할 수 있다.
반대되는 예로, 진단 영상의 영상 내 신체가 좌우가 반전된 비정상 상태인 경우, 제1 출력 노드(N1)의 출력값이 제2 출력 노드(N2)의 출력값 보다 작으면서, 제2 출력 노드(N2)의 출력값이 소정 수치이상이 되도록 목표값을 설정한다. 구체적인 예로, 진단 영상의 영상 내 신체가 좌우가 반전된 비정상 상태인 경우, 학습부(200)는 'N1 < 0.30, N2 ≥ 0.70'과 같이 목표값을 설정할 수 있다.
그런 다음, 학습부(200)는 S140 단계에서 학습 데이터(진단 영상/소스 영상)를 인공신경망(100)에 입력한다.
그러면, 인공신경망(100)은 복수의 계층의 가중치(w)가 적용되는 복수의 연산을 수행하여 출력값을 출력할 것이다. 전술한 바와 같이, 진단 영상, 즉, X-ray 영상은 'anode heel effect' 등의 이유로 좌우의 밀도(density)가 상이하며, 인공신경망(100)은 인공신경망(100)의 복수의 연산 중 적어도 하나의 컨벌루션 연산을 통해 전술한 차이를 극대화하기 위해 입력된 학습 데이터(진단 영상)의 픽셀값을 가공할 수 있다. 구체적으로, 일 실시예에 따르면, 도 5에 도시된 바와 같이, 커널(w)의 컨벌루션 연산은 입력층(IL)에 입력된 진단 영상(A0)의 모든 픽셀의 명도를 증가(A+)시키거나, 입력층(IL)에 입력된 진단 영상(A0)의 모든 픽셀의 명도를 감소(A-)시킬 수 있다. 이에 따라, 진단 영상(A0)의 모든 픽셀의 명도가 증가(A+)된 제1 특징지도(FM1) 및 진단 영상(A0)의 모든 픽셀의 명도가 감소(A-)된 제2 특징지도(FM2)를 생성할 수 있다. 다른 실시예에 따르면, 도 6에 도시된 바와 같이, 커널(w)의 컨벌루션 연산은 입력층(IL)에 입력된 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 어느 일 측 픽셀의 명도를 증가시키고, 다른 측 픽셀의 명도를 감소시킬 수 있다(A1, A2). 이에 따라, 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 우측 픽셀의 명도가 증가되고, 좌측 픽셀의 명도가 감소된 영상(A1)을 가지는 제1 특징지도(FM1) 및 진단 영상(A0)을 좌우로 균등분할 했을 때 좌우 중 좌측 픽셀의 명도가 증가되고, 우측 픽셀의 명도가 감소된 영상(A2)을 가지는 제2 특징지도(FM2)를 생성할 수 있다.
인공신경망(100)의 출력값이 출력되면, 학습부(200)는 S150 단계에서 인공신경망(100)의 출력값과 앞서(S130) 설정된 목표값과의 차이가 최소가 되도록 인공신경망(100)의 복수의 연산 각각에 적용되는 가중치(w)를 수정한다.
전술한 S110 단계 내지 S150 단계는 다양한 학습 데이터이 입력되었을 때, 목표값과 출력값의 차이가 최소가 되면서 출력값이 변동이 없을 때까지 반복하여 수행할 수 있다. 이러한 경우, 학습부(200)는 인공신경망(100)이 충분히 학습이 이루어진 것으로 판단하고, 학습을 종료할 수 있다.
전술한 바와 같이 인공신경망(100)의 학습이 충분히 이루어진 경우, 그 인공신경망(100)을 이용한 진단 영상을 구분하기 위한 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 인공신경망을 이용한 진단 영상을 구분하기 위한 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, S210 단계에서 영상 내에서 신체의 좌우가 알려지지 않은 진단 영상을 입력받는다. 진단 영상이 입력되면, 선택적으로, 전처리부(400)는 S220 단계에서 진단영상의 원본 및 가공본을 결합하여 소스 영상(S)을 생성할 수 있다. 보다 구체적으로, 전처리부(400)는 진단 영상의 좌우의 밀도의 차이를 극대화시키기 위하여 도 3 혹은 도 4에서 설명된 바와 같이 진단 영상의 픽셀값을 가공하여 가공본을 생성할 수 있다. 그리고 전처리부(400)는 진단영상의 원본 및 가공본을 결합하여 소스 영상(S)을 생성할 수 있다. 전술한 S220 단계는 선택적인 단계로 생략될 수 있다.
다음으로, 판단부(300)는 S230 단계에서 의심 영상을 인공신경망(100)에 입력한다. 그러면, 인공신경망(100)은 복수의 계층의 가중치(w)가 적용되는 복수의 연산을 수행하여 출력값을 출력할 것이다. 전술한 바와 같이, 진단 영상, 즉, X-ray 영상은 'anode heel effect' 등의 이유로 좌우의 밀도(density)가 상이하며, 인공신경망(100)은 도 5 혹은 도 6에 도시된 바와 같이, 인공신경망(100)의 복수의 연산 중 적어도 하나의 컨벌루션 연산을 통해 전술한 차이를 극대화하기 위해 입력된 학습 데이터(진단 영상)의 픽셀값을 가공할 수 있다.
인공신경망(100)이 출력값을 출력하면, 판단부(300)는 S240 단계에서 인공신경망(100)의 출력값에 따라 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판별한다. 예를 들면, 인공신경망(100)의 출력 계층(OL)의 제1 출력 노드(N1)의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전되지 않은 정상 상태일 확률을 나타내며, 제2 출력 노드(N2)의 출력값은 진단 영상이 영상 내의 신체의 좌우가 반전된 비정상 상태일 확률을 나타낸다. 만약, 제1 출력 노드(N1) 및 제2 출력 노드(N2) 각각의 출력값이 0.89, 0.11이라면, 판별부(300)는 해당 진단 영상이 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인 것으로 판단할 수 있다. 반면, 제1 출력 노드(N1) 및 제2 출력 노드(N2) 각각의 출력값이 0.27, 0.73이라면, 판별부(300)는 해당 진단 영상이 영상 내의 신체의 좌우가 반전된 비정상 상태인 것으로 판단할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 구분장치(10)는 인공신경망(100)을 이용하여 진단 영상 내 신체의 좌우가 반전되었는지 여부를 판별할 수 있다.
한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100: 인공신경망
IL: 입력계층
CL: 컨볼루션계층
PL: 풀링계층
FL: 완전연결계층
OL: 출력계층
200: 학습부
300: 판단부
400: 전처리부

Claims (18)

  1. 인공신경망을 이용한 진단 영상을 구분하기 위한 장치에 있어서,
    각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어진 인공신경망;
    영상 내 신체의 좌우가 알려지지 않은 진단 영상이 입력되면, 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 전처리부; 및
    상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 판단부;를 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  2. 제1항에 있어서,
    상기 전처리부는
    상기 진단 영상의 원본과 상기 진단 영상의 모든 픽셀의 명도를 증가시킨 가공본과 상기 진단 영상의 모든 픽셀의 명도를 감소시킨 가공본을 병합하여 상기 소스 영상을 생성하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  3. 제1항에 있어서,
    상기 전처리부는
    상기 진단 영상의 원본과 상기 진단 영상을 좌우로 균등분할 했을 때 좌우 중 어느 일 측의 픽셀의 명도를 증가시키고, 다른 측의 픽셀의 명도를 감소시킨 가공본을 병합하여 상기 소스 영상을 생성하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  4. 제1항에 있어서,
    상기 전처리부는
    영상 내 신체의 좌우가 알려진 진단 영상이 입력되면, 상기 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하고,
    상기 장치는
    상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하도록 상기 가중치를 수정하는 학습부;를 더 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  5. 인공신경망을 이용한 진단 영상을 구분하기 위한 장치에 있어서,
    입력층, 적어도 하나의 컨볼루션층, 상기 컨볼루션층에 대응하는 적어도 하나의 풀링층 및 출력층을 포함하는 복수의 계층을 포함하고, 상기 복수의 계층 각각은 복수의 연산을 포함하며, 상기 복수의 계층 중 어느 하나의 계층의 연산의 결과는 가중치가 적용되어 다음 계층의 입력이 되는 인공신경망; 및
    영상 내 신체의 좌우가 알려지지 않은 진단 영상이 입력되면, 상기 진단 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값으로부터 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 판단부;를 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  6. 제5항에 있어서,
    상기 컨볼루션층은
    상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 생성되는 복수의 특징지도를 포함하며,
    상기 커널의 컨벌루션 연산은
    상기 입력층의 상기 진단 영상의 모든 픽셀의 명도를 증가시키거나, 상기 입력층에 입력되는 상기 진단 영상의 모든 픽셀의 명도를 감소시키는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  7. 제5항에 있어서,
    상기 컨볼루션층은
    상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 생성되는 복수의 특징지도를 포함하며,
    상기 커널의 컨벌루션 연산은
    상기 진단 영상의 원본과 상기 진단 영상을 좌우를 균등분할 했을 때 좌우 중 어느 일 측 픽셀의 명도를 증가시키고, 다른 측 픽셀의 명도를 감소시키는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  8. 제1항에 있어서,
    영상 내 신체의 좌우가 알려진 진단 영상이 입력되면, 상기 진단 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 구분하도록 상기 가중치를 수정하는 학습부;를 더 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 장치.
  9. 인공신경망을 이용한 진단 영상을 구분하기 위한 방법에 있어서,
    전처리부가 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계;
    전처리부가 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 단계; 및
    판단부가 상기 소스 영상을 각각이 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층으로 이루어진 인공신경망에 입력하고, 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  10. 제9항에 있어서,
    상기 소스 영상을 생성하는 단계는
    상기 전처리부가 상기 진단 영상의 모든 픽셀의 명도를 증가시킨 가공본 및 상기 진단 영상의 모든 픽셀의 명도를 감소시킨 가공본을 생성하는 단계; 및
    상기 전처리부가 상기 진단 영상의 원본과 상기 명도를 증가시킨 가공본과 상기 명도를 감소시킨 가공본을 병합하여 상기 소스 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  11. 제9항에 있어서,
    상기 소스 영상을 생성하는 단계는
    상기 전처리부가 상기 진단 영상의 원본과 상기 진단 영상을 좌우로 균등분할 했을 때 좌우 중 어느 일 측의 픽셀의 명도를 증가시키고, 다른 측의 픽셀의 명도를 감소시킨 가공본을 생성하는 단계; 및
    상기 전처리부는 상기 진단 영상의 원본과 상기 가공본을 병합하여 상기 소스 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  12. 제9항에 있어서,
    상기 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계 전,
    상기 전처리부가 영상 내 신체의 좌우가 알려진 진단 영상이 입력되면, 입력된 진단 영상의 원본과 상기 진단 영상의 픽셀값을 가공한 가공본을 병합한 소스 영상을 생성하는 단계;
    학습부가 상기 소스 영상을 상기 인공신경망에 입력하여 상기 인공신경망의 출력값이 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 구분하도록 상기 가중치를 수정하는 단계;를 더 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  13. 입력층, 적어도 하나의 컨볼루션층, 상기 컨볼루션층에 대응하는 적어도 하나의 풀링층 및 출력층을 포함하는 복수의 계층을 포함하고, 상기 복수의 계층 각각은 복수의 연산을 포함하며, 상기 복수의 계층 중 어느 하나의 계층의 연산의 결과는 가중치가 적용되어 다음 계층의 입력이 되는 인공신경망을 이용한 진단 영상을 구분하기 위한 방법에 있어서,
    판단부가 영상 내 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계;
    상기 판단부가 상기 진단 영상을 상기 인공신경망에 입력하는 단계;
    상기 인공신경망이 상기 진단 영상에 대해 가중치가 적용되는 복수의 연산을 수행하여 출력값을 출력하는 단계; 및
    상기 판단부가 상기 인공신경망의 출력값으로부터 상기 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  14. 제13항에 있어서,
    상기 출력값을 출력하는 단계는
    상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 복수의 특징지도를 생성하는 단계;를 포함하며,
    상기 커널의 컨벌루션 연산은
    상기 입력층의 상기 진단 영상의 모든 픽셀의 명도를 증가시키거나, 상기 입력층에 입력되는 상기 진단 영상의 모든 픽셀의 명도를 감소시키는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  15. 제13항에 있어서,
    상기 출력값을 출력하는 단계는
    상기 입력층에 입력된 상기 진단 영상과 커널의 컨벌루션 연산을 통해 복수의 특징지도를 생성하는 단계;를 포함하며,
    상기 커널의 컨벌루션 연산은
    상기 진단 영상의 원본과 상기 진단 영상을 좌우를 균등분할 했을 때 좌우 중 어느 일 측 픽셀의 명도를 증가시키고, 다른 측 픽셀의 명도를 감소시키는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  16. 제13항에 있어서,
    상기 신체의 좌우가 알려지지 않은 진단 영상을 입력받는 단계 전,
    학습부가 영상 내 신체의 좌우가 알려진 진단 영상을 입력받는 단계;
    상기 학습부가 상기 영상 내 신체의 좌우가 알려진 진단 영상을 상기 인공신경망에 입력하는 단계;
    상기 인공신경망이 상기 영상 내 신체의 좌우가 알려진 진단 영상에 대해 가중치가 적용되는 복수의 연산을 수행하여 출력값을 출력하는 단계; 및
    상기 영상 내 신체의 좌우가 알려진 진단 영상 내의 신체의 좌우가 반전되지 않은 정상 상태인지 혹은 반전된 비정상 상태인지 여부를 구분하도록 상기 가중치를 수정하는 단계;를 더 포함하는 것을 특징으로 하는
    진단 영상을 구분하기 위한 방법.
  17. 제9항 내지 제12항 중 어느 한 항에 따른 진단 영상을 구분하기 위한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  18. 제13항 내지 제16항 중 어느 한 항에 따른 진단 영상을 구분하기 위한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020190131146A 2019-10-22 2019-10-22 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 KR102322927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190131146A KR102322927B1 (ko) 2019-10-22 2019-10-22 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190131146A KR102322927B1 (ko) 2019-10-22 2019-10-22 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20210047489A true KR20210047489A (ko) 2021-04-30
KR102322927B1 KR102322927B1 (ko) 2021-11-04

Family

ID=75740841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190131146A KR102322927B1 (ko) 2019-10-22 2019-10-22 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR102322927B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000157519A (ja) * 1998-11-25 2000-06-13 Konica Corp 画像処理装置
KR20110098077A (ko) 2010-02-26 2011-09-01 제주대학교 산학협력단 비트플레인의 블록패턴 매칭을 이용한 비밀정보 삽입장치 및 그 방법
JP2019115558A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 放射線撮影装置、画像処理装置及び画像判定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000157519A (ja) * 1998-11-25 2000-06-13 Konica Corp 画像処理装置
KR20110098077A (ko) 2010-02-26 2011-09-01 제주대학교 산학협력단 비트플레인의 블록패턴 매칭을 이용한 비밀정보 삽입장치 및 그 방법
JP2019115558A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 放射線撮影装置、画像処理装置及び画像判定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rikiya Yamashita 외 3명, Convolutional neural networks: an overview and application in radiology. Insights into Imaging (2018) 9:pp.611-629. 2018년 6월 22일 공개. 1부.* *
Ross W.Filice 외 1명. Effectiveness of Deep Learning Algorithms to Determine Laterality in Radiographs. Journal of Digital Imaging (2019) 32:pp.656-664. 2019년 5월 7일 공개. 1부.* *

Also Published As

Publication number Publication date
KR102322927B1 (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
US10892050B2 (en) Deep image classification of medical images
JP6657137B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11720795B2 (en) Neural network structure and a method thereto
US20190164057A1 (en) Mapping and quantification of influence of neural network features for explainable artificial intelligence
US20210192343A1 (en) Method and device for training generative adversarial network for converting between heterogeneous domain data
EP3861482A1 (en) Verification of classification decisions in convolutional neural networks
KR102370910B1 (ko) 딥러닝 기반 소수 샷 이미지 분류 장치 및 방법
US11741363B2 (en) Computer-readable recording medium, method for learning, and learning device
KR102028825B1 (ko) 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP7042210B2 (ja) 学習モデル生成装置、学習モデル生成方法、及びプログラム
US20200250544A1 (en) Learning method, storage medium, and learning apparatus
Chakraborty PRNU-based image manipulation localization with discriminative random fields
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
Dengpan et al. Faster and transferable deep learning steganalysis on GPU
Liu et al. Uncertain label correction via auxiliary action unit graphs for facial expression recognition
KR20210047489A (ko) 인공신경망을 이용한 진단 영상을 구분하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102028824B1 (ko) 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN111753980A (zh) 将第一图像的特征转移到第二图像的方法
KR102548519B1 (ko) 준합성 데이터 생성 장치 및 데이터 생성 방법
US20210201447A1 (en) Method and apparatus with quantized image generation
Xi et al. A Layer-Wise Ensemble Technique for Binary Neural Network
KR20210123674A (ko) Tta를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치
CN112541906B (zh) 一种数据处理的方法及装置、电子设备、存储介质
EP4310793A1 (en) Quantum method and system for classifying images
KR102045140B1 (ko) 인공신경망을 이용한 워터마킹 공격 기법을 도출하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant