KR102481112B1 - 심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 성인 신장 예측 방법은 복수의 전처리된 수부 영상을 입력 하여 제1 인공 신경망을 학습하는 단계, 상기 제1 인공 신경망에 복수의 제1 입력 이미지를 입력하고, 복수의 수부 분할 영상을 획득하는 단계, 획득한 상기 복수의 수부 분할 영상을 이용하여 상기 제1 인공 신경망을 재학습시키는 단계, 상기 제1 인공 신경망의 연결 요소(Connected Component) 중 최대 연결 요소를 추출하는 단계, 상기 제1 입력 이미지를 상기 최대 연결 요소의 크기에 맞추어 잘라낸 복수의 제2 입력 이미지를 생성하는 단계, 상기 복수의 제2 입력 이미지를 입력 하여 제2 인공 신경망을 학습시키는 단계 및 상기 제2 인공 신경망의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 단계를 포함한다.

Description

심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템{PREDICTION METHOD OF ADULT HEIGHT WITH DEEP-LEARNING AND SYSTEM THEREOF}

본 발명은 성인 신장 예측 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 심층 학습을 이용하여, 소아의 수부 방사선 영상을 정보의 손실 없이 효율적으로 처리하는 보다 정확한 성인 신장 예측 방법 및 그 시스템에 관한 것이다.

소아의 성인 신장 예측은 소아 내분비학 및 소아 정형외과 분야에서 널리 사용되고 있는 주요 절차 중 하나이다. 신체의 성장, 사춘기 시기, 여러 내분비 질환 등을 미리 예측하고 정형외과의 중재를 계획하는 데 중요하게 사용된다.

대표적인 종래의 성인 신장 예측 방법으로는 신장 및 몸무게를 이용하여 성인 신장을 예측하는 방법과 골 연령을 이용하여 성인 신장을 예측하는 방법이 있다. 신장 및 몸무게를 이용한 방법은 질병관리본부에서 공고하는 성장 도표의 백분위수와 비교하여 정상 성장 유무를 판별하는 방법으로, 영양과 호르몬, 유전적 요인에 의한 영향에 의해 편차 범위가 넓고 정확도가 낮은 단점이 있다.

골 연령을 이용한 성인 신장 예측 방법은 소아의 수부 방사선 사진과 신장, 나이, 성별과 같은 데이터를 이용하여 측정한다. 이는 신장 및 몸무게를 성장 도표의 백분위수와 비교하는 방법에 비하여 보다 정확하지만, 결국 통계를 기반으로 한 계산 공식을 이용하여 성인 신장을 예측하므로, 개인의 특성을 반영하기 어려워 정확도가 낮아질 수 있다. 또한 골 연령의 계산이 수동으로 이루어져, 측정 시마다 결과값이 달라진다는 단점이 있으며, 전문가에 의한 계산을 요구하여 계산 시간 또한 오래 소요된다.

컴퓨터를 이용하여 의료 영상을 분석하고 진단하고자 하는 시도는 1970년대부터 시작되었다. 1980년대에 도입된 의료영상 저장 및 전송시스템의 도입을 통하여, 컴퓨터 보조 진단(Computer-aided Diagnosis) 시스템의 발전이 가속화되었다. 당시, 컴퓨터 보조 진단 시스템은 의사의 판독 능력을 향상시키는 상호보완적인 역할을 하는 것에 주 목적이 있었다. 최근, 심층 학습을 기반으로 하는 인공지능 기술의 발전으로, 종래 다루는 문제에 따라 중요한 특징들을 직접 디자인 하고 추출하던 이전의 방식들로부터 인공 신경망이 스스로 문제의 해결에 최적화된 특징들을 데이터로부터 학습하는 방식으로 변화하고 있다.

의료 영상은 숙련된 전문가만이 영상을 판독할 수 있으며, 지도 학습에 필요한 레이블 정보를 얻기 위하여 많은 시간과 노력이 필요하다. 따라서, 대규모의 학습 데이터를 확보하는 것이 어려워 데이터를 마련하는 데 있어 필요한 자원을 최소화하면서도 좋은 성능을 얻을 수 있는 방법이 요구된다.

또한, 의료 영상은 일반 영상에 비하여 매우 큰 크기를 가지고 있어, 정보의 손실 없이 주어진 데이터를 활용하기 위하여 엄청난 크기의 입력 영상을 효율적으로 처리하기 위한 알고리즘의 개발이 필요하다.

본 발명이 해결하고자 하는 제1 기술적 과제는 소아 수부 방사선 영상을 정보의 손실 없이 효율적으로 처리하는 보다 정확한 성인 신장 예측 방법을 제공하는 데 있다.

본 발명의 해결하고자 하는 제2 기술적 과제는 상술한 성인 신장 예측 방법을 수행하기 위한 심층 학습을 이용한 성인 신장 예측 시스템을 제공하는 데 있다.

상술한 제1 기술적 과제를 해결하기 위하여 본 발명의 일 실시예는 복수의 전처리(Annotation) 된 수부 영상을 입력 하여 제1 인공 신경망을 학습하는 단계, 상기 제1 인공 신경망에 복수의 제1 입력 이미지를 입력하고, 복수의 수부 분할 영상을 획득하는 단계, 획득한 상기 복수의 수부 분할 영상을 이용하여 상기 제1 인공 신경망을 재학습시키는 단계, 상기 제1 인공 신경망의 연결 요소(Connected Component) 중 최대 연결 요소를 추출하는 단계, 상기 복수의 수부 분할 영상을 상기 최대 연결 요소의 크기에 맞추어 잘라낸 복수의 제2 입력 이미지를 생성하는 단계, 상기 복수의 제2 입력 이미지를 입력 하여 제2 인공 신경망을 학습시키는 단계 및 상기 제2 인공 신경망의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 단계를 포함하는, 심층 학습을 이용한 성인 신장 예측 방법을 제공한다.

이 때, 상기 복수의 수부 분할 영상을 획득하는 단계 및 상기 제1 인공 신경망을 재학습시키는 단계는 복수 번 반복되어, 적은 수의 전처리 된 수부 영상만으로도 효과적으로 제1 인공 신경망을 학습시킬 수 있다.

상기 복수의 제1 입력 이미지는 소아의 수부 방사선 영상을 포함하는 의료 영상일 수 있으며, 광도 해석 속성 및 픽셀 간격을 통일된 영상일 수 있다.

상기 성인 신장 예측 알고리즘을 생성하는 단계는, 복수의 분류를 갖는 수치 데이터를 분류에 따라 각각 하나의 은닉 층을 갖는 제3 인공 신경망의 입력 노드들에 입력하는 단계, 상기 제2 인공 신경망이 얻은 결과 값과 상기 은닉 층들의 결과 값을 연결하여 이어붙이기(Concatenation) 층을 생성하는 단계, 및 상기 제3 인공 신경망의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 단계를 더 포함하여 성인 신장 예측 알고리즘의 정확도를 향상시킬 수 있다.

이 때, 상기 수치 데이터의 분류는 소아의 성별, 나이, 현재 키 중 어느 하나 이상일 수 있다.

상술한 제2 기술적 과제를 해결하기 위하여 본 발명의 일 실시예는 복수의 전처리된 수부 영상 및 복수의 제1 입력 이미지를 획득하는 데이터 획득부, 상기 복수의 전처리된 수부 영상 및 상기 복수의 제1 입력 이미지로부터 얻어지는 복수의 수부 분할 영상을 이용하여 학습하는 제1 학습부 및 상기 제1 학습부의 학습 결과에 따라 상기 복수의 제1 입력 이미지를 복수의 제2 입력 이미지로 변환하는 수부 분할부를 포함하는 제1 인공 신경망 및 상기 복수의 제2 입력 이미지를 이용하여 학습하는 제2 학습부 및 상기 제2 학습부의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 제1 알고리즘 생성부를 포함하는 제2 인공 신경망을 포함하는, 심층 학습을 이용한 성인 신장 예측 시스템을 제공한다.

상기 복수의 제1 입력 이미지는 소아의 수부 방사선 영상을 포함하는 의료 영상일 수 있으며, 데이터 획득부는 상기 의료 영상을 획득하여, 광도 해석 속성 및 픽셀 간격을 통일하여 상기 복수의 제1 입력 이미지로 변환할 수 있다.

성인 신장 예측 시스템은 상기 수치 데이터를 입력 받는 입력 노드들, 상기 입력 노드들과 각각 연결되는 은닉 층들, 제3 학습부, 및 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 제2 알고리즘 생성부를 포함하는 제3 인공 신경망을 더 포함하고, 상기 데이터 획득부는 수치 데이터를 더 획득하고, 상기 제3 학습부는 상기 제2 인공 신경망의 결과 값과 상기 은닉 층들의 결과 값을 연결하여 학습할 수 있다.

이 때, 상기 수치 데이터는 복수의 분류를 갖고, 상기 입력 노드들은 상기 수치 데이터의 분류에 각각 대응할 수 있다. 상기 수치 데이터의 분류는 소아의 성별, 나이, 현재 키 중 어느 하나 이상일 수 있다.

본 발명의 일 실시예는 인공 신경망을 이용하여 소아의 수부 방사선 영상을 정보의 손실 없이 성인 신장 예측 알고리즘에 입력 가능한 이미지로 변경할 수 있다. 따라서, 매우 큰 크기를 갖는 의료 영상을 수백 픽셀로 압축함에 따라 인공 신경망의 학습 및 알고리즘 실행을 위해 필요로 하는 계산 자원을 최소화할 수 있다.

또한, 소아의 성별, 나이, 현재 키와 같은 여러 분류의 수치 데이터들을 각각 병렬적으로 처리하고, 결과값을 연결(concatenate)하여 알고리즘을 도출함으로써, 종래의 성인 신장 예측 방법보다 더 높은 정확도(

)로 예측이 가능하다.

따라서, 소아의료분야에서 기존에 널리 사용되고 있는 소아 성장그래프를 수정 및 보완하여, 보다 정확하게 소아의 성장 부진을 객관적으로 진단할 수 있을 뿐 아니라, 정형외과 등에서 수술 방법 설계 시 지표를 제시할 수 있다.

본 발명의 기술적 효과들은 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 성인 신장 예측 알고리즘을 도출하기 위한 순서를 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따라, 수치 데이터를 이용하여 정확도를 향상시킨 성인 신장 예측 알고리즘을 도출하기 위한 순서를 도시하는 블록도이다.
도 3은 도 1에 도시된 성인 신장 예측 방법의 각 단계를 도시하는 순서도이다.
도 4는 도 2에 도시된 수치 데이터를 이용하여 성인 신장 예측 알고리즘을 도출하기 위한 추가 단계를 도시하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 성인 신장 예측 시스템을 도시하는 블록도이다.
도 6은 본 발명의 다른 일 실시예에 따른 성인 신장 예측 시스템을 도시하는 블록도이다.
도 7은 소아 수부 방사선 영상을 포함하는 의료 영상을 본 발명의 일 실시예에 따라 인공 신경망을 이용하여 성인 신장 예측 알고리즘에 적용 가능한 이미지로 변환하는 것을 설명하기 위한 도면이다.
도 8은 본 발명의 각 실시예에 따라, 각 분류 별 수치 데이터를 포함하였을 때 성인 신장 예측의 오차를 표시하는 표이다.

본 발명이 여러 가지 수정 및 변형을 허용하면서도, 그 특정 실시예들이 도면들로 예시되어 나타내어지며, 이하에서 상세히 설명될 것이다. 그러나 본 발명을 개시된 특별한 형태로 한정하려는 의도는 아니며, 오히려 본 발명은 청구항들에 의해 정의된 본 발명의 사상과 합치되는 모든 수정, 균등 및 대용을 포함한다.

본 명세서에서 어떤 요소가 다른 요소와 "연결"되어 있다고 기술될 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 요소를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라 또 다른 요소를 더 포함할 수 있는 것을 의미한다.

비록 제1, 제2 등의 용어가 여러 가지 요소들, 성분들, 영역들, 층들 및/또는 지역들을 설명하기 위해 사용될 수 있지만, 이러한 요소들, 성분들, 영역들, 층들 및/또는 지역들은 이러한 용어에 의해 한정되어서는 안 된다는 것을 이해할 것이다.

일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.

이하 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하 도면 상의 동일한 구성 요소에 대하여는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 성인 신장 예측 알고리즘을 도출하기 위한 순서를 도시하는 도면이다.

도 1을 참조하면, 제1 입력 이미지(101)는 제1 인공 신경망(110)에 입력되고, 제1 인공 신경망(110)은 상기 제2 입력 이미지(103)를 생성한다. 상기 제2 입력 이미지(103)는 제2 인공 신경망(120)에 입력되어, 제2 인공 신경망(120)을 학습시키고, 제2 인공 신경망(120)은 성인 신장 예측 알고리즘(200)을 도출한다.

제1 입력 이미지(101)는 소아 수부 방사선 영상을 포함하는 의료 영상일 수 있다. 상기 의료 영상은 소아의 골 연령 측정을 위한 수골의 전체적인 형태를 도시하는 영상으로, X-선 영상, 초음파 영상 및 자기공명영상일 수 있으며, 촬영 형태에 따라, 일반 촬영 영상, 전산화단층촬영(CT) 영상 등일 수 있으나, 이에 한정되는 것은 아니다.

상기 제1 입력 이미지(101)는 최초 의료 영상의 촬영 기기 별 특성에 따른 차이를 제거하여 생성된 영상일 수 있다. 즉, 제1 입력 이미지(101)는 최초 의료 영상들의 광도 해석 속성(Photometric Interpretation Attribute) 및 픽셀 간격(Pixel Spacing)을 통일하여 생성된 이미지일 수 있다.

제1 입력 이미지(101)는 제1 인공 신경망(110) 및 제2 인공 신경망(120)을 충분히 학습시킬 수 있는 수의 영상 데이터 셋일 수 있다. 일 예로, 제1 입력 이미지(101)는, 의료영상저장전송시스템(Picture Archiving and Communication System, PACS)를 통하여 전송 가능한 복수의 환자들의 의료 영상들로부터 얻은 것일 수 있다.

제1 입력 이미지(101)는 이미지 크기 통일을 위하여 가로와 세로의 크기가 동일하도록 영상 주변을 제로 패딩(Zero Padding)한 것일 수 있다. 일 예로, 상기 제1 입력 이미지(101)는 1000

1000 pixel의 크기를 가지도록 영상 주변을 제로 패딩(Zero Padding)한 것일 수 있으나, 이에 한정되는 것은 아니다.

상기 제1 인공 신경망(110)은 제1 입력 이미지(101)를 분할(segmentation)하고, 제1 인공 신경망(110)의 최대 연결 요소(Connected component)의 크기에 맞추어 제1 입력 이미지(101)의 수부 방사선 영상을 추출한다.

제1 인공 신경망(110)은 복수의 전처리(Annotation)된 수부 영상으로 최초 학습된 인공 신경망일 수 있다.

제1 인공 신경망(110)은 제1 입력 이미지(101)를 입력 받아 복수의 수부 분할 영상을 획득하고, 상기 수부 분할 영상을 다시 입력 받아 재학습된 인공 신경망일 수 있다. 상기 재학습 과정은 복수 번 반복될 수 있다.

상술한 학습 및 재학습을 통하여 제1 인공 신경망(110)은 연결 요소들을 획득하고, 상기 연결 요소들 중 가장 큰 값을 갖는 최대 연결 요소를 추출하고, 해당 요소의 가로, 세로 길이에 맞추어 상기 제1 입력 이미지(101)의 분할된 수부를 잘라내어 제2 입력 이미지(103)를 생성할 수 있다.

상기 제2 입력 이미지(103)는 분할된 수부를 포함한 이미지로, 상기 최대 연결 요소의 크기에 맞추어 잘라낸 영상이 가로와 세로의 길이가 동일하도록 영상 주변을 제로 패딩 한 것을 다시 축소한 것일 수 있다. 일 예로, 제2 입력 이미지(103)는 상기 제1 입력 이미지(101)의 분할된 수부를 최대 연결 요소의 크기에 맞추어 잘라낸 영상을 1000

1000 pixel의 크기를 가지도록 제로 패딩하고, 제로 패딩된 이미지를 다시 512

512 pixel의 크기를 가지도록 축소한 것일 수 있으나, 이에 한정되는 것은 아니다.

제2 인공 신경망(120)은 상기 제2 입력 이미지(103)를 입력 받아 학습하고, 성인 신장 예측 알고리즘(200)을 형성한다.

상기 제2 인공 신경망(120)은 사전 훈련된 가중치를 가지고 있는 인공 신경망일 수 있다. 일 예로, 제2 인공 신경망(120)은 ImageNet, MNIST, CIFAR 또는 COCO의 데이터셋을 이용하여 사전 훈련된 인공 신경망일 수 있으나 이에 한정되는 것은 아니다.

즉, 제2 인공 신경망(120)은 기존의 만들어진 모델을 이용하여 성인 신장 예측 알고리즘을 형성하고, 예측 가능성을 더 높일 수 있는 전이 학습이 가능한 인공 신경망일 수 있다.

상기 제2 인공 신경망(120)은 컨볼루션 층(Convolution Layer), 풀링 층(Pooling Layer), 이어붙이기 층(Concatenation Layer), 드롭아웃 층(Drop-out Layer) 및 완전 연결 층(Fully-Connected Layer)를 포함하는 대칭 및 비대칭 구성 요소의 조합을 포함하는 인공 신경망일 수 있다.

상기 제2 인공 신경망(120)은 제2 입력 이미지(103)를 이용하여 학습하고, 소아의 수부 방사선 영상만을 이용하는 성인 신장 예측 알고리즘(200)을 형성할 수 있다.

도 2는 본 발명의 일 실시예에 따라, 수치 데이터를 이용하여 정확도를 향상시킨 성인 신장 예측 알고리즘을 도출하기 위한 순서를 도시하는 도면이다.

도 2를 참조하면, 도 1에서 설명한 바와 같이 제1 인공 신경망(110)은 제1 입력 이미지(101)를 입력 받아 제2 입력 이미지(103)을 생성하고, 제2 인공 신경망(120)은 제2 입력 이미지(103)를 입력 받는다. 복수의 분류를 갖는 수치 데이터들(105, 107)은 분류에 따라 제3 인공 신경망(130)의 입력 노드들(131)에 입력되고, 입력 노드들(131) 각각에 연결되는 은닉 층(133)을 통해 연산된다. 제2 인공 신경망(120)의 결과값과 은닉 층(133)의 값은 이어붙여져 제3 인공 신경망(130)을 통하여 학습되고, 제3 인공 신경망(130)은 성인 신장 예측 알고리즘(200)을 형성할 수 있다.

수치 데이터들(105, 107)은 소아의 성인 신장 예측의 변수가 될 가능성이 있는 값들일 수 있다. 예를 들어, 수치 데이터들(105, 107)은 대상의 성별, 나이, 현재 신장, 부모의 신장 및 초경 여부 등일 수 있으나, 이에 한정되는 것은 아니다.

상기 수치 데이터들(105, 107)은 각각의 분류에 따라 제3 인공 신경망(130)의 입력 노드들(131a, b)에 입력될 수 있다. 상기 입력 노드들(131a, b)을 통해 입력 받은 수치 데이터들(105, 107)은 각각의 은닉 층(133a, b)을 통해 연산 된다.

상기 은닉 층들(133a, b)은 단층 또는 다층 구조를 가질 수 있다. 상기 은닉 층(133a, b)들은 입력 받은 수치 데이터들(105, 107)을 이용하여 학습하는 완전 연결 층(Fully-Connected Layer)일 수 있다.

상기 은닉 층(133a, b)들의 결과 값은 상기 제2 인공 신경망(120)의 결과 값과 연결되어, 제3 인공 신경망(130)의 이어 붙이기(Concatenate) 층을 생성한다. 상기 이어 붙이기 층은 복수의 은닉 층들과 연결될 수 있다.

상기 제2 인공 신경망(120)의 결과 값은 상기 은닉 층(133a, b)들의 결과 값과 이어 붙이기 위해서 플래튼 층(Flatten Layer)를 이용하여 차원을 변경한 것일 수 있다.

제3 인공 신경망(130)은 상기 제2 인공 신경망(120)의 결과 값과 상기 수치 데이터들(105, 107)을 입력 받아 학습하고, 학습에 따라 보다 정확한 성인 신장 예측 알고리즘을 제공할 수 있다.

도 3은 도 1에 도시된 성인 신장 예측 방법의 각 단계를 도시하는 순서도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 성인 신장 예측 방법은 전처리된 수부 영상을 입력하여 제1 인공 신경망을 학습하는 단계(S101), 제1 입력 이미지를 제1 인공 신경망에 입력하여 수부 분할 영상을 획득하는 단계(S102), 수부 분할 영상을 입력하여 제1 인공 신경망을 재학습하는 단계(S103), 제1 인공 신경망으로부터 최대 연결 요소를 추출하는 단계(S104), 수부 분할 영상으로부터 제2 입력 이미지를 생성하는 단계(S105), 제2 입력 이미지를 입력하여 제2 인공 신경망을 학습하는 단계(S107) 및 성인 신장 예측 알고리즘을 생성하는 단계(S107)를 포함한다.

먼저, 전처리된 수부 영상을 입력하여 제1 인공 신경망을 학습하는 단계(S101)는, 수부 영상을 전처리(Annotation)한 영상을 제1 인공 신경망에 입력하는 단계이다. 상기 수부 영상은 소아의 수골의 전체적인 형태를 포함하는 의료 영상으로, X-선 영상, 초음파 영상 및 자기공명영상일 수 있으며, 촬영 형태에 따라, 일반 촬영 영상, 전산화단층촬영(CT) 영상 등일 수 있으나, 이에 한정되는 것은 아니다.

수부 영상은 영상 촬영 기기 별 특성에 따른 차이를 제거하여 생성된 영상일 수 있다. 즉, 수부 영상은 최초 의료 영상들의 광도 해석 속성 및 픽셀 간격을 통일하여 생성된 이미지일 수 있다.

수부 영상은 동일한 이미지 크기를 갖도록 가로와 세로의 크기가 동일하도록 영상 주변을 제로 패딩한 것일 수 있다.

수부 영상은 전문가에 의하여 경계선으로 구분 짓고 라벨링 된 이미지일 수 있다.

수부 영상은 제1 인공 신경망이 초기 수부 분할 모델을 형성하기에 충분한 양의 복수의 영상 데이터 셋일 수 있다. 일 예로, 전처리 된 수부 영상은 약 100장 내외의 전문가에 의하여 소아의 수부가 전처리 된 의료 영상일 수 있으나, 그 양이 한정되는 것은 아니다. 전처리 된 수부 영상의 수가 많을수록 보다 정밀한 초기 수부 분할 모델을 형성할 수 있으나, 전처리 과정에 많은 비용과 시간이 소모되므로, 적정한 양의 전처리 된 수부 영상을 이용하여 제1 인공 신경망을 효율적으로 학습시키는 것이 바람직하다.

제1 입력 이미지를 제1 인공 신경망에 입력하여 수부 분할 영상을 획득하는 단계(S102)에서, 복수의 제1 입력 이미지를 제1 인공 신경망에 입력한다.

도 1에서 상술한 바와 같이, 복수의 제1 입력 이미지는 소아 수부 방사선 영상을 포함하는 의료 영상일 수 있다. 제1 입력 이미지는 최초 의료 영상들의 광도 해석 속성 및 픽셀 간격을 통일하여 생성된 이미지일 수 있다.

또한, 제1 입력 이미지는 제1 인공 신경망 및 제2 인공 신경망을 충분히 학습시킬 수 있는 수의 영상 데이터 셋일 수 있다. 일 예로, 제1 입력 이미지는 의료영상저장전송시스템을 통하여 전송 가능한 복수의 한자들의 의료 영상들로부터 얻은 것일 수 있다.

제1 입력 이미지는 제1 인공 신경망에 입력하기 위하여, 가로와 세로의 크기가 동일하도록 영상 주변을 제로 패딩한 것일 수 있다.

제1 인공 신경망은 상기 전처리된 수부 영상을 이용하여 학습하고 형성한 초기 수부 분할 모델을 사용하여 상기 제1 입력 이미지의 수부를 분할하여 복수의 수부 분할 영상을 생성한다.

수부 분할 영상을 입력하여 제1 인공 신경망을 재학습하는 단계(S103)에서, 상기 수부 분할 영상은 제1 인공 신경망에 다시 입력되어 학습에 이용된다. 상기 수부 분할 영상들 중 일정 결과치 이상의 영상들을 추출하여 제1 인공 신경망의 재학습에 사용할 수 있다.

제1 인공 신경망은 재학습을 통하여 초기 수부 분할 모델을 개선할 수 있다. 이 때, 재학습을 통하여 개선된 수부 분할 모델을 이용하여 제1 입력 이미지를 다시 분할하고, 획득한 복수의 수부 분할 영상을 다시 입력하는 재학습 단계를 반복적으로 수행할 수 있다.

제1 인공 신경망으로부터 최대 연결 요소를 추출하는 단계(S104)는 상기 재학습을 통하여 개선된 수부 분할 모델의 최대 연결 요소(Connected Component)를 추출하는 단계이다.

제1 인공 신경망을 구성하는 연결 요소들 중 최대 값을 갖는 연결 요소를 추출하고, 상기 연결 요소로 구성된 최적 수부 분할 모델을 형성할 수 있다.

제1 입력 이미지로부터 제2 입력 이미지를 생성하는 단계(S105)는 상기 제1 입력 이미지를 상기 제1 인공 신경망에 입력하여 최적 수부 분할 모델을 이용하여 수부를 분할하고, 상기 최대 연결 요소의 가로, 세로 길이에 맞게 수부 분할 영상을 잘라내어 제2 입력 이미지를 생성하는 단계이다.

제2 입력 이미지를 생성하는 단계는, 상기 최대 연결 요소의 가로, 세로 길이에 맞게 잘라낸 수부 분할 영상의 가로, 세로 길이가 동일하도록 제로 패딩한 후, 상기 제로 패딩된 영상을 다시 축소하는 단계를 더 포함할 수 있다.

상기 제2 입력 이미지는 상기 제2 인공 신경망에 입력되었을 때 효율적으로 학습을 수행할 수 있는 크기로 축소될 수 있다. 따라서, 제1 인공 신경망을 통하여 제1 입력 이미지로부터 정보의 손실 없이 소아의 수부를 효과적으로 분할해 내고, 분할한 이미지를 축소하여 제2 인공 신경망의 부하를 감소시킬 수 있다.

제2 입력 이미지를 입력하여 제2 인공 신경망을 학습하는 단계(S107)는 상기 제2 입력 이미지를 제2 인공 신경망의 입력 노드에 입력하여 제2 인공 신경망을 학습시키는 단계이다.

상술한 바와 같이 제2 인공 신경망은 사전 훈련된 가중치를 가지고 있는 인공 신경망일 수 있다. 일 예로, 제2 인공 신경망은 ImageNet, MNIST, CIFAR 또는 COCO의 데이터셋을 이용하여 사전 훈련된 인공 신경망일 수 있으나 이에 한정되는 것은 아니다.

제2 인공 신경망은 기존의 만들어진 모델을 이용하여 성인 신장 예측 알고리즘을 형성하고, 예측 가능성을 더 높이는 전이 학습이 가능한 인공 신경망일 수 있다.

제2 인공 신경망에 제2 입력 이미지를 입력 함으로써, 제2 인공 신경망은 충분히 큰 입력 데이터 셋을 갖추지 못한 상태에서도 적절한 성인 신장 예측 알고리즘을 도출할 수 있다.

제2 인공 신경망은 상술한 학습을 통하여 성인 신장 예측 알고리즘을 생성한다(S107).

형성된 성인 신장 예측 알고리즘은 제2 인공 신경망에 입력되는 예측 대상 수부 영상을 이용하여 대상의 성인 신장을 예측한다.

도 4는 도 2에 도시된 수치 데이터를 이용하여 성인 신장 예측 알고리즘을 도출하기 위한 추가 단계를 도시하는 순서도이다.

도 4를 참조하면, 성인 신장 예측 알고리즘을 생성하는 단계는 수치 데이터를 제3 인공 신경망에 입력하는 단계(S201), 수치 데이터 분류에 따라 각각의 은닉 층에서 연산하는 단계(S202), 상기 제2 인공 신경망의 결과 값과 상기 은닉 층의 결과 값을 이어 붙여 이어붙이기(Concatenation) 층을 형성하고, 상기 이어붙이기 층과 연결되는 복수의 은닉층을 이용하여 학습하는 단계(S203) 및 제3 인공 신경망이 성인 신장 예측 알고리즘을 형성하는 단계(S204)를 포함한다.

상기 수치 데이터를 제3 인공 신경망에 입력하는 단계(S201)는, 소아의 성인 신장 예측의 변수가 될 가능성이 있는 값들을 제3 인공 신경망의 입력 노드에 입력하는 단계이다.

상기 입력 노드는 소아의 의료 기록으로부터 성인 신장 예측의 변수가 될 가능성이 있는 값들을 제공 받을 수 있다. 일 예로, 성인 신장 예측의 변수가 될 수 있는 값들은 대상의 성별, 나이, 현재 신장, 부모의 신장 및 초경 여부 등일 수 있다.

각각의 변수들은 각 대응하는 입력 노드를 통하여 입력될 수 있다.

상기 입력 노드들을 통하여 입력된 수치 데이터들은 각 입력 노드들과 연결되는 각각의 은닉 층에서 연산 될 수 있다(S202).

상기 은닉 층은 하나의 완전 연결 층(Fully-Connected Layer)일 수 있으나 이에 한정되는 것은 아니다. 입력된 수치 데이터들의 형태와 필요에 따라 복수의 은닉 층이 연결된 것일 수 있다.

상기 입력 노드들을 통하여 입력된 수치 데이터들은 상기 은닉 층에서 병렬적으로 연산되어 각각의 하위 성인 신장 예측 모델을 형성할 수 있다.

상기 은닉 층들의 연산을 통하여 획득한 결과 값과, 상기 제2 인공 신경망을 통하여 획득한 결과 값을 이어 붙인 이어붙이기 층을 형성하고, 상기 이어붙이기 층과 연결되는 복수의 은닉 층들을 이용하여 제3 인공 신경망을 학습시킬 수 있다.

제2 인공 신경망을 통하여 획득한 결과 값은 상기 은닉 층들의 결과 값과 이어 붙이기 위하여, 동일한 차원의 값을 갖도록 플래튼 층을 통하여 차원을 변환한 값일 수 있다.

각 결과값들을 이어 붙인 이어붙이기 층은 복수의 은닉 층과 순차적으로 연결된다. 상기 은닉 층들은 완전 연결 층일 수 있으나 이에 한정되는 것은 아니다.

제3 인공 신경망은 상술한 학습 과정을 통하여 성인 신장 예측 알고리즘을 형성한다(S204).

성인 신장 예측 알고리즘(S204)은 예측 대상 소아의 수부 영상 및 수치 데이터들을 입력 받아 예측 대상의 성인 신장을 예측할 수 있다.

본 발명의 일 실시예는 컴퓨팅 장치를 이용하여 상술한 방법들을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램을 포함한다.

상기 컴퓨팅 장치는 전형적인 컴퓨터 하드웨어(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치, 라우터, 스위치 등과 같은 전자 통신 장치, 네트워크 부착 스토리지(NAS; network-attached storage) 및 스토리지 영역 네트워크 (SAN; storage area network)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 명령어들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 명령어 또는 지시 등을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치, 프린터 등 인쇄장치, 디스플레이 장치, 기타 외부 출력장치를 포함할 수 있다.

상기 프로그램은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것일 수 있다. 또한 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

상기 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

도 5는 본 발명의 일 실시예에 따른 성인 신장 예측 시스템을 도시하는 블록도이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 성인 신장 예측 시스템(300)은 데이터 획득부(310), 제1 인공 신경망(320) 및 제2 인공 신경망(330)을 포함한다.

데이터 획득부(310)는 전처리 된 소아의 수부 방사선 영상, 제1 입력 이미지, 예측 대상의 의료 영상 및 수치 데이터들을 획득하여 인공 신경망들(320, 330)에 전송한다.

상기 데이터 획득부(310)는 연결된 영상 획득 장치들로부터 직접 의료 영상들을 획득할 수 있다. 일 예로, 상기 데이터 획득부(310)는 X-Ray 촬영 장치에 연결되어 촬영 영상을 바로 획득할 수 있다.

데이터 획득부(310)는 통신부 및 프로세서를 포함하며, 통신부를 통하여 외부 컴퓨팅 장치와 직간접적으로 통신할 수 있다. 일 예로, 데이터 획득부는 네트워크 부착 스토리지 및 스토리지 영역 네트워크와 같은 전자 정보 스토리지 시스템으로부터 예측 대상의 의료 기록을 수신할 수 있으며, 의료영상저장전송시스템을 이용하여, 복수의 의료 영상들을 획득할 수 있다.

데이터 획득부(310)는 초기 의료 영상을 획득하여, 전처리 된 수부 영상 및 제1 입력 영상과 같이 인공 신경망에 입력 가능한 형태로 변환할 수 있다. 예를 들어, 초기 의료 영상의 촬영 기기간의 특성 차이를 제거하기 위하여 각 영상의 광도 해석 속성 및 픽셀 간격을 통일할 수 있으며, 제로 패딩을 통하여 이미지 사이즈를 통일할 수 있다.

제1 인공 신경망(320)은 제1 학습부(321)와 수부 분할부(323)를 포함한다. 도면 상에는 제1 인공 신경망(320)의 기능 설명을 위하여 제1 학습부(321)와 수부 분할부(323)를 분리하여 기재하였으나, 제1 학습부(321)와 수부 분할부(323)는 동일한 컴퓨팅 장치 및 프로세서에서 수행되는 기능일 수 있으며, 동일한 인공 신경망 층들에 의하여 수행되는 것일 수 있다.

제1 학습부(321)는 복수의 전처리 된 수부 영상을 이용하여 최초 학습하고, 수부 분할부(323)에 초기 수부 분할 모델을 형성할 수 있다. 수부 분할부(323)는 데이터 획득부(310)로부터 제1 입력 이미지를 전송 받고, 상기 제1 입력 이미지로부터 수부 분할 영상을 생성할 수 있다.

제1 학습부(321)는 수부 분할부(323)가 생성한 수부 분할 영상을 다시 이용하여 수부 분할부(323)의 수부 분할 모델을 개선할 수 있다. 수부 분할부(323)는 데이터 획득부(310)로부터 제1 입력 이미지를 전송 받고, 개선된 수부 분할 모델을 이용하여 상기 제1 입력 이미지로부터 수부 분할 영상을 생성할 수 있다. 이러한 재학습 단계가 반복되어, 적은 수의 전처리된 수부 영상을 이용하여 수부 분할을 효율적으로 수행할 수 있다.

수부 분할부(323)는 수부 분할 모델로부터 최대 연결 요소를 추출하고, 상기 최대 연결 요소의 크기에 맞추어 수부 분할 영상을 잘라내어 제2 입력 이미지를 형성할 수 있다.

제2 인공 신경망(330)은 제2 학습부(331) 및 제1 알고리즘 생성부(333)를 포함한다.

상기 제2 학습부(331)는 제2 입력 이미지를 입력 받아 학습할 수 있다. 상기 제2 학습부(331) 및 제1 알고리즘 생성부(333)는 사전 훈련된 가중치를 가지고 있는 인공 신경망일 수 있으며, 전이 학습이 가능한 인공 신경망일 수 있다.

도 6은 본 발명의 다른 일 실시예에 따른 성인 신장 예측 시스템을 도시하는 블록도이다.

도 6을 참조하면, 데이터 획득부(310)는 복수의 분류를 갖는 수치 데이터들을 더 획득할 수 있다.

제3 인공 신경망(340)은 복수의 입력 노드들(341a, b, c), 제3 학습부(343) 및 제2 알고리즘 생성부(345)를 포함한다.

상기 복수의 입력 노드들(341a, b, c)는 데이터 획득부(310)가 획득하는 수치 데이터들의 분류에 각각 대응하여 수치 데이터를 입력 받고, 연결된 은닉 층으로 전달한다.

각각의 입력 노드들(341a, b, c) 및 은닉 층들을 통하여 병렬적으로 연산 된 결과 값들은 상기 제2 인공 신경망(330)의 결과 값들과 이어 붙여져, 제3 학습부(343)에 이어붙이기 층을 형성한다. 상기 제3 학습부(343) 및 제2 알고리즘 생성부(345)는 이어붙이기 층과 연결되는 복수의 은닉 층을 포함하며, 이들의 학습 결과로부터 성인 신장 예측 알고리즘을 형성한다.

소아의 성인 신장 예측을 위하여, 예측 대상의 수부 방사선 영상 및 수치 데이터들을 데이터 획득부(310) 상에 입력할 수 있다. 입력된 수부 방사선 영상은 제1 인공 신경망(320)을 통하여 분할되어, 제2 인공 신경망(330)에 입력되고, 수치 데이터들은 각각의 입력 노드들(341)을 통하여 제3 인공 신경망(340)에 직접 입력된다. 제2 인공 신경망(330)의 결과 값과 상기 입력 노드들(341)을 통하여 은닉 층으로 전송되고, 연산 된 결과 값들을 결합하여, 상기 성인 신장 예측 알고리즘에 적용될 수 있고, 종래의 소아 수부 방사선 사진을 이용한 성인 신장 예측 또는 성장 곡선을 이용한 성인 신장 예측보다 정확한 성인 신장 예측이 가능하다.

도 7은 소아 수부 방사선 영상을 포함하는 의료 영상을 본 발명의 일 실시예에 따라 인공 신경망을 이용하여 성인 신장 예측 알고리즘에 적용 가능한 이미지로 변환하는 것을 설명하기 위한 도면이다.

도 7을 참조하면, 최초 의료 영상(401)은 촬영 기기의 특성에 따라 크기, 픽셀 간격 및 광도 해석 속성 등이 상이할 수 있다. 이러한 최초 의료 영상(401)들의 픽셀 간격 및 광도 해석 속성을 통일하고, 제로 패딩을 통하여 사이즈를 통일하여 제1 입력 이미지(403)를 생성한다.

상기 제1 입력 이미지는 제1 인공 신경망(410)을 통하여 학습되고, 제1 인공 신경망(410)은 최대 연결 요소(405)를 추출하여 최적 수부 분할 모델을 형성한다.

제1 입력 이미지는 제1 인공 신경망(410)을 통하여 수부가 분할(Segmentation)되고, 최대 연결 요소(405)의 크기에 따라 분할된 영상을 잘라내어 제2 입력 이미지(407)를 형성한다.

도 8은 본 발명의 각 실시예에 따라, 각 분류별 수치 데이터를 포함하였을 때 성인 신장 예측의 오차를 표시하는 표이다.

도 8을 참조하면, 본 발명의 실시예들에 따라 형성된 성인 신장 예측 알고리즘은 수부 방사선 영상만을 사용하였을 때 10.3 cm의 오차를 가지며, 수부 방사선 영상 및 성별을 이용할 때 7.30 cm, 수부 방사선 영상 및 나이를 이용할 때 7.24 cm, 수부 방사선 영상, 나이 및 성별을 이용할 때 6.5 cm의 오차를 가진다. 또한 수부 방사선 영상, 나이, 성별 및 현재 키를 함께 이용할 경우 3.8 cm의 오차를 가져, 종래의 성인 신장 예측 방법들에 비하여 향상된 예측 정확도를 가지는 것을 확인할 수 있었다.

상기에서는 본 발명에 따른 실시예들을 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않는다. 본 발명이 속하는 기술분야의 당업자가 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있으며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속한다.

101 : 제1 입력 이미지 103 : 제2 입력 이미지
110 : 제1 인공 신경망 120 : 제2 인공 신경망
130 : 제3 인공 신경망 131 : 입력 노드
200 : 성인 신장 예측 알고리즘
300 : 성인 신장 예측 시스템
310 : 데이터 획득부 320 : 제1 인공 신경망
321 : 제1 학습부 323 : 수부 분할부
330 : 제2 인공 신경망 331 : 제2 학습부
333 : 제1 알고리즘 생성부 340 : 제3 인공 신경망
341 : 입력 노드 343 : 제3 학습부
345 : 제2 알고리즘 생성부

Claims (13)

1. 복수의 전처리(Annotation) 된 수부 영상을 입력 하여 제1 인공 신경망을 학습하는 단계;
   상기 제1 인공 신경망에 복수의 제1 입력 이미지를 입력하고, 복수의 수부 분할 영상을 획득하는 단계;
   획득한 상기 복수의 수부 분할 영상을 이용하여 상기 제1 인공 신경망을 재학습시키는 단계;
   상기 제1 인공 신경망의 연결 요소(Connected Component) 중 최대 연결 요소를 추출하는 단계;
   상기 복수의 수부 분할 영상을 상기 최대 연결 요소의 크기에 맞추어 잘라낸 복수의 제2 입력 이미지를 생성하는 단계;
   상기 복수의 제2 입력 이미지를 입력 하여 제2 인공 신경망을 학습시키는 단계;
   복수의 분류를 갖는 수치 데이터를 분류에 따라 각각 하나의 은닉층을 갖는 제3 인공 신경망의 입력 노드들에 입력하는 단계;
   상기 제2 인공 신경망이 얻은 결과 값과 상기 은닉 층들의 결과 값을 연결하여 이어붙이기(Concatenation) 층을 생성하는 단계; 및
   상기 제3 인공 신경망의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 단계를 포함하는, 심층 학습을 이용한 성인 신장 예측 방법.
2. 제1항에 있어서,
   상기 복수의 수부 분할 영상을 획득하는 단계 및 상기 제1 인공 신경망을 재학습시키는 단계는 복수 번 반복되는 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 방법.
3. 제1항에 있어서,
   상기 복수의 제1 입력 이미지는 소아의 수부 방사선 영상을 포함하는 의료 영상인 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 방법.
4. 제3항에 있어서,
   상기 복수의 제1 입력 이미지는 광도 해석 속성 및 픽셀 간격을 통일한 의료 영상인 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 방법.
5. 삭제
6. 제1항에 있어서,
   상기 수치 데이터의 분류는 소아의 성별, 나이, 현재 키 중 어느 하나 이상인 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 방법.
7. 복수의 전처리 된 수부 영상 및 복수의 제1 입력 이미지 및 복수의 분류를 갖는 수치 데이터를 획득하는 데이터 획득부;
   상기 복수의 전처리 된 수부 영상 및 상기 복수의 제1 입력 이미지로부터 얻어지는 복수의 수부 분할 영상을 이용하여 학습하는 제1 학습부 및 상기 제1 학습부의 학습 결과에 따라 상기 복수의 제1 입력 이미지를 복수의 제2 입력 이미지로 변환하는 수부 분할부를 포함하는 제1 인공 신경망;
   상기 복수의 제2 입력 이미지를 이용하여 학습하는 제2 학습부 및 상기 제2 학습부의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 제1 알고리즘 생성부를 포함하는 제2 인공 신경망; 및
   상기 복수의 분류를 갖는 수치 데이터들을 분류에 따라 입력 받는 입력 노드들, 상기 입력 노드들과 각각 연결되는 은닉 층들, 제3 학습부, 및 상기 제3 학습부의 학습 결과로부터 성인 신장 예측 알고리즘을 생성하는 제2 알고리즘 생성부를 포함하는 제3 인공 신경망;을 포함하고,
   상기 제3 학습부는 상기 제2 인공 신경망의 결과 값과 상기 은닉 층들의 결과 값을 연결하여 학습하는 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 시스템.
8. 제7항에 있어서,
   상기 복수의 제1 입력 이미지는 소아의 수부 방사선 영상을 포함하는 의료 영상인 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 시스템.
9. 제8항에 있어서,
   상기 데이터 획득부는 상기 의료 영상을 획득하여, 광도 해석 속성 및 픽셀 간격을 통일하여 상기 복수의 제1 입력 이미지로 변환하는 것을 특징으로 하는, 심층 학습을 이용한 성인 신장 예측 시스템.
10. 삭제
11. 제7항에 있어서,
    상기 수치 데이터는 복수의 분류를 갖고,
    상기 입력 노드들은 상기 수치 데이터의 분류에 각각 대응하는 것을 특징으로 하는 심층 학습을 이용한 성인 신장 예측 시스템.
12. 제11항에 있어서,
    상기 수치 데이터의 분류는 소아의 성별, 나이, 현재 키 중 어느 하나 이상인 것을 특징으로 하는 심층 학습을 이용한 성인 신장 예측 시스템.
13. 컴퓨팅 장치를 이용하여 제1항 내지 제4항, 제6항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.

Images