KR102212966B1 - 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템 - Google Patents

Abstract

본 발명은 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 관한 것으로, 인공지능 알고리즘이 기 프로그래밍되어 모듈화된 복수의 인공지능 모듈과, 인공지능 알고리즘의 구성에 적용되는 레이어가 기능별로 모듈화된 복수의 레이어 모듈과, 웹 브라우저를 통해 접속한 사용자 단말에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공하는 학습 모델 설계부와, 상기 학습 모델 설계부에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부를 포함하며; 상기 학습 모델 설계부는 복수의 상기 레이어 모듈의 리스트가 표시된 레이어 리스트 표시창과, 인공지능 설계창을 상기 그래픽 유저 인터페이스에 표시하고, 상기 레이어 리스트 표시창에 표시된 리스트가 상기 인공지능 설계창으로 드래그 앤 드롭되는 경우, 해당 레이어 모듈의 레이어 아이콘을 상기 인공지능 설계창에 표시하고, 상기 인공지능 설계창에 표시된 상기 레이어 아이콘들이 라인 연결되는 경우, 상기 레이어 아이콘들 간의 라인 연결을 데이터 흐름으로 하여 상기 인공지능 모듈을 생성하며, 각각의 상기 레이어 모듈의 예상 실행시간을 해당 레이어 아이콘에 인접하게 상기 인공지능 설계창에 표시하는 것을 특징으로 한다.

Description

개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템{AI-BASED CLOUD PLATFORM SYSTEM FOR DIAGNOSING MEDICAL IMAGE WHERE ESTIMATED RUNTIME OF EACH LAYER ARE DISPLAYED}

본 발명은 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 관한 것으로서, 보다 상세하게는 다수의 사용자가 접속하여 인공지능 기반의 판독 모델의 설계 및 생성을 지원하는 의료영상 판독을 위한 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 관한 것이다.

인공지능(Artificial Intelligence) 기법을 이용한 다양한 알고리즘들이 오랜 기간 동안 개발되어 왔으며, 특히 최근에는 딥러닝(Deep Learning) 알고리즘을 적용하여 빅 데이터를 처리하는 다양한 기법들이 개발되고 있으며, 이를 적용한 성공사례도 점점 늘어나고 있다.

그 동안 의료영상에도 인공지능을 적용하여 임상의사결정에 도움을 받고자 하는 시도가 활발하게 진행되었고, 특히, X-ray, 초음파, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET(Positron Emission Tomography), MRA(Magnetic Resonance Angiography) 등의 진단기기들로부터 획득된 의료영상에 인공지능 알고리즘을 적용하여 임상의사의 의사결정에 도움을 주는 방법이 개발되어 왔다.

인공지능을 통해서 의료영상에 나타난 조직이 정상인지 비정상인지, 종양의 경우 양성인지 음성인지 분류하는 보조진단시스템의 경우, 영상의학과 의사만이 판독하는 경우보다 병변의 검출율이 향상되는 것으로 알려져 있다. 이러한 분류를 위해서 naive bayes, SVM(Support Vector Machine), ANN(Artificial Neural Network), HMM(Hidden Markov Model) 등을 주로 사용하는데, 이들은 병변의 유무를 자동으로 분류(classification)하는 알고리즘들이다.

인공지능 알고리즘으로 기계학습(machine learning) 알고리즘을 사용할 수 있으며, 기계학습은 크게 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)으로 나눌 수 있다. 이러한 기계학습 알고리즘으로 판독모델(또는 예측모델)을 생성하고, 생성된 판독모델을 이용하여 의료영상에 대한 정상/비정상 여부를 추론하는 시스템을 구성하는 것이 가능하며, 근래에는 보다 정확한 진단이 가능한 판독모델의 생성을 위한 연구가 지속되고 있다.

인공지능 알고리즘의 경우, 위에서 설명한 바와 같이, 크게 지도학습과 비지도 학습으로 구분되는데, 지도 학습의 경우에도 분류(Classification), 의사결정 트리(Decision Tree), KNN(K-nearest neighbor), 신경망(Neural network), SVM(Support vector machine) 등이 있으며, 비지도 학습의 경우에도 군집화(Clustering) 등이 있다. 이외에도, 준지도 학습이나 강화 학습(Reinforcement learning) 등도 인공지능 알고리즘으로 알려져 있다.

병변이나 질환의 진단과 같은 의료영상의 판독에 사용되는 인공지능 알고리즘의 경우에도, 분류(Classification algorithm), 오브젝트 검출(Object detection), 세그멘테이션(Segmentation) 등의 알고리즘이 주로 사용되고 있는데, 분류 알고리즘의 경우에도 ResNet, DenseNet, MobileNet 등 다양하게 개발되어 있는 실정이다.

이와 같이 너무나도 다양한 알고리즘 존재로 인해, 인공지능 분야의 전문가, 예를 들어 알고리즘을 직접 코딩하여 학습 모델을 설계할 수 있는 전문가가 아닌 이상, 의료영상의 판독을 위한 학습 모델을 설계하는 것은 쉽지 않은 작업이다.

또한, 의료 영상의 경우 개인정보에 해당하여 이를 쉽게 구할 수 없을 뿐만 아니라, 학습 모델의 판독 정확도를 높일 수 있을 만큼의 의료영상를 확보하는 것 자체도 어려운 일이다.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 다양한 종류의 의료영상을 제공하고, 전처리나 후처리를 위한 이미지 프로세싱 알고리즘, 인공지능 알고리즘을 모듈화하여 제공하면서도, 사용자가 쉽게 인공지능 기반의 학습 모델을 설계할 수 있는 환경을 제공할 수 있는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은 인공지능 알고리즘의 설계에 있어, 인공지능 알고리즘을 구성하는 각각의 레이어의 예상 실행시간에 대한 정보를 제공하여, 인공지능 알고리즘 전체의 실행시간을 예측할 뿐만 아니라, 설계 변경에 따른 실행시간 변화를 예상할 수 있는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템을 제공하는데 또 다른 목적이 있다.

상기 목적은 본 발명에 따라, 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 있어서, 인공지능 알고리즘이 기 프로그래밍되어 모듈화된 복수의 인공지능 모듈과, 인공지능 알고리즘의 구성에 적용되는 레이어가 기능별로 모듈화된 복수의 레이어 모듈과, 웹 브라우저를 통해 접속한 사용자 단말에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공하는 학습 모델 설계부와, 상기 학습 모델 설계부에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부를 포함하며; 상기 학습 모델 설계부는 복수의 상기 레이어 모듈의 리스트가 표시된 레이어 리스트 표시창과, 인공지능 설계창을 상기 그래픽 유저 인터페이스에 표시하고, 상기 레이어 리스트 표시창에 표시된 리스트가 상기 인공지능 설계창으로 드래그 앤 드롭되는 경우, 해당 레이어 모듈의 레이어 아이콘을 상기 인공지능 설계창에 표시하고, 상기 인공지능 설계창에 표시된 상기 레이어 아이콘들이 라인 연결되는 경우, 상기 레이어 아이콘들 간의 라인 연결을 데이터 흐름으로 하여 상기 인공지능 모듈을 생성하며, 각각의 상기 레이어 모듈의 예상 실행시간을 해당 레이어 아이콘에 인접하게 상기 인공지능 설계창에 표시하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 의해서 달성된다.

여기서, 의료영상의 전처리를 수행하도록 기 프로그래밍되어 모듈화된 복수의 이미지 프로세싱 모듈과, 신체 부위, 모달리티의 유형, 판록 대상 질환의 유형, 이미지 차원의 유형 중 적어도 하나에 따라 분류된 복수의 데이터세트가 저장된 데이터세트 저장부를 더 포함하며; 상기 학습 모델 설계부는 복수의 상기 데이터세트, 복수의 상기 이미지 프로세싱 모듈, 복수의 상기 인공지능 모듈의 리스트가 표시된 모듈 리스트 표시창과, 학습 모델 설계창을 상기 그래픽 유저 인터페이스에 표시하고, 상기 모듈 리스트 표시창에 표시된 리스트가 상기 학습 모델 설계창으로 드래그 앤 드롭되는 경우, 상기 학습 모델 설계창에 드래그 앤 드롭에 대응하여 데이터 아이콘 및 모듈 아이콘을 생성하고, 상기 데이터 아이콘과 상기 모듈 아이콘들이 라인 연결되는 경우, 상기 데이터 아이콘과 상기 모듈 아이콘 간의 라인 연결을 데이터의 흐름으로 하여 상기 학습 모델을 생성하며; 상기 판독 모델 생성부는 상기 데이터 아이콘에 대응하는 데이터세트가 상기 학습 모델 설계부에 의해 생성된 상기 학습 모델에 학습시켜 상기 판독 모델을 생성할 수 있다.

또한, 상기 학습 모델 설계부는 상기 데이터 아이콘에 대응하는 데이터세트 내의 이미지 중 기 설정된 개수의 학습 데이터 또는 기 등록된 학습 데이터를 상기 인공지능 설계창을 통해 생성된 인공지능 모델에 학습시켜 각각의 상기 레이어 모듈에 대한 상기 예상 실행시간을 산출할 수 있다.

그리고, 적어도 2 이상의 레이어로 구성되되 상기 인공지능 모듈의 생성을 위해 모듈화된 복수의 레이어 블록을 더 포함하며; 상기 학습 모델 설계부는 상기 레이어 리스트 표시창에 복수의 상기 레이어 블록의 리스트를 표시하고, 상기 레이어 리스트 표시창에 표시된 상기 레이어 모듈의 리스트의 상기 인공지능 설계창으로의 드래그 앤 드롭, 라인 연결을 통해 상기 레이어 블록의 생성을 지원할 수 있다.

그리고, 상기 학습 모델 설계부는 상기 레이어 블록 및 상기 레이어 블록을 구성하는 개별 레이어의 예상 실행시간을 해당 아이콘에 인접하게 표시할 수 있다.

그리고, 상기 학습 모델 설계부는 상기 인공지능 모듈에 대응하는 모듈 아이콘이 선택된 경우, 보기 버튼을 표시하고, 상기 보기 버튼이 선택되는 경우, 상기 레이어 리스트 표시창과 상기 인공지능 설계창을 상기 그래픽 유저 인터페이스에 표시하되, 상기 인공지능 설계창에 해당 인공지능 모듈을 구성하는 레이어 모듈 및/또는 레이어 블록과 라인 연결을 표시하며; 각각의 레이어 모듈 및/또는 레이어 블록에 인접하게 해당 예상 실행시간을 표시할 수 있다.

상기와 같은 구성에 따라, 본 발명에 따르면, 다양한 종류의 의료영상을 제공하고, 전처리나 후처리를 위한 이미지 프로세싱 알고리즘, 인공지능 알고리즘을 모듈화하여 제공하면서도, 사용자가 쉽게 인공지능 기반의 학습 모델을 설계할 수 있는 환경을 제공할 수 있는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템이 제공된다.

또한, 본 발명에 따르면, 인공지능 모델을 구성하는 각각의 개별 레이어, 레이어 모듈 및 레이어 블록의 예상 실행시간을 산출하고 해당 정보를 각각의 레이어에 표시해 줌으로써, 사용자가 인공지능 알고리즘 전체의 실행시간을 예측할 뿐만 아니라, 설계 변경에 따른 실행시간 변화를 설계 과정에서 확인할 수 있어, 인공지능 알고리즘의 설계에 반영할 수 있는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템이 제공된다.

도 1 및 도 2는 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템의 구성을 설명하기 위한 도면이고,
도 3 내지 도 24는 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템이 제공하는 그래픽 유저 인터페이스를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템(100)의 활용 구조를 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템(100)의 구성의 예를 나타낸 도면이다.

도 1을 참조하여 설명하면, 본 발명의 실시예에 따른 인공지능 기반의 클라우드 플랫폼 시스템(100)(이하, '클라우드 플랫폼 시스템(100)'이라 함)에는 다수의 사용자 단말(300)이 통신망(500)을 통해 접속하고, 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)이 제공하는 학습 모델의 설계와, 판독 모델의 생성을 위한 그래픽 유저 인터페이스를 이용하여 판독 모델을 생성하게 된다.

본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)은, 도 2에 도시된 바와 같이, 복수의 데이터세트(111)가 저장된 데이터세트 저장부(110), 복수의 이미지 프로세싱 모듈(121), 복수의 인공지능 모듈(131), 모델 학습부(140) 및 의료영상 판독부(150)를 포함한다. 여기서, 이미지 프로세싱 모듈(121)은 제1 모듈 저장부(120)에 저장되고, 인공지능 모듈(131)은 제2 모듈 저장부(130)에 저장되는 것을 예로 하는데, 제1 모듈 저장부(120) 및 제2 모듈 저장부(130)가 물리적으로 분리된 스토리지를 의미하지 않음은 물론이다.

데이터세트 저장부(110)에 저장된 복수의 데이터세트(111)는 신체 부위, 모달리티(Modality)의 유형, 판독대상 질환의 유형, 이미지 차원의 유형 중 적어도 하나에 따라 분류된다.

신체 부위는 학습이나 판독 대상인 신체 부위로, 복부(Abdomen), 뇌(Brain), 머리(Head), 목(Neck), 척추(Spine), 유방(Breast), 흉부(Chest), 부인과(Gynecology) 부위, 비뇨기과(Urology) 부위, 심장(Heart), 혈관(Vessel), 근골격계(Musculoskeletal system) 등을 포함할 수 있다.

모달리티의 유형으로는, CT, MRI, MRA, X-Ray, 초음파, PET 등을 포함할 수 있으며, 판독대상 질환의 유형은 종양, 척추측만증, 폐렴, 당뇨망막변증 등 의료영상을 이용하여 판독 가능한 다양한 질환, 병변을 포함할 수 있다. 그리고, 이미지 차원의 유형은 2D 이미지와 3D 이미지를 포함할 수 있다.

상기와 같은 분류 기준에 따라 분류된 다수의 의료영상이 하나의 데이터세트(111)를 구성하게 되며, 사용자는 하나의 데이터세트(111)를 이용하여 학습을 진행할 수 있다.

이미지 프로세싱 모듈(121)은 의료 영상의 전처리를 수행하도록 기 프로그래밍되어 모듈화된다. 이미지 프로세싱 모듈(121)은 컬러 이미지의 전처리를 위한 모듈, 그레이 스케일 이미지의 전처리를 위한 모듈, 바이너리 이미지의 전처리를 위한 모듈, 그리고 그 외의 모듈로 구분될 수 있는데, 이에 대한 상세한 설명은 후술한다.

인공지능 모듈(131)은 인공지능 알고리즘이 기 프로그래밍되어 모듈화된다. 본 발명에서는 인공지능 모듈(131)이 딥러닝(Deep learning) 기반의 신경망(Neural network) 알고리즘이 모듈화되어 인공지능 모듈(131)을 구성하는 것을 예로 하며, 이에 대한 구체적인 설명은 후술한다.

모델 학습부(140)는 학습 모델의 설계를 지원하는 학습 모델 설계부(141)와, 학습 모델 설계부(141)에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부(142)를 포함한다.

본 발명에서는 설명의 편의를 위해 '학습 모델'과 '판독 모델'로 구분하여 설명하는데, 학습 모델은 사용자가 본 발명에 따른 클라우드 플랫폼 시스템(100)이 제공하는 그래픽 유저 인터페이스를 통해 모델을 설계하는 과정에서의 모델을 의미하고, 실제 학습이 이루어지기 전단의 설계 과정에 있는 상태를 정의하며, 판독 모델은 설계된 학습 모델을 데이터세트(111)를 이용하여 학습시킨 이후의 모델, 가중치(Weight value) 등의 파라미터가 업데이트된 상태를 정의한다.

학습 모델 설계부(141)는 웹 브라우저를 통해 접속한 사용자 단말(300)에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공한다. 그리고, 상술한 바와 같이, 판독 모델 생성부(142)는 학습 모델 설계부(141)에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성한다.

여기서, 학습 모델 설계부(141)는 학습 모델의 설계에 있어, 데이터세트(111), 이미지 프로세싱 모듈(121), 인공지능 모듈(131)의 선택, 드래그 앤 드랍, 모듈 간의 라인 연결을 통해 학습 모델을 설계할 수 있는 그래픽 유저 인터페이스를 제공하게 되는데, 이를 통해 사용자는 데이터세트(111), 모듈화된 이미지 프로세싱 알고리즘과 인공지능 알고리즘을 드래그 앤 드롭 방식과 같은 간단한 조작 만으로 보다 쉽게 학습 모델을 설계하고, 판독 모델을 생성할 수 있게 된다.

이하에서는, 도 3 내지 도 24를 참조하여 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)이 제공하는 그래픽 유저 인터페이스를 이용하여, 학습 모델의 설계 및 판독 모델의 생성을 위한 신규 프로젝트의 생성 과정에 대해 설명한다. 여기서, 신규 프로젝트 생성 과정은 학습 모델 설계부(141)에 의해 진행된다.

먼저, 사용자가 사용자 단말(300)을 통해 클라우드 플랫폼 시스템(100)이 제공하는 웹 사이트에 접속하면, 도 3에 도시된 바와 같은 메인 화면이 사용자 단말(300)의 화면 상에 표시된다.

그런 다음, 사용자가 자신의 아이디 및 패스워드를 통해 로그인(도 3에서 우측 상단)한 후, 마이 페이지 메뉴를 클릭하면, 마이 페이지 화면이 사용자 단말(300)의 화면 상에 표시된다.

도 4는 본 발명에 따른 클라우드 플랫폼 시스템(100)이 제공하는 마이 페이지 화면의 예를 나타낸 도면이다. 도 4를 참조하여 설명하면, 본 발명의 실시예에 따른 마이 페이지 화면은 마이 페이지 메뉴 창(41), 프로젝트 현황 창(42), 및 마이 프로젝트 목록 창(43)을 포함할 수 있다.

마이 페이지 메뉴 창(41)은 마이 프로젝트(My Projects)와 공유 프로젝트(Shared Projects)로 구성된 프로젝트 메뉴(Project), 데이터 세트 메뉴(Dataset), 모듈 메뉴(Modules)를 포함할 수 있으며, Q&A 메뉴(My Q&A)와 마이 프로파일 메뉴(My Profile)가 부가될 수 있다.

마이 프로젝트를 클릭하면, 도 4에 도시된 바와 같은 화면이 표시되고, 공유 프로젝트를 클릭하면, 도 5에 도시된 바와 같이, 다른 사용자가 생성한 프로젝트 중 공유로 설정된 프로젝트의 리스트들이 화면상에 표시된다.

마찬가지로, 데이터 세트 메뉴가 클릭되면, 현재 클라우드 플랫폼 시스템(100)이 보유하고 있는 데이터 세트의 리스트가 도 5에 도시된 바와 같은 형태로 마이 페이지 메뉴 창(41) 우측에 표시되고, 해당 데이터 세트를 클릭하는 경우 상세 정보의 확인이 가능하도록 마련될 수 있다. 여기서, 클라우드 플랫폼 시스템(100)이 보유하고 있는 데이터 세트는 모듈러 화면 상의 데이터 세트 리스트에 표시되는데, 이에 대한 설명은 후술한다.

모듈 메뉴는 이미지 프로세싱 항목(Image processing)과 신경망 항목(Neural Network)을 포함할 수 있다. 이미지 프로세싱 항목을 클릭하면, 현재 클라우드 플랫폼 시스템(100)이 보유하고 있는 이미지 프로세싱 모듈(121)의 리스트가, 도 5에 도시된 바와 같은 형태로 마이 페이지 메뉴 창(41)의 우측에 표시될 수 있다. 마찬가지로, 신경망 항목을 클릭하면, 클라우드 플랫폼 시스템(100)이 보유하고 있는 인공지능 모듈(131)의 리스트가, 도 5에 도시된 바와 같은 형태로 마이 페이지 메뉴 창(41)의 우측에 표시될 수 있다. 여기서, 클라우드 플랫폼 시스템(100)이 보유하고 있는 이미지 프로세싱 모듈(121)과 인공지능 모듈(131)은 후술할 모듈러 화면 상의 모듈 리스트 표시창(91)에 표시되는데, 이에 대한 설명은 후술한다.

다시, 도 4를 참조하여 설명하면, 마이 프로젝트 화면 상의 프로젝트 현황 창(42)에는 현재 로그인한 사용자의 프로젝트 현황, 리소스 현황, 프로젝트 별 공지 사항, 현재 클라우드 플랫폼 시스템(100)에 등록된 전체 프로젝트의 현황에 대한 정보, 현재 사용자의 프로젝트 수행 히스토리에 대한 정보 등이 표시될 수 있다.

그리고, 마이 프로젝트 목록 창(43)에는 현재 로그인한 사용자가 수행한 프로젝트의 리스트가 표시되는데, 도 4에서는 하나의 프로젝트가 수행된 예를 나타내고 있다.

여기서, 마이 프로젝트 목록 창(43)에서 '+Create' 항목을 클릭하게 되면, 신규 프로젝트로 생성될 판독 모델의 속성 정보를 입력하기 위한 속성 입력창이 그래픽 유저 인터페이스에 표시된다.

먼저, 신규 프로젝트를 생성하기 위해 '+Create' 항목을 클릭하게 되면, 도 6에 도시된 바와 같은 프로젝트 기본정보 입력 팝업창이 속성 입력창으로 사용자 단말(300)의 화면 상에 표시된다.

프로젝트 기본정보 입력 팝업창에는 프로젝트 이름(Name)의 입력, 신체 부위(Body Part)의 선택, 모달리티 유형(Modality)의 선택, 프로젝트 요약(Summary), 프로젝트 종료일(Due date)의 입력, 커버 이미지(Cover Image) 선택을 위한 항목들이 표시될 수 있으며, 여기서, 신체 부위, 모달리티 유형이 신규 프로젝트로 생성될 판독 모델의 속성 정보에 포함된다.

프로젝트 기본정보 입력 팝업창을 이용하여 속성 정보를 입력한 후, 다음 버튼(Next)을 클릭하면, 도 7에 도시된 바와 같이, 인공지능 모델의 유형을 선택하기 위한 모델 유형 선택 팝업창이 속성 입력창으로 그래픽 유저 인터페이스 화면에 표시된다.

본 발명에서는 인공지능 모델의 유형으로, 도 7에 도시된 바와 같이, 분류(Classification) 모델, 오브젝트 검출(Object detection) 모델, 및 세그멘테이션(Segmentation) 모델을 포함하는 것을 예로 하고 있으나, 이에 국한되지 않음은 물론이다. 여기서, 도 7에 도시된 모델 유형 선택 팝업창에서는 인공지능 모델 중 하나 또는 2이상을 선택할 수 있도록 마련되는 것을 예로 한다.

인공지능 모델의 유형의 선택 후, 다음 버튼(Next)을 클릭하게 되면, 도 8에 도시된 바와 같이, 2차원 및 3차원을 포함한 학습 대상 데이터세트(111)의 유형을 선택하기 위한 데이터 유형 선택 팝업창이 속성 입력창으로 그래픽 유저 인터페이스에 표시된다. 여기서, 2차원 또는 3차원 이미지 데이터세트(111)가 선택적으로, 또는 둘다 선택이 가능함은 물론이다.

상기와 같은 과정을 통해, 인공지능 모델의 유형과, 2차원 또는 3차원 데이터세트(111)가 선택되면, 인공지능 모델의 유형과 데이터세트(111)의 유형은 상술한 속성 정보로 등록된다.

속성 정보의 등록 과정이 완료되면, 학습 모델 설계부(141)는, 도 9에 도시된 바와 같이, 모듈러 화면을 그래픽 유저 인터페이스에 표시한다.

모듈러 화면은 모듈 리스트 표시창(91), 학습 모델 설계창(92), 정보 표시창(93)을 포함할 수 있다.

모듈 리스트 표시창(91)에는 복수의 데이터세트(111)의 리스트, 복수의 이미지 프로세싱 모듈(121)의 리스트, 그리고 복수의 인공지능 모델의 리스트가 표시된다.

여기서, 본 발명에서는 학습 모델 설계부(141)가 모듈 리스트 표시창(91)에 리스트를 표시할 때, 상술한 바와 같이 속성 입력창을 통해 입력한 송성 정보와 매칭되는 데이터세트(111), 이미지 프로세싱 모듈(121) 및 인공지능 모듈(131)의 리스트만을 표시할 수 있다. 이를 통해, 인공지능 분야에 지식이 부족한 사용자의 경우, 자신이 설계 및 생성하고자 하는 판독 모델과 속성 정보가 매칭되는 모듈 만이 리스트에 표출되어 보다 쉽게 접근이 가능하게 된다.

도 10의 (a)는 속성 정보와 매칭되는 리스트만이 표시된 모듈 리스트 표시창(91)의 예를 나타낸 도면이고, 도 10의 (b)는 리스트 전체가 표시된 모듈 리스트 표시창(91)의 예를 나타낸 도면이다. 도 10은 데이터세트(111)의 리스트의 예를 나타내고 있다.

도 10을 참조하여 설명하면, 본 발명에 따른 모듈 리스트 표시창(91)에는 전체 리스트 선택 항목(ALL)과, 추천 리스트 선택 항목(Recommend)이 마련될 수 있으며, 전체 리스트 선택 항목(ALL)을 클릭하면, 도 10의 (b)에 도시된 바와 같이, 데이터세트(111)의 전체 리스트가 표시되고, 추전 리스트 선택 항목(Recommend)을 클릭하면, 도 10의 (a)에 도시된 바와 같이, 추천 리스트, 즉 사전에 등록한 속성 정보와 매칭되는 데이터세트(111)의 리스트만이 표시된다.

한편, 모듈 리스트 표시창(91)에는 데이터세트 선택 항목(91a), 이미지 프로세싱 선택 항목(91b) 및 인공지능 선택 항목(91c)이 마련될 수 있으며, 학습 모델 설계부(141)는 데이터세트 선택 항목(91a)이 클릭되면, 데이터세트(111)의 리스트를 모듈 리스트 표시창(91)에 표시할 수 있다(도 10 참조).

마찬가지로, 학습 모델 설계부(141)는 이미지 프로세싱 선택 항목(91b)이 선택이 클릭되면, 이미징 프로세싱 모듈의 리스트를 모듈 리스트 표시창(91)에 표시하게 되는데, 이 때, 데이터세트(111)에서와 동일하게, 전체 리스트 선택 항목(ALL)과 추전 리스트 선택 항목(Recommend)의 선택을 통해, 전체 리스트 또는 매칭되는 추천 리스트를 표시할 수 있다.

그리고, 학습 모델 설계부(141)는 인공지능 선택 항목(91c)이 클릭되면, 인공지능 모듈(131)의 리스트를 모듈 리스트 표시창(91)에 표시하게 되고, 동일하게, 전체 리스트 선택 항목(ALL)과 추전 리스트 선택 항목(Recommend)의 선택을 통해, 전체 리스트 또는 매칭되는 추천 리스트를 표시할 수 있다.

한편, 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)은, 도 2에 도시된 바와 같이, 기 생성된 판독 모델과 기 설계된 학습 모델이 저장된 모델 저장부(160)를 포함할 수 있다.

여기서, 모델 저장부(160)에 저장된 판독 모델 또는 학습 모델은 본 발명에 따른 클라우드 플랫폼 시스템(100)을 이용한 사용자가 자신이 설계한 학습 모델이나 생성한 판독 모델을 공유로 하여 등록한 것으로, 공유를 통해 다른 사용자가 접근이 가능하게 된다.

여기서, 학습 모델 설계부(141)는 속성 입력창을 통해 입력된 속성 정보와 매칭되는 판독 모델 또는 학습 모델을 모델 저장부(160)로부터 검색하고, 기 설정된 개수의 매칭되는 학습 모델 또는 판독 모델의 리스트가 표시된 추천 모델 리스트 창을 그래픽 유저 인터페이스에 표시할 수 있다. 본 발명에서는 추천 모델 리스트 창이 속성 입력창를 통한 속성 정보의 입력 후 모델러 화면으로 전환되기 전에 팝업 창 형태로 표시되는 것을 예로 하며, 사용자가 추천 모델 리스트 창에 추천된 모델 중 어느 하나를 클릭하면 해당 학습 모델 또는 판독 모델이 모델러 화면에 표시되어, 이를 기반으로 수정을 통해 새로운 학습 모델의 설계가 가능하게 된다.

도 11은 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)에서 모듈 리스트 표시창(91)에 이미지 프로세싱 모듈(121)의 리스트가 표시된 예를 나타낸 도면이다. 본 발명에서는 모듈 리스트 표시창(91)에 표시되는 이미지 프로세싱 모듈(121)의 리스트가 복수의 전처리 기능별 그룹으로 구분되어 표시되는 것을 예로 한다.

여기서, 전처리 기능별 그룹은 컬러 전처리 그룹(Color), 그레이 스케일 전처리 그룹(Grayscale), 바이너리 전처리 그룹(Binary)을 포함할 수 있다. 또한 전처리 기능별 그룹은 일반 전처리 그룹(General)을 포함할 수 있다.

컬러 전처리 그룹에는 8비트 이상의 컬러 이미지에서 동작하는 이미지 프로세싱 모듈(121)들의 리스트가 표시될 수 있다.

컬러 전처리 그룹에 속하는 이미지 프로세싱 모듈(121)은 컬러 모드 컨버팅 모듈, 컬러 투 그레이스케일 모듈, 컬러용 감마 보정 모듈, 컬러용 히스토그램 평활화 모듈을 포함할 수 있다.

컬러 모드 컨버팅 모듈은 다양한 컬러 스페이스 간을 변환해주는 모듈이고, 컬러 투 그레이스케일 모듈은 컬러 이미지를 그레이스케일 이미지로 변환해주는 모듈이고, 컬러용 감마 보정 모듈은 컬러 이미지의 감마 보정을 수행하는 모듈이며, 컬러용 히스토그램 평활화 모듈은 컬러 이미지의 히스토그램을 평활화시키는 모듈이다.

그레이 스케일 전처리 모듈은 그레이스케일용 감마 보정 모듈, 그레이스케일용 히스토그램 평활화 모듈, 형태학적(Morphological) 변환 모듈, 문턱치(Threshold) 변환 모듈을 포함할 수 있다.

감마 보정 모듈과 그레이스케일용 히스토그램 평활화 모듈은 각각 그레이스케일 이미지의 감마 보정 및 히스토그램 평활화를 수행하며, 형태학적(Morphological) 변환 모듈은 그레이스케일 이미지의 형태학적인 변환을 수행하는 모듈이고, 문턱치(Threshold) 변환 모듈은 그레이스케일 이미지를 흑과 백 두가지 값만 가지도록 이진화를 수행하는 모듈이다.

바이너리 전처리 모듈은 윤곽선(Contour) 검출 모듈, 블록 껍질(Convex hull) 모듈, 바이너리 이미지용 형태학적(Morphological) 변환 모듈, 골격화(Skeletonize) 모듈을 포함할 수 있다.

윤곽선(Contour) 검출 모듈은 동일한 픽셀 값을 갖는 픽셀들을 연결시켜 윤곽선을 검출하는 모듈이고, 블록 껍질(Convex hull) 모듈은 이미지 내의 모든 힌색 픽셀 값을 포함하는 가장 작은 마스크를 생성해주는 모듈이고, 골격화(Skeletonize) 모듈은 이미지의 골격만을 남도록 만들어주는 모듈이다.

일반 전처리 그룹(General)은 컬러 이미지, 그레이스케일 이미지 또는 바이너리 이미지에만 적용되는 상술한 이미지 프로세싱 모듈(121)을 제외한 나머지의 리스트를 포함한다.

도 11에 도시된 예에서와 같이, 일반 전처리 그룹(General)은 비트 감소 모듈(Bit Reduction), 엣지 검출 모듈(Edge Detection), 반전 모듈(Invert), 리샘플링 모듈(Resample), 리스케일링 모듈(Rescaling), 리사이징 모듈(Resize), 샤프닝 모듈(Sharpening), 스무딩 모듈(Smooding), 제로-패닝 모듈(Zero-padding) 모듈을 포함할 수 있다.

비트 감소 모듈(Bit Reduction)은 이미지 표현에 사용되는 색상의 비트 값을 줄이는 과정으로 이미지를 8 비트 정수 형태로 변환시켜주는 모듈이고, 엣지 검출 모듈(Edge detection)은 이미지의 엣지를 찾아 이진화 시켜주는 모듈이고, 반전 모듈(Invert)은 이미지의 픽셀 값을 반전시켜주는 모듈이고, 리샘플링 모듈(Resample)은 픽셀간 거리의 정보를 사용하여 이미지의 크기를 조정하는 모듈이고, 리스케일링 모듈(Rescaling)은 이미지 샘플 영역, 예컨대, 프로파일 또는 전체 영상에 위치하는 픽셀 값의 범위를 변경하는 모듈이고, 리사이징 모듈(Resize)은 이미지의 크기를 확대 또는 축소시키는 모듈이고, 샤프닝 모듈(Sharpening)은 이미지의 엣지를 강조하는 효과를 주는 모듈이고, 스무딩 모듈(Smoothing)은 이미지에 흐림 효과를 주어 번지게 하는 모듈이고, 제로-패딩 모듈(Zero-padding)은 원본 이미지에 0인 값으로 이루어진 정사각형 모양을 붙이는 모듈이다.

상기와 같이, 학습 모델의 설계에 있어 원본 의료영상의 전처리 과정에 필요한 이미지 프로세싱 알고리즘들을 모듈화하고, 이를 전처리 기능에 따라 그룹화하여 리스트를 제공함으로써, 사용자가 보다 쉽게 자신이 설계하고자 하는 학습 모델에 적합한 이미지 프로세싱 알고리즘을 찾을 수 있게 된다.

도 12는 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)에서 모듈 리스트 표시창(91)에 인공지능 모듈(131)의 리스트가 표시된 예를 나타낸 도면이다. 본 발명에서는 모듈 리스트 표시창(91)에 표시되는 인공지능 모듈(131)의 리스트가 인공지능 기능별 그룹으로 구분되어 표시되는 것을 예로 한다.

인공지능 기능별 그룹은 2차원 분류 그룹(Classification 2D), 3차원 분류 그룹(Classification 3D), 2차원 검출 그룹(Object Detection 2D), 3차원 검출 그룹(Object Detection 3D), 2차원 세그멘테이션 그룹(Segmentation 2D), 3차원 세그멘테이션 그룹(Segmentation 3D)을 포함하는 것을 예로 한다.

2차원 분류 그룹(Classification 2D)은 2차원 이미지의 분류(Classification)를 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 3차원 분류 그룹(Classification 3D)은 3차원 이미지의 분류(Classification)를 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 2차원 검출 그룹(Object Detection 2D)은 2차원 이미지의 오브젝트 검출(Object detection)을 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 3차원 오브젝트 검출 그룹(Object Detection 3D)은 3차원 이미지의 오브젝트 검출(Object detection)을 수행하는 인공지능 모듈(131)들의 리스트가 표시되고, 2차원 세그멘테이션 그룹(Segmentation 2D)은 2차원 이미지의 세그멘테이션(Segmentation)을 수행하는 인공지능 모듈(131)들의 리스트가 표시되며, 3차원 세그멘테이션 그룹(Segmentation 3D)은 3차원 이미지의 세그멘테이션(Segmentation)을 수행하는 인공지능 모듈(131)들의 리스트가 표시된다.

이미지의 분류(Classification)를 수행하는 인공지능 알고리즘으로는 DensNet, ResNet, MobileNet 알고리즘이 널리 알려져 있으며, 오브젝트 검출(Object Detection)을 수행하는 인공지능 알고리즘으로는 YOLO, SSD, Retinanet 알고리즘이 알려져 있고, 세그멘테이션(Segmentation)을 수행하는 인공지능 알고리즘으로는 DeepLab, U-net 알고리즘이 널리 알려져있다.

상기와 같은 알고리즘을 이용하여 설계되는 인공지능 알고리즘이 모듈화되어 인공지능 모듈(131)로 저장되고, 사용자는 모듈 리스트 표시창(91)에 표시된 인공지능 모듈(131)을 선택하여 학습 모델을 설계함으로써, 보다 쉬운 설계가 가능하게 된다.

여기서, 본 발명의 실시예에 따른 모듈러 화면에는, 도 9에 도시된 바와 같이, 정보 표시창(93)이 마련되는데, 학습 모델 설계부(141)는 정보 표시창(93)을 통해 다양한 정보를 제공하게 된다.

학습 모델 설계부(141)는 사용자가 모델 리스트 표시창에 표시된 데이터세트(111), 이미지 프로세싱 모듈(121), 인공지능 모듈(131) 중 어느 하나를 선택하면, 정보 표시창(93)에 해당 데이터세트(111) 또는 모듈에 대한 정보를 표시할 수 있다.

도 13에서는 이미지 프로세싱 모듈(121) 중 엣지 검출 모듈이 선택된 경우에 정보 표시창(93)에 표시된 정보의 예를 나타내고 있다. 이미지 프로세싱 모듈(121)에 대한 정보로는 도 13에 도시된 바와 같이, 해당 이미지 프로세싱 모듈(121)의 처리 이전과 이후의 이미지가 표시되고, 해당 이미지 프로세싱 모듈(121)의 간략한 정보가 하단에 표시되는 것을 예로 한다. 그리고, 더 많은 정보의 제공을 위해 상세 정보 버튼(More)을 클릭하게 되면, 도 14에 도시된 바와 같이, 해당 이미지 프로세싱 모듈(121)에 대한 보다 상세한 정보가 제공될 수 있다.

마찬가지로, 인공지능 모듈(131) 중 어느 하나가 선택되면, 해당 인공지능 모듈(131)의 기능, 주요 용도, 층(Layer) 구조 등에 대한 설명과, 상세 정보 버튼(More)의 클릭을 통한 보다 상세한 정보가 제공될 수 있다.

이하에서는 모듈러 화면을 통해 학습 모델을 설계하는 과정에 대해 설명한다.

사용자가 모듈 리스트 표시창(91)에 표시된 리스트 중 하나를 선택하여 학습 모델 설계창(92)으로 드래그 앤 드롭시키게 되면, 학습 모델 설계창(92)에 드래그 앤 드롭에 대응하여 모듈 아이콘(또는 데이터세트(111) 아이콘)이 생성된다.

도 15는 학습 모델 설계창(92)에 하나의 데이터세트(111), 2개의 이미지 프로세싱 모듈(121), 하나의 인공지능 모듈(131)이 드래그 앤 드롭되어, 데이터세트(111) 아이콘 및 모듈 아이콘이 표시된 상태의 예를 나타내고 있다.

그리고, 사용자가 마우스 커서를 이용하여, 데이터세트(111) 아이콘, 모듈 아이콘들을 라인 연결시키게 되면, 학습 모델 설계부(141)가 아이콘 간의 라인 연결을 데이터 흐름으로 하여 학습 모델을 생성하게 된다.

도 16은 학습 모델 설계창(92)에 표시된 아이콘들 간에 라인이 연결된 상태를 나타내고 있으며, 학습 모델 설계부(141)는 마우스 커서가 아이콘 위에 위치할 때 라인 연결이 가능한 상태임을 표시하고, 마우스 커서를 이동시켜 다른 아이콘으로 움직이면 두 아이콘 간이 커서의 움직임 방향으로 데이터의 흐름으로 인식하면서 화살표 형태의 라인 연결을 표시하게 된다.

상기와 같이, 드래그 앤 드롭과 아이콘 간의 라인 연결과 같은 간단한 동작 만으로 학습 모델의 설계가 가능하게 되어, 인공지능 분야에 대한 지식이 부족하더라도 보다 쉽게 학습 모델의 설계가 가능하게 된다.

한편, 본 발명의 실시예에 따른 클라우드 플랫폼 시스템(100)은, 도 2에 도시된 바와 같이, 복수의 레이어 모듈을 더 포함할 수 있다. 레이어 모듈은 인공지능 알고리즘의 구성에 적용되는 레이어가 기능별로 모듈화되어 저장되는데, 레이어 저장부(170)에 저장된다.

인공지능 알고리즘은 다수의 레이어의 네트워크 구조로 형성되는데, 인공지능 알고리즘을 구성하기 위한 레이어는 코어 레이어(Core layer), 컨벌루션 레이어(Convolution layer), 풀링 레이어(Pooling Layer), 머지 레이어(Merge layer), 정규화 레이어(Normalization layer)를 포함한다.

여기서, 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 인공지능 모델의 아이콘이 선택되면, 도 17에 도시된 바와 같이, 해당 아이콘과 관련된 기능의 수행을 위한 버튼들이 표시된다. 17a는 개별 실행 버튼(17a)으로 이에 대한 설명은 후술하고, 17b는 해당 인공지능 모델의 설계 구조를 확인 및 수정하기 위한 레이어 진입 버튼(17b)이고, 17c는 해당 아이콘을 삭제하기 위한 삭제 버튼(17c)이다.

레이어 진입 버튼(17b)이 클릭되면, 학습 모델 설계부(141)는 도 18a에 도시된 바와 같이, 레이어 모듈의 리스트가 표시된 레이어 리스트 표시창(18a)과, 인공지능 설계창(18b)을 그래픽 유저 인터페이스에 표시하게 된다.

또한, 학습 모델 설계부(141)는 전술한 모듈러 화면에서와 같이, 레이어 리스트 표시창(18a)에 표시된 레이어 모듈 또는 레이어 블록이 선택되면, 해당 레이어 모듈 또는 레이어 블록에 대한 정보가 표시되는 레이어 정보 표시창(18c)를 그래픽 유저 인터페이스에 표시할 수 있다. 여기서, 레이어 정보 표시창(18c)는 파라미터 정보가 표시될 수 있는데, 본 발명에서는 파라이터의 수정이 가능하게 마련되는 것을 예로 한다.

한편, 본 발명의 실시예에 따른 학습 모델 설계부(141)는, 도 18b에 도시된 바와 같이, 각각의 레이어 모듈의 예상 실행시간을 해당 레이어 아이콘에 인접하게 인공지능 설계창(18b)에 표시할 수 있다.

도 18b에서는 레이어 아이콘의 우측에 각 레이어 모듈의 예상 실행시간이 표시되는 것을 예로 하고 있으나, 인공지능 모듈의 구조 설계에 따라, 레이어 아이콘의 우측, 하단, 상단 중 어느 한 곳에 표시될 수 있음은 물론이다.

학습 모델 설계부(141)는 도 17에 도시된 데이터 아이콘에 대응하는 데이터세트 내의 이미지 중 기 설정된 개수의 학습 데이터, 예컨대, 하나 또는 N개의 학습 데이터를 추출하여 인공지능 설계창(18b)을 통해 생성되는 인공지능 모델에 학습시켜 각각의 레이어 모듈에 대한 예상 실행시간을 산출하여 표시할 수 있다.

즉, 데이터세트의 모든 학습 데이터를 예상 실행시간의 산출에 사용하는 것은 인공지능 모델을 실제 학습시키는 것에 해당하므로, 예상 실행시간의 산출이 정확하지만 많은 시간이 소요된다. 이에, 데이터세트의 학습 데이터 중 추출한 몇 개의 학습 데이터를 이용하여 실행시킨 후, 해당 개수에서의 실행시간을 이용하여 데이터세트의 전체 학습 데이터에 대한 실행시간, 즉 예상 실행시간을 산출할 수 있게 된다. 다른 방법으로, 예상 실행시간의 산출을 위해 기 등록되어 있는 학습 데이터의 이용이 가능할 것이다.

한편, 레이어 리스트 표시창(18a)에는 복수의 레이어의 리스트가 상술한 그룹별로 분리되어 표시된다. 도 19에 도시된 바와 같이, 레이어 리스트 표시창(18a)의 상단에 위치한 아이콘 버튼을 클릭하면, 각각의 그룹에 해당하는 리스트가 레이어 리스트 표시창(18a)에 표시된다.

여기서, 사용자가 레이어 모듈의 리스트 중 어느 하나를 선택하여, 드래그 앤 드롭을 통해 인공지능 설계창(18b)으로 이동시키게 되면, 학습 모델 설계부(141)는 해당 레이어 모듈의 아이콘을 인공지능 설계창(18b)에 표시하게 된다.

그리고, 학습 모델의 설계에서와 마찬가지로, 인공지능 설계창(18b)에 표시된 레이어 아이콘들을 라인 연결시키면, 학습 모델 설계부(141)가 레이어 아이콘들 간의 라인 연결을 데이터의 흐름으로 하여 인공지능 모듈(131)을 생성하게 된다.

사용자는 레이어 리스트 표시창(18a)과 인공지능 설계창(18b)을 이용하여, 자신이 직접 설계한 인공지능 모듈(131)을 생성할 수 있고, 이를 공유하는 경우 다른 사용자가 이를 활용할 수 있다. 또한, 자신도 또 다른 학습 모델을 설계할 때, 기존에 생성해두었던 인공지능 모듈(131)을 재사용할 수 있고, 타인이 설계한 인공지능 모듈(131)을 사용할 수 있는 등, 다양한 인공지능 모듈(131)의 생산, 공유 및 재사용이 가능하게 된다.

또한, 본 발명에 따른 클라우드 플랫폼 시스템(100)은 적어도 2 이상의 레이어로 구성되되 인공지능 모듈(131)의 생성을 위해 모듈화된 복수의 레이어 블록을 더 포함할 수 있다.

여기서, 학습 모델 설계부(141)는 레이어 리스트 표시창(18a)에 레이어 블록의 리스트도 함께 표시할 수 있으며, 레이어 리스트 표시창(18a)에 표시된 레이어 모듈의 리스트의 인공지능 설계창(18b)으로의 드래그 앤 드롭, 라인 연결을 통해 레이어 블록의 생성을 지원할 수 있다.

또한, 레이어 블록은 다수의 레이어 모듈과 다수의 레이어 블록의 드래그 앤 드롭, 라인 연결을 통해 생성될 수 있다. 즉, 레이어 모듈의 네트워크 구조의 설계로 레이어 블록의 모듈화가 가능하고, 레이어 모듈과 레이어 블록의 네트워크 구조의 설계로 레이어 블록의 설계가 가능하고, 레이어 모듈 및 레이어 블록의 네트워크 구조의 설계로 인공지능 모델의 설계 및 제작이 가능한 구조가 된다.

이와 같은 설계 구조는 최종적인 인공지능 모듈(131)의 설계 구조를 시각적으로 간소하게 확인하는 것이 가능하며, 세부 구조를 찾아 들어가는 형태로 구조의 파악이 가능하게 되며, 네트워크 구조, 즉 레이어 모듈, 레이어 블록 및 라인 연결 구조를 쉽게 이해할 수 있다.

즉, 도 17에 도시된 학습 모델의 네트워크 구조에서 인공지능 모델의 세부 네트워크 구조는, 도 18a에 도시된 바와 같다. 그리고 도 18a에 도시된 레이어 블록인 '#2 Blackbone_DenseNet121'은 도 20에 도시된 바와 같은 세부 네트워크 구조를 가지며, 도 20에 도시된 레이어 블록인 '#12 dense_block'은 도 21에 도시된 바와 같은 세부 네트워크 구조를 갖는다.

여기서, 사용자가 인공지능 설계창(18b)을 통해 생성한 인공지능 모듈(131), 레이어 블록을 저장 또는 공유를 설정하게 되면, 학습 모델 설계부(141)는 레이어 리스트 표시창(18a)에 해당 인공지능 모듈(131) 또는 레이어 블록의 리스트를 업데이트하여 다른 사용자가 사용 하능하게 할 수 있다.

즉, 사용자는 인공지능 알고리즘을 구성하는 기본적인 레이어 알고리즘이 모듈화되어 있는 레이어 모듈을 이용하여, 다양한 형태의 레이어 블록을 설계할 수 있고, 레이어 모듈과 레이어 블록의 네트워크 설계로 다른 레이어 블록을 설계할 수 있으며, 이와 같은 방법을 통해 최종적인 인공지능 모듈(131)을 생성할 수 있게 된다.

또한, 상술한 바와 같이, 사용자 간의 레이어 블록, 인공지능 모듈(131) 등의 공유를 통해, 타인이 설계한 레이어 블록이나 인공지능 모듈(131)을 활용하여 재설계가 가능하게 되며, 자신이 설계한 인공지능 모듈(131)이나 레이어 블록도 재사용이 가능하게 되어, 새로운 학습 모델의 설계에 쉽게 활용할 수 있는 환경을 제공하게 된다.

여기서, 학습 모델 설계부(141)는 도 20에 도시된 바와 같이, 레이어 블록 및 레이어 블록을 구성하는 개별 레이어의 예상 실행시간을 해당 아이콘에 인접하게 표시할 수 있다. 도 20에서는 상술한 바와 같이, 아이콘의 좌측, 우측, 하단 또는 상단에 예상 실행시간이 표시되는 것을 예로 하고 있다.

학습 모델 설계부(141)가 레이어 블록의 예상 실행시간을 산출하는 방법은 상술한 레이어 모듈의 산출 방법에 대응한다.

상기와 같은 구성을 통해, 인공지능 모델을 구성하는 각각의 개별 레이어, 레이어 모듈 및 레이어 블록의 예상 실행시간을 산출하고 해당 정보를 각각의 레이어에 표시해 줌으로써, 사용자가 인공지능 알고리즘 전체의 실행시간을 예측할 뿐만 아니라, 설계 변경에 따른 실행시간 변화를 설계 과정에서 확인할 수 있어, 인공지능 알고리즘의 설계에 반영할 수 있게 된다.

다시, 도 6을 참조하여 설명하면, 학습 모델 설계창(92)을 통해, 상술한 바와 같은 과정을 통해 학습 모델이 설계된 후, 학습 모델 설계창(92)에 마련된 'RUN' 버튼을 클릭하게 되면, 판독 모델 생성부(142)가 학습 모델 설계부(141)에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하게 된다.

판독 모델 생성부(142)에 의해 정상적인 학습이 수행되면, 도 22에 도시된 바와 같이, 학습 모델 설계창(92)에 표시되어 있던 아이콘이 정상 동작이 완료된 것을 시각적으로 확인 가능하게 변화되는데, 본 발명에서는 회색에서 녹색으로 변경되고 아이콘에 체크 표시가 나타나는 것으로 이를 시각화하는 것을 예로 한다.

반면, 학습에 오류가 발생하는 경우, 오류 메시지와 함께 오류가 발생한 이미지 프로세싱 모듈(121) 또는 인공지능 모듈(131)의 아이콘을 붉은색으로 표시하는 등의 형태로 오류를 시각적으로 표시할 수 있다.

여기서, 본 발명에 따른 판독 모델 생성부(142)는 전체 학습 실행 모드와 개별 모듈 실행 모드 중 어느 하나로 동작하도록 마련될 수 있다. 전체 학습 실행 모드는 상술한 바와 같이 'RUN' 버튼의 클릭을 통해 학습 모델 설계부(141)에 표시되어 있는 아이콘과 라인 연결에 기반하여, 라인 연결을 데이터의 흐름으로 하여 전체를 순차적으로 학습시키는 과정을 의미한다.

반면, 개별 모듈 실행 모드는 도 17에 도시된 바와 같이, 이미지 프로세싱 모듈(121) 및 인공지능 모듈(131)의 아이콘에 커서를 가져갈 때 나타나는 개별 실행 버튼(17a)의 클릭을 통해 동작 가능하다.

여기서, 판독 모델 생성부(142)는 특정 아이콘에 커서를 ??긴 상태에서 해당 아이콘에 대해 활성화된 개별 실행 버튼(17a)이 클릭되어 개별 모듈 실행 모드가 실행되면, 데이터 아이콘에 대응하는 데이터세트(111)가 라인 연결에 따른 데이터 흐름에 따라 개별 실행 버튼(17a)이 선택된 아이콘에 대응하는 이미지 프로세싱 모듈(121) 또는 인공지능 모듈(131)까지만을 실행시킨다.

예를 들어, 도 22의 학습 모델 설계창(92) 내의 아이콘 'Color to Grayscale'의 개별 실행 버튼(17a)을 클릭하게 되면, 판독 모델 생성부(142)는 뇌출혈 CT에 해당하는 데이터세트(111)를 이용하여 'Resize'와 'Color to Grayscale'에 해당하는 이미지 프로세싱 모듈(121) 만을 순차적으로 실행시키게 된다.

이를 통해, 학습 모델의 설계 과정에서 전체 설계가 완료된 상태에서 학습을 진행하지 않고, 예를 들어, 전처리 중 'Resize' 만을 실행하여 정상적으로 동작하는지 체크할 수 있어, 설계 과정에서 발생하는 오류를 미리 체크하여 설계 과정에 소요되는 시간을 현저하게 줄일 수 있게 된다.

또한, 판독 모델 생성부(142)는 전체 학습 실행 모드와 개별 모듈 실행 모드로 동작할 때, 이미지 프로세싱 모듈(121) 및 인공지능 모듈(131) 단위로 처리 결과를 저장할 수 있다.

그리고, 판독 모델 생성부(142)는 학습 모델 설계창(92)을 통해 이미지 프로세싱 모듈(121)과 인공지능 모듈(131) 중 적어도 하나가 변경된 후 전체 학습 실행 모드 또는 개별 모드 실행 모드 중 어느 하나가 실행될 때, 라인 연결에 따른 데이터 흐름에서 변경되지 않은 라인 연결까지의 이전 처리 결과를 불러들여 적용함으로써, 이미 실행되었던 이미지 프로세싱 모듈(121) 또는 인공지능 모듈(131)의 재실행에 따른 시간을 절약할 수 있게 된다.

도 22를 참조하여 설명하면, 사용자가 'Resize'를 개별 모듈 실행 모드로 실행시킨 수, 'Color to Grayscale' 및 'VGG16'을 설계하여 'Color to Grayscale'를 개별 모듈 실행 모드로 실행하거나 'RUN'버튼의 클릭을 통해 전체 학습 실행 모드로 실행하게 되면, 이미 실행되어 결과가 저장되어 있는 'Resize'는 이전 처리 결과를 불러들여 적용하고, 'Color to Grayscale' 및/또는 'VGG16' 만이 실행될 수 있다.

또한, 도 22에 도시된 바와 같이, 전체 학습 실행 모드로 실행이 완료된 후, 'Color to Grayscale'를 삭제하고 다른 이미지 프로세싱 모듈(121)로 대체한 후, 전체 학습 실행 모드나 개별 모듈 실행 모드가 실행되면, 마찬가지로 'Resize'는 이전 처리 결과를 불러들여 적용하게 된다. 여기서, 데이터 흐름에 따라 변경된 모듈 이후의 모듈은 수정되지 않더라도 이전 단계의 처리 결과가 변화되기 때문에 다시 실행되는 것은 당연하다.

한편, 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 이미지 프로세싱 모듈(121)에 대응하는 모듈 아이콘이 선택되는 경우, 도 23에 도시된 바와 같이, 해당 이미지 프로세싱 모듈(121)의 이미지 프로세싱 전과 후의 이미지를 해당 모듈 아이콘 주변 중 일 영역, 예를 들어, 상단에 표시할 수 있다.

이를 통해, 사용자는 간단한 마우스 동작 만으로, 현재 자신이 설계한 학습 모델의 전처리 과정에서, 각각의 이미지 프로세싱 모듈(121)에 의해 처리된 이미지의 전과 후의 이미지를 쉽게 확인할 수 있다.

여기서, 학습 모델 설계부(141)는 이미지 프로세싱 전과 후의 이미지가 해당 모듈 아이콘 주변에 표시된 상태에서 마우스의 스크롤이 인식되는 경우, 해당 데이터세트(111)에 포함된 이미지를 변경하여 이미지 프로세싱 전과 후의 이미지를 표시할 수 있다.

또한, 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 이미지 프로세싱 모듈(121)에 대응하는 모듈 아이콘이 선택된 경우, 데이터세트(111)를 구성하는 의료영상의 리스트가 표시되는 데이터 리스트 표시창(94)과, 데이터 리스트 표시창(94)에 표시된 리스트 중 어느 하나가 선택될 때 해당 리스트의 의료영상, 즉 이미지가 표시되는 영상 표시창(95)을 그래픽 유저 인터페이스에 표시할 수 있다.

그리고, 학습 모델 설계부(141)는 영상 표시창(95)에 표시되는 의료영상을 이미지 프로세싱 모듈(121)의 전처리 전과 후의 영상을 함께 표시할 수 있다. 이를 통해, 사용자는 데이터세트(111)를 구성하는 의료영상 하나 하나를 직접 선택하고, 전처리 결과를 시각적으로 확인할 수 있게 된다.

한편, 본 발명에 따른 학습 모델 설계부(141)는 학습 모델 설계창(92)에 표시된 이미지 프로세싱 모듈(121)에 대응하는 아이콘 중 어느 하나가 선택되면, 해당 이미지 프로세싱 모듈(121)의 상세 정보가 표시되는 정보 표시창(93)을 그래픽 유저 인터페이스에 표시할 수 있다. 도 24에는 이미지 프로세싱 모듈(121)이 선택되었을 때의 정보 표시창(93)의 예를 나타내고 있으며, 도 9는 모듈러 화면의 초기 정보 표시창(93)의 예를 나타낸 것이다.

그리고, 정보 표시창(93)에는 상세 정보(Information)와 함께 파라미터 정보(Parameter)가 표시되는데, 파라미터 정보는 해당 프로세싱 모듈의 전처리 과정을 결정하게 된다.

예를 들어, 엣지 검출(Edge Detection)의 파라미터는 최대 문턱치(Threshold_max)와 최소 문턱치(Threshold_min)를 포함하고, 리샘플링(Resampling)은 스페이싱(Spacing) 값을 포함하고, 감마 보정(Gamma Correction)은 감마값을 포함하고, 히스토그램 평활화(Histogram Equalization)는 커널 사이즈(Kernel size)와 한계값(Limit)을 포함할 수 있다.

여기서, 학습 모델 설계부(141)는 정보 표시창(93)에 표시된 파라미터 정보의 값을 변경 가능하도록 설정됨으로써, 사용자는 모듈화된 이미지 프로세싱 모듈(121)을 사용하더라도 그 파라미터 값을 변경함으로써, 자신만의 이미지 프로세싱 모듈(121)을 생성할 수 있게 된다. 이 때, 판독 모델 생성부(142)는 이미지 프로세싱 모듈(121)을 실행할 때, 변경된 파라미터를 적용하여 실행하게 된다.

이를 통해, 상술한 바와 같이, 개별 모듈 실행 모드로 파라미터를 변경해가면서 이미지 프로세싱 결과를 바로 확인할 수 있게 되어, 시간적으로 보다 효율적인 학습 모델의 설계가 가능하게 된다.

상기와 같이, 학습 모델의 설계와, 학습을 통한 판독 모델의 생성이 완료되면, 학습 결과, 즉 가중치와 같은 파라미터가 적용된 최종적인 인공지능 모델이 생성되고, 의료영상 판독부(150)는 최종적으로 생성된 인공지능 모델을 이용하여 판독 대상인 의료영상을 판독하게 된다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

100 : 클라우드 플랫폼 시스템
111 : 데이터세트 121 : 이미지 프로세싱 모듈
131 : 인공지능 모듈 141 : 학습 모델 설계부
142 : 판독 모델 생성부 150 : 의료영상 판독부
160 : 모델 저장부 170 : 레이어 저장부

Claims (6)

1. 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템에 있어서,
   인공지능 알고리즘이 기 프로그래밍되어 모듈화된 복수의 인공지능 모듈과,
   인공지능 알고리즘의 구성에 적용되는 레이어가 기능별로 모듈화된 복수의 레이어 모듈과,
   웹 브라우저를 통해 접속한 사용자 단말에 인공지능 기반의 학습 모델의 설계를 위한 그래픽 유저 인터페이스를 제공하는 학습 모델 설계부와,
   상기 학습 모델 설계부에 의해 설계된 학습 모델을 학습시켜 판독 모델을 생성하는 판독 모델 생성부를 포함하며;
   상기 학습 모델 설계부는
   복수의 상기 레이어 모듈의 리스트가 표시된 레이어 리스트 표시창과, 인공지능 설계창을 상기 그래픽 유저 인터페이스에 표시하고,
   상기 레이어 리스트 표시창에 표시된 리스트가 상기 인공지능 설계창으로 드래그 앤 드롭되는 경우, 해당 레이어 모듈의 레이어 아이콘을 상기 인공지능 설계창에 표시하고,
   상기 인공지능 설계창에 표시된 상기 레이어 아이콘들이 라인 연결되는 경우, 상기 레이어 아이콘들 간의 라인 연결을 데이터 흐름으로 하여 상기 인공지능 모듈을 생성하며,
   각각의 상기 레이어 모듈의 예상 실행시간을 해당 레이어 아이콘에 인접하게 상기 인공지능 설계창에 표시하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템.
2. 제1항에 있어서,
   의료영상의 전처리를 수행하도록 기 프로그래밍되어 모듈화된 복수의 이미지 프로세싱 모듈과,
   신체 부위, 모달리티의 유형, 판록 대상 질환의 유형, 이미지 차원의 유형 중 적어도 하나에 따라 분류된 복수의 데이터세트가 저장된 데이터세트 저장부를 더 포함하며;
   상기 학습 모델 설계부는
   복수의 상기 데이터세트, 복수의 상기 이미지 프로세싱 모듈, 복수의 상기 인공지능 모듈의 리스트가 표시된 모듈 리스트 표시창과, 학습 모델 설계창을 상기 그래픽 유저 인터페이스에 표시하고,
   상기 모듈 리스트 표시창에 표시된 리스트가 상기 학습 모델 설계창으로 드래그 앤 드롭되는 경우, 상기 학습 모델 설계창에 드래그 앤 드롭에 대응하여 데이터 아이콘 및 모듈 아이콘을 생성하고,
   상기 데이터 아이콘과 상기 모듈 아이콘들이 라인 연결되는 경우, 상기 데이터 아이콘과 상기 모듈 아이콘 간의 라인 연결을 데이터의 흐름으로 하여 상기 학습 모델을 생성하며;
   상기 판독 모델 생성부는 상기 데이터 아이콘에 대응하는 데이터세트가 상기 학습 모델 설계부에 의해 생성된 상기 학습 모델에 학습시켜 상기 판독 모델을 생성하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템.
3. 제2항에 있어서,
   상기 학습 모델 설계부는
   상기 데이터 아이콘에 대응하는 데이터세트 내의 이미지 중 기 설정된 개수의 학습 데이터 또는 기 등록된 학습 데이터를 상기 인공지능 설계창을 통해 생성된 인공지능 모델에 학습시켜 각각의 상기 레이어 모듈에 대한 상기 예상 실행시간을 산출하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템.
4. 제3항에 있어서,
   적어도 2 이상의 레이어로 구성되되 상기 인공지능 모듈의 생성을 위해 모듈화된 복수의 레이어 블록을 더 포함하며;
   상기 학습 모델 설계부는
   상기 레이어 리스트 표시창에 복수의 상기 레이어 블록의 리스트를 표시하고,
   상기 레이어 리스트 표시창에 표시된 상기 레이어 모듈의 리스트의 상기 인공지능 설계창으로의 드래그 앤 드롭, 라인 연결을 통해 상기 레이어 블록의 생성을 지원하는 하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템.
5. 제4항에 있어서,
   상기 학습 모델 설계부는
   상기 레이어 블록 및 상기 레이어 블록을 구성하는 개별 레이어의 예상 실행시간을 해당 아이콘에 인접하게 표시하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템.
6. 제4항에 있어서,
   상기 학습 모델 설계부는
   상기 인공지능 모듈에 대응하는 모듈 아이콘이 선택된 경우, 보기 버튼을 표시하고,
   상기 보기 버튼이 선택되는 경우, 상기 레이어 리스트 표시창과 상기 인공지능 설계창을 상기 그래픽 유저 인터페이스에 표시하되, 상기 인공지능 설계창에 해당 인공지능 모듈을 구성하는 레이어 모듈 및/또는 레이어 블록과 라인 연결을 표시하며;
   각각의 레이어 모듈 및/또는 레이어 블록에 인접하게 해당 예상 실행시간을 표시하는 것을 특징으로 하는 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템.

Images