KR102553060B1 - 인공지능 기반의 척추 정보를 이용한 의료영상정보 제공 방법, 장치 및 프로그램 - Google Patents

Abstract

척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출할 수 있는 척추 정보를 이용한 의료영상정보 제공 방법, 장치 및 프로그램에 관한 것으로, 동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하는 단계, 상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하는 단계, 상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하는 단계, 상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 단계, 및 상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하는 단계를 포함하는 것을 특징으로 한다.

Description

인공지능 기반의 척추 정보를 이용한 의료영상정보 제공 방법, 장치 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR PROVIDING MEDICAL IMAGE USING SPINE INFORMATION BASED ON AI}

본 개시는 인공지능 기반의 척추 위치를 이용하여 병변이 위치하는 이미지 정보를 추출할 수 있는 방법, 장치 및 프로그램에 관한 것이다.

일반적으로, 의료기술이 발달하면서 CT(Computed Tomography), MRI(Magnetic Resonance Imaging), PET-CT(Position Emission Tomography-CT) 등 다양한 의료영상정보가 생산되고 있다.

이러한 의료영상정보는, 영상조회장치(PACS: Picture Archiving Communication System)를 이용하여 접근이 가능하며, 영상조회장치는, 의료영상의 정확한 해석을 보조하기 위하여 다양한 부속 기능들을 제공하고 있다.

한편, 의료기술의 발전으로 환자 개인의 의료영상정보의 양이 급격하게 증가하면서, 영상조회장치만으로는, 필요한 의료영상정보를 검색하는 데 어려움이 발생하고 있다.

CT, MRI, PET-CT 등의 의료영상정보에는, 각각 수백 장에 이르는 이미지 정보들이 포함될 수 있는데, 예컨대, 흉부 CT를 한 회를 촬영하는 경우 흉곽을 단면으로 표현한 이미지 정보를 적게는 수십 장에서 많게는 백 여장 이상 획득하게 된다.

더욱이, 한 회의 촬영 내에서도 조영제의 유무 등에 따라 흉곽 단면에 대한 여러 모드의 이미지 정보를 얻을 수 있어 결과적으로 의료영상정보의 양은 급격하게 증가하게 된다.

따라서, 영상조회장치만을 이용하는 경우, 대용량의 의료영상정보로부터 필요한 의료영상정보를 검색하고 조회하는데 많은 시간이 소요되는 등 어려움이 클 뿐만 아니라, 확인하려는 관심부위가 포함된 의료영상정보를 검색하더라도 해당 부위가 포함된 이전 의료영상정보를 함께 제공하지 않음에 따라, 관심부위 위주의 영상 조회가 어려운 문제가 있다.

예컨대, 수 백장의 이미지를 포함하는 흉부 CT 중에서도 관심부위를 포함하는 일부 이미지만 요구될 수 있으며, 과거부터 현재까지 여러 차례 시행한 흉부 CT들에서 해당 관심부위가 포함된 이미지들에 대한 비교가 필요하다.

하지만, 기존의 영상조회장치는, 해당 환자의 전체 의료영상정보를 전부 로드하여 해당 병변이 포함된 의료영상정보를 수동적으로 추출 및 비교하여야 하므로, 많은 시간과 노력이 필요하다.

따라서, 다양한 의료 영상 데이터들로부터 병변이 위치하는 이미지 정보를 신속하고 정확하게 자동 추출하여 최소의 시간으로 많은 정보를 획득할 수 있는 의료영상정보 제공 방법의 개발이 요구되고 있다.

대한민국 등록특허 10-2105974호 (2020. 04. 23)

상술한 바와 같은 문제점을 해결하기 위한 본 개시의 일 목적은, 의료 영상 데이터의 관심 영역에 포함되는 척추 위치를 기반으로 병변이 위치하는 필요한 이미지 정보를 신속하고 정확하게 자동 추출하여 최소의 시간으로 많은 정보를 획득할 수 있는 의료영상정보 제공 방법, 장치 및 프로그램을 제공하는 것이다.

본 개시의 다른 목적은, 관심 영역과 관심 영역의 일부분만을 포함하는 복수의 의료 영상 데이터들로부터 각각 판독한 척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출함으로써, 의료 영상 데이터들에 포함되는 관심 영역에 제한 없이 필요한 이미지 정보를 신속하고 정확하게 자동 추출할 수 있는 의료영상정보 제공 방법, 장치 및 프로그램을 제공하는 것이다.

본 개시이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 의료영상정보 제공 방법은, 동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하는 단계, 상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하는 단계, 상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하는 단계, 상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 단계, 및 상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하는 단계를 포함하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 의료 영상 데이터는, 제1 촬영 방식을 갖는 제1 촬영 장치로부터 획득되고, 상기 제2 의료 영상 데이터는, 상기 제1 촬영 방식과 다른 제2 촬영 방식을 갖는 제2 촬영 장치로부터 획득되는 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 의료 영상 데이터는, CT(Computed Tomography)를 포함하고, 상기 제2 의료 영상 데이터는, MRI(Magnetic Resonance Imaging)를 포함하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 의료 영상 데이터의 제1 관심 영역은, 상기 척추의 특정 부분에 대한 전체 영역을 포함하고, 상기 제2 의료 영상 데이터의 제2 관심 영역은, 상기 척추의 특정 부분에 대한 일부 영역을 포함하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 의료 영상 데이터 및 제2 의료 영상 데이터는, 서로 다른 시기에 촬영된 의료 영상 데이터 및 서로 다른 유형의 의료 영상 데이터 중 적어도 어느 하나인 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 관심 영역의 척추 위치를 판독하는 단계는, 상기 제1 의료 영상 데이터로부터 상기 제1 관심 영역을 탐색하고, 상기 제1 관심 영역에 포함되는 척추를 식별하며, 상기 식별한 척추의 척추뼈 번호를 지정하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 이미지 정보를 추출하는 단계는, 상기 척추뼈 번호가 지정된 척추의 위치를 인식하고, 상기 인식한 척추의 위치를 기준으로 기설정 방식에 따라 상기 제1 의료 영상 데이터로부터 상기 병변이 위치하는 제1 이미지 정보를 추출하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제2 관심 영역의 척추 위치를 판독하는 단계는, 상기 제2 의료 영상 데이터로부터 상기 제2 관심 영역을 탐색하고, 상기 제2 관심 영역에 포함되는 척추를 식별하며, 상기 식별한 척추의 척추뼈 번호를 지정하는 것을 특징으로 한다.

실시 예에 있어서, 상기 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 단계는, 상기 척추뼈 번호가 지정된 척추의 위치를 인식하고, 상기 인식한 척추의 위치를 기준으로 기설정 방식에 따라 상기 제2 의료 영상 데이터로부터 상기 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 것을 특징으로 한다.

실시 예에 있어서, 상기 매칭 여부를 확인하는 단계는, 상기 추출한 제1 이미지 정보와 제2 이미지 정보를 정합하여 상기 제2 이미지 정보가 상기 제1 이미지 정보와 매칭되는지를 확인하고, 상기 제2 이미지 정보가 상기 제1 이미지 정보와 매칭되지 않으면 상기 제2 이미지 정보가 상기 제1 이미지 정보와 연련되지 않는 미연관 이미지 정보로 판단하는 것을 특징으로 한다.

실시 예에 있어서, 상기 매칭 여부를 확인하는 단계는, 상기 제2 이미지 정보가 상기 제1 이미지 정보와 연관되지 않는 미연관 이미지 정보로 판단되면 상기 제2 의료 영상 데이터로부터 상기 제1 이미지 정보와 연관되는 이미지 정보의 찾을 수 없다는 알림을 생성하여 제공하는 것을 특징으로 한다.

본 개시의 일 실시예에 따른 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 의료영상정보 제공을 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은, 동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하는 동작, 상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하는 동작, 상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하는 동작, 상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 동작, 및 상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하는 동작을 포함하는 것을 특징으로 한다.

본 개시의 일 실시예에 따른 의료영상정보를 제공하기 위한 컴퓨팅 장치는, 하나 이상의 코어를 포함하는 프로세서, 및 메모리를 포함하고, 상기 프로세서는, 동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하고, 상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하며, 상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하고, 상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하며, 및 상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하는 것을 특징으로 한다.

상술한 과제를 해결하기 위한 본 개시의 다른 실시 예에 따른 의료영상정보 제공 방법을 제공하는 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상술한 방법 중 어느 하나의 방법을 수행하기 위해 매체에 저장된다.

이 외에도, 본 개시를 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같이 본 개시에 따르면, 의료 영상 데이터의 관심 영역에 포함되는 척추 위치를 기반으로 병변이 위치하는 필요한 이미지 정보를 신속하고 정확하게 자동 추출하여 최소의 시간으로 많은 정보를 획득할 수 있다.

또한, 본 개시는, 관심 영역과 관심 영역의 일부분만을 포함하는 복수의 의료 영상 데이터들로부터 각각 판독한 척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출함으로써, 의료 영상 데이터들에 포함되는 관심 영역에 제한 없이 필요한 이미지 정보를 신속하고 정확하게 자동 추출할 수 있다.

또한, 본 개시는, 추출한 이미지 정보들을 의료 영상 데이터의 유형이나 의료 영상 데이터가 생성된 시간 순서 등 특정 조건에 따라 참조할 수 있는 데이터구조를 제공함으로써, 사용자가 관심 있는 신체 영역의 변화 또는 해당 신체 영역에 포함된 병변의 변화를 쉽게 추적하고 관찰할 수 있다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은, 본 개시의 일 실시예에 따라, 의료영상정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치의 블록 구성도를 도시한 도면이다.
도 2는, 본 개시의 일 실시예에 따라, 의료 영상 데이터로부터 척추 위치를 판독하는 과정을 설명하기 위한 도면이다.
도 3은, 본 개시의 일 실시예에 따라, 척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출하는 과정을 설명하기 위한 도면이다.
도 4는, 본 개시의 일 실시예에 따라, 복수의 의료 영상 데이터들로부터 추출한 이미지 정보들을 시각화하는 결과 정보를 보여주는 도면이다.
도 5는, 본 개시의 일 실시예에 따라, 의료영상정보 제공 방법을 설명하기 위한 순서도이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시이 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 개시를 한정하는 사항으로 기재하지 않은 경우에 본 개시의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

본 명세서에서 신경망, 인공 신경망, 네트워크 함수는 종종 상호 교환 가능하게 사용될 수 있다.

본 개시의 상세한 설명 및 청구항들에 걸쳐 이용된 "영상" 또는 "영상 데이터"라는 용어는 이산적 영상 요소들(예컨대, 2차원 영상에 있어서는 픽셀)로 구성된 다차원 데이터를 지칭하며, 달리 말하자면, (예컨대, 비디오 화면에 표시된) 눈으로 볼 수 있는 대상 또는 (예컨대, CT, MRI 검출기 등의 픽셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 지칭하는 용어이다.

예를 들어 "이미지" 또는 "영상"은 전산화 단층 촬영(CT; computed tomography), 자기 공명 영상(MRI; magnetic resonance imaging), 초음파 또는 본 개시의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 피검체(subject)의 의료 영상일 수 있다. 영상이 반드시 의료적 맥락에서 제공되어야 하는 것은 아니고 비의료적 맥락에서 제공될 수도 있는 바, 예를 들어 보안 검색용 X선 촬영 등이 있을 수 있다.

본 개시의 상세한 설명 및 청구항들에 걸쳐 'DICOM(Digital Imaging and Communications in Medicine; 의료용 디지털 영상 및 통신)' 표준은 의료용 기기에서 디지털 영상 표현과 통신에 이용되는 여러 가지 표준을 총칭하는 용어인 바, DICOM 표준은 미국 방사선 의학회(ACR)와 미국 전기 공업회(NEMA)에서 구성한 연합 위원회에서 발표한다.

또한, 본 개시의 상세한 설명 및 청구항들에 걸쳐 '의료영상 저장 전송 시스템(PACS; Picture Archiving and Communication System)'은 DICOM 표준에 맞게 저장, 가공, 전송하는 시스템을 지칭하는 용어이며, X선, CT, MRI와 같은 디지털 의료영상 장비를 이용하여 획득된 의료영상 이미지는 DICOM 형식으로 저장되고 네트워크를 통하여 병원 내외의 단말로 전송이 가능하며, 이에는 판독 결과 및 진료 기록이 추가될 수 있다.

또한, 본 명세서에 걸쳐, 뉴럴 네트워크(neural network), 신경망 네트워크, 네트워크 함수는, 동일한 의미로 사용될 수 있다. 뉴럴 네트워크는, 일반적으로 “노드”라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 “노드”들은, “뉴런(neuron)”들로 지칭될 수도 있다. 뉴럴 네트워크는, 적어도 둘 이상의 노드들을 포함하여 구성된다. 뉴럴 네트워크들을 구성하는 노드(또는 뉴런)들은 하나 이상의 “링크”에 의해 상호 연결될 수 있다.

도 1은, 본 개시의 일 실시예에 따라, 의료영상정보를 제공하기 위한 동작을 수행하는 컴퓨팅 장치의 블록 구성도를 도시한 도면이다.

도 1에 도시된 컴퓨팅 장치(100)의 구성은 간략화하여 나타낸 예시일 뿐이다. 본 개시의 일 실시예에서 컴퓨팅 장치(100)는 컴퓨팅 장치(100)의 컴퓨팅 환경을 수행하기 위한 다른 구성들이 포함될 수 있고, 개시된 구성들 중 일부만이 컴퓨팅 장치(100)를 구성할 수도 있다.

컴퓨팅 장치(100)는, 프로세서(110), 메모리(130), 네트워크부(150)를 포함할 수 있다.

본 개시에서, 프로세서(110)는, 동일한 환자의 제1 관심 영역을 포함하는 제1 의료 데이터와 제2 관심 영역을 포함하는 제2 의료 데이터를 획득하고, 상기 제1 의료 데이터와 제2 의료 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하며, 상기 판독한 척추 위치를 기반으로 상기 제1 의료 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하고, 상기 판독한 척추 위치를 기반으로 상기 제2 의료 데이터의 신체 영역을 탐지하여 상기 제1 의료 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하며, 및 상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인할 수 있다.

여기서, 의료 데이터는, 영상 데이터, 음성 데이터 및 시계열 데이터 중 적어도 하나를 포함할 수 있다. 즉, 의료업에 종사하는 자 또는 진단을 위한 장치 등이 데이터 내에 질병의 존재 유무를 판단할 수 있는 임의의 형태의 데이터가 의료 데이터에 포함될 수 있다. 영상 데이터는 환자의 환부를 검사 장비를 통해 촬영 또는 측정하여 전기 신호화 한 후 출력되는 모든 영상 데이터를 포함한다. 영상 데이터는, 의료 영상 촬영기기로부터 시간에 따라 연속하여 촬영된 동영상에서 동영상의 각 프레임을 구성하는 영상 데이터를 포함할 수 있다. 예를 들어, 초음파 검사 영상 데이터, MRI 장치에 의한 영상 데이터, CT 단층 촬영 영상 데이터, X-ray 촬영 영상 데이터 등을 포함한다. 나아가, 음성 데이터를 전기 신호로 변환하여 그래프 형태의 이미지로 출력하거나 시계열 데이터를 그래프 등의 시각화 된 자료로 나타낸 경우, 해당 이미지 또는 자료는, 상기 영상 데이터에 포함될 수 있다. 일 예로, 의료 데이터는, CT 영상을 포함할 수 있다. 의료 데이터에 관한 전술한 예시는, 일 예시에 불과할 뿐, 본 개시를 제한하지 않는다.

일 실시예로, 제1 의료 데이터는, 제1 촬영 방식을 갖는 제1 촬영 장치로부터 획득되고, 제2 의료 데이터는, 상기 제1 촬영 방식과 다른 제2 촬영 방식을 갖는 제2 촬영 장치로부터 획득될 수 있다.

예를 들면, 제1 의료 데이터는, CT(Computed Tomography)를 포함하고, 제2 의료 데이터는, MRI(Magnetic Resonance Imaging)를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.

그리고, 제1 의료 데이터의 제1 관심 영역은, 척추의 특정 부분에 대한 전체 영역을 포함하고, 제2 의료 데이터의 제2 관심 영역은, 척추의 특정 부분에 대한 일부 영역을 포함할 수 있다.

일 예로, 제1 의료 데이터의 제1 관심 영역은, 경추(목뼈, cervical spine)의 전체 영역, 흉추(등뼈, thoracic spine)의 전체 영역, 요추(허리뼈, lumbar spine)의 전체 영역, 천추(골반뼈, sacrum)의 전체 영역 및 미추(꼬리뼈, coccyx)의 전체 영역 중 적어도 어느 하나를 포함할 수 있다.

이어, 제2 의료 데이터의 제2 관심 영역은, 경추(목뼈)의 일부 영역, 흉추(등뼈)의 일부 영역, 요추(허리)의 일부 영역, 천추(골반뼈)의 일부 영역 및 미추(꼬리뼈)의 일부 영역 중 적어도 어느 하나를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.

경우에 따라, 제1 관심 영역을 포함하는 제1 의료 데이터와 제2 관심 영역을 포함하는 제2 의료 데이터는, 서로 다른 촬영 방식으로 촬영된 영상 데이터이고, 제1 관심 영역과 제2 관심 영역이 서로 동일할 수도 있다.

다른 경우로서, 제1 관심 영역을 포함하는 제1 의료 데이터와 제2 관심 영역을 포함하는 제2 의료 데이터는, 서로 동일한 방식으로 촬영된 영상 데이터이고, 제2 관심 영역은, 제1 관심 영역의 일부분을 포함할 수도 있다.

또 다른 경우로서, 제1 관심 영역을 포함하는 제1 의료 데이터와 제2 관심 영역을 포함하는 제2 의료 데이터는, 서로 다른 방식으로 촬영된 영상 데이터이고, 제2 관심 영역은, 제1 관심 영역의 일부분을 포함할 수도 있다.

또한, 제1 의료 데이터 및 제2 의료 데이터는, 서로 다른 시기에 촬영된 의료 영상 데이터 및 서로 다른 유형의 의료 영상 데이터 중 적어도 어느 하나일 수 있다.

이어, 프로세서(110)는, 제1 관심 영역의 척추 위치를 판독할 때, 제1 의료 데이터로부터 제1 관심 영역을 탐색하고, 제1 관심 영역에 포함되는 척추를 식별하며, 식별한 척추의 척추뼈 번호를 지정할 수 있다.

여기서, 프로세서(110)는, 제1 이미지 정보를 추출할 때, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제1 의료 영상 데이터로부터 병변이 위치하는 제1 이미지 정보를 추출할 수 있다.

일 예로, 기 설정된 방식은, 이미지 정보의 크기, 이미지 정보의 분할 방식 및 이미지 정보의 추출 상면의 전부 또는 일부를 포함할 수 있다.

또한, 프로세서(110)는, 제1 이미지 정보를 추출할 때, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 제1 의료 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하도록 사전 학습된 이미지 추출 모델을 이용하여 기 설정된 방식을 입력 파라미터로 하여 제1 의료 데이터로부터 제1 이미지 정보를 추출할 수 있다.

다음, 프로세서(110)는, 제2 관심 영역의 척추 위치를 판독할 때, 제2 의료 데이터로부터 제2 관심 영역을 탐색하고, 제2 관심 영역에 포함되는 척추를 식별하며, 식별한 척추의 척추뼈 번호를 지정할 수 있다.

그리고, 프로세서(110)는, 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 때, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

여기서, 기 설정된 방식은, 이미지 정보의 크기, 이미지 정보의 분할 방식 및 이미지 정보의 추출 상면의 전부 또는 일부를 포함할 수 있다.

또한, 프로세서(110)는, 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 때, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 제2 의료 데이터의 신체 영역을 탐지하여 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하도록 사전 학습된 이미지 추출 모델을 이용하여 기 설정된 방식을 입력 파라미터로 하여 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

또한, 프로세서(110)는, 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 때, 제1 의료 데이터의 척추뼈 번호와 동일한 척추의 위치를 제2 의료 데이터로부터 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

다음, 프로세서(110)는, 매칭 여부를 확인할 때, 추출한 제1 이미지 정보와 제2 이미지 정보를 정합하여 제2 이미지 정보가 제1 이미지 정보와 매칭되는지를 확인하고, 제2 이미지 정보가 제1 이미지 정보와 매칭되지 않으면 제2 이미지 정보가 제1 이미지 정보와 연련되지 않는 미연관 이미지 정보로 판단할 수 있다.

여기서, 프로세서(110)는, 매칭 여부를 확인할 때, 제2 이미지 정보가 제1 이미지 정보와 연관되지 않는 미연관 이미지 정보로 판단되면 제2 의료 영상 데이터로부터 제1 이미지 정보와 연관되는 이미지 정보의 찾을 수 없다는 알림을 생성하여 제공할 수 있다.

일 예로, 프로세서(110)는, 텍스트, 음성 및 이미지 중 적어도 어느 한 형태로 알림을 가공하여 제공할 수도 있다.

또한, 프로세서(110)는, 매칭 여부를 확인할 때, 제2 이미지 정보가 제1 이미지 정보와 연관되는 연관 이미지 정보로 판단되면 제2 의료 데이터로부터 제1 이미지 정보와 연관되는 이미지 정보의 찾았다는 알림을 생성하여 제공할 수도 있다.

여기서, 프로세서(110)는, 텍스트, 음성 및 이미지 중 적어도 어느 한 형태로 알림을 가공하여 제공할 수도 있다.

다음, 프로세서(110)는, 매칭 여부를 확인할 때, 제2 이미지 정보가 제1 이미지 정보와 매칭되면 제1 이미지 정보 및 제2 이미지 정보를 기 설정된 조건에 따라 참조하기 위한 메타 데이터 또는 데이터 구조를 생성할 수 있다.

여기서, 기 설정된 조건은, 의료영상정보의 유형, 의료영상정보의 생성 날짜, 이미지 정보의 크기, 이미지 정보의 분할 방식, 이미지 정보의 추출 방식 및 이미지 정보의 추출 상면의 전부 또는 일부를 포함할 수 있다.

또한, 프로세서(110)는, 메타 데이터 또는 데이터 구조를 기초로 제1 이미지 정보 및 제2 이미지 정보를 시각화할 수 있다.

또한, 전술한 뉴럴 네트워크 모델은, 딥 뉴럴 네트워크일 수 있다. 본 명세서에 걸쳐, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는, 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크 (CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.

컨벌루셔널 뉴럴 네트워크는, 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는, 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은, 하나 또는 여러 개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있다. CNN은, 가중치와 풀링 레이어(pooling layer)들을 추가로 활용할 수 있다. 이러한 구조 덕분에 CNN은, 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는, 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는, 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩 된 이미지 데이터의 경우, R, G, B 색상별로 각각 2차원(예를 들어, 2 차원 이미지 인 경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서, 이미지 데이터는, 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다.

컨벌루셔널 뉴럴 네트워크에서, 컨벌루셔널 필터를 이동해가며 컨벌루셔널 필터와 이미지의 각 위치에서의 행렬 성분끼리 곱하는 것으로 컨벌루셔널 과정(컨벌루셔널 레이어의 입출력)을 수행할 수 있다. 컨벌루셔널 필터는, n*n 형태의 행렬로 구성될 수 있다. 컨벌루셔널 필터는, 일반적으로 이미지의 전체 픽셀의 수보다 작은 고정된 형태의 필터로 구성될 수 있다. 즉, m*m 이미지를 컨벌루셔널 레이어(예를 들어, 컨벌루셔널 필터의 사이즈가 n*n인 컨벌루셔널 레이어)입력시키는 경우, 이미지의 각 픽셀을 포함하는 n*n 픽셀을 나타내는 행렬이 컨벌루셔널 필터와 성분 곱 (즉, 행렬의 각 성분끼리의 곱) 될 수 있다. 컨벌루셔널 필터와의 곱에 의하여 이 미지에서 컨벌루셔널 필터와 매칭되는 성분이 추출될 수 있다. 예를 들어, 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터는 [[0,1,0], [0,1,0], [0,1,0]] 와 같이 구성될 수 있다. 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터가 입력 이미지에 적용되면 이미지에서 컨벌루셔널 필터와 매칭되는 상하 직선 성분이 추출되어 출력될 수 있다. 컨벌루셔널 레이어는 이미지를 나타낸 각각의 채널에 대한 각각의 행렬(즉, R, G, B 코딩 이미지의 경우, R, G, B 색상)에 컨벌루셔널 필터를 적용할 수 있다. 컨벌루셔널 레이어는 입력 이미지에 컨벌루셔널 필터를 적용하여 입력 이미지에서 컨벌루셔널 필터와 매칭되는 피쳐를 추출할 수 있다. 컨벌루셔널 필터의 필터 값(즉, 행렬의 각 성분의 값)은 컨벌루셔널 뉴럴 네트워크의 학습 과정에서 역전파에 의하여 업데이트 될 수 있다.

컨벌루셔널 레이어의 출력에는, 서브샘플링 레이어가 연결되어 컨벌루셔널 레이어의 출력을 단순화하여 메모리 사용량과 연산량을 줄일 수 있다. 예를 들어, 2*2 맥스 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 최대값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 평균값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 본 개시에 포함될 수 있다.

컨벌루셔널 뉴럴 네트워크는, 하나 이상의 컨벌루셔널 레이어, 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 과정과 서브샘플링 과정(예를 들어, 전술한 맥스 풀링 등)을 반복적으로 수행하여 이미지에서 피쳐를 추출할 수 있다. 반복적인 컨벌루션널 과정과 서브샘플링 과정을 통해 뉴럴 네트워크는 이미지의 글로벌 피쳐를 추출할 수 있다.

컨벌루셔널 레이어 또는 서브샘플링 레이어의 출력은 풀 커넥티드 레이어(fully connected layer)에 입력될 수 있다. 풀 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이다. 풀 커넥티드 레이어는 뉴럴 네트워크에서 각 레이어의 모든 노드가 다른 레이어의 모든 노드에 연결된 구조를 의미할 수 있다.

본 개시의 일 실시예에 따르면, 프로세서(110)는, 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(110)는, 메모리(130)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 개시의 일실시예에 따라 프로세서(110)는, 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는, 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은, CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.

본 개시의 일 실시예에 따르면, 메모리(130)는, 의료영상정보 판독 수행 및 의료영상정보 추출 결과를 제공하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(120)에 의하여 판독되어 구동될 수 있다. 메모리(130)는, 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(150)가 수신한 임의의 형태의 정보를 저장할 수 있다.

본 개시의 일 실시예에 따르면, 메모리(130)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 이에 제한되지 않는다.

본 개시의 일 실시예에 따른 네트워크부(150)는, 의료영상정보 추출 결과 정보 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 또한, 네트워크부(150)는, 복수의 컴퓨팅 장치 사이의 통신을 가능하게 하여 복수의 컴퓨팅 장치 각각에서 의료영상정보 판독 또는 모델의 학습을 위한 동작들이 분산 수행되도록 할 수 있다. 네트워크부(150)는, 복수의 컴퓨팅 장치 사이의 통신을 가능하게 하여 의료영상정보 판독 또는 네트워크 함수를 사용한 모델 학습을 위한 연산을 분산 처리하도록 할 수 있다.

본 개시의 일 실시예에 따른 네트워크부(150)는, 근거리(단거리), 원거리, 유선 및 무선 등과 같은 현재 사용 및 구현되는 임의의 형태의 유무선 통신 기술에 기반하여 동작할 수 있으며, 다른 네트워크들에서도 사용될 수 있다.

본 개시의 컴퓨팅 장치(100)는, 출력부 및 입력부를 더 포함할 수도 있다.

본 개시의 일 실시예에 따른 출력부는, 어깨 질환 판독 결과를 제공하기 위한 사용자 인터페이스(UI, user interface)를 표시할 수 있다. 출력부는, 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(150)가 수신한 임의의 형태의 정보를 출력할 수 있다.

본 개시의 일 실시예에서, 출력부는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이 모듈은, 그를 통해 외부를 볼 수 있도록 투명형 또는 광 투과형으로 구성될 수 있다. 이는 투명 디스플레이 모듈이라 지칭될 수 있는데, 상기 투명 디스플레이 모듈의 대표적인 예로는 TOLED(Transparent OLED) 등이 있다.

본 개시의 일 실시예에 따른 입력부는, 사용자 입력을 수신할 수 있다. 입력부는, 사용자 입력을 수신받기 위한 사용자 인터페이스 상의 키 및/또는 버튼들, 또는 물리적인 키 및/또는 버튼들을 구비할 수 있다. 입력부를 통한 사용자 입력에 따라 본 개시의 실시예들에 따른 디스플레이를 제어하기 위한 컴퓨터 프로그램이 실행될 수 있다.

본 개시의 실시예들에 따른 입력부는, 사용자의 버튼 조작 또는 터치 입력을 감지하여 신호를 수신하거나, 카메라 또는 마이크로폰을 통하여 사용자 등의 음성 또는 동작을 수신하여 이를 입력 신호로 변환할 수도 있다. 이를 위해 음성 인식(Speech Recognition) 기술 또는 동작 인식(Motion Recognition) 기술들이 사용될 수 있다.

본 개시의 실시예들에 따른 입력부는, 컴퓨팅 장치(100)와 연결된 외부 입력 장비로서 구현될 수도 있다. 예를 들어, 입력 장비는 사용자 입력을 수신하기 위한 터치 패드, 터치 펜, 키보드 또는 마우스 중 적어도 하나일 수 있으나, 이는 예시일 뿐이며 이에 제한되는 것은 아니다.

본 개시의 일 실시예에 따른 입력부는, 사용자 터치 입력을 인식할 수 있다. 본 개시의 일 실시예에 따른 입력부는, 출력부와 동일한 구성일 수도 있다. 입력부는, 사용자의 선택 입력을 수신하도록 구현되는 터치 스크린으로 구성될 수 있다. 터치 스크린은, 접촉식 정전용량 방식, 적외선 광 감지 방식, 표면 초음파(SAW) 방식, 압전 방식, 저항막 방식 중 어느 하나의 방식이 사용될 수 있다. 전술한 터치 스크린에 대한 자세한 기재는, 본 개시의 일 실시예에 따른 예시일 뿐이며, 다양한 터치 스크린 패널이 컴퓨팅 장치(100)에 채용될 수 있다. 터치 스크린으로 구성된 입력부는, 터치 센서를 포함할 수 있다. 터치 센서는, 입력부의 특정 부위에 가해진 압력 또는 입력부의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 센서에 대한 터치입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는, 그 신호(들)를 처리한 다음 대응하는 데이터를 프로세서(110)로 전송할 수 있다. 이로써, 프로세서(110)는 입력부의 어느 영역이 터치 되었는지 여부 등을 인식할 수 있게 된다.

본 개시의 일 실시예에서, 서버는, 서버의 서버 환경을 수행하기 위한 다른 구성들이 포함될 수도 있다. 서버는 임의의 형태의 장치는 모두 포함할 수 있다. 서버는, 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다.

본 개시의 일 실시예에 따른 어깨 질환 판독 결과를 표시하는 사용자 인터페이스를 사용자 단말로 제공하기 위한 동작을 수행하는 서버(미도시)는, 네트워크부, 프로세서 및 메모리를 포함할 수 있다.

서버는, 본 개시의 실시예들에 따른 사용자 인터페이스를 생성할 수 있다. 서버는, 클라이언트(예를 들어, 사용자 단말)에게 네트워크를 통해 정보를 제공하는 컴퓨팅 시스템일 수 있다. 서버는, 생성한 사용자 인터페이스를 사용자 단말로 전송할 수 있다. 이러한 경우, 사용자 단말은, 서버에 액세스할 수 있는 임의의 형태의 컴퓨팅 장치(100)일 수 있다. 서버의 프로세서는, 네트워크부를 통해 사용자 단말로 사용자 인터페이스를 전송할 수 있다. 본 개시의 실시예들에 따른 서버는 예를 들어, 클라우드 서버일 수 있다. 서버는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 이에 제한되지 않는다.

한편, 프로세서(110)는, 사용자로부터 의료 데이터의 이용 조건 정보를 획득할 수도 있다.

여기서, 의료 데이터의 이용 조건 정보는, 장치에 저장되거나 장치가 수신하는 의료 데이터로서, 장치가 참조할 수 있는 수 많은 의료 데이터 가운데 사용자가 이용하려는 의료 데이터에 관한 조건 정보를 포함할 수 있다.

이용 조건 정보는, 개체의 식별자, 의료 데이터의 촬영 시기, 의료 데이터를 촬영한 수단(의료영상장비 등) 등일 수 있으나, 이러한 예시에 한하지 않고 장치가 가용할 수 있는 의료 데이터 가운데 특정 이미지 정보를 추출하는데 이용 가능한 정보라면 본 개시에서의 이용 조건 정보일 수 있다.

여기서, 이용 조건 정보의 획득은, 사용자로부터 입력받거나, 사용자 단말 또는 서버로부터 수신함으로써 수행될 수 있으나, 이에 제한되지 않는다.

또한, 프로세서(110)는, 입력된 이용 조건에 부합하는 의료 데이터를 획득할 수 있다.

의료 데이터는, 특정 환자의 의료영상정보로서, 다양한 의료영상장비로부터 획득된 의료영상정보 및/또는 다양한 시기에 획득된 의료영상정보일 수 있다.

경우에 따라, 프로세서(100)는, 의료 데이터의 이용 조건 정보를 획득하는 과정을 생략할 수 있다. 예컨대, 프로세서(110)는, 기 입력되거나 기 저장된 의료 데이터를 이용함으로써, 의료 데이터의 이용 조건 정보를 획득하는 과정을 생략할 수 있다.

또한, 프로세서(110)는, 사용자로부터 척추 정보를 획득할 수 있다.

영상의학 분야에서는, 의료 데이터의 판독 시에, 척추의 위치 정보를 이용하여 병변의 위치를 확인하고 척추의 위치 정보를 기준으로 병변의 위치를 기술할 수 있다.

이는 척추의 위치와 구조를 고려할 때, 척추의 위치 정보를 기준으로 인체와 같은 개체 내부 영역을 표시하기가 용이하기 때문이다. 예컨대, 인간의 척추는, 목을 지탱하는 경추(목뼈, cervical spine) 7 개, 흉추(등뼈, thoracic spine) 12 개, 요추(허리뼈, lumbar spine) 5 개, 천추(골반뼈, sacrum) 5 개 및 미추(꼬리뼈, coccyx) 4 개로 구성되어 있어, "경추 6, 7번 사이" 등과 같이 척추 위치 정보를 기준으로 병변의 위치를 표시할 수 있다.

여기서, 척추 정보는, 개체의 척추뼈 위치 정보가 포함된 정보로서, 척추뼈 번호(예: 인간의 경우 C1-C7, T1-T12, L1-L5 등), 척추뼈 위치 정보를 인식할 수 있는 정보(예: 척추의 특정 영역이 포함되도록 이미지 영역을 지정한 정보 등) 등일 수 있으나, 이에 제한되지 않는다.

프로세서(110)는, 사용자로부터 척추 정보인 척추뼈 번호를 입력받을 수 있다.

또한, 프로세서(110)는, 사용자에게 척추가 포함된 임의 의료 데이터를 제공하고, 사용자로부터 임의 의료 데이터에 지정한 특정 영역의 정보를 척추 정보로서 입력받을 수 있다. 이 경우, 임의 의료 데이터는, 이용 조건 정보에 부합하는 임의 의료 데이터일 수 있으나, 이에 제한되지 않는다.

여기서, 프로세서(110)는, 특정 영역의 정보를 척추뼈의 위치를 기반으로 재지정할 수 있다. 예컨대, 사용자가 지정한 특정 영역의 정보가 척추의 특정 영역이 포함되지 않는 것으로 판단되는 경우에, 프로세서(110)는, 인접한 척추의 위치를 포함하도록 영역 정보를 재지정할 수 있다.

프로세서(110)는, 임의 의료 데이터에 특정 영역의 정보를 입력받은 경우, 특정 영역의 정보를 피쳐로 하여 임의 의료 데이터상에서 특정 영역(또는 재지정된 특정 영역)에 대응하는 척추뼈 위치를 인식하여, 척추 정보를 획득할 수 있다.

프로세서(110)는, 기 설정된 객체 탐지 알고리즘 또는 기 학습된 객체 탐지 모델을 이용하여 임의 의료 데이터로부터 척추뼈 위치를 인식할 수 있다.

또한, 프로세서(110)는, 이미지 정보를 추출할 의료 데이터로부터 척추 정보와 관련된 신체 영역의 이미지 정보를 기 설정된 방식에 따라 추출할 수 있다.

여기서, 기 설정된 방식은, 이미지 정보를 추출하는 방식으로서, 이미지 정보의 크기, 이미지 정보의 분할 방식 및 이미지 정보의 추출 상면(예: 축상면, 시상면, 관상면 등) 등일 수 있으나, 이에 제한되지 않고, 의료 데이터로부터 특정 영역의 이미지 정보를 추출하는 어떠한 방식이든 채용 가능하다. 예컨대, 프로세서(110)는, 척추 정보와 관련된 신체 영역의 이미지 정보로서, 특정 신체 영역의 축상면을 추출할 수 있다.

이후, 프로세서(110)는, 추출된 축상면을 기초로 3D 모델링 알고리즘을 이용하여 해당 신체 영역의 이미지 정보로서 해당 신체 영역의 관상면 및/또는 시상면을 추출할 수 있다.

한편, 프로세서(110)는, 사용자로부터 입력된 이미지 정보를 추출하는 방식이나, 기 지정되어 저장하고 있는 이미지 정보 추출 방식을 기 설정된 방식으로서 이용할 수 있다.

프로세서(110)는, 의료 데이터로부터 이미지 정보를 추출하도록 기 학습된 이미지 추출 모델을 이용하여 이미지 정보를 추출할 수 있다.

여기서, 이미지 추출 모델은, 의료 데이터상에서 척추 정보가 포함하는 척추뼈 위치를 인식하고, 인식된 척추뼈 위치와 관련된 신체 영역을 탐지하여 입력 파라미터 또는 기 설정된 파라미터의 방식으로 이미지 정보를 추출한다. 예컨대, 프로세서(110)는, 척추 정보와 기 설정된 조건을 입력 파라미터로서 이미지 추출 모델에 입력하면, 이미지 추출 모델은, 기 설정된 객체 탐지 알고리즘 또는 기 학습된 객체 탐지 모델을 이용하여 의료 데이터로부터 척추뼈 위치를 탐지할 수 있다.

또한, 이미지 추출 모델은, 탐지된 척추뼈 위치를 기준으로 의료 데이터로부터 기 설정된 조건을 만족하는 이미지 정보를 추출할 수 있다.

그리고, 프로세서(110)는, 다른 복수의 의료 데이터들로부터 이전에 추출한 이미지 정보에 상응하는 이미지 정보를 추출할 수 있다.

여기서, 프로세서(110)는, 이전에 이미지 정보를 추출할 때 인식되었던 동일한 척추뼈 위치를 기반으로 다른 복수의 의료 데이터들로부터 상응하는 이미지 정보를 추출할 수 있다.

프로세서(110)는, 이전 이미지 추출 과정 중에 반환된 값을 이용하여 보다 용이하게 다른 복수의 의료 데이터들로부터 이미지 정보를 추출할 수 있다. 예컨대 프로세서(110)는, 이전 이미지 정보 추출 과정에서 인식된 척추뼈 위치 정보, 추출된 이미지 정보의 메타 데이터(metadata) 등을 입력 파라미터로 하여 다른 복수의 의료 데이터들 각각으로부터 이미지 정보를 추출할 수 있다.

여기서, 메타 데이터란, 데이터에 관한 정보, 데이터를 관리하기 위한 정보, 데이터의 구조에 관한 정보 등을 포함할 수 있다.

또한, 프로세서(110)는, 복수의 다른 의료 데이터들 가운데 이전에 추출한 이미지 정보에 상응하는 이미지 정보를 추출할 수 없는 경우에, 해당 의료 데이터로부터 이미지 정보를 추출하지 않는다. 이로써, 사용자는, 유의미한 이미지 정보만을 참조할 수 있다.

또한, 프로세서(110)는, 추출된 각 이미지 정보를 기 설정된 조건에 따라 참조하기 위한 메타 데이터 또는 데이터 구조를 생성할 수 있다.

여기서, 기 설정된 조건이란, 이미지 정보 표시 방식으로서 의료영상정보의 유형, 의료영상정보의 생성 날짜, 이미지 정보의 크기, 이미지 정보의 분할 방식, 이미지 정보의 추출 방식 및 이미지 정보의 추출 상면의 전부 또는 일부를 포함할 수 있으나, 이에 제한되지 않는다.

프로세서(110)는, 사용자로부터 이미지 정보를 참조하기 위한 이미지 정보 표시 방식을 입력받거나, 기 저장된 이미지 정보 표시 방식을 이용하여 각 이미지 정보를 참조할 수 있는 메타 데이터 또는 데이터 구조를 생성할 수 있다. 예컨대, 프로세서(110)는, 시간 순서대로 또는 의료영상정보의 유형별로 각 이미지 정보를 분류하여 해당 순서에 따라 또는 카테고리별로 이미지 정보를 참조하기 위한 리스트(list)를 생성할 수 있다.

프로세서(110)는, 데이터 구조로서 각 이미지 정보를 참조할 수 있는 리스트(list), 어레이(array), 맵(map), 트리(tree), 그래프(graph) 등을 생성할 수 있으나, 이러한 데이터 구조에 제한되지 않고 추출된 이미지 정보의 갯수, 이미지 정보의 메타 데이터, 장치의 연산 능력 등에 따라 최적의 데이터 구조를 선정하여 생성할 수 있다.

프로세서(110)는, 각 이미지 정보를 메타 데이터 또는 데이터 구조를 기초로 각 이미지 데이터를 시각화하여 사용자에게 제공할 수 있다. 예컨대, 프로세서(110)는, 메타 데이터 또는 데이터 구조를 기초로 각 이미지 데이터를 참조할 수 있는 목록을 출력부(예: 디스플레이 등)에 표시할 수 있다.

메타 데이터 또는 데이터 구조를 기초로 표시하는 방식은, 예컨대, 시간 순서에 따라 데이터 구조로서 이미지 정보 리스트를 생성한 경우, 표시부에 이미지 정보의 리스트를 시간 순서에 따라 표시함으로써 수행될 수 있다. 이 경우, 표시되는 정보는, 이미지 정보의 요약된 정보, 메타 데이터 및/또는 이미지 정보나 대응하는 의료영상정보의 참조 링크 등일 수 있으나, 이에 제한되지 않는다.

프로세서(110)는, 사용자로부터 이미지 정보 표시 방식을 재입력 받아, 해당 이미지 정보 표시 방식에 따라 이미지 정보를 재표시할 수 있다.

이와 같이, 본 개시는, 의료 영상 데이터의 관심 영역에 포함되는 척추 위치를 기반으로 병변이 위치하는 필요한 이미지 정보를 신속하고 정확하게 자동 추출하여 최소의 시간으로 많은 정보를 획득할 수 있다.

또한, 본 개시는, 관심 영역과 관심 영역의 일부분만을 포함하는 복수의 의료 영상 데이터들로부터 각각 판독한 척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출함으로써, 의료 영상 데이터들에 포함되는 관심 영역에 제한 없이 필요한 이미지 정보를 신속하고 정확하게 자동 추출할 수 있다.

또한, 본 개시는, 추출한 이미지 정보들을 의료 영상 데이터의 유형이나 의료 영상 데이터가 생성된 시간 순서 등 특정 조건에 따라 참조할 수 있는 데이터구조를 제공함으로써, 사용자가 관심 있는 신체 영역의 변화 또는 해당 신체 영역에 포함된 병변의 변화를 쉽게 추적하고 관찰할 수 있다.

도 2는, 본 개시의 일 실시예에 따라, 의료 영상 데이터로부터 척추 위치를 판독하는 과정을 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 척추가 포함된 의료 데이터를 획득하면, 사용자는, 의료 데이터상에 관심 영역을 지정하여 입력할 수 있다.

본 개시는, 입력된 관심 영역의 정보를 기초로 해당 영역이 어떤 척추뼈 위치를 가리키는 지, 즉 척추뼈 위치를 인식할 수 있다.

그리고, 본 개시는, 이용 대상의 의료 데이터 각각으로부터 인식된 척추뼈 위치와 관련된 신체 영역의 이미지 정보를 추출할 수 있다.

또한, 본 개시는, 사용자가 지정한 영역을 척추뼈의 위치를 인식하기 쉽게 재지정할 수 있다.

도 3은, 본 개시의 일 실시예에 따라, 척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출하는 과정을 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 본 개시는, 척추 정보와 관련된 신체 영역의 이미지 정보를 추출할 수 있다.

도 3의 점선 영역은, 척추 정보에 포함된 척추뼈 위치에 대응하는 영역을 보여주는 것으로, 점선 영역에는, 병변 A가 포함되어 있어, 척추 정보는 병변 A와 관련된 이미지 정보를 추출하기 위하여 입력되거나 지정되었음을 확인할 수 있다.

여기서, 병변 A는, 국소적으로 위치하므로 전체 의료 데이터 가운데 병변 A를 확인할 수 있는 이미지 정보만을 추출하여야 한다.

본 개시는, 제1 의료 데이터로부터 제1 관심 영역을 탐색하고, 제1 관심 영역에 포함되는 척추를 식별하며, 식별한 척추의 척추뼈 번호를 지정할 수 있다.

즉, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제1 의료 영상 데이터로부터 병변이 위치하는 제1 이미지 정보를 추출할 수 있다.

여기서, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 제1 의료 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하도록 사전 학습된 이미지 추출 모델을 이용하여 기 설정된 방식을 입력 파라미터로 하여 제1 의료 데이터로부터 제1 이미지 정보를 추출할 수 있다.

또한, 본 개시는, 제2 의료 데이터로부터 제1 관심 영역의 일부를 포함하는 제2 관심 영역을 탐색하고, 제2 관심 영역에 포함되는 척추를 식별하며, 식별한 척추의 척추뼈 번호를 지정할 수 있다.

즉, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

여기서, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 제2 의료 데이터의 신체 영역을 탐지하여 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하도록 사전 학습된 이미지 추출 모델을 이용하여 기 설정된 방식을 입력 파라미터로 하여 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

일 예로, 본 개시는, 제1 의료 데이터의 척추뼈 번호와 동일한 척추의 위치를 제2 의료 데이터로부터 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

도 4는, 본 개시의 일 실시예에 따라, 복수의 의료 영상 데이터들로부터 추출한 이미지 정보들을 시각화하는 결과 정보를 보여주는 도면이다.

도 4에 도시된 바와 같이, 본 개시는, 제1 의료 영상 데이터로부터 추출한 제1 이미지 정보와 제2 의료 영상 데이터로부터 추출한 제2 이미지 정보를 정합하여 제2 이미지 정보가 제1 이미지 정보와 매칭되는지를 확인하고, 제2 이미지 정보가 제1 이미지 정보와 매칭되지 않으면 제2 이미지 정보가 제1 이미지 정보와 연련되지 않는 미연관 이미지 정보로 판단할 수 있다.

여기서, 본 개시는, 제2 이미지 정보가 제1 이미지 정보와 연관되지 않는 미연관 이미지 정보로 판단되면 제2 의료 영상 데이터로부터 제1 이미지 정보와 연관되는 이미지 정보의 찾을 수 없다는 알림을 생성하여 제공할 수 있다.

일 예로, 본 개시는, 텍스트, 음성 및 이미지 중 적어도 어느 한 형태로 알림을 가공하여 제공할 수도 있다.

또한, 본 개시는, 제1 이미지 정보에 매칭되는 제2 이미지 정보들을 다른 복수의 의료 영상 데이터들로부터 추출하여 저장하고, 환자의 병변이 위치하는 신체 영역을 포함하는 이미지 정보들을 메타 데이터 또는 데이터 구조로 생성할 수 있다.

그리고, 본 개시는, 메타 데이터 또는 데이터 구조를 기반으로 제1 이미지 정보 및 제2 이미지 정보를 포함하는 복수의 이미지 정보들을 시각화할 수 있다.

본 개시는, 사용자로부터 이미지 정보를 참조하기 위한 이미지 정보 표시 방식을 입력받거나, 기 저장된 이미지 정보 표시 방식을 이용하여 각 이미지 정보를 참조할 수 있는 메타 데이터 또는 데이터 구조를 생성할 수 있다. 예컨대, 프로세서(110)는, 시간 순서대로 또는 의료영상정보의 유형별로 각 이미지 정보를 분류하여 해당 순서에 따라 또는 카테고리별로 이미지 정보를 참조하기 위한 리스트(list)를 생성할 수 있다.

또한, 본 개시는, 데이터 구조로서 각 이미지 정보를 참조할 수 있는 리스트(list), 어레이(array), 맵(map), 트리(tree), 그래프(graph) 등을 생성할 수 있으나, 이러한 데이터 구조에 제한되지 않고 추출된 이미지 정보의 갯수, 이미지 정보의 메타 데이터, 장치의 연산 능력 등에 따라 최적의 데이터 구조를 선정하여 생성할 수 있다.

이처럼, 본 개시는, 각 이미지 정보를 메타 데이터 또는 데이터 구조를 기초로 각 이미지 데이터를 시각화하여 사용자에게 제공할 수 있다. 예컨대, 프로세서(110)는, 메타 데이터 또는 데이터 구조를 기초로 각 이미지 데이터를 참조할 수 있는 목록을 출력부(예: 디스플레이 등)에 표시할 수 있다.

메타 데이터 또는 데이터 구조를 기초로 표시하는 방식은, 예컨대, 시간 순서에 따라 데이터 구조로서 이미지 정보 리스트를 생성한 경우, 표시부에 이미지 정보의 리스트를 시간 순서에 따라 표시함으로써 수행될 수 있다. 이 경우, 표시되는 정보는, 이미지 정보의 요약된 정보, 메타 데이터 및/또는 이미지 정보나 대응하는 의료영상정보의 참조 링크 등일 수 있으나, 이에 제한되지 않는다.

또한, 본 개시는, 사용자로부터 이미지 정보 표시 방식을 재입력 받아, 해당 이미지 정보 표시 방식에 따라 이미지 정보를 재표시할 수 있다.

도 5는, 본 개시의 일 실시예에 따라, 의료영상정보 제공 방법을 설명하기 위한 순서도이다.

도 5에 도시된 바와 같이, 본 개시는, 동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득할 수 있다(S10).

여기서, 제1 의료 데이터는, 제1 촬영 방식을 갖는 제1 촬영 장치로부터 획득되고, 제2 의료 데이터는, 상기 제1 촬영 방식과 다른 제2 촬영 방식을 갖는 제2 촬영 장치로부터 획득될 수 있다.

예를 들면, 제1 의료 데이터는, CT(Computed Tomography)를 포함하고, 제2 의료 데이터는, MRI(Magnetic Resonance Imaging)를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.

또한, 제1 의료 데이터의 제1 관심 영역은, 척추의 특정 부분에 대한 전체 영역을 포함하고, 제2 의료 데이터의 제2 관심 영역은, 척추의 특정 부분에 대한 일부 영역을 포함할 수 있다.

이어, 본 개시는, 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독할 수 있다(S20).

여기서, 본 개시는, 제1 의료 데이터로부터 제1 관심 영역을 탐색하고, 제1 관심 영역에 포함되는 척추를 식별하며, 식별한 척추의 척추뼈 번호를 지정할 수 있다.

또한, 본 개시는, 제2 의료 데이터로부터 제2 관심 영역을 탐색하고, 제2 관심 영역에 포함되는 척추를 식별하며, 식별한 척추의 척추뼈 번호를 지정할 수 있다.

다음, 본 개시는, 판독한 척추 위치를 기반으로 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출할 수 있다(S30).

여기서, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제1 의료 영상 데이터로부터 병변이 위치하는 제1 이미지 정보를 추출할 수 있다.

일 예로, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 제1 의료 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하도록 사전 학습된 이미지 추출 모델을 이용하여 기 설정된 방식을 입력 파라미터로 하여 제1 의료 데이터로부터 제1 이미지 정보를 추출할 수 있다.

그리고, 본 개시는, 판독한 척추 위치를 기반으로 제2 의료 영상 데이터의 신체 영역을 탐지하여 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다(S40).

여기서, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 기설정 방식에 따라 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

또한, 본 개시는, 척추뼈 번호가 지정된 척추의 위치를 인식하고, 인식한 척추의 위치를 기준으로 제2 의료 데이터의 신체 영역을 탐지하여 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하도록 사전 학습된 이미지 추출 모델을 이용하여 기 설정된 방식을 입력 파라미터로 하여 제2 의료 데이터로부터 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출할 수 있다.

이어, 본 개시는, 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인할 수 있다(S50).

여기서, 본 개시는, 추출한 제1 이미지 정보와 제2 이미지 정보를 정합하여 제2 이미지 정보가 제1 이미지 정보와 매칭되는지를 확인하고, 제2 이미지 정보가 제1 이미지 정보와 매칭되지 않으면 제2 이미지 정보가 제1 이미지 정보와 연련되지 않는 미연관 이미지 정보로 판단할 수 있다.

그리고, 본 개시는, 제2 이미지 정보가 제1 이미지 정보와 연관되지 않는 미연관 이미지 정보로 판단되면 제2 의료 영상 데이터로부터 제1 이미지 정보와 연관되는 이미지 정보의 찾을 수 없다는 알림을 생성하여 제공할 수 있다.

일 예로, 본 개시는, 텍스트, 음성 및 이미지 중 적어도 어느 한 형태로 알림을 가공하여 제공할 수도 있다.

경우에 따라, 본 개시는, 제2 이미지 정보가 제1 이미지 정보와 매칭되면 제1 이미지 정보 및 제2 이미지 정보를 기 설정된 조건에 따라 참조하기 위한 메타 데이터 또는 데이터 구조를 생성할 수 있다.

또한, 본 개시는는, 메타 데이터 또는 데이터 구조를 기초로 제1 이미지 정보 및 제2 이미지 정보를 시각화할 수 있다.

이와 같이, 본 개시는, 의료 영상 데이터의 관심 영역에 포함되는 척추 위치를 기반으로 병변이 위치하는 필요한 이미지 정보를 신속하고 정확하게 자동 추출하여 최소의 시간으로 많은 정보를 획득할 수 있다.

또한, 본 개시는, 관심 영역과 관심 영역의 일부분만을 포함하는 복수의 의료 영상 데이터들로부터 각각 판독한 척추 위치를 기반으로 병변이 위치하는 이미지 정보를 추출함으로써, 의료 영상 데이터들에 포함되는 관심 영역에 제한 없이 필요한 이미지 정보를 신속하고 정확하게 자동 추출할 수 있다.

또한, 본 개시는, 추출한 이미지 정보들을 의료 영상 데이터의 유형이나 의료 영상 데이터가 생성된 시간 순서 등 특정 조건에 따라 참조할 수 있는 데이터구조를 제공함으로써, 사용자가 관심 있는 신체 영역의 변화 또는 해당 신체 영역에 포함된 병변의 변화를 쉽게 추적하고 관찰할 수 있다.

이상에서 전술한 본 개시의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시이 속하는 기술분야의 통상의 기술자는 본 개시이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하는 단계;
   상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하는 단계;
   상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하는 단계;
   상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 단계; 및
   상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하는 단계를 포함하고,
   상기 제1 의료 영상 데이터는,
   제1 촬영 방식을 갖는 제1 촬영 장치로부터 획득되고,
   상기 제2 의료 영상 데이터는,
   상기 제1 촬영 방식과 다른 제2 촬영 방식을 갖는 제2 촬영 장치로부터 획득되고,
   상기 제1 의료 영상 데이터의 제1 관심 영역은,
   상기 척추의 특정 부분에 대한 전체 영역을 포함하고,
   상기 제2 의료 영상 데이터의 제2 관심 영역은,
   상기 척추의 특정 부분에 대한 일부 영역을 포함하는 것을 특징으로 하는 의료영상정보 제공 방법.
2. 삭제
3. 삭제
4. 제1 항에 있어서,
   상기 제1 관심 영역의 척추 위치를 판독하는 단계는,
   상기 제1 의료 영상 데이터로부터 상기 제1 관심 영역을 탐색하고, 상기 제1 관심 영역에 포함되는 척추를 식별하며, 상기 식별한 척추의 척추뼈 번호를 지정하는 것을 특징으로 하는 의료영상정보 제공 방법.
5. 제4 항에 있어서,
   상기 제1 이미지 정보를 추출하는 단계는,
   상기 척추뼈 번호가 지정된 척추의 위치를 인식하고, 상기 인식한 척추의 위치를 기준으로 기설정 방식에 따라 상기 제1 의료 영상 데이터로부터 상기 병변이 위치하는 제1 이미지 정보를 추출하는 것을 특징으로 하는 의료영상정보 제공 방법.
6. 제1 항에 있어서,
   상기 제2 관심 영역의 척추 위치를 판독하는 단계는,
   상기 제2 의료 영상 데이터로부터 상기 제2 관심 영역을 탐색하고, 상기 제2 관심 영역에 포함되는 척추를 식별하며, 상기 식별한 척추의 척추뼈 번호를 지정하는 것을 특징으로 하는 의료영상정보 제공 방법.
7. 제1 항에 있어서,
   상기 매칭 여부를 확인하는 단계는,
   상기 추출한 제1 이미지 정보와 제2 이미지 정보를 정합하여 상기 제2 이미지 정보가 상기 제1 이미지 정보와 매칭되는지를 확인하고, 상기 제2 이미지 정보가 상기 제1 이미지 정보와 매칭되지 않으면 상기 제2 이미지 정보가 상기 제1 이미지 정보와 연련되지 않는 미연관 이미지 정보로 판단하는 것을 특징으로 하는 의료영상정보 제공 방법.
8. 제7 항에 있어서,
   상기 매칭 여부를 확인하는 단계는,
   상기 제2 이미지 정보가 상기 제1 이미지 정보와 연관되지 않는 미연관 이미지 정보로 판단되면 상기 제2 의료 영상 데이터로부터 상기 제1 이미지 정보와 연관되는 이미지 정보의 찾을 수 없다는 알림을 생성하여 제공하는 것을 특징으로 하는 의료영상정보 제공 방법.
9. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 의료영상정보 제공을 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:
   동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하는 동작;
   상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하는 동작;
   상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하는 동작;
   상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하는 동작; 및
   상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하는 동작을 포함하고,
   상기 제1 의료 영상 데이터는,
   제1 촬영 방식을 갖는 제1 촬영 장치로부터 획득되고,
   상기 제2 의료 영상 데이터는,
   상기 제1 촬영 방식과 다른 제2 촬영 방식을 갖는 제2 촬영 장치로부터 획득되고,
   상기 제1 의료 영상 데이터의 제1 관심 영역은,
   상기 척추의 특정 부분에 대한 전체 영역을 포함하고,
   상기 제2 의료 영상 데이터의 제2 관심 영역은,
   상기 척추의 특정 부분에 대한 일부 영역을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
10. 의료영상정보를 제공하기 위한 컴퓨팅 장치로서,
    하나 이상의 코어를 포함하는 프로세서; 및
    메모리;
    를 포함하고,
    상기 프로세서는,
    동일한 환자의 제1 관심 영역을 포함하는 제1 의료 영상 데이터와 상기 제1 관심 영역의 일부분을 포함하는 제2 관심 영역을 포함하는 제2 의료 영상 데이터를 획득하고,
    상기 제1 의료 영상 데이터와 제2 의료 영상 데이터를 사전 학습한 뉴럴 네트워크 모델에 각각 입력하여 상기 제1 관심 영역과 제2 관심 영역의 척추 위치를 판독하며,
    상기 판독한 척추 위치를 기반으로 상기 제1 의료 영상 데이터의 신체 영역을 탐지하여 병변이 위치하는 제1 이미지 정보를 추출하고,
    상기 판독한 척추 위치를 기반으로 상기 제2 의료 영상 데이터의 신체 영역을 탐지하여 상기 제1 의료 영상 데이터의 제1 이미지 정보에 상응하는 제2 이미지 정보를 추출하며, 및
    상기 제1 이미지 정보와 제2 이미지 정보를 정합하여 매칭 여부를 확인하고,
    상기 제1 의료 영상 데이터는,
    제1 촬영 방식을 갖는 제1 촬영 장치로부터 획득되고,
    상기 제2 의료 영상 데이터는,
    상기 제1 촬영 방식과 다른 제2 촬영 방식을 갖는 제2 촬영 장치로부터 획득되고,
    상기 제1 의료 영상 데이터의 제1 관심 영역은,
    상기 척추의 특정 부분에 대한 전체 영역을 포함하고,
    상기 제2 의료 영상 데이터의 제2 관심 영역은,
    상기 척추의 특정 부분에 대한 일부 영역을 포함하는 것을 특징으로 하는 컴퓨팅 장치.

Images