KR20160038405A - 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 - Google Patents

Abstract

제1 영상에서 제1 특징 집합을 추출하고, 제2 영상에서 제2 특징 집합을 추출하는 특징 추출부와 특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 제2 특징 집합을 제1 특징 집합에 대응되도록 변환하여 변환 집합을 획득하는 특징 변환부와 변환 집합과 제1 특징 집합에 기초하여 제1 영상과 제2 영상을 정합하는 정합부를 포함하는 영상 정합 장치를 제공한다.

Description

영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치{METHOD AND APPARATUS FOR IMAGE REGISTRATION, AND ULTRASONIC DIAGNOSIS APPARATUS}

영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치에 관한 것이다.

의료용 영상 장치는 환자의 정보를 획득하여 영상을 제공하는 장치이다. 의료용 영상 장치는 X선 장치, 초음파 의료 장치, 컴퓨터 단층 촬영 장치, 자기공명영상장치 등을 포함한다.. 의료용 영상 장치는 각 장치 별로 장점과 단점을 가지고 있다.

예를 들어, 자기공명영상장치는 방사선 노출을 사용하지 않으며, 영상 촬영 조건이 상대적으로 자유롭고, 연부 조직에서의 우수한 대조도와 다양한 진단 정보 영상을 제공하나, 영상 획득 시간이 상대적으로 길고 촬영시에 많은 비용이 든다. 또한, 컴퓨터 단층 촬영 장치는 영상 획득 시간이 짧고, 비용이 저렴하나, 상대적으로 높은 해상도를 제공하지 못하며, 환자가 방사선에 노출되는 단점이 있다.

따라서, 정확한 진단을 위해서는 서로 다른 모달리티의 의료 장치에서 획득된 영상을 정합하여 제공할 필요가 있다.

서로 다른 모달리티의 진단 장치에서 획득된 영상을 정합하는 영상 정합 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.

일 양상에 따른 영상 정합 장치는 제1 영상에서 제1 특징 집합을 추출하고, 제2 영상에서 제2 특징 집합을 추출하는 특징 추출부;와 특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 제2 특징 집합을 제1 특징 집합에 대응되도록 변환하여 변환 집합을 획득하는 특징 변환부;와 변환 집합과 제1 특징 집합에 기초하여 제1 영상과 제2 영상을 정합하는 정합부;를 포함한다.

또한, 정합부는 변환 집합과 제2 특징 집합을 오차에 기초하여 정합 함수를 결정하고, 결정된 정합 함수를 적용하여 제1 영상과 제2 영상을 정합할 수 있다.

또한, 변환 인공 신경망은 서로 정합된 영상에 기초하여 비지도 학습된 것일 수 있다. 이때, 변환 신경망은 정합된 영상의 동일한 부분에서 추출된 특징 사이의 관계에 따라 비지도 학습된 것일 수 있다. 또한, 변환 신경망은 다층 퍼셉트론(multilayer perceptron) 구조일 수 있다.

또한, 복수 개의 제1 영상을 이용하여 제1 특집 집합의 추출이 비지도 학습된 제1 특징 신경망;과 복수 개의 제2 영상을 이용하여 제2 특집 집합의 추출이 비지도 학습된 제2 특징 신경망;을 더 포함할 수 있다.

또한, 특징 추출부는 제1 특징 신경망 및 제2 특징 신경망에 기초하여 제1 영상 및 제2 영상을 특징을 추출할 수 있다.

한편, 제1 영상은 실시간으로 획득되는 의료 영상이고, 제2 영상은 미리 획득된 의료 영상일 수 있다. 이때, 제1 영상은 초음파 영상이고, 제2 영상은 컴퓨터 단층 촬영영상, 자기공명영상, 양전자 단층 촬영 영상, 단일 광자 단층 촬영 영상 중 하나의 영상일 수 있다.

또한, 제1 영상은 미리 획득된 의료 영상이고, 제2 영상은 실시간으로 획득될 수 있다.

또한, 제1 영상과 제2 영상은 서로 다른 모달리티의 의료 장치에 의하여 획득된 것일 수 있다,

일 양상에 따른 영상 정합 방법은 제1 영상에서 제1 특징 집합을 추출하고, 제2 영상에서 제2 특징 집합을 추출하는 특징 추출 단계;와 특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 제1 특징 집합을 제2 특징 집합에 대응되도록 변환하여 변환 집합을 획득하는 변환 단계;와 변환 집합과 제2 특징 집합에 기초하여 제1 영상과 제2 영상을 정합하는 정합 단계;를 포함한다.

또한, 정합 단계는 변환 집합과 제2 특징 집합을 오차에 기초하여 정합 함수를 결정하고, 결정된 정합 함수를 제1 영상 또는 제2 영상 중 어느 하나의 영상에 적용하는 단계;를 포함할 수 있다.

또한, 추출 단계는, 복수 개의 제1 영상을 이용하여 특집 추출이 비지도 학습된 제1 특징 신경망을 이용하여 제1 특징 집합을 추출하는 단계;와 복수 개의 제2 영상을 이용하여 특집 추출이 비지도 학습된 제2 특징 신경망을 이용하여 제2 특징 집합을 추출하는 단계;를 포함할 수 있다.

또한, 제1 특징 신경망, 제2 특징 신경망, 및 변환 신경망은 다층 퍼셉트론(multilayer perceptron) 구조일 수 있다.

일 양상에 따른 초음파 진단 장치는 대상체의 초음파 영상을 획득하는 영상 획득부;와 대상체를 촬영하여 미리 획득된 의료 영상에서 제1 특징 집합을 추출하고, 초음파 영상에서 제2 특징 집합을 추출하는 특징 추출부;와 특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 제1 특징 집합과 제2 특징 집합을 동일한 특징 공간으로 변환하는 특징 변환부;와 동일한 특징 공간으로 변환된 제1 특징 집합 및 제2 특징 집합에 기초하여 초음파 영상과 의료 영상을 정합하는 정합부;를 포함할 수 있다.

이때, 제1 특징 집합은 복수 개의 의료 영상에 기초하여 미리 비지도 학습된 제1 특징 신경망에 의하여 생성되고, 제2 특징 집합은 복수 개의 의료 영상에 기초하여 미리 비지도 학습된 제2 특징 신경망에 의하여 생성될 수 있다.

또한, 초음파 진단 장치는 의료 영상을 수신하는 통신부;를 더 포함할 수 있다.

또한, 정합부는 동일한 특징 공간으로 변환된 제1 특징 집합 및 제2 특징 집합의 오차에 기초하여 정합 함수를 결정하고, 결정된 정합 함수를 의료 영상에 적용하여 의료 영상과 초음파 영상을 정합할 수 있다.

변환 신경망은 서로 정합된 영상에 기초하여 지도 학습된 것일 수 있다.

인공 신경망을 이용하여 서로 다른 모달리티의 진단 장치에서 획득된 영상을 정합하므로, 영상 정합의 정확성을 향상시킬 수 있다.

도 1은 일 실시예에 따른 영상 정합 장치를 설명하기 위한 제어 블록도이다.
도 2는 제1 인공 신경망의 일례를 도시한 도면이다.
도 3는 제2 인공 신경망의 일례를 도시한 도면이다.
도 4은 제1 인공 신경망의 비지도 훈련 방법을 설명하기 위한 순서도이다.
도 5는 제1 인공 신경망의 선행 학습을 설명하기 위한 도면이다.
도 6은 멀티 레이어 학습을 위한 제1 인공 신경망의 확장을 설명하기 위한 도면이다.
도 7은 제1 인공 신경망의 영상 재구성에 대하여 설명하기 위한 도면이다.
도 8은 제1 인공 신경망의 멀티 레이어 학습을 설명하기 위한 도면이다.
도 9은 제2 인공 신경망의 영상 재구성에 대하여 설명하기 위한 도면이다.
도 10은 패치 영상의 분리의 일 실시예를 설명하기 위한 도면이다.
도 11은 특징 벡터 집합의 특징 벡터 정렬을 설명하기 위한 도면이다.
도 12는 다양한 잡음 환경에서 제1 인공 신경망을 이용한 특징 추출을 도시한 도면이다.
도 13은 일 실시예에 따른 특징 벡터 공간의 변환을 설명하기 위한 도면이다.
도 14은 제3 인공 신경망의 일례를 도시한 도면이다.
도 15는 제3 인공 신경망의 학습 방법의 일 실시예를 설명하기 위한 순서도이다.
도 16은 서로 정합된 영상에 기초한 제3 인공 신경망의 훈련 방법을 설명하기 위한 도면이다.
도 17는 영상 정합 함수 결정의 일 실시예를 설명하기 위한 도면이다.
도 18은 다른 실시예에 따른 영상 정합 장치를 설명하기 위한 제어 블록도이다.
도 19는 일 실시예에 따른 영상 정합 장치의 제어 방법의 일 실시예 설명하기 위한 순서도이다.
도 20는 일 실시예에 따른 영상 정합 장치의 제어 방법의 다른 실시예 설명하기 위한 순서도이다.
도 21은 일 실시예에 따른 초음파 진단 장치의 일 실시예를 도시한 사시도이다.
도 22는 일 실시예에 따른 초음파 진단 장치의 제어 블록도이다.
도 23은 제1 특징 벡터 집합의 추출을 설명하기 위한 도면이다.
도 24은 제2 특징 벡터 집합의 추출을 설명하기 위한 도면이다.
도 25는 제3 인공 신경망의 지도 학습의 일 실시예를 설명하기 위한 도면이다.
도 26는 특징 공간의 변환의 일 실시예를 설명하기 위한 도면이다.
도 27은 특징 공간의 변환의 다른 실시예를 설명하기 위한 도면이다.
도 28은 특징 공간의 변환의 다른 실시예에서 이용되는 제3 인공 신경망의 학습 방법을 설명하기 위한 도면이다.
도 29는 초음파 진단 장치의 제어 방법의 일 실시예 설명하기 위한 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부", "모듈", "유닛" 등의 용어는 적어도 하나의 기능 또는 동작을 처리하는 단위를 의미하며, 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소, 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다. 그렇지만 "부", "모듈", "유닛" 등의 용어가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부", "모듈", "유닛" 등은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 ""부", "모듈", "유닛" 등의 용어는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.

"제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.

도 1은 일 실시예에 따른 영상 정합 장치를 설명하기 위한 제어 블록도이다. 일 실시예에 따른 영상 정합 장치(1)는 서로 다른 영상을 정합할 수 있다. 여기서, "영상"은 의료 장치를 이용하여 대상체를 촬영하여 획득한 것으로, 2 차원 영상 또는 3차원 영상일 수도 있다.

예를 들어, 영상은 초음파 촬영(ultrasonography), 자기공명영상 촬영(Magnetic Resonance Imaging, MRI), 컴퓨터 단층 촬영(Computed Tomography, CT), 양전자 단층 촬영(Positron Emission Tomography, PET), 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT)을 통해 획득한 의료 영상일 수 있다.

"대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다. 또한, 대상체는 팬텀(phantom)을 포함할 수도 있으며, 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미할 수 있다.

영상 정합 장치(1)에 의하여 정합되는 영상들은 서로 다른 모달리티(Modality)의 의료 장치에서 획득된 것일 수 있다. 영상 정합의 대상이 되는 영상은 미리 획득된 것일 수 있으나, 하나의 영상은 실시간으로 획득되는 것이고, 다른 하나의 영상은 미리 획득된 영상일 수도 있다. 예를 들어, 영상 정합 장치(1)는 실시간으로 획득되는 초음파 영상과 미리 획득된 컴퓨터 단층촬영영상 또는 자기공명영상을 정합할 수 있다.

이하, 설명의 편의를 위하여 실시간으로 획득되는 영상을 제1 영상으로, 미리 획득된 영상을 제2 영상으로 설명한다. 다만, 실시간으로 획득되는 영상이 제2 영상이 되고 미리 획득된 영상을 제1 영상이 될 수도 있다.

영상 정합 장치(1)는 미리 학습된 복수 개의 인공 신경망(50)을 이용하여 영상 정합을 수행할 수 있다.

영상 정합 장치(1)는 입력된 제1 영상 및 제2 영상에서 특징을 추출하는 특징 추출부(10), 제1 영상 및 제2 영상에서 추출된 특징을 동일한 특징 공간으로 변환하는 특징 변환부(20), 제1 영상 및 제2 영상을 정합하는 정합부(30), 및 인공 신경망(50)을 학습시키는 학습 장치(40)를 포함할 수 있다.

특징 추출부(10)는 제1 인공 신경망(51) 및 제2 인공 신경망(52)을 이용하여 입력된 영상에서 특징 집합을 추출한다.

인공 신경망(50)(Artificial Neural Network)은 효율적인 인식 작용이 일어나는 인간의 두뇌 구조를 공학적으로 모델링한 것으로, 인공 신경망(50)은 하드웨어, 소프트웨어 또는 이들의 결합으로 구현될 수 있다.

인간의 두뇌는 뉴런이라는 신경의 기본단위로 구성되어 있으며, 각 뉴런은 시냅스에 의하여 연결되어, 비선형적이고 병렬적으로 정보를 처리할 수 있다.

인간의 두뇌는 시냅스의 연결 형태 또는 연결 강도를 조절하여 학습한다. 즉, 두뇌는 잘못된 답으로 이끄는 뉴런들 사이의 연결을 약화시키고, 올바른 답으로 이끄는 뉴런들 사이의 연결을 강화시키는 방향으로 시냅스의 연결 강도를 조절하여 학습된다.

인공 신경망(50)은 뉴런에 대응되는 복수 개의 유닛들을 포함할 수 있으며, 복수 개의 유닛들은 복수 개의 레이어로 분류될 수 있다. 인공 신경망(50)은 다양한 구조를 가질 수 있다. 예를 들어, 인공 신경망(50)의 유닛들은 제한된 볼츠만 머신(Restricted Boltzmann machine)의 구조에 따라 서로 인접한 레이어에 포함된 유닛들만 연결될 수 있다.

인공 신경망(50)은 학습을 통해 비선형적이고 병렬적으로 정보를 처리할 수 있다. 여기서, 학습이란, 소정의 학습 데이터로부터 패턴을 찾아내어 일반화하는 것으로, 인공 신경망(50)도 상술한 인간의 두뇌의 학습 방법을 모방하여 학습된다. 구체적으로, 인공 신경망(50)은 올바른 답으로 이끄는 유닛들 사이의 연결 강도가 갱신하여 학습된다.

상술한 바와 같이 제1 영상과 제2 영상은 서로 다른 모달리티의 의료 장치에서 획득된 영상인 바, 제1 영상과 제2 영상은 서로 상이한 특징을 가진다. 그러므로, 제1 영상과 제2 영상에서 특징을 추출하기 위해서는 서로 다른 인공 신경망(51, 52)이 이용될 수 있다.

특징 추출에 이용되는 제1 인공 신경망(51)과 제2 인공 신경망(52)은 학습 장치(40)에 의하여 미리 학습된 것이다. 이하, 특징 추출부(10)의 동작을 구체적으로 설명하기 앞서 제1 인공 신경망(51)과 제2 인공 신경망(52) 및 그 학습에 대하여 상세히 설명한다.

도 2는 제1 인공 신경망의 일례를 도시한 도면이다. 도 3는 제2 인공 신경망의 일례를 도시한 도면이다.

제1 인공 신경망(51) 및 제2 인공 신경망(52)의 구조는 그 제한이 없으나, 제1 인공 신경망(51) 및 제2 인공 신경망(52)은 다층 퍼셉트론(multilayer perceptron) 구조일 수 있다. 다층 퍼셉트론 구조는 입력과 출력 사이의 복수 개의 레이어가 마련된 구조이다.

예를 들어, 제1 인공 신경망(51)은, 도 2에 도시된 바와 같이, 복수 개의 레이어(L11 내지 L14)로 구성될 수 있다. 복수 개의 레이어(L11 내지 L14) 각각은 복수 개의 유닛을 포함할 수 있다. 구체적으로, 제1 레이어(L11)는 2000개의 유닛을 포함하고, 제2 레이어(L12)는 1000개의 유닛을 포함하고, 제3 레이어(L13)는 500개의 유닛을 포함하고, 제4 레이어(L14)는 30개의 유닛을 포함할 수 있다.

제1 인공 신경망(51)의 각 레이어(L11 내지 L14)에 포함된 유닛은 제한된 볼츠만 머신 기법에 따라 서로 인접한 레이어의 유닛들만 연결될 수 있다. 이때, 각 유닛들의 연결 강도(W11 내지 W14)는 이하에서 설명할 비지도 학습에 의하여 결정된다.

또한, 제2 인공 신경망(52)은, 도 3에 도시된 바와 같이, 복수 개의 유닛을 포함한 복수 개의 레이어(L21 내지 L24)로 구성될 수 있으며, 복수 개의 레이어(L21 내지 L24) 각각은 복수 개의 유닛을 포함할 수 있다. 구체적으로, 제1 레이어(L21)는 2000개의 유닛을 포함하고, 제2 레이어(L22)는 1000개의 유닛을 포함하고, 제3 레이어(L23)는 500개의 유닛을 포함하고, 제4 레이어(L24)는 30개의 유닛을 포함할 수 있다.

제2 인공 신경망(52)의 각 레이어(L21 내지 L24)에 포함된 유닛은 제한된 볼츠만 머신 기법에 따라 서로 인접한 레이어의 유닛들만 연결될 수 있다. 각 유닛들의 연결 강도(W21 내지 W22)는 이하에서 학습에 의하여 결정된다.

한편, 도 3에는 제2 인공 신경망(52)이 도 2의 제1 인공 신경망(51)과 동일한 구조로 도시되어 있으나, 제2 인공 신경망(52)과 제1 인공 신경망(51)은 서로 다른 구조를 가질 수 있다. 예를 들어, 제1 인공 신경망(51)의 제4 레이어(L14)에 포함된 유닛이 제2 인공 신경망(52)의 제4 레이어(L13)에 포함된 유닛보다 많을 수 있으며, 제2 인공 신경망(52)이 제1 인공 신경망(51)보다 더 많은 레이어를 포함할 수도 있다.

학습 장치(40)는 제1 인공 신경망(51) 및 제2 인공 신경망(52)을 비지도 학습시킬 수 있다. 여기서, 비지도 학습은 입력으로만 이루어진 훈련 데이터를 이용하여 연결 강도(W11 내지 W14)를 갱신하는 방법으로, 비지도 학습을 통해 제1 인공 신경망(51) 및 제2 인공 신경망(52)은 입력된 영상에서 특징을 추출할 수 있도록 학습된다. 영상에서 추출된 특징은 특징 벡터로 표현될 수 있다. 특징 벡터는 영상의 특징을 기하학적으로 나타낸 것으로, 소정의 행렬로 표현될 수 있다.

제1 인공 신경망(51)의 비지도 학습과 제2 인공 신경망(52)의 비지도 학습에는 서로 다른 훈련 데이터가 이용될 수 있다. 즉, 제1 인공 신경망(51)의 비지도 학습에는 제1 훈련 데이터(41)가 이용되고, 제2 인공 신경망(52)의 비지도 학습에는 제2 훈련 데이터(42)를 포함할 수 있다.

이때, 제1 훈련 데이터(41)는 제1 영상이 획득된 진단 장치와 동일한 모달리티의 진단 장치에서 획득된 복수 개의 영상으로 구성된 것이고, 제2 훈련 데이터(42)는 제2 영상이 획득된 진단 장치와 동일한 모달리티의 진단 장치에서 획득된 복수 개의 영상으로 구성된 것이다.

이와 같이, 제1 인공 신경망(51)과 제2 인공 신경망(52)의 학습을 위해 사용되는 훈련 데이터가 상이한 바, 제1 인공 신경망(51)과 제2 인공 신경망(52)의 구조가 동일하더라도 제1 인공 신경망(51)의 연결 강도(W11 내지 W14)와 제2 인공 신경망(52)의 연결 강도(W21 내지 W24)는 서로 상이하다.

도 4은 제1 인공 신경망의 비지도 훈련 방법을 설명하기 위한 순서도이다.

도 4을 참조하면, 학습 장치(40)는 제1 인공 신경망(51)의 연결 강도(W11 내지 W14)를 초기화한다(S511). 구체적으로, 학습 장치(40)는 제1 연결 강도 내지 제4 연결 강도(W11 내지 W14)를 모두 미리 설정된 초기값으로 설정한다.

학습 장치(40)는 제1 인공 신경망(51)을 선행 학습시킨다(S512). 선행 학습을 통해 제1 연결 강도 내지 제4 연결 강도(W11 내지 W14)는 각각 학습된다. 도 5는 제1 인공 신경망의 선행 학습을 설명하기 위한 도면이다.

도 5에 도시된 바와 같이, 제1 인공 신경망(51)은 복수 개의 제한된 볼츠만 머신(RBM #1 내지 RBM #4)으로 분리될 수 있다. 제한된 볼츠만 머신(RBM #1 내지 RBM #4)은 시각층과 은닉층으로 구분될 수 있다. 여기서, 시각층은 인공 신경망(50)이 학습되는 동안 특정 상태로 고정되는 층이고, 은닉층은 자유롭게 동작하는 층이다.

선행 학습 단계에서는 시각층이 고정되므로 은닉층을 조절하면서 제한된 볼츠만 머신(RBM #1 내지 RBM #4)의 각 연결 강도(W11 내지 W14)가 선행 학습될 수 있다.

구체적으로, 제1 제한된 볼츠만 머신(RBM #1)에서 시각층의 각 유닛은 제1 훈련 데이터(41)에 포함된 훈련 영상(Ti)에서 분리된 패치 영상(Pi)의 픽셀 또는 복셀에 대응될 수 있으며, 은닉층의 각 유닛은 특징에 대응될 수 있다. 이때, 시각층의 각 유닛에 대응되는 픽셀 또는 복셀이 이진 상태인 것으로 가정하면, 아래의 [수학식 1]과 같이 시각층의 각 유닛과 은닉층의 각 유닛 사이의 관계를 나타낼 수 있다.

[수학식 1]

여기서,

는 i번째 픽셀의 이진 상태이고,

는 j번째 특징의 이진 상태이고,

는 i번째 픽셀의 바이어스이고,

는 j번째 특징의 바이어스이고,

는 i번째 픽셀과 j번째 특징의 연결 강도이다.

이때, 바이어스와 연결 강도는 패치 영상(Pi)과 유사한 영상의 에너지를 높이고, 비유사한 영상의 에너지를 낮추는 방향으로 조절될 수 있다.

제1 연결 강도(W11)의 선행 학습은 유사한 영상의 에너지를 높이고, 비유사한 영상의 에너지를 낮추도록 반복적으로 수행될 수 있다. 반복적인 학습을 통해 제1 연결 강도(W11)의 변화가 미리 설정된 조건을 만족하면, 제1 연결 강도(W11)의 선행 학습은 완료된다. 예를 들어, 제1 연결 강도(W11)가 더 이상 변화하지 않거나 임계치 이하로 변화할 때까지 패치 영상(Pi)을 입력하면서 제1 연결 강도(W11)를 조절할 수 있다.

이와 같이 방식으로 제1 제한적 볼츠만 머신(RBM #1)의 제1 연결 강도(W11)가 선행 학습되면, 제2 제한적 볼츠만 머신(RBM #2)의 제2 연결 강도(W12)가 선행 학습된다. 이때, 제1 제한적 볼츠만 머신(RBM #1)의 선행 학습에서 은닉층으로 이용되던 제1 레이어(L11)는 시각층이 되고, 제2 레이어(L12)가 은닉층이 된다.

그리고, 제2 연결 강도(W12)의 선행 학습이 완료되면 제2 레이어(L12)를 시각층, 제3 레이어(L13)를 은닉층으로 하여 제3 연결 강도(W13)가 선행 학습되며, 제3 연결 강도(W13)의 선행 학습이 완료되면 제3 레이어(L13)를 시각층, 제4 레이어(L14)를 은닉층으로 하여 제4 연결 강도(W14)를 선행 학습할 수 있다.

상술한 선행 학습 과정은 경우에 따라 생략될 수 있으나, 지역해로의 수렴을 방지하기 위하여 선행 학습을 통해 초기 연결 강도를 결정하는 것이 바람직하다.

학습 장치(40)는 제1 인공 신경망(51)을 확장한다(S513). 비지도 학습에서 오류 역전파(backpropagation) 알고리즘을 적용하기 위해서는 입력된 패치 영상에서 추출된 특징 벡터에서 다시 입력된 패치 영상을 구성하기 위한 레이어가 더 필요한 바, 특징에서 입력 영상을 복원하기 위한 레이어가 추가된다.

도 6은 멀티 레이어 학습을 위한 제1 인공 신경망의 확장을 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 제1 인공 신경망(51)에 패치 영상이 입력되면, 제1 레이어 내지 제4 레이어(L11 내지 L14)를 통해 입력된 패치 영상에 대응되는 특징 벡터(V1)가 출력된다.

학습 장치(40)는 특징 벡터에 기초하여 영상을 재구성하기 위한 제5 레이어 내지 제7 레이어(L15 내지 L17)를 제1 인공 신경망(51)에 추가한다. 이때, 제5 레이어(L15)는 제3 레이어(L13)에 대응되는 것이고, 제6 레이어(L16)는 제2 레이어(L12)에 대응되는 것이고, 제7 레이어(L17)는 제1 레이어(L11)에 대응된다.

그리고, 학습 장치(40)는, 특징 벡터로부터 다시 패치 영상을 복원하기 위하여, 제4 레이어(L14)와 제5 레이어(L15) 사이의 제5 연결 강도(W15)는 제4 연결 강도(W14)의 역행렬로 설정하고, 제5 레이어(L15)와 제6 레이어(L16) 사이의 제6 연결 강도(W16)는 제3 연결 강도(W13)의 역행렬로 설정하고, 제6 레이어(L16)와 제7 레이어(L17) 사이의 제7 연결 강도(W17)는 제2 연결 강도(W12)의 역행렬로 설정하고, 제7 레이어(L17)와 재구성 영상 사이의 제8 연결 강도(W18)는 제1 연결 강도(W11)의 역행렬로 설정한다.

이와 같이 추가된 제5 레이어 내지 제7 레이어(L15 내지 L17)에 의하여 특징 벡터는 다시 영상으로 재구성될 수 있다. 제5 레이어 내지 제7 레이어(L15 내지 L17)에 의하여 재구성되는 영상을 재구성 영상이라 한다.

학습 장치(40)는 제1 인공 신경망(51)을 멀티 레이어 학습시킨다(S514). 멀티 레이어 학습에서는 오류 역전파 알고리즘이 이용될 수 있다. 오류 역전파 알고리즘은 입력값과 출력값이 일치하도록 연결 강도를 조절하는 학습 방법으로, 학습 장치(40)는 오류 역전파 알고리즘에 따라 입력된 패치 영상과 재구성 영상 사이의 오차가 감소하는 방향으로 제1 연결 강도 내지 제8 연결 강도(W11 내지 W18)를 조절한다.

도 7은 제1 인공 신경망의 영상 재구성에 대하여 설명하기 위한 도면이다. 도 8은 제1 인공 신경망의 멀티 레이어 학습을 설명하기 위한 도면이다.

도 7 및 도 8을 참조하면, 제1 훈련 데이터(41)에서 분리된 복수 개의 패치 영상(P11 내지 P16)을 이용하여 멀티 레이어 학습이 수행된다. 제1 레이어 내지 제4 레이어(W11 내지 W14)에 의하여 입력된 패치 영상(P11 내지 P16)에 대응되는 특징 벡터(V11 내지 V16)가 추출되고, 제5 레이어 내지 제7 레이어(W15 내지 W17)에 의하여 특징 벡터(V11 내지 V16)가 재구성 영상(R11 내지 R16)으로 재구성된다.

학습 장치(40)는 입력된 패치 영상(P11 내지 P16)과 재구성 영상(R11 내지 R16)의 오차가 줄어들도록 제1 인공 신경망(51)의 연결 강도(W11 내지 W18)를 조절할 수 있다. 이때, 연결 강도(W11 내지 W18)는 재구성 영상에 가까운 제8 연결 강도(W18)에서 제1 연결 강도(W11) 순서로 조절될 수 있다.

학습 장치(40)는 패치 영상(P11 내지 P16)과 재구성 영상(R11 내지 R16)의 오차가 줄어들도록, 제8 연결 강도(W18)에서 제1 연결 강도(W11)의 델타값(

내지

)을 순서대로 결정한다. 그리고, 학습 장치(40)는 델타값(

내지

)을 순서대로 적용하면서 제8 연결 강도(W18)에서 제1 연결 강도(W11) 순서로 오차를 수정한다.

상술한 오차의 수정은 복수 개의 훈련 영상에 기초하여 반복적으로 수행될 수 있다. 이때, 훈련 영상의 수가 많을수록 제1 인공 신경망(51)의 훈련이 정교하게 수행될 수 있는 바, 제1 훈련 데이터(41)는 빅 데이터일 수 있다.

아울러, 오차의 수정은 미리 설정된 조건을 만족할 때까지 반복적으로 수행될 수 있다. 예를 들어, 오차의 더 이상 발생하지 않거나 임계치 이하의 오차가 발생할 때까지 연결 강도(W11 내지 W18)를 조절할 수 있다.

멀티 레이어 학습이 종료되면, 학습 장치(40)는 인공 신경망(50)은 축소시킨다(S515). 이때, 특징 벡터에 기초하여 영상을 재구성하기 위해 확장되었던 제5 레이어 내지 제7 레이어(L15 내지 L17)가 삭제될 수 있다.

한편, 학습 장치(40)는 제2 인공 신경망(52)을 비지도 학습시킬 수 있다. 제2 인공 신경망(52)도 제1 인공 신경망(51)과 동일한 방법으로 학습될 수 있다. 다만, 제2 인공 신경망(52)의 선행 학습에는 제2 훈련 데이터(42)가 이용되는 점이 상이하다.

도 9은 제2 인공 신경망의 영상 재구성에 대하여 설명하기 위한 도면이다. 아울러, 멀리 레이어 학습에도 제2 훈련 데이터(42)가 이용될 수 있다. 도 9에 도시된 바와 같이, 제2 훈련 데이터(42)에서 획득된 복수 개의 패치 영상(P21 내지 P26)을 이용하여 멀리 레이어 학습이 수행될 수 있다.

구체적으로, 학습 장치(40)는 입력된 패치 영상(P21 내지 P26)에 대응되는 특징 벡터(V21 내지 V26)에 기초하여 재구성 영상(R21 내지 R26)을 생성하고, 입력된 패치 영상(P11 내지 P16)과 재구성 영상(R11 내지 R16)의 오차가 줄어들도록 제2 인공 신경망(52)의 연결 강도를 조절한다.

이하, 특징 추출부(10)의 동작에 대하여 상세히 설명한다.

특징 추출부(10)는 입력된 제1 영상 및 제2 영상 각각에서 복수 개의 패치 영상을 분리한다. 이때, 적절한 패치 영상의 크기는 실험을 통하여 결정될 수 있으며, 상술한 제1 인공 신경망(51) 및 제2 인공 신경망(52)의 학습에 사용된 패치 영상의 크기와 동일한 것이 바람직하다.

도 10은 패치 영상의 분리의 일 실시예를 설명하기 위한 도면이다.

도 10에 도시된 바와 같이, 입력된 영상이 m by n인 경우, 특징 추출부(10)는 입력된 영상에서 a by b 크기의 패치 영상을 분리한다. 이때, 패치 영상은 미리 설정된 간격에 따라 이동하면서 분리될 수 있다. 예를 들어, 패치 영상은 1픽셀 단위로 상하 좌우로 이동하면서 분리될 수 있다.

또한, 제1 영상 및 제2 영상의 해상도는 서로 상이할 수 있는 바, 제1 영상 및 제2 영상에서 분리되는 패치 영상의 개수는 서로 상이할 수 있다.

또한, 제1 영상에서 분리되는 패치 영상의 크기와 제2 영상에서 분리되는 패치 영상의 크기는 서로 상이할 수도 있다.

또한, 패치 영상은 제1 영상 및 제2 영상에 설정된 소정의 관심 영역에서만 획득될 수도 있다.

한편, 입력된 영상이 3차원 영상인 경우 패치 영상은 복수 개의 복셀로 구성될 수 있다. 즉, 패치 영상은 x by y by z의 크기를 가질 수 있다.

그리고, 특징 추출부(10)는 영상에서 획득된 복수 개의 영상 패치에서 복수 개의 특징 벡터를 추출하여 특징 벡터 집합을 생성할 수 있다.

즉, 제1 인공 신경망(51)은 제1 영상의 패치 영상에서 특징을 추출할 수 있도록 학습된 바, 특징 추출부(10)는 제1 인공 신경망(51)을 이용하여 제1 특징 벡터 집합을 획득할 수 있다.

제1 특징 벡터 집합은 제1 영상에서 분리된 복수 개의 패치 영상에 의하여 생성되는 복수 개의 제1 특징 벡터를 포함한다. 이때, 각 제1 특징 벡터는 대응되는 패치 영상의 특징을 나타내는 것으로, 상술한 비지도 학습된 제1 인공 신경망(51)을 이용하여 추출될 수 있다.

도 11은 특징 벡터 집합의 특징 벡터 정렬을 설명하기 위한 도면이다.

도 11를 참조하면, 제1 특징 벡터 집합(VG)에 포함된 제1 특징 벡터는 대응되는 패치 영상의 위치에 기초하여 정렬될 수 있다.

제1 특징 벡터 집합(VG)은 제1 영상(Im)에서 분리된 복수 개의 패치 영상에서 추출된 복수 개의 제1 특징 벡터(VG)로 구성된다. 복수 개의 제1 특징 벡터는 대응되는 패치 영상의 위치에 따라 정렬된다.

예를 들면, 제1 영상(Im)에서 A픽셀을 중심으로 분리된 패치 영상의 제1 특징 벡터(Va)는 제1 영상(Im)의 A픽셀에 대응되는 제1 특징 벡터 집합(VG)의 a 위치에 정렬되고, 제1 영상(Im)에서 B픽셀을 중심으로 분리된 패치 영상의 제1 특징 벡터(Vb)는 제1 영상(Im)의 B픽셀에 대응되는 제1 특징 벡터 집합(VG)의 b 위치에 정렬되고, 제1 영상(Im)에서 C픽셀을 중심으로 분리된 패치 영상의 제1 특징 벡터(Vc)는 제1 영상(Im)의 C픽셀에 대응되는 제1 특징 벡터 집합(VG)의 c 위치에 정렬된다.

또한, 특징 추출부(10)는 제2 인공 신경망(52)을 이용하여 입력된 제2 영상에서 제2 특징 벡터 집합을 추출한다. 제2 특징 벡터 집합은 복수 개의 제2 특징 벡터로 구성된다. 제2 특징 벡터 추출에 이용되는 제2 인공 신경망(52)은 상술한 비지도 학습 방법에 따라 학습된 것이다.

이때, 제2 특징 벡터 집합도 상술한 제1 특징 벡터 집합과 같은 방법으로 정렬될 수 있다.

비지도 학습된 제1 인공 신경망(51) 및 제2 인공 신경망(52)을 이용하여 제1 영상 및 제2 영상의 특징을 추출하므로, 제1 영상 및 제2 영상에 숨겨진 특징까지도 추출할 수 있다.

또한, 비지도 학습된 제1 인공 신경망(51) 및 제2 인공 신경망(52)을 이용하여 제1 영상 및 제2 영상의 특징을 일반화하므로, 잡음이 존재하는 영상에서도 효과적으로 특징 벡터를 획득할 수 있다. 도 12는 다양한 잡음 환경에서 제1 인공 신경망을 이용한 특징 추출을 도시한 도면이다.

도 12에 도시된 바와 같이, 잡음 환경에서 획득된 제1 특징 벡터(Vn_10, Vn_10)에 기초하여 재구성된 패치 영상은 잡음이 없는 환경에서 획득된 제1 특징 벡터(Vn_0)에 기초하여 재구성된 패치 영상과 유사하다. 즉, 다수의 영상을 이용하여 훈련된 제1 인공 신경망(51) 및 제2 인공 신경망(52)은 높은 일반화 능력을 가지므로, 제1 영상 또는 제2 영상의 잡음에 큰 영향을 받지 않고 특징을 추출할 수 있다.

다시 도 1을 참조하면, 특징 변환부(20)는 제1 특징 벡터 집합과 제2 특징 벡터 집합을 동일한 특징 공간으로 변환한다. 상술한 바와 같이, 제1 영상과 제2 영상은 서로 다른 모달리티의 의료 장치에서 획득된 의료 영상이다. 즉. 제1 영상과 제2 영상은 서로 다른 촬영 방법으로 획득된다.

이와 같은 촬영 방법의 차이로, 제1 영상과 제2 영상은 공통되는 특징을 가지지 않거나, 공통되는 특징이 불분명할 수 있다. 즉, 대상체의 동일한 영역을 촬영하여 획득한 영상이라도 촬영 방법에 따라 비교적 강건하게 표현되는 부분이 서로 상이할 수 있으며, 대상체의 동일 부분이라도 영상에서는 서로 다르게 표현될 수 있다.

제1 영상의 특징과 제2 영상의 특징이 상이한 바, 영상 정합에 앞서 제1 영상의 특징과 제2 영상의 특징이 서로 일치하도록 변환할 필요가 있다. 다시 말하면, 영상 정합을 위해서는 제1 영상에서 추출된 제1 특징 벡터 집합과 제2 영상에서 추출되는 제2 특징 벡터 집합이 서로 동일한 특징 벡터 공간에 위치시켜야 한다.

특징 변환부(20)는 제1 영상에서 추출된 제1 특징과 제2 영상에서 추출된 제2 특징간의 상관 관계가 학습된 제3 인공 신경망(53)을 이용하여 제2 특징 벡터 집합을 제1 특징 벡터 공간으로 변환할 수 있다. 이하, 특징 벡터 변환에 대하여 구체적으로 설명한다.

도 13은 일 실시예에 따른 특징 벡터 공간의 변환을 설명하기 위한 도면이다.

도 13의 제1 영상(Im_1)은 초음파 영상이고, 제2 영상(Im_2)은 제1 영상(Im_1)과 정합된 자기공명영상이다. 이때, 제1 영상(Im_1)과 제2 영상(Im_2)은 동일한 대상체의 동일한 부분을 촬영하여 획득한 것으로, 제1 영상(Im_1)과 제2 영상(Im_2)은 동일한 좌표계에 위치한다.

도 13에 도시된 바와 같이 서로 정합된 제1 영상(Im_1)과 제2 영상(Im_1)에서 추출된 제1 특징 벡터 집합(Fv_1) 및 제2 특징 벡터 집합(Fv_2)을 시각적으로 표현해보면, 제1 특징 벡터 집합(Fv_1)과 제2 특징 벡터 집합(Fv_2)이 서로 상이한 특징 벡터 공간에 위치함을 알 수 있다.

이에 특징 변환부(20)는 제1 특징과 제2 특징의 상관 관계가 지도 학습된 제3 인공 신경망(53)을 이용하여 제2 특징 벡터 집합(Fv_2)을 제1 특징 벡터 공간으로 변환하여 변환 특징 벡터 집합(Cv)를 생성할 수 있다.

즉, 특징 변환부(20)는 제1 특징 벡터와 제2 특징 벡터간의 상관 관계에 기초하여 제2 특징 벡터 집합(Fv_2)을 제1 특징 벡터 집합(Fv_1)에 대응하도록 변환시켜 변환 특징 벡터 집합(Cv)를 생성한다. 이와 같인 생성된 변환 특징 벡터 집합(Cv)과 제1 특징 벡터 집합(Fv_2)은 동일한 특징 공간에 위치하는 바, 도 13에 도시된 바와 같이 낮은 오차(Rv_2)를 보인다.

특징 변환부(20)는 미리 학습된 제3 인공 신경망(53)을 이용하여 제1 특징 벡터 집합 및 제2 특징 벡터 집합을 동일한 특징 공간으로 변환할 수 있는 바, 특징 변환 방법의 설명에 앞서 제3 인공 신경망(53)의 구조 및 그 학습 방법에 대하여 상세히 설명한다.

도 14은 제3 인공 신경망(53)의 일례를 도시한 도면이다.

제3 인공 신경망(53)의 구조는 다층 퍼셉트론(multilayer perceptron) 구조일 수 있다. 예를 들어, 제3 인공 신경망(53)은, 도 11에 도시된 바와 같이, 복수 개의 변환 레이어(L31 내지 L35)로 구성될 수 있다.

또한, 복수 개의 변환 레이어(L31 내지 L35)은 복수 개의 유닛을 포함할 수 있다. 도 12에 도시된 바와 같이, 제1 변환 레이어(L31)는 100개의 유닛을 포함하고, 제2 변환 레이어(L32)는 500개의 유닛을 포함하고, 제3 변환 레이어(L33)는 1000개의 유닛을 포함하고, 제4 변환 레이어(L34)는 500개의 유닛을 포함하고, 제5 변환 레이어(L35)는 1000개의 유닛을 포함할 수 있다. 제3 인공 신경망(53)의 변환 레이어(L31 내지 L35)에 포함된 유닛은 제한된 볼츠만 머신 기법에 따라 서로 인접한 레이어의 유닛들만 연결될 수 있다.

이때, 각 유닛들의 변환 연결 강도(W31 내지 W36)는 이하에서 설명할 지도 학습에 의하여 결정된다. 지도 학습은 입력과 출력으로 이루어진 훈련 데이터를 이용하여 입력과 출력간의 상관 관계를 학습시키는 것이다.

구체적으로, 제3 인공 신경망(53)의 훈련 데이터는 서로 정합된 제1 영상과 제2 영상의 동일 좌표에서 획득한 제1 특징 벡터와 제2 특징 벡터로 구성된다. 이때, 제1 특징 벡터 및 제2 특징 벡터 중 어느 하나의 특징 벡터는 제3 인공 신경망(53)의 입력이 되고, 다른 하나의 특징 벡터가 제3 인공 신경망(53)의 출력이 된다.

이하, 도 12 내지 도 14를 참조하여 지도 학습 방법에 대하여 상세히 설명한다. 다만, 특별한 언급이 없는 한 비지도 학습도 지도 학습에 적용될 수 있다.

도 15는 제3 인공 신경망의 학습 방법의 일 실시예를 설명하기 위한 순서도이다.

도 15를 참조하면, 학습 장치는 제3 인공 신경망(53)의 연결 강도를 초기화한다(S521).

그리고, 학습 장치(40)는 제3 인공 신경망(53)을 선행 학습시킨다(S522). 도 14에 도시된 바와 같이 제3 인공 신경망(53)도 상술한 제1 인공 신경망(51)과 동일하게 복수 개의 제한된 볼츠만 머신(RBM #1 내지 RBM #6)으로 분리될 수 있다. 제3 인공 신경망(53)의 제한된 볼츠만 머신(RBM #1 내지 RBM #6)은 상술한 제1 인공 신경망(51)의 선행 학습과 동일한 방법으로 순차적으로 학습될 수 있다.

즉, 제3 인공 신경망(53)은 제1 변환 연결 강도(W31), 제2 변환 연결 강도(W32), 제3 변환 연결 강도(W33) 제4 변환 연결 강도(W34), 제5 변환 연결 강도(W35), 제6 변환 연결 강도(W36) 순서로 선행 학습 될 수 있다. 이와 같은 선행 학습을 통해 초기 연결 강도(W31 내지 W36)를 결정하므로, 지역해로의 수렴을 방지할 수 있다.

학습 장치(40)는 인공 신경망(50)을 멀티 레이어 학습 시킨다(S523). 멀티 레이어 학습은 오류 역전파 알고리즘에 따라 진행될 수 있다.

멀티 레이어 학습 단계에서, 제3 인공 신경망(53)의 변환 연결 강도(W31 내지 W36)가 조절된다. 구체적으로, 제1 특징 벡터가 입력될 때, 제2 특징 벡터가 출력되도록 변환 연결 강도(W31 내지 W36)가 학습된다. 복수 개의 변환 연결 강도(W31 내지 W36)는 출력단과 가까운 제6 변환 연결 강도(W36)에서 입력단과 가까운 제1 변환 연결 강도(W31) 방향으로 학습된다.

도 15에서는 제3 훈련 데이터(43)가 제1 특징 벡터와 제2 특징 벡터인 것으로 설명하였으나, 제3 훈련 데이터(43)는 서로 접합된 제1 영상과 제2 영상일 수 있다.

도 16은 서로 정합된 영상에 기초한 제3 인공 신경망의 훈련 방법을 설명하기 위한 도면이다.

도 16을 참조하면, 서로 정합된 영상에 기초하여 훈련되기 위해서 비지도 학습된 제1 인공 신경망(51) 및 제2 인공 신경망(52)이 이용될 수 있다.

구체적으로, 제1 인공 신경망(51)의 출력이 제3 인공 신경망(53)의 입력이 되고, 제2 인공 신경망(52)의 출력이 제3 인공 신경망(53)의 출력이 되도록, 제1 인공 신경망(51)의 출력단이 제3 인공 신경망(53)의 출력단과 연결되고, 제2 인공 신경망(52)의 출력단이 제3 인공 신경망(53)의 입력단과 연결될 수 있다.

제1 인공 신경망(51) 및 제2 인공 신경망(52) 각각에 제1 영상과 제2 영상이 입력되면, 제1 인공 신경망(51)은 입력된 제1 영상에 대응되는 제1 특징 벡터 집합이 출력하고, 제2 인공 신경망(52)에는 입력된 제2 영상에 대응되는 제2 특징 벡터 집합이 출력된다.

그리고, 제1 인공 신경망(51)을 이용하여 출력된 제1 특징 벡터 집합은 제3 인공 신경망(53)의 출력이 되고, 제2 인공 신경망(52)을 이용하여 출력된 제2 특징 벡터 집합은 제3 인공 신경망(53)의 입력이 된다.

학습 장치(40)는 제2 특징 벡터 집합을 제3 인공 신경망(53)에 입력하여 출력되는 특징 벡터 집합이 제1 특징 벡터 집합과 오차가 최소화되도록 제3 인공 신경망(53)을 학습시킨다.

이와 같이 학습을 통하여 제3 인공 신경망(53)은 제1 영상의 특징과 제2 영상의 특징간의 상관 관계를 학습한다.

다시 도 1을 참조하면, 특징 변환부(20)는 상술한 방법으로 제1 영상의 특징과 제2 영상의 특징의 상관 관계가 훈련된 제3 인공 신경망(53)을 이용하여 제1 특징 벡터 집합과 제2 특징 벡터 집합은 서로 동일한 특징 벡터 공간으로 변환한다.

즉, 제3 인공 신경망(53)에 제2 인공 신경망(52)을 이용하여 추출된 제2 특징 벡터가 입력하면, 제3 인공 신경망(53)은 학습된 상관 관계에 따라 제2 특징 벡터와 대응되는 변환 벡터를 출력한다. 이때, 변환 벡터는 입력된 제2 특징 벡터와 대응되는 제1 특징 벡터이다.

한편, 제2 특징 벡터 집합이 제1 특징 벡터 공간으로 변환되는 것으로 설명하였으나, 제1 특징 벡터 집합이 제2 특징 벡터 공간으로 변환될 수 있다. 다만, 제1 특징 벡터 집합이 제2 특징 벡터 공간으로 변환되는 경우, 제3 인공 신경망(53)의 훈련에 이용되는 제3 훈련 데이터(43)의 입력과 출력이 서로 바뀔 수 있다.

정합부(30)는 제1 영상과 제2 영상을 정합한다. 영상 정합은 서로 다른 좌표계에 존재하는 영상을 동일한 좌표계로 변환하는 것으로, 정합부(30)는 제1 영상 또는 제2 영상 중 어느 하나의 영상을 기준으로, 다른 하나의 영상을 이동 변환, 스케일링 변환, 회전 변환하여 제1 영상과 제2 영상의 좌표계를 동일하게 변환하여 제1 영상과 제2 영상을 정합할 수 있다.

정합부(30)는 제1 영상 및 제2 영상 중 적어도 하나의 영상에 소정의 정합 함수를 적용하여 제1 영상과 제2 영상을 정합할 수 있다. 이때, 정합 함수는 제1 영상과 제2 영상의 동일한 좌표계로 변환하기 위한 함수이다.

정합부(30)는 제1 특징 벡터 집합 및 변환 특징 벡터 집합에 기초하여 정합 함수의 파라미터를 결정한다. 상술한 바와 같이, 제1 특징 벡터 집합은 제1 영상의 특징을 나타내는 것이고, 변환 특징 벡터는 제2 영상의 특징을 제1 영상의 특징으로 변환하여 나타내는 것이다.

그러므로, 제1 특징 벡터 집합과 변환 특징 벡터간 오차에 기초하여 정합 함수의 파라미터를 결정할 수 있다. 즉, 정합부(30)는 정합 함수의 파라미터를 변환하면서 제1 특징 벡터 집합과 변환 특징 벡터 집합의 오차를 산출하고, 산출된 오차에 기초하여 정합 함수의 파라미터를 결정시킬 수 있다.

그리고, 정합부(30)는 결정된 정합 함수의 파라미터를 제2 영상에 적용하여 제2 영상의 좌표계를 제1 영상의 좌표계로 변환한다.

이하, 정합 파라미터 결정의 일 실시예를 설명한다. 도 17는 영상 정합 함수 결정의 일 실시예를 설명하기 위한 도면이다.

도 17에 도시된 바와 같이, 정합부(30)는 정합 함수의 파라미터를 변경하여 변환 특징 집합의 좌표를 이동시키면서, 제1 특징 벡터 집합과 변환 특징 벡터 집합의 오차를 산출한다.

이와 같이 변환 특징 집합의 좌표의 이동에 의하여 산출된 오차에 기초하여 정합 함수의 파라미터가 결정될 수 있다. 예를 들어, x, y 축의 오차가 최소화되는 파라미터를 정합 함수의 파라미터로 결정할 수 있다.

그리고, 정합부(30)는 결정된 정합 함수의 파라미터를 초음파 영상 또는 의료 영상 중 적어도 하나의 영상에 적용하여 초음파 영상과 의료 영상의 좌표계를 일치시켜 정합 영상을 생성한다.

정합부(30)는 결정된 파라미터에 따른 정함 함수를 제2 영상에 적용하여, 제2 영상을 제1 영상의 좌표계로 변환한다.

또한, 정합부(30)는 동일한 좌표계에 위치한 제1 영상과 제2 영상을 중첩하여 정합 영상을 생성할 수 있다.

도 18은 다른 실시예에 따른 영상 정합 장치를 설명하기 위한 제어 블록도이다.

도 1에서는 영상 정합 장치(1)에 학습 장치(40)가 포함된 것으로 설명하였으나, 도 18에 도시된 바와 같이 학습 장치(40)는 영상 정합 장치(1)와 별도로 마련될 수도 있다. 이와 같이 학습 장치(40)가 별도로 마련된 경우, 학습 장치(40)에서 미리 학습된 제1 인공 신경망(51), 제2 인공 신경망(52), 제3 인공 신경망(53)이 영상 정합 장치(1)에 적용될 수 있다.

도 19는 일 실시예에 따른 영상 정합 장치의 제어 방법의 일 실시예 설명하기 위한 순서도이다.

도 1 및 도 19를 참조하면, 영상 정합 장치(1)는 제1 인공 신경망(51)을 이용하여 제1 영상에서 제1 특징 벡터 집합 추출한다(S611). 이때, 제1 인공 신경망(51)은 상술한 바와 같이 제1 훈련 데이터(41)에 기초하여 비지도 학습된 것으로, 입력되는 제1 영상의 특징을 추출하여 특징 벡터 형태로 출력한다.

영상 정합 장치(1)는 제2 인공 신경망(52)을 이용하여 제2 영상에서 제2 특징 벡터 집합 추출한다(S612). 이때, 제2 인공 신경망(52)은 상술한 바와 같이 제2 훈련 데이터(51)에 기초하여 비지도 학습된 것으로, 입력되는 제2 영상의 특징을 추출하여 특징 벡터 형태로 출력한다.

영상 정합 장치(1)는 제3 인공 신경망(53)을 이용하여 변환 벡터 집합 생성한다(S613). 제3 인공 신경망(53)은 제2 특징 벡터와 제1 특징 벡터간의 상관 관계가 학습된 것으로, 입력되는 제2 특징 벡터에 대응되는 제1 특징 벡터를 출력한다. 그러므로, 변환 벡터 집합은 제3 인공 신경망(53)에 제2 특징 벡터 집합을 입력하여 획득할 수 있다.

영상 정합 장치(1)는 제1 특징 벡터 집합과 변환 특징 벡터 집합을 이용하여 정합 함수의 파라미터 결정한다(S614). 제1 특징 벡터 집합과 변환 특징 벡터 집합은 동일한 특징 벡터 공간에 위치하는 바, 제1 특징 벡터 집합과 변환 특징 벡터 집합에 기초하여 제1 영상과 제2 영상의 좌표계를 일치시키기 위한 정합 함수를 결정할 수 있다.

즉, 제1 특징 벡터 집합과 변환 특징 벡터 집합의 오차에 기초하여 정합 함수의 파라미터가 결정될 수 있다. 구체적으로, 영상 정합 장치(1)는 제1 특징 벡터 집합과 변환 특징 벡터 집합의 오차가 최소화되도록 정합 함수의 파라미터를 결정할 수 있다.

영상 정합 장치(1)는 결정된 파라미터를 제2 영상에 적용하여 제1 영상과 제2 영상 정합한다(S615).

도 20는 일 실시예에 따른 영상 정합 장치의 제어 방법의 다른 실시예 설명하기 위한 순서도이다.

도 1 및 도 20를 참조하면, 영상 정합 장치(1)는 제1 인공 신경망(51)을 이용하여 제1 영상에서 제1 특징 벡터 집합 추출한다(S621).

영상 정합 장치(1)는 제2 인공 신경망(52)을 이용하여 제2 영상에서 제2 특징 벡터 집합 추출한다(S622).

영상 정합 장치(1)는 제3 인공 신경망(53)을 이용하여 변환 벡터 집합 생성한다(S623). 제3 인공 신경망(53)은 제1 특징 벡터와 제2 특징 벡터간의 상관 관계가 학습된 것으로, 입력되는 제1 특징 벡터에 대응되는 제2 특징 벡터를 출력한다. 그러므로, 변환 벡터 집합은 제3 인공 신경망(53)에 제1 특징 벡터 집합을 입력하여 획득할 수 있다.

영상 정합 장치(1)는 제2 특징 벡터 집합과 변환 특징 벡터 집합을 이용하여 정합 함수의 파라미터 결정한다(S624).

영상 정합 장치(1)는 결정된 파라미터를 제2 영상에 적용하여 제1 영상과 제2 영상 정합한다(S625).

상술한 영상 정합 장치(1)는 소정의 의료 장치에 적용될 수 있다. 예를 들어, 상술한 영상 정합 장치(1)는 실시간으로 대상체의 영상을 획득하기 용이한 초음파 진단 장치에 적용될 수 있다.

도 21은 일 실시예에 따른 초음파 진단 장치의 일 실시예를 도시한 사시도이다. 도 1에 도시된 바와 같이, 초음파 진단 장치(100)는 프로브(110), 본체(101), 조작 패널(150), 디스플레이부(160)을 포함할 수 있다.

본체(101)의 하측 전면에는 하나 이상의 암 커넥터(female connector; 145)가 구비될 수 있다. 암 커넥터(145)에는 케이블(130)의 일단에 마련된 수 커넥터(male connector; 140)가 물리적으로 결합될 수 있다. 케이블(30)을 통하여 초음파 프로브(110)와 본체(101)는 연결될 수 있다.

한편, 본체(101)의 하부에는 초음파 장치의 이동성을 위한 복수개의 캐스터(111)가 구비될 수 있다. 복수 개의 캐스터(111)를 이용하여 사용자는 초음파 진단 장치(100)를 특정 장소에 고정시키거나, 특정 방향으로 이동시킬 수 있다. 이와 같은 초음파 진단 장치(100)를 카트형 초음파 장치라고 한다.

한편, 도 1 과 달리, 초음파 진단 장치(100)는 원거리 이동 시에 휴대할 수 있는 휴대형 초음파 장치일 수도 있다. 이때, 휴대형 초음파 장치는 캐스터(111)가 구비되지 않을 수 있다. 휴대형 초음파 진단 장치(100)의 예로는 팩스 뷰어(PACS Viewer), 스마트 폰(Smart Phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 제한되지 않는다.

초음파 프로브(110)는 대상체의 체표에 접촉하는 부분으로, 초음파를 대상체로 송수신할 수 있다. 구체적으로, 초음파 프로브(110)는 입력되는 펄스에 따라 초음파를 생성하여 대상체의 내부로 송신하고, 대상체 내부의 특정 부위로부터 반사된 에코 초음파를 수신한다.

조작 패널(150)은 초음파 진단 장치(100)의 동작과 관련된 명령을 입력 받을 수 있는 부분이다. 사용자는 조작 패널(150)을 통해 진단 시작, 진단 부위 선택, 진단 종류 선택, 최종적으로 출력되는 초음파 영상에 대한 모드 선택 등을 수행하기 위한 명령을 입력할 수 있다. 초음파 영상에 대한 모드로는 A-모드(Amplitude mode), B-모드(Brightness mode), D-모드(Doppler mode), E-모드(Elastography mode), 및 M-모드(Motion mode) 등을 예로 들 수 있다.

일 실시예로, 조작 패널(150)은, 도 21에 도시된 바와 같이 본체(101)의 상부에 위치할 수 있다. 이때, 조작 패널(150)은 스위치, 키, 휠, 조이스틱, 트랙볼 및 놉(knop) 중 적어도 하나를 포함할 수 있다.

또한, 조작 패널(150)은 서브 디스플레이(51)를 더 포함할 수 있다. 서브 디스플레이(51)는 조작 패널(150)의 일측에 마련되어 초음파 진단 장치(100)의 조작과 관련된 정보를 표시할 수 있다.

예를 들어, 서브 디스플레이(151)는 초음파 진단 장치(100)의 설정에 필요한 메뉴나 안내 사항 등을 표시하거나, 현재 초음파 진단 장치(100)의 설정을 표시할 수 있다.

이때, 서브 디스플레이(151)는 터치 패널로 구현될 수 있으며, 서브 디스플레이(51)가 터치 패널로 구현된 경우 사용자는 서브 디스플레이(151)를 터치하여 제어 명령을 입력할 수 있다.

이러한 서브 디스플레이(152)는 예를 들어, 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널, 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 구현될 수 있다.

조작 패널(150)의 주변에는 초음파 프로브(110)를 거치하기 위한 프로브(110) 홀더(103)가 하나 이상 구비될 수 있다. 따라서, 사용자는 초음파 진단 장치(100)를 사용하지 않을 때, 프로브(110) 홀더(103)에 초음파 프로브(110)를 거치하여 보관할 수 있다.

디스플레이부(160)는 초음파 진단 과정에서 얻어진 초음파 영상들을 표시할 수 있다. 디스플레이부(160)는, 도 21에서와 같이 본체(101)와 결합되어 장착될 수 있으나, 본체(101)와 분리 가능하도록 구현될 수도 있다.

또한, 디스플레이부(160)는 복수 개의 디스플레이 장치(161, 162)를 포함하여 서로 다른 영상을 동시에 표시할 수 있다. 예를 들어, 제1 디스플레이 장치(61)는 대상체를 촬영하여 획득한 초음파 영상을 표시하고, 제2 디스플레이 장치(62)는 정합 영상을 표시할 수 있다. 제1 디스플레이 장치(61)는 대상체를 촬영하여 획득한 2D 영상을 표시하고, 제2 디스플레이 장치(62)는 3D 영상을 표시할 수 있다.

또한, 각 디스플레이 장치(161, 162)는 디스플레이 패널(Plasma Display Panel, PDP), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널, 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널, 능동형 유기 발광 다이오드(Active-matrix Organic Light-Emitting Diode, AMOLED) 패널 등과 같은 디스플레이 수단을 채용할 수 있다.

도 22는 일 실시예에 따른 초음파 진단 장치의 제어 블록도이다. 도 2를 참조하면, 일 실시예에 따른 초음파 진단 장치(100)는 초음파 프로브(110), 초음파 송수신부(210), 영상 생성부(220), 통신부(230), 저장부(240), 영상 정합 장치(300), 메인 제어부(250)를 포함한다.

통신부(230)는 다른 장치와 연결되어 연결된 장치와 데이터를 송수신할 수 있다. 특히, 통신부(230)는 네트워크(400)에 연결된 다른 장치와 연결되어, 영상 정합에 필요한 각종 데이터를 수신할 수 있다. 예를 들어, 통신부(230)는 영상 정합에 필요한 적어도 하나의 인공 신경망(340)을 다른 장치로부터 수신하거나, 다른 장치로부터 영상 정합에 이용될 의료 영상을 수신할 수 있다.

구체적으로, 통신부(230)는 학습 장치(410)로부터 학습된 인공 신경망(340)을 전송 받을 수 있다. 여기서, 학습 장치(410)는 인공 신경망(340)을 학습시키는 장치로, 상술한 바와 같이 훈련 데이터를 이용하여 인공 신경망(340)을 지도 학습 또는 비지도 학습시킬 수 있다.

또한, 통신부(230)는 의료 장치(430)로부터 대상체를 촬영하여 획득한 의료 영상을 수신할 수 있다. 이와 같이 통신부(230)를 통해 수신한 의료 영상은 저장부(240)에 저장되어 정합 영상을 생성에 이용될 수 있다.

여기서, 의료 장치(430)는 미리 설정된 방법으로 대상체를 촬영하여 의료 영상을 획득하는 것으로, 의료 장치(430)는 초음파 진단 장치(100)와 다른 모달리티의 장치 일 수 있다. 예를 들어, 의료 장치(430)는 자기 공명 영상 촬영(Magnetic Resonance Imaging, MRI) 장치, 컴퓨터 단층 촬영(Computed Tomography, CT) 장치, 양전자 단층 촬영(Positron Emission Tomography, PET) 장치, 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 장치 중 하나일 수 있다.

또한, 통신부(230)는 의료 서버(420)에 저장된 대상체에 대한 진단 이력, 치료 일정 등과 같은 정보, 및 다양한 의료 장치(430)를 이용하여 획득된 의료 영상 등을 수신할 수 있으며, 에코 신호에 기초하여 획득된 초음파 영상을 의료 서버(420)로 전송할 수도 있다.

여기서, 의료 서버(420)는 대상체의 진료에 이용될 수 있는 의료 정보를 관리한다. 예를 들어, 의료 서버(420)는 대상체에 대한 진단 이력, 치료 일정 등과 같은 의료 정보를 관리할 수 있다. 또한, 의료 서버(420)는 의료 장치(430)로부터 의료 영상을 수신하여 관리할 수 있으며, 초음파 진단 장치(100)의 요청에 따라 저장된 의료 영상을 초음파 진단 장치(100)에 전송할 수 있다.

또한, 통신부(230)는 다양한 유/무선 통신 프로토콜에 따라 다른 장치와 데이터를 통신할 수 있으나, 바람직하게는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 표준에 따라 데이터 통신할 수 있다.

초음파 프로브(110)는 대상체의 표면에 접하여, 대상체로 초음파를 송신하고 반사되는 에코 초음파를 수신한다. 이를 위해, 초음파 프로브(110)는 트랜스 듀서를 포함할 수 있다. 여기서, 트랜스듀서(T)란 소정 형태의 에너지를 다른 형태의 에너지로 변환시키는 장치를 말한다. 예를 들어, 트랜스듀서(T)는 전기 에너지를 파동 에너지로 변환시킬 수 있으며, 파동 에너지를 전기 에너지로 변환시킬 수 있다.

구체적으로, 트랜스듀서(T)는 압전 물질이나 압전 박막을 포함할 수 있다. 만약 배터리 등의 내부 축전 장치나 외부의 전원 공급 장치로부터 교류 전류가 압전 물질이나 압전 박막에 인가되면, 압전 물질이나 압전 박막은 소정의 주파수로 진동하게 되고, 진동 주파수에 따라 소정 주파수의 초음파가 생성된다.

이와 반대로 소정 주파수의 초음파 에코가 압전 물질이나 압전 박막에 도달하면, 압전 물질이나 압전 박막은 도달한 에코 초음파의 주파수에 따라 진동하게 된다. 이때, 압전 물질이나 압전 박막은 진동 주파수에 대응하는 주파수의 교류 전류를 출력한다.

또한, 트랜스듀서(T)로는 자성체의 자왜효과를 이용하는 자왜 트랜스듀서(Magnetostrictive Ultrasonic Transducer)나, 압전 물질의 압전 효과를 이용한 압전 트랜스듀서(Piezoelectric Ultrasonic Transducer), 미세 가공된 수백 또는 수천 개의 박막의 진동을 이용하여 초음파를 송수신하는 정전용량형 미세가공 트랜스듀서(Capacitive Micromachined Ultrasonic Transducer; cMUT) 등 다양한 종류의 트랜스듀서(T)가 사용될 수 있다. 이외에도 전기적 신호에 따라 초음파를 생성하거나, 초음파에 따라 전기적 신호를 생성할 수 있는 다른 종류의 장치들도 트랜스듀서(T)로 사용될 수 있다.

초음파 송수신부(210)는 초음파 프로브(110)에 구동 신호를 인가하거나, 초음파 프로브(110)로부터 수신한 에코 신호를 빔포밍할 수 있다. 초음파 송수신부(210)는 수신부(212)와 송신부(211)를 포함할 수 있다.

송신부(211)는 초음파 프로브(110)에 구동 신호를 인가한다. 구체적으로, 송신부(211)는 소정의 펄스 반복 주파수(PRF, Pulse Repetition Frequency)에 따라 송신 초음파를 형성하기 위한 구동 펄스(pulse)를 생성한다.

또한, 송신부(211)는 송신 지향성(transmission directionality)에 기초하여 구동 펄스를 적절히 지연하여 출력하여, 대상체로 송신되는 초음파를 집속시킨다.

수신부(212)는 초음파 프로브(110)로부터 수신한 에코 신호를 빔포밍하여 출력한다. 구체적으로, 수신부(212)는 수신 지향성(reception directionality)에 기초하여 수신한 에코 신호를 적절히 지연하여 에코 신호를 집속할 수 있다.

또한, 수신부(212)는 지연되어 출력된 에코 신호를 합성하여 출력할 수 있다. 이때, 수신부(212)는 단순히 복수 개의 에코 신호를 합성하여 합성 신호를 출력한다. 에코 신호에 소정의 가중치를 적용하여 합성할 수 있다. 에코 신호에 적용되는 가중치는 에코 신호와 무관하게 결정될 수도 있으나, 에코 신호에 기초하여 결정될 수 있다.

영상 생성부(220)는 수신부(210)에서 출력되는 에코 신호에 기초하여 초음파 영상을 생성한다. 예를 들어, 영상 생성부(220)는 에코 신호에 기초하여 A-모드(Amplitude mode) 영상, B-모드(Brightness mode) 영상, D-모드(Doppler mode) 영상, E-모드(Elastography mode) 영상, 및 M-모드(Motion mode) 영상 중 적어도 하나의 양상을 생성할 수 있다. 아울러, 영상 생성부(220)는 에코 신호로부터 획득한 복수 개의 초음파 영상에 기초하여 3D 초음파 영상을 생성할 수 도 있다.

이때, 영상 생성부(220)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수 있다. 예를 들어, 영상 생성부(220)는 범용적인 GPU로 구현될 수 있다.

저장부(240)는 초음파 진단 장치(100)의 구동에 필요한 각종 정보를 저장한다. 예를 들어, 저장부(240)는 에코 신호, 초음파 영상 등 대상체에 진단에 관한 의료 정보를 저장할 수 있으며, 초음파 진단 장치(100)의 구동에 필요한 프로그램을 저장할 수도 있다.

또한, 저장부(240)는 통신부(230)를 통해 수신한 의료 영상을 저장할 수 있다. 이때, 의료 영상은 초음파 진단 장치(100)와 다른 모달리티의 의료 장치(430)에서 획득된 것으로, 네트워크(400)를 통해 연결된 의료 서버(420) 또는 의료 장치(430)로부터 전송된 것을 수 있다.

또한, 저장부(240)는, 예를 들어, 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM) 등을 포함할 수 있으나, 이에 한정 되는 것은 아니다.

또한, 저장부(240)는 초음파 진단 장치(100)와 탈착이 가능할 수 있다. 예를 들어, 저장부(240)는 CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 저장부(240)는 초음파 진단 장치(100)의 외부에 구비되어, 유선 또는 무선을 통하여 초음파 진단 장치(100)로 데이터를 송신 또는 수신할 수 있다.

영상 정합 장치(300)는 대상체를 촬영하여 획득한 초음파 영상과 미리 획득된 의료 영상을 정합한다. 초음파 영상과 정합될 수 있는 의료 영상은 그 제한이 없다.

구체적으로, 영상 정합 장치(300)는 특징 추출부(310), 특징 변환부(320), 정합부(330)를 포함한다.

특징 추출부(310)는 미리 학습된 제1 인공 신경망(341)을 이용하여 영상 생성부(220)에서 생성된 초음파 영상에서 제1 특징 벡터 집합을 추출할 수 있다.

이때, 제1 인공 신경망(341)은 복수 개의 초음파 영상을 포함한 훈련 데이터를 이용하여 미리 비지도 학습된 것일 수 있다. 제1 인공 신경망(341)은 비지도 학습을 통해 초음파 영상에 특징을 추출하도록 학습되어, 입력된 초음파 영상의 특징에 대응되는 특징 벡터를 출력한다. 예를 들어, 제1 인공 신경망(341)은 상술한 비지도 학습 방법에 따라 학습 장치(410)에서 미리 학습된 것일 수 있다.

이와 같이 제1 인공 신경망(341)을 이용하여 제1 영상의 숨겨진 특징도 추출할 수 있다. 이하, 도 23을 참조하여 제1 특징 벡터 집합의 추출에 대하여 상세히 설명한다.

도 23은 제1 특징 벡터 집합의 추출을 설명하기 위한 도면이다.

도 23에 도시된 바와 같이, 특징 추출부(310)는 제1 인공 신경망(341)을 이용하여 초음파 영상(US)에서 제1 특징 벡터 집합을 추출한다. 제1 특징 벡터 집합은 복수 개의 제1 특징 벡터로 구성된다. 이때, 제1 특징 벡터는 입력된 영상의 특징을 기하학적으로 나타내는 것으로, 제1 특징 벡터는 제1 인공 신경망(341)에 의하여 추출될 수 있다.

구체적으로, 특징 추출부(310)는 영상 생성부(220)에서 획득된 초음파 영상(US)에서 복수 개의 패치 영상(US1 내지 USn)을 분리한다. 이때, 패치 영상(US1 내지 USn)은 미리 설정된 크기로 분리될 수 있다. 패치 영상(US1 내지 USn)은 복수 개의 픽셀로 구성될 수 있으나, 도 23에 도시된 바와 같이 획득된 초음파 영상이 3D이면, 패치 영상(US1 내지 USn)은 적어도 하나의 복셀로 구성될 수도 있다. 복셀은 2D 영상의 픽셀에 대응되는 것으로, 3D 영상을 구성하는 최소 단위로, 하나의 패치 영상(US1 내지 USn)은 인접한 복수 개의 복셀로 구성될 수 있다.

또한, 패치 영상(US1 내지 USn)은 미리 설정된 간격마다 획득될 수 있다. 예를 들어, 특징 추출부(310)는 1 복셀 간격마다 패치 영상(US1 내지 USn)을 분리할 수 있다.

또한, 패치 영상(US1 내지 USn)은 초음파 영상 중 미리 설정된 영역에서만 분리될 수도 있다. 예를 들어, 관심 영역(ROI)에서만 패치 영상(US1 내지 USn)이 분리될 수 있다.

특징 추출부(310)는 초음파 영상(US)에서 분리된 복수 개의 패치 영상(US1 내지 USn)을 제1 인공 신경망(341)에 입력하여 제1 특징 벡터 집합을 생성할 수 있다. 이때, 제1 특징 벡터 집합은 각 패치 영상에서 추출된 복수 개의 제1 특징 벡터로 포함한다.

또한, 제1 특징 벡터 집합의 제1 특징 벡터들은 대응되는 패치 영상의 위치에 따라 정렬될 수 있다.

한편, 특징 추출부(310)는 제2 인공 신경망(342)을 이용하여 제2 영상으로부터 제2 특징 벡터 집합을 추출한다. 제2 특징 벡터 집합은 복수 개의 제2 특징 벡터로 구성된다. 이때, 제2 특징 벡터는 입력된 제2 영상 특징을 기하학적으로 나타내는 것으로, 제2 특징 벡터는 제2 인공 신경망(342)에 의하여 추출될 수 있다.

이때, 제2 인공 신경망(342)은 정합의 대상이 되는 의료 영상과 동일한 모달리티의 의료 장치(430)에서 획득된 복수 개의 의료 영상을 훈련 데이터로 이용하여 미리 비지도 학습된 것일 수 있다. 제2 인공 신경망(342)은 비지도 학습을 통해 의료 영상에 숨겨진 특징을 추출하도록 학습되어, 입력된 의료 영상의 특징에 대응되는 특징 벡터를 출력한다.

도 24은 제2 특징 벡터 집합의 추출을 설명하기 위한 도면이다.

도 24에 도시된 바와 같이, 특징 추출부(310)는 제2 인공 신경망(342)을 이용하여 미리 획득된 의료 영상(MR)에서 제2 특징 벡터 집합을 추출한다.

구체적으로, 특징 추출부(310)는 미리 획득된 의료 영상(MI)에서 복수 개의 패치 영상(MR1 내지 MRn)을 분리한다. 이때, 패치 영상(MR1 내지 MRn)은 미리 설정된 크기로 분리될 수 있다.

이때, 패치 영상(MR1 내지 MRn)은 복수 개의 픽셀로 구성될 수 있으나, 도 24에 도시된 바와 같이 의료 영상(MR)이 3D이면, 패치 영상(MR1 내지 MRn)은 적어도 하나의 복셀로 구성될 수도 있다.

또한, 패치 영상(MR1 내지 MRn)은 미리 설정된 간격에 따라 획득될 수 있다. 예를 들어, 복셀 단위로 이동하면서 패치 영상(MR1 내지 MRn)이 분리될 수 있다.

또한, 패치 영상(MR1 내지 MRn)은 자기공명영상 중 미리 설정된 영역에서만 분리될 수도 있다. 예를 들어, 관심 영역(ROI)에서만 패치 영상(MR1 내지 MRn)이 분리될 수 있다.

특징 추출부(310)는 의료 영상(MI)에서 분리된 복수 개의 패치 영상(MR1 내지 MRn)을 제2 인공 신경망(342)에 입력하여 복수 개의 제2 특징 벡터를 포함하는 제2 특징 벡터 집합을 생성할 수 있다. 이때, 제2 특징 벡터는 패치 영상(US1 내지 USn)의 위치에 따라 정렬될 수 있다.

특징 변환부(320)는 제1 특징 벡터 집합과 제2 특징 벡터 집합을 동일한 특징 벡터 공간으로 변환한다. 초음파 영상과 자기공명영상은 그 획득 방법의 차이로 인하여 서로 다른 특징을 가지는 바, 초음파 영상에서 추출된 제1 특징 벡터 집합과 의료 영상에서 추출된 제2 특징 벡터 집합은 서로 다른 특징 공간에 위치한다. 그러므로, 초음파 영상과 자기공명영상의 정합을 위하여 제1 특징 벡터 집합과, 제2 특징 벡터 집합을 동일한 특징 공간으로 변환하여야 한다.

즉, 특징 변환부(320)는 제3 인공 신경망(343)을 이용하여 제1 특징 벡터 집합과 제2 특징 벡터 집합을 동일한 특징 공간으로 변환할 수 있다.

이때, 제3 인공 신경망(343)은 제1 특징 벡터와 제2 특징 벡터 사이의 상관 관계가 지도 학습된 것이다. 제3 인공 신경망(343)의 지도 학습에는 서로 정합된 초음파 영상과 의료 영상의 동일한 부분에서 추출된 제1 특징 벡터와 제2 특징 벡터가 훈련 데이터로 이용될 수 있다.

한편, 제3 인공 신경망(343)의 학습에는 상술한 바와 같이 비지도 학습된 제1 인공 신경망(341)과 제2 인공 신경망(342)이 이용될 수 있다. 이하, 제3 인공 신경망(343)의 지도 학습에 대하여 상세히 설명한다.

도 25는 제3 인공 신경망의 지도 학습의 일 실시예를 설명하기 위한 도면이다.

도 25에 도시된 바와 같이, 제3 인공 신경망(343)은 제1 인공 신경망(341) 및 제2 인공 신경망(342)을 이용하여 지도 학습될 수 있다.

구체적으로, 초음파 영상에서 분리된 복수 개의 패치 영상이 제1 인공 신경망(341)에 입력되면, 각 패치 영상의 대응되는 제1 특징 벡터가 복수 개 출력된다.

그리고, 초음파 영상과 정합된 의료 영상에서 분리된 복수 개의 패치 영상이 제2 인공 신경망(342)에 입력되면, 각 패치 영상의 대응되는 제2 특징 벡터가 복수 개 출력된다.

이와 같이 제1 인공 신경망(341) 및 제2 인공 신경망(342)에 의하여 생성된 제1 특징 벡터 집합 및 제2 특징 벡터 집합을 이용하여 제3 인공 신경망(343)이 학습될 수 있다.

제1 특징 벡터 집합에서 어느 하나의 제1 특징 벡터를 제3 인공 신경망(343)의 출력으로 선택하고, 제3 인공 신경망(343)의 출력으로 선택된 제1 특징 벡터와 대응되는 제2 특징 벡터를 입력으로 선택하여 오류 역전파 알고리즘에 따라 제3 인공 신경망(343)의 연결 강도를 조정할 수 있다.

이때, 제1 특징 벡터와 대응되는 제2 특징 벡터는 제1 특징 벡터가 추출된 초음파 영상의 영역과 대응되는 의료 영상의 영역에서 추출된 특징 벡터를 의미한다.

도 26는 특징 공간의 변환의 일 실시예를 설명하기 위한 도면이다.

도 26에 도시된 바와 같이, 특징 변환부(320)는 도 24에 의하여 지도 학습된 제3 인공 신경망(343)을 이용하여 변환 벡터 집합을 생성할 수 있다. 구체적으로, 미리 획득한 의료 영상에서 획득된 제2 특징 벡터 집합을 제3 인공 신경망(343)에 입력하여 변환 특징 벡터를 생성할 수 있다.

상술한 바와 같이 지도 학습을 통해 제3 인공 신경망(343)은 제2 특징 벡터와 상관 관계에 있는 제1 특징 벡터를 출력하게 되는 바, 특징 변환부(320)는 제2 특징 벡터를 차례로 입력하여 상관 관계가 있는 제1 특징 벡터로 변환할 수 있다.

이때, 변환 특징 벡터 집합에 각 변환 특징 벡터들은 대응되는 제2 특징 벡터와 상관 관계에 있는 제1 특징 벡터에 대응되는 패치 영상의 위치에 따라 정렬될 수 있다,

도 27은 특징 공간의 변환의 다른 실시예를 설명하기 위한 도면이다.

도 28은 특징 공간의 변환의 다른 실시예에서 이용되는 제3 인공 신경망의 학습 방법을 설명하기 위한 도면이다.

도 27에 도시된 바와 같이, 특징 변환부(320)는 제1 특징 벡터 집합을 변환 특징 벡터 집합으로 변환할 수 있다. 이때, 변환 특징 벡터 집합의 생성에 이용되는 제3 인공 신경망(343)은 도 26과 상이한 방법으로 지도 학습될 수 있다.

제1 특징 벡터와 제2 특징 벡터는 선형 관계로 매칭되는 것이 아닌 바, 제1 특징 벡터 집합을 변환 특징 벡터 집합으로 변환하기 위해서는 제3 인공 신경망(343)의 훈련 방법이 변경되어야 한다.

구체적으로, 도 28에 도시된 바와 같이 초음파 영상에서 추출된 복수 개의 제1 특징 벡터 집합이 제3 인공 신경망(343)의 입력이 되고, 의료 영상에서 추출된 복수 개의 제2 특징 벡터 집합이 제3 인공 신경망(343)의 출력이 되어 지도 학습되어야 한다.

이하, 설명의 편의를 위하여 변환 특징 벡터는 일 실시예에 따라 제2 특징 벡터 집합을 변환하여 생성된 것으로 설명한다.

다시 도 22를 참조하면, 정합부(330)는 초음파 영상과 의료 영상을 정합한다. 영상 정합은 서로 다른 좌표계에 존재하는 영상을 동일한 좌표계로 변환하는 것으로, 정합부(330)는 제1 영상 또는 제2 영상 중 어느 하나의 영상을 기준으로, 다른 하나의 영상을 이동 변환, 스케일링 변환, 회전 변환하여 제1 영상과 제2 영상의 좌표계를 동일하게 변환하여 초음파 영상과 의료 영상을 정합할 수 있다.

정합부(330)는 초음파 영상 및 의료 영상 중 적어도 하나의 영상에 소정의 정합 함수를 적용하여 초음파 영상과 의료 영상을 정합할 수 있다. 이때, 정합 함수는 초음파 영상과 의료 영상의 동일한 좌표계로 변환하기 위한 함수이다.

정합부(330)는 제1 특징 벡터 집합 및 변환 특징 벡터 집합에 기초하여 정합 함수의 파라미터를 결정할 수 있다. 상술한 바와 같이, 제1 특징 벡터 집합은 초음파 영상의 특징을 나타내는 것이고, 변환 특징 벡터는 의료 영상의 특징을 초음파 영상의 특징으로 변환하여 나타내는 것이다.

즉, 제1 특징 벡터 집합은 초음파 영상의 특징을 변환 특징 벡터 집합은 의료 영상의 특징을 초음파 영상의 특징으로 변환하여 나타내다. 그러므로, 제1 특징 벡터 집합과 변환 특징 벡터간 오차에 기초하여 정합 함수의 파라미터를 결정할 수 있다.

즉, 정합부(330)는 정합 함수의 파라미터를 변환하면서 제1 특징 벡터 집합과 변환 특징 벡터 집합의 오차를 산출하고, 산출된 오차에 기초하여 정합 함수의 파라미터를 결정시킬 수 있다. 예를 들어, 벡터 집합 간의 오차가 최소인 파라미터를 정합 함수의 파라미터로 결정할 수 있다.

그리고, 정합부(330)는 결정된 정합 함수의 파라미터를 초음파 영상 또는 의료 영상 중 적어도 하나의 영상에 적용하여 초음파 영상과 의료 영상의 좌표계를 일치시켜 정합 영상을 생성한다.

이와 같이 생성된 정합 영상은 디스플레이부(160)를 통하여 사용자에게 표시될 수 있다.

한편, 메인 제어부(250)는 초음파 진단 장치(100)를 전반적으로 제어할 수 있다. 구체적으로, 메인 제어부(250)는 각 구성을 제어하여 대상체의 초음파 영상을 생성하고, 생성된 초음파 영상과 미리 저장된 의료 영상을 정합하여 표시할 수 있다. 또한, 메인 제어부(250)는 초음파 영상과 정합될 의료 영상이 수신되도록 통신부(230)를 제어하고, 통신부(230)를 통해 수신된 의료 영상을 저장부(240)에 저장할 수 있다.

메인 제어부(250)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 이때, 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수 있다.

도 29는 초음파 진단 장치의 제어 방법의 일 실시예 설명하기 위한 순서도이다.

도 29를 참조하면, 초음파 진단 장치(100)는 의료 장치(430)에 획득한 의료 영상을 수집한다(S711). 예를 들어, 초음파 진단 장치(100)는 의료 장치(430)에서 대상체를 촬영하여 획득한 의료 영상을 수신하고, 수신한 의료 영상을 저장할 수 있다. 이때, 다른 의료 장치(430)는 초음파 진단 장치(100)와 다른 모달리티의 진단 장치를 의미한다.

초음파 진단 장치(100)는 수집한 의료 영상에서 제2 특징 벡터 집합을 추출한다(S712). 제2 특징 벡터 집합의 생성되는 제2 인공 신경망(342)이 이용될 수 있다. 제2 인공 신경망(342)은 의료 장치(430)에서 획득된 복수 개의 의료 영상에 기초하여 훈련되어, 의료 영상에서 특징을 추출할 수 있도록 비지도 학습된 것이다.

초음파 진단 장치(100)는 대상체를 촬영하여 초음파 영상을 획득한다(S713). 구체적으로, 대상체에 초음파 조사하여 반사되는 에코 신호에 기초하여 초음파 영상이 생성될 수 있다.

초음파 진단 장치(100)는 초음파 영상에서 제1 특징 벡터 집합을 추출한다(S714). 제1 특징 벡터 집합의 생성되는 제1 인공 신경망(341)이 이용될 수 있다. 제1 인공 신경망(341)은 초음파 진단 장치(100)에서 획득된 복수 개의 초음파 영상에 기초하여 훈련되어, 초음파 영상에서 특징을 추출할 수 있도록 비지도 학습된 것이다.

초음파 진단 장치(100)는 제1 특징 벡터 집합과 제2 특징 벡터 집합을 동일한 특징 벡터 공간으로 변환한다(S715). 상술한 바와 같이 의료 영상과 초음파 영상은 그 획득 방법의 차이에 의하여 서로 다른 특징을 나타내는 바, 정합을 위하여 의료 영상과 초음파 영상의 특징을 일치시켜야 한다. 즉, 초음파 영상의 특징을 나타내는 제1 특징 벡터 집합과 의료 영상의 특징을 나타내는 제2 특징 벡터 집합을 동일한 특징 벡터 공간으로 변환하여야 한다.

이와 같은 특징 벡터 공간의 변환에는 제1 특징 벡터와 제2 특징 벡터 사이의 상관 관계가 학습된 제3 인공 신경망(343)이 이용될 수 있다. 제2 인공 신경망(342)은 상술한 바와 같이 서로 정합된 초음파 영상과 의료 영상에서 획득된 제1 특징 벡터 집합과 제2 특징 벡터 집합을 이용하여 지도 학습된 것일 수 있다.

초음파 진단 장치(100)는 동일한 특징 벡터 공간으로 변환된 제1 특징 벡터 집합과 제2 특징 벡터 집합을 이용하여 초음파 영상과 의료 영상을 정합한다(S716).

본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 영상 정합 장치 10: 특징 추출부
20: 특징 변환부 30: 정합부
50: 학습부 100: 초음파 진단 장치
110: 초음파 프로브 150: 조작 패널
160: 디스플레이부 210: 초음파 송수신부
220: 영상 생성부 230: 통신부
240: 저장부 250: 메인 제어부
300: 영상 정합 장치 310: 특징 추출부
320: 특징 변환부 330: 정합부
340: 인공 신경망

Claims (20)

1. 제1 영상에서 제1 특징 집합을 추출하고, 제2 영상에서 제2 특징 집합을 추출하는 특징 추출부;
   특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 제2 특징 집합을 제1 특징 집합에 대응되도록 변환하여 변환 집합을 획득하는 특징 변환부; 및
   상기 변환 집합과 상기 제1 특징 집합에 기초하여 상기 제1 영상과 상기 제2 영상을 정합하는 정합부;
   를 포함하는 영상 정합 장치.
2. 제1항에 있어서,
   상기 정합부는 상기 변환 집합과 상기 제2 특징 집합을 오차에 기초하여 정합 함수를 결정하고, 상기 결정된 정합 함수를 적용하여 상기 제1 영상과 상기 제2 영상을 정합하는 영상 정합 장치.
3. 제1항에 있어서,
   상기 변환 인공 신경망은 서로 정합된 영상에 기초하여 비지도 학습된 것인 영상 정합 장치.
4. 제3항에 있어서,
   상기 변환 신경망은 상기 정합된 영상의 동일한 부분에서 추출된 특징 사이의 관계에 따라 비지도 학습된 것인 영상 정합 장치.
5. 제4항에 있어서,
   상기 변환 신경망은 다층 퍼셉트론(multilayer perceptron) 구조인 영상 정합 장치.
6. 제1항에 있어서,
   복수 개의 상기 제1 영상을 이용하여 상기 제1 특집 집합의 추출이 비지도 학습된 제1 특징 신경망; 및
   복수 개의 상기 제2 영상을 이용하여 상기 제2 특집 집합의 추출이 비지도 학습된 제2 특징 신경망;을 더 포함하는 영상 정합 장치.
7. 제6항에 있어서,
   상기 특징 추출부는 상기 제1 특징 신경망 및 상기 제2 특징 신경망에 기초하여 상기 제1 영상 및 제2 영상을 특징을 추출하는 영상 정합 장치.
8. 제1항에 있어서,
   상기 제1 영상은 실시간으로 획득되는 의료 영상이고, 상기 제2 영상은 미리 획득된 의료 영상인 것인 영상 정합 장치.
9. 제7항에 있어서,
   상기 제1 영상은 초음파 영상이고, 상기 제2 영상은 컴퓨터 단층 촬영영상, 자기공명영상, 양전자 단층 촬영 영상, 단일 광자 단층 촬영 영상 중 하나의 영상인 것인 영상 정합 장치.
10. 제1항에 있어서,
    상기 제1 영상은 미리 획득된 의료 영상이고, 상기 제2 영상은 실시간으로 획득되는 영상 정합 장치.
11. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상은 서로 다른 모달리티의 의료 장치에 의하여 획득된 것인 영상 정합 장치.
12. 제1 영상에서 제1 특징 집합을 추출하고, 제2 영상에서 제2 특징 집합을 추출하는 특징 추출 단계;
    특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 제1 특징 집합을 제2 특징 집합에 대응되도록 변환하여 변환 집합을 획득하는 변환 단계; 및
    상기 변환 집합과 상기 제2 특징 집합에 기초하여 상기 제1 영상과 상기 제2 영상을 정합하는 정합 단계;
    를 포함하는 영상 정합 방법.
13. 제12항에 있어서,
    상기 정합 단계는 상기 변환 집합과 상기 제2 특징 집합을 오차에 기초하여 정합 함수를 결정하고, 상기 결정된 정합 함수를 제1 영상 또는 제2 영상 중 어느 하나의 영상에 적용하는 단계;를 포함하는 영상 정합 방법.
14. 제12항에 있어서,
    상기 추출 단계는, 복수 개의 상기 제1 영상을 이용하여 특집 추출이 비지도 학습된 제1 특징 신경망을 이용하여 상기 제1 특징 집합을 추출하는 단계; 및
    복수 개의 상기 제2 영상을 이용하여 특집 추출이 비지도 학습된 제2 특징 신경망을 이용하여 제2 특징 집합을 추출하는 단계;
    를 포함하는 영상 정합 방법.
15. 제14항에 있어서,
    상기 제1 특징 신경망, 상기 제2 특징 신경망, 및 상기 변환 신경망은 다층 퍼셉트론(multilayer perceptron) 구조인 영상 정합 장치.
16. 대상체의 초음파 영상을 획득하는 영상 획득부;
    상기 대상체를 촬영하여 미리 획득된 의료 영상에서 제1 특징 집합을 추출하고, 상기 초음파 영상에서 제2 특징 집합을 추출하는 특징 추출부;
    특징 사이의 상관 관계가 학습된 변환 신경망을 이용하여 상기 제1 특징 집합과 상기 제2 특징 집합을 동일한 특징 공간으로 변환하는 특징 변환부; 및
    동일한 특징 공간으로 변환된 상기 제1 특징 집합 및 상기 제2 특징 집합에 기초하여 상기 초음파 영상과 상기 의료 영상을 정합하는 정합부;
    를 포함하는 초음파 진단 장치.
17. 제16항에 있어서,
    상기 제1 특징 집합은 복수 개의 의료 영상에 기초하여 미리 비지도 학습된 제1 특징 신경망에 의하여 생성되고, 상기 제2 특징 집합은 복수 개의 의료 영상에 기초하여 미리 비지도 학습된 제2 특징 신경망에 의하여 생성되는 초음파 진단 장치.
18. 제16항에 있어서,
    상기 의료 영상을 수신하는 통신부;를 더 포함하는 초음파 진단 장치.
19. 제16항에 있어서,
    상기 정합부는 동일한 특징 공간으로 변환된 상기 제1 특징 집합 및 상기 제2 특징 집합의 오차에 기초하여 정합 함수를 결정하고, 결정된 정합 함수를 상기 의료 영상에 적용하여 상기 의료 영상과 상기 초음파 영상을 정합하는 초음파 진단 장치.
20. 제16항에 있어서,
    상기 변환 신경망은 서로 정합된 영상에 기초하여 지도 학습된 것인 초음파 진단 장치.

Images