KR101553283B1 - 정보처리장치 - Google Patents

Abstract

본 발명에 따른 정보처리장치는, 피검체의 이차원 화상(예를 들면, 초음파 화상)을 포함하는 평면 위에 삼차원 화상(예를 들면, ＭＲＩ화상이나 X선 CT 화상)의 소정의 영역(예를 들면, 주목 영역이나 주목 병변부)을 투영하고, 상기 투영한 영역을 포함하는 상기 투영에 의해 생긴 오차범위(이차원 화상상의 주목 영역의 대응영역이 존재하기도 하는 범위, 탐색 범위라고도 부른다)를 상기 이차원 화상 위에 표시부에 표시시키도록 구성된다. 따라서, 유저가 삼차원 화상의 주목 영역에 대응하는 이차원 화상상의 대응영역을 효율적으로 탐색할 수 있다.

Description

정보처리장치{INFORMATION PROCESSING APPARATUS}

본 발명은, 모달리티(modality), 촬영 체위 및 촬영 일시등의 촬영 조건이 다른 화상들에서의 주목 영역의 대응한 영역을 효율적으로 탐색하기 위한 정보처리장치에 관한 것이다.

의료 분야에 있어서, 의사는 피검체의 의료용 화상(피검체 내부에 대한 삼차원 정보를 나타내는 단층화상들로 이루어진 삼차원 화상 데이터)을 모니터에 표시하고, 표시된 화상을 분석(또는 판독)해서 병변부를 진단한다. 의료 촬영에 사용하기 위한 의료용 화상 수집장치(이하, "모달리티"라고 부른다)의 예들은, 초음파 화상 진단 장치, 자기공명 영상(ＭＲＩ)장치, 및 X선 컴퓨터 단층촬영(CT)장치가 있다.

개개의 모달리티에서 촬상된 의료용 화상의 관찰은, 병변부의 상태의 정확한 진단에 충분하지 않다. 그러므로, 복수의 모달리티에서 촬상된 의료용 화상들이나, 다른 일시에 촬상된 의료용 화상들에서의 상기 병변부의 대응한 영역을 비교함으로써, 병변부의 상태를 정확하게 진단하려고 하는 시도가 이루어지고 있다.

복수종류의 의료용 화상을 진단에 이용하기 위해서는, 각각의 의료용 화상들에 있어서의 병변부 등의 대응한 영역을 식별하는(또는 연관시키는) 것이 중요하다. 상이한 모달리티나 피검체의 변형 등의 요인으로 인한 화상처리에 의한 상기 영역을 자동으로 식별하는 것이 곤란하므로, 의사등의 조작자는 화상을 보면서 상기 영역을 식별하는 수동작업을 행하는 것이 일반적이다. 조작자는, 한쪽의 의료용 화상(이하, "참조 화상")에 지적되어 있는 주목하는 주목 병변부의 화상을 보면서, 병변부의 형상이나 그 주변부의 외관, 기타 특성에 있어서의 유사성에 근거하여, 다른 쪽의 의료용 화상(이하, "대상화상")에서 상기 병변부의 대응한 영역(이하, "대응 병변부")을 탐색하여 식별한다. 의료용 화상을 제시하는 장치가, 참조 화상의 좌표계에 있어서의 주목 병변부의 위치로부터 대상화상의 좌표계에 나타낸 대응 병변부의 위치를 추정해서 제시하는 기능을 갖고 있으면, 조작자는 그 추정 위치에 근거하여 상기 대응 병변부를 탐색할 수 있다.

이에 따라서, 초음파 탐촉자의 위치와 자세를 계측하여서 대상화상인 초음파 단층화상의 좌표계와 참조 화상의 좌표계와의 관계를 구하고, 초음파 단층화상의 좌표계(초음파 좌표계)에 있어서의 대응 병변부의 위치를 추정해서 탐촉자를 유도하는 시도가 이루어진다. 예를 들면, 현재의 초음파 단층화상에 대하여, 참조 화상(X선 CT 장치나 ＭＲＩ장치등에 의해 얻어진 삼차원 화상의 단면화상)에서 설정한 타겟(주목 병변부)의 중심까지의 거리와 방향을 계산하고, 상기 계산된 거리와 방향에 근거하는 삼차원의 화살표 화상과 수치를 표시하는 것이, 특허문헌 1에 개시되어 있다. 이에 따라 조작자는, 현재의 초음파 단층화상으로부터 타겟까지의 거리를 시각적으로 판단할 수 있으므로, 참조 화상과 초음파 단층화상간의 대응(위치 관계)을 쉽게 판정한다.

이전에 취득된 초음파 단층화상(볼륨 또는 슬라이스)으로부터 선택한 화상추적점(주목 병변부)이 주어졌을 경우에, 현재 취득된 초음파 단층화상으로부터의 거리와 방향에 근거하는 크기와 색을 갖는 정방형을 평면내 지시자로서 상기 현재 취득된 초음파 단층화상의 상부에 표시하는 것이, 특허문헌 2에 개시되어 있다. 이에 따라, 갑상선중의 소결절의 수, 간장중의 전이의 수, 또는 다른 항목의 수를 계수할 때, 피검체상의 프로브의 각도나 위치가 변하는 경우에도, 현재 시각화된 구조가 새롭게 식별된 것인가, 또는 이미 식별되어서 계수된 것인가를 판별할 수 있다.

일본국 공개특허공보 특개 2008-246264호 일본국 공개특허공보 특개 2008-212680호

초음파 탐촉자의 위치와 자세의 계측정밀도는 완전하지 않고, 참조 화상 촬영시와 초음파 단층화상 촬영시간에 피검체의 형상이 달라도 된다. 그 때문에, 초음파 단층화상의 좌표계에 있어서의 대응 병변부의 추정 위치에는 오차가 포함되고, 실제의 대응 병변부의 위치로부터 벗어나도 된다.

그렇지만, 상기 특허문헌 1 및 특허문헌 2에 개시된 거리와 방향 기반 지시자는 상기 위치 편차를 고려하지 않는다. 상기 지시자에 근거하여도 위치 편차의 정도에 따라서, 유저는 실제의 대응 병변부를 식별할(또는 찾을) 수 없을 가능성이 있다. 이 때문에, 유저가 초음파 단층화상 전체를 통해 실제의 대응 병변부를 탐색해야 하고, 탐색의 효율이 낮아진다.

본 발명의 일 국면에서는, 정보처리장치는, 이차원 화상 취득부와, 표시 제어부를 구비한다. 상기 이차원 화상 취득부는, 피검체의 이차원 화상을 취득한다. 상기 표시 제어부는, 상기 이차원 화상 위에 오차범위가 겹치도록 표시부에 상기 오차범위를 표시시킨다. 상기 오차범위는, 상기 이차원 화상을 포함하는 평면 위에 상기 피검체의 삼차원 화상의 소정의 영역을 투영하여 얻어진 투영 영역을 포함하고, 상기 투영에 의해 생긴다.

본 발명에 의하면, 피검체의 이차원 화상(예를 들면, 초음파 화상)을 포함하는 평면 위에 삼차원 화상(예를 들면, ＭＲＩ화상이나 X선 CT 화상)의 소정의 영역(예를 들면, 주목 영역이나 주목 병변부)을 투영하는 것이 가능하다. 상기 투영 영역을 포함하는 상기 투영에 의한 오차범위(이차원 화상상의 주목 영역의 대응 영역이 존재하기도 하는 범위를, 탐색 범위라고도 부른다.)를 상기 이차원 화상 위에 겹치도록 표시부에 표시시키는 것도 가능하다. 이에 따라, 유저는, 이차원 화상상의 실제의 대응영역을 탐색하는 탐색 범위를 판정할 수 있으므로, 실제의 대응영역을 효율적으로 탐색해서 식별할 수 있다.

도 1은 제1실시예에 따른 정보처리장치의 처리 순서를 나타내는 흐름도다.
도 2는 제2실시예에 따른 정보처리장치의 구성을 나타내는 블록도다.
도 3은 제2실시예에 따른 정보처리장치의 처리 순서를 나타내는 흐름도다.
도 4는 제2실시예에 따른 정보처리장치의 탐색 모드에 있어서의 화상합성의 처리 순서를 나타내는 흐름도다.
도 5a는 제1실시예에 따른 정보처리장치의 단층화상과 존재 범위를 표시하는 방법을 나타내는 도면이다.
도 5b는 제2실시예에 따른 정보처리장치의 단층화상과 존재 범위를 표시하는 방법을 나타내는 도면이다.
도 6a는 제1 영역과 제2 영역의 예를 나타내는 도면이다.
도 6b는 제1 영역과 제2 영역의 다른 예를 나타내는 도면이다.
도 7은 제3실시예에 따른 정보처리장치의 기기 구성을 나타내는 도면이다.
도 8은 제4실시예에 따른 정보처리장치의 기기 구성을 나타내는 도면이다.
도 9는 제3실시예에 따른 정보처리장치의 처리 순서를 나타내는 흐름도다.
도 10은 제4실시예에 따른 정보처리장치의 처리 순서를 나타내는 흐름도다.
도 11은 제5실시예에 따른 정보처리장치의 기기 구성을 나타내는 도면이다.
도 12는 제5실시예에 따른 정보처리장치의 처리 순서를 나타내는 흐름도다.
도 13은 삼차원 존재 범위에 있어서의 초음파 단층화상의 위치 정보를 나타내는 도면이다.
도 14a는 상대적 위치 정보의 컬러 테이블과의 연관성을 나타내는 도면이다.
도 14b는 상대적 위치 정보의 컬러 테이블과의 연관성을 나타내는 도면이다.
도 15a는 존재 범위 표시 정보를 나타내는 도면이다.
도 15b는 존재 범위 표시 정보를 나타내는 도면이다.
도 15c는 존재 범위 표시 정보를 나타내는 도면이다.
도 15d는 존재 범위 표시 정보를 나타내는 도면이다.
도 16a는 존재 범위 표시 정보가 중첩 표시된 초음파 단층화상을 나타내는 도면이다.
도 16b는 존재 범위 표시 정보가 중첩 표시된 초음파 단층화상을 나타내는 도면이다.
도 16c는 존재 범위 표시 정보가 중첩 표시된 초음파 단층화상을 나타내는 도면이다.
도 16d는 존재 범위 표시 정보가 중첩 표시된 초음파 단층화상을 나타내는 도면이다.
도 17은 일 실시예에 따른 정보처리장치의 각 부를 소프트웨어에 의해 실현 가능한 컴퓨터의 기본구성을 나타내는 도면이다.

이하, 첨부 도면을 참조하여 본 발명에 따른 정보처리시스템(정보처리장치)의 예시적 실시예에 대해서 상세히 설명한다. 이때, 본 발명은 아래의 실시예들에 한정되는 것은 아니다.

제1실시예

제1실시예에 따른 정보처리장치는, 피검체의 이차원 화상(예를 들면, 초음파 화상)을 포함하는 평면 위에 삼차원 화상(예를 들면, ＭＲＩ화상이나 X선 CT 화상))의 소정의 영역(예를 들면, 주목 영역이나 주목 병변부)을 투영하고, 상기 투영한 영역을 포함하는 상기 투영에 의한 오차범위(주목 영역의 이차원 화상상의 대응영역이 존재하기도 하는 범위, 탐색 범위라고도 부른다.)를 상기 이차원 화상 위에 표시부에 표시시키도록 구성된다. 이에 따라, 유저는, 이차원 화상상의 실제의 대응영역을 탐색하는 탐색 범위를 판정하여, 실제의 대응영역을 효율적으로 탐색해서 식별할 수 있다.

본 실시예는, 상기 투영을 전제로 하는 기술을 제공한다. 구체적으로, 상기 투영에 의해, 상기 투영에 의한 오차가 없으면, 피검체의 이차원 화상 위에는 소정의 영역에 대응한 영역이 계속 표시되게 된다. 그렇지만, 예를 들면, 후술하는 좌표변환에 의한 오차등에 의해, 피검체의 이차원 화상 위에 소정의 영역에 대응하는 영역이 표시되지 않은 경우가 있다. 오차범위를 이차원 화상 위에 표시함으로써, 유저가 소정의 영역에 대응하는 영역을 쉽게 탐색할 수 있다.

여기에서, 소정의 영역의 위치를 삼차원 화상의 삼차원 좌표계로부터 이차원 화상의 삼차원 좌표계(예를 들면, 위치 자세 센서의 기준 좌표계)로 좌표변환(연관성, 위치 맞춤)하여도 된다. 이에 따라, 그 좌표변환에 의한 오차에 의거하여 상기 투영에 의한 오차범위를 산출할 수 있다. 또한, 소정의 영역(제1 영역)보다도 크고 또한 상기 소정의 영역을 포함하는 영역(제2 영역)을 삼차원 화상으로 설정하고 나서, 이 영역(제2 영역)의 위치를 상기 좌표변환함에 의해, 상기 투영에 의한 오차범위를 산출할 수 있다. 그 제2 영역의 크기는, 좌표변환에 의한 오차에 의거하여 설정되어도 된다. 예를 들면, 도 6a에 나타나 있는 바와 같이, 제1 영역(701)이 크기를 가지지 않는 점으로서 정의되어 있을 경우에는, 제2 영역(702)은, 제1 영역(701)의 중심에 있고 좌표변환에 의한 오차가 반경이 되는 구(sphere)이어도 된다. 또한, 도 6b에 나타나 있는 바와 같이, 제1 영역(703)이 크기를 가지는 폐쇄 영역으로서 정의되어 있을 경우에는, 제2 영역(704)은, 좌표변환에 의한 오차가 폐곡면과 제1 영역(703)의 최근방 사이의 거리가 되도록 정의된 상기 폐곡선으로 둘러싸인 영역이어도 된다.

다음에, 본 실시예에 따른 정보처리시스템에 대해서 도 1을 참조하여 설명한다. 도 1은, 본 실시예에 따른 정보처리장치의 처리 순서를 나타내는 흐름도다.

우선, 단계 S1에 있어서, 오차취득부가 오차요인정보를 정보처리장치에 입력한다. 오차요인정보의 예들은, 초음파 탐촉자와 위치 자세 센서간의 거리를 포함한다. 일반적으로, 상기 거리가 길어질수록, 상기 투영(예를 들면, 좌표변환)에 의한 오차가 커진다.

다음에, 단계 S2에 있어서, 단층화상취득부가 단층화상(예를 들면, 초음파 단층화상)을 취득한다.

단계 S3에 있어서, 오차취득부가 오차(상기 투영에 의한 오차)를 취득한다. 예를 들면, 단계 S1에서 취득한 오차요인정보가, 초음파 탐촉자와 위치 자세 센서간의 거리일 경우, 미리 기억되어 있는 테이블(이하, "오차를 산출하기 위한 정보"라고도 부른다.)에 의하여, 상기 거리를 사용해서 오차를 구하여도 된다.

단계 S4에 있어서, 주목 영역(주목 병변부)이 존재하기도 하는 범위(상기 오차에 의한 오차범위, 탐색 범위)를 취득한다. 구체적으로는, 초음파 단층화상을 포함하는 평면 위에 삼차원 화상의 소정의 영역을 투영한 투영 영역을 포함하는 상기 투영에 의한 오차범위를 취득한다. 이 경우에, 예를 들면, 상기 투영 영역의 중심에 있고, 오차로서 구한 상기 거리가 반경이 되는 원을 그리고, 상기 원이 초음파 단층화상과 중복하는 영역을 취득한다.

단계 S5에 있어서, 상기 중복하는 영역을 상기 초음파 단층화상 위에 표시부에 표시한다. 예를 들면, 도 5a에 나타낸 화상을 상기 표시부에 표시한다. 이 경우에, 대응 병변부(501)가 존재하기도 하는 범위(존재 범위)(502)를 원으로 나타내어도 되고, 그 원을 둘러싸도록 반투명의 마스크를 대고, 그 원 내측의 에어리어에서의 초음파 단층화상을 통상대로 표시하여도 된다. 따라서, 실제의 주목 영역의 대응영역을 탐색하는 탐색 영역이 명확히 식별될 수 있다. 또한, 유저가 실제의 대응영역을 쉽게 탐색할 수 있어, 효율적으로 탐색할 수 있다. 또한, 대응영역이 존재하기도 하는 범위를 원의 라인만으로 그려도 된다. 대응영역이 존재하기도 하는 상기 범위의 내측의 에어리어가 채색되어도 된다. 이 경우에, 그 에어리어는, 탐색할 정도로 투명하여도 된다.

도 5a에 있어서, 유저가 초음파 단층화상상의 상기 투영에 의한 오차 범위내에서 소정의 위치를 대응영역의 위치로서 지정할 수 있다. 예를 들면, 상기 대응영역(이차원 화상상의 소정의 영역의 대응영역)을 나타내는 마크(예를 들면, 원이나 십자)를, 이차원 화상상의 소정의 위치의 위에 겹치도록 상기 표시부에 표시시킬 수 있다. 이에 따라 이차원 화상상의 대응영역의 위치가 쉽게 식별될 수 있어, 진단 효율이 향상하게 된다. 또한, 상기 지정된 소정의 위치와 투영 영역과의 차분에 의거하여 상기 이차원 화상에 있어서의 투영에 의한 오차를 보정하여도 된다. 그러므로, 재차 취득한 이차원 화상상의 상기 소정의 위치에 대응하는 위치에, 상기 마크를 계속 표시하여도 된다.

도 5a에 있어서, 유저가 소정의 위치를 지정하지 않을 경우에는, 초음파 단층화상의 취득을 반복한다. 각 초음파 단층화상의 위치와 자세에 따라 상기 투영에 의한 오차범위의 크기가 변하게 된다. 상기 소정의 영역(제1 영역)과 상기 투영 영역(초음파 단층화상상의 제1 영역의 대응영역)이 동일한 위치에 있을 때(초음파 단층화상의 스캔부분이 상기 소정의 영역을 통과할 때), 상기 투영에 의한 오차범위의 크기가 최대가 된다. 도 5b에 나타나 있는 바와 같이, 이 최대의 크기가 되는 오차범위 804를 실제의 오차범위 502와 구별할 수 있게 초음파 화상(503) 위에 항상 표시시켜도 된다.

제2실시예

제2실시예에 따른 정보처리시스템은, 삼차원 화상 데이터중의 주목 영역(예를 들면, 주목 병변부)이 존재하기도 하는 영역을, 실시간으로 촬영한 초음파 단층화상중에 표시하도록 구성된다. 이에 따라, 삼차원 화상 데이터중의 주목 영역에 대응하는 대응영역(대응 병변부)을, 조작자(의사나 기사)가 초음파 단층화상상에서 용이하게 그릴 수 있게 한다. 본 실시예에서는, 피검체 내부에 대한 삼차원적인 정보를 나타내는 단층화상들의 그룹을 삼차원 화상 데이터로서 다루는 경우에 관하여 설명한다. 이하, 본 실시예에 따른 정보처리시스템에 관하여 설명한다.

도 2는, 본 실시예에 따른 정보처리시스템의 구성을 나타낸다. 도 2에 나타나 있는 바와 같이, 본 실시예에 따른 정보처리장치(100)는, 단층화상 취득부("이차원 화상 취득부"라고도 부른다.)(110), 위치 자세 취득부(112), 삼차원 화상 데이터 취득부("삼차원 화상 취득부"라고도 부른다.)(120), 주목 영역 취득부(122), 오차취득부(123), 단면화상생성부("단면화상 취득부"라고도 부른다.)(130), 존재 범위 산출부(135), 화상합성부(140) 및 표시 제어부(150)를 구비한다. 정보처리장치(100)는, 삼차원 화상 데이터, 뒤에 기술하는 오차요인정보 및 임의의 다른 적절한 데이터를 보유하는 데이터 서버(190)에 접속되어 있다. 또한, 정보처리장치(100)는, 피검체의 초음파 단층화상을 촬상하는 제2의료용 화상수집장치(180)로서의 초음파 화상 진단 장치에도 접속되어 있다.

삼차원 화상 데이터의 입력

데이터 서버(190)가 보유하는 삼차원 화상 데이터는, 제1의료용 화상수집장치(170)로서의 ＭＲＩ장치나 X선 CT 장치등에 의해 피검체를 미리 촬상해서 얻어진 참조 단층화상의 그룹을 나타낸다. 이하의 설명에서는, 제1의료용 화상수집장치(170)로서 ＭＲＩ장치를 사용할 경우를 예로 해서 피검체로서는 인체의 유방을 촬영 대상으로서 사용한다.

ＭＲＩ 장치로 촬상된 참조 단층화상들의 그룹을 삼차원 화상 데이터로 나타내고, 각 단층화상의 위치 및 자세는, ＭＲＩ장치 좌표계에 있어서의 위치 및 자세로서 나타내어진다. 여기에서 "ＭＲＩ장치 좌표계"란, ＭＲＩ장치에 대해 공간중의 1점을 원점으로서 정의한 좌표계를 말한다. ＭＲＩ장치 좌표계로 표현된 삼차원 화상 데이터는, 삼차원 화상 데이터 취득부(120)에 의해 취득되어, 정보처리장치(100)에 입력된다. 삼차원 화상 데이터 취득부(120)는, 각 삼차원의 복셀이 휘도값을 나타내는 삼차원 볼륨 데이터를 참조 단층화상들의 그룹으로부터 생성하여, 그 생성된 삼차원 볼륨 데이터를 보유한다. 삼차원 화상 데이터 취득부(120)는, 단면화상생성부(130)로부터의 요구에 따라서, 상기 보유된 삼차원 볼륨 데이터를 단면화상생성부(130)에 출력한다.

한층 더, 데이터 서버(190)는, 삼차원 화상 데이터중의 주목 영역으로서, 미리 지정된 병변부(주목 병변부)의 위치를 보유하고 있다. 주목 병변부의 위치는, 예를 들면, (도면에 나타내지 않은) 화상 뷰어(viewer) 위에 참조 단층화상들의 그룹을 순차로 표시하고, 조작자에게 재촉하여 주목 병변부가 생기는 참조 단층화상들 중 하나를 선택하게 하고, (도면에 나타내지 않은) 마우스로 주목 병변부를 클릭함으로써 지정될 수 있다. 데이터 서버(190)가 보유하는 주목 병변부의 위치는, 주목 영역 취득부(122)에 의해 취득되어, 정보처리장치(100)에 입력된다. 또한, 주목 영역 취득부(122)는, 상기 보유하고 있는 주목 병변부의 위치를 오차취득부(123), 존재 범위 산출부(135) 및 화상합성부(140)에 출력한다. 이하의 설명에서는, 주목 병변부의 위치도, 삼차원 화상 데이터와 같이, ＭＲＩ장치 좌표계를 사용하여 나타내어진다.

오차추정 값의 취득: 제2실시예

데이터 서버(190)는, 삼차원 화상 데이터중의 병변부의 위치에서의 오차를 산출하기 위한 정보를 더 보유하고 있다. 오차를 산출하기 위한 정보는, 상기 투영동안에 삼차원 화상 데이터중의 주목 병변부에 대응하는 초음파 단층화상상에 있어서 대응영역(대응 병변부)의 위치에 포함된 오차의 정도를 산출하기 위한 정보다. 바꿔 말하면, 오차를 산출하기 위한 정보는, 삼차원 화상 데이터와 초음파 단층화상간의 위치 얼라인먼트에서의 오차(대응 병변부의 존재 범위)를 산출하기 위한 정보다. 본 실시예에서는, ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 자세를 위치 자세 취득부(112)가 산출함으로써, 삼차원 화상 데이터와 초음파 단층화상의 사이의 위치 얼라인먼트가 실시된다. 이하의 설명에서는, 이 오차추정 값을 산출하기 위한 정보를 "오차요인정보"(상세한 것은 후술한다)라고 부른다. 데이터 서버(190)가 보유하는 오차요인정보는, 오차취득부(123)를 거쳐 정보처리장치(100)에 입력된다. 오차취득부(123)는, 오차요인정보에 따라 삼차원 화상 데이터와 초음파 단층화상과의 사이의 위치 얼라인먼트의 오차추정 값(대응 병변부의 존재 범위)을 산출한다. 오차취득부(123)는, 그 산출한 오차추정 값을 존재 범위 산출부(135)에 출력한다. 이 경우에, 존재 범위 산출부(135)는, 주목 병변부의 위치를 중심으로 해서 반경이 오차인 구를 초음파단면을 따라 잘라서 얻어진 원을 산출하여, 대응 병변부의 존재 범위를 나타내는 정보로서 화상합성부(140)에 출력한다.

단층화상의 취득: 제2실시예

제2의료용 화상수집장치(180)로서의 초음파 화상진단 장치는, 피검체의 초음파 단층화상을 실시간으로 촬상한다. 초음파 단층화상은, 단층화상 취득부(110)에 의해 취득되어, 정보처리장치(100)에 순차로 입력된다. 한층 더, 단층화상 취득부(110)는, 취득된 초음파 단층화상을 필요에 따라서 디지털 데이터로 변환하고, 위치 자세 취득부(112)로부터 취득한 위치 및 자세에 연관시켜서 그 초음파 단층화상을 보유한다. 단층화상 취득부(110)는, 화상합성부(140)로부터의 요구에 따라서, 그 단층화상 취득부 내부에 보유하고 있는 초음파 단층화상을 화상합성부(140)에 출력한다.

보통, 조작자는, 초음파 탐촉자를 손에 들고, 원하는대로 움직이면서 피검체를 촬상한다. 그 초음파 탐촉자는 초음파 화상진단 장치의 촬상부(도면에 나타내지 않는다)로서의 역할을 한다. 초음파 탐촉자에 의해, 초음파를 검출해서 초음파 단층화상을 취득할 수 있다. 이 경우에, 초음파 단층화상은, 피검체에 대해 공간에서 촬영된 위치 및 자세를 명확히 나타내지 않는다. 따라서, 본 실시예에서는, 초음파 화상진단 장치에 장착된 (도면에 나타내지 않은) 위치 자세 센서를 사용하여, 초음파 탐촉자의 위치 및 자세를 계측한다. 그 위치 자세 센서는, 예를 들면, 미국 콜체스터의 Ｐｏｌｈｅｍｕｓ사의 ＦＡＳＴＲＡＫ(등록상표) 센서이어도 된다. 초음파 탐촉자의 위치 및 자세를 계측 가능한 어떠한 종류의 위치 자세 센서도 사용되어도 된다.

이상과 같이 해서 얻어진 초음파 탐촉자의 위치 및 자세는, 위치 자세 취득부(112)에 의해 취득되어, 정보처리장치(100)에 입력된다. 초음파 탐촉자의 위치 및 자세는, 예를 들면, 기준 좌표계에 있어서의 위치 및 자세로서 나타내어도 된다. 여기에서 사용된 것과 같은, "기준 좌표계"란, 피검체에 대해 공간중의 1점을 원점으로서 정의한 좌표계를 말한다. 또한, 위치 자세 취득부(112)는, 기준 좌표계에 있어서의 초음파 탐촉자의 위치 및 자세를 취득하고, 이 취득된 위치 및 자세에 따라 ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 및 자세를 산출한다. 위치 자세 취득부(112)는, 단면화상생성부(130)로부터의 요구에 따라서, 그 산출된 위치 및 자세를 단면화상생성부(130)에 출력한다. 이 산출의 처리는, 공지의 좌표변환연산을 사용하여, 초음파 탐촉자와 초음파 단층화상과의 사이의 상대적 위치 관계에 의거하고, 기준 좌표계와 ＭＲＩ장치 좌표계와의 사이의 상대적 위치 관계에 의거한다. 본 실시예에서는, 이러한 상대적 위치 관계에 대한 정보(이후, 교정 데이터)는, 공지의 교정 수법으로 미리 도출되어 있고, 위치 자세 취득부(112)내의 메모리에 기지의 값으로서 보유되어 있다.

단면화상의 생성: 제2실시예

단면화상생성부(130)는, 삼차원 화상 데이터 취득부(120)의 출력인 삼차원 볼륨 데이터와, 위치 자세 취득부(112)의 출력인 초음파 단층화상의 위치 및 자세와, 주목 영역 취득부(122)의 출력인 주목 병변부의 위치를 수신한다. 단면화상생성부(130)는, 이 수신된 데이터들에 의거하여 단면화상(제2 이차원 단면화상)을 삼차원 볼륨 데이터로부터 생성하여, 화상합성부(140)에 출력한다. 단면화상생성부(130)는, 후술하는 두개의 조작 모드에 따라 상이한 처리를 행한다. 화상합성부(140)는, 대응 병변부의 존재 범위(제2 영역)를 나타내는 정보를 존재 범위 산출부(135)로부터 취득하고, 단층화상 취득부(110)로부터 취득한 초음파 단층화상 위에 상기 제2 영역을 그린다. 한층 더, 화상합성부(140)는, 그 결과로 얻어진 화상과, 단면화상생성부(130)로부터 취득한 단면화상과를 합성하여 합성 화상을 생성하여, 그 합성화상을 표시 제어부(150) 혹은 외부기기에 출력한다. 대응 병변부의 존재 범위를 초음파 단층화상 위에 겹친 화상과, 단면화상 위에 소정의 영역(제1 영역)을 겹친 화상을, 표시부에 나란히 있도록 표시하여도 된다. 표시 제어부(150)는, 화상합성부(140)의 출력인 합성 화상을 취득하여, 표시부(160)에 표시한다.

도 2에 나타낸 부들(즉, 단층화상 취득부(110), 위치 자세 취득부(112), 삼차원 화상 데이터 취득부(120), 주목 영역 취득부(122), 오차취득부(123), 단면화상생성부(130), 존재 범위 산출부(135), 화상합성부(140) 및 표시 제어부(150))의 적어도 일부는, 독립적인 장치로서 실현되어도 된다. 또는, 각 부는, 하나 혹은 복수의 컴퓨터에 그 부를 인스톨하고, 컴퓨터의 중앙처리장치(ＣＰＵ)에 의해 소프트웨어를 실행함으로써 그 기능을 실현하는 소프트웨어로 실현되어도 된다. 본 실시예에서는, 각 부는 소프트웨어에 의해 실현되어, 동일한 컴퓨터에 인스톨되어 있는 것으로 가정한다.

컴퓨터의 기본구성: 제2실시예

도 17은, 단층화상 취득부(110), 위치 자세 취득부(112), 삼차원 화상 데이터 취득부(120), 주목 영역 취득부(122), 오차취득부(123), 단면화상생성부(130), 존재 범위 산출부(135), 화상합성부(140), 및 표시 제어부(150)의 각각의 기능을, 소프트웨어를 실행하여서 실현하기 위한 컴퓨터의 기본구성을 나타내는 도면이다.

ＣＰＵ(1001)는, 랜덤 액세스 메모리(ＲＡＭ)(1002)나 판독전용 메모리(ＲＯＭ)(1003)에 격납된 프로그램과 데이터를 사용해서 컴퓨터 전체의 동작을 제어한다. ＣＰＵ(1001)는, 한층 더, 단층화상 취득부(110), 위치 자세 취득부(112), 삼차원 화상 데이터 취득부(120), 주목 영역 취득부(122), 오차취득부(123), 단면화상생성부(130), 존재 범위 산출부(135), 화상합성부(140), 및 표시 제어부(150)의 각각의 소프트웨어의 실행을 제어하여, 각부의 기능을 실현한다.

ＲＡＭ(1002)은, 외부기억장치(1007)나 기억매체 드라이브(1008)로부터 로드된 프로그램과 데이터를 일시적으로 기억하는 에어리어를 구비함과 아울러, ＣＰＵ(1001)가 각종의 처리를 행할 때 사용된 워크 에어리어를 갖는다.

ＲＯＭ(1003)은, 일반적으로 컴퓨터의 프로그램이나 설정 데이터등이 격납되어 있다. 키보드(1004)와 마우스(1005)는 입력 디바이스이며, 조작자는 이 키보드(1004)와 마우스(1005)를 사용하여, 각종의 지시를 ＣＰＵ(1001)에 입력할 수 있다.

표시부 1006은, 음극선관(ＣＲＴ) 디스플레이, 액정 디스플레이, 또는 임의의 다른 적절한 디스플레이로 형성되어도 되고, 표시부 160에 해당한다. 표시부(1006)는, 화상합성부(140)가 생성한 합성 화상의 이외에, 화상처리를 위해 표시해야 할 메시지나 그래픽 사용자 인터페이스(ＧＵＩ)등의 항목을 표시할 수 있다.

외부기억장치(1007)는, 하드디스크 드라이브 등의 대용량 정보기억장치로서 기능하는 장치이며, 오퍼레이팅 시스템(ＯＳ), ＣＰＵ(1001)가 실행하는 프로그램 등을 보존한다. 본 실시예에서는, "기지의 정보"는 외부기억장치(1007)에 보존되고, 필요에 따라 ＲＡＭ(1002)에 로드된다.

기억매체 드라이브(1008)는, 콤팩트 디스크 ＲＯＭ(ＣＤ-ＲＯＭ)이나 디지털 다기능 디스크 ＲＯＭ(ＤＶＤ-ＲＯＭ)등의 기억매체에 기억되어 있는 프로그램과 데이터를 ＣＰＵ(1001)로부터의 지시에 따라서 판독하여, ＲＡＭ(1002)이나 외부기억장치(1007)에 출력한다.

인터페이스(I/F)(1009)는, 아날로그 비디오 포트 혹은 국제전기전자기술자협회(ＩＥＥＥ)1394등의 디지털 입/출력 포트나, 합성 화상등의 정보를 외부에 출력하기 위한 이더넷(등록상표)포트 등으로 구성된다. 각 포트에 입력된 데이터는, I/F(1009)를 거쳐 ＲＡＭ(1002)에 격납된다. 단층화상 취득부(110), 위치 자세 취득부(112), 삼차원 화상 데이터 취득부(120), 주목 영역 취득부(122), 및 오차취득부(123)의 기능의 일부는, I/F(1009)에 의해 실현된다.

전술한 구성요소들은, 버스(1010)를 거쳐 서로 접속된다.

탐색 모드와 연동 모드

상기의 정보처리시스템은, 2개의 조작 모드, 즉 탐색 모드(대응 병변부를 탐색하는 모드)와 연동 모드(연관된 병변부를 관찰해서 확인하는 모드)를 가진다. 초음파 단층화상의 위치 및 자세와 주목 병변부의 위치가 주어지면, 이것들의 정보에 의거하여 ＭＲＩ 삼차원 화상 데이터로부터 현재의 모드에 따라 단면화상이 생성(취득)된다. 탐색 모드에서 생성된 단면화상은, 상술한 초음파 단층화상을 포함하는 평면에 평행한 단면화상이며, 또한, 주목 병변부를 통과하는 단면화상이다. 이렇게 단면화상을 생성함으로써, 초음파 탐촉자의 자세에 상관없이, 두개의 단면화상(초음파 단층화상과 ＭＲＩ의 단면화상)의 피검체에 대한 초음파 탐촉자의 기울기(자세)를 항상 정렬된 방식으로 표시하는 것이 가능하다. 그 결과, 조작자는 초음파 탐촉자를 누르는 위치만을 ＭＲＩ데이터와 합치면 좋다. 기울기를 서로 정렬하는 시간과 노력이 많이 드는 조작이 더 이상 필요하지 않으므로, 조작자는 쉽게 위치 얼라인먼트를 이룰 수 있다. 탐색 모드와 연동 모드간의 전환은, 초음파 단층화상에서의 대응 병변부를 특정하고, 그 대응 병변부의 위치를 지적하는 것으로 행해진다. 연동 모드에서는, 초음파 단층화상과 같은 단면을 ＭＲＩ 삼차원 화상 데이터로부터 잘라내서 얻어진 화상이, ＭＲＩ의 단면화상으로서 표시된다. 이 연동 모드에서는, 조작자는, 초음파 탐촉자의 위치 및 자세에 연동한 주목 병변부 주변의 ＭＲＩ단면화상과, 초음파 단층화상을 동시에 보면서, 병변부의 확산 등을 관찰하는 것이 가능하다.

초음파 단층화상과 ＭＲＩ의 단면화상은, 표시부(160)에 표시된다. 조작자는, 탐색 모드에서는, 초음파 탐촉자를 누르는 위치를 바꾸면서 각각의 화상에 생기는 특징들이 일치하는 것인가 아닌가를 비교 판정해서, 위치 얼라인먼트를 행할 수 있다. 조작자는, 연동 모드에서는, 위치에 있어서 정렬되어 있었던 각각의 화상을 보면서, 병변부의 주변을 관찰할 수 있다.

도 3은, 정보처리장치(100)의 처리 순서를 나타내는 흐름도다. 본 실시예에서, 동 흐름도에서의 순서는, ＣＰＵ(1001)가 각 부의 기능을 실현하는 프로그램을 실행하여서 실현된다. 이하의 처리를 행하기 전에, 동 흐름도에 의거한 프로그램 코드는, 예를 들면, 외부기억장치(1007)로부터 ＲＡＭ(1002)에 로드되어 있었다.

S3000:데이터의 입력

단계 S3000에 있어서, 정보처리장치(100)는, 삼차원 화상 데이터 취득부(120)의 처리로서, 데이터 서버(190)로부터 삼차원 화상 데이터로서 참조 단층화상들의 그룹을 취득한다. 그 후, 정보처리장치(100)는, 참조 단층화상들의 그룹으로부터, 각 단층화상의 화소들을 삼차원적으로 배치 및 보간함으로써, 휘도값을 나타내는 각 삼차원 복셀을 갖는 삼차원 볼륨 데이터를 생성한다. 또한, 주목 영역 취득부(122)의 처리로서, 정보처리장치(100)는, 데이터 서버(190)로부터 주목 병변부의 위치를 취득한다.

S3005:오차요인정보의 입력

단계 S3005에 있어서, 정보처리장치(100)는, 오차취득부(123)의 처리로서, 오차추정 값의 산출에 사용하는 각종의 오차요인정보(후술함)를 데이터 서버(190)로부터 취득한다.

S3010:단층화상의 취득

단계 S3010에 있어서, 정보처리장치(100)는, 단층화상 취득부(110)의 처리로서, 제2의료용 화상수집장치(180)로부터 초음파 단층화상을 취득한다. 또한, 위치 자세 취득부(112)의 처리로서, 정보처리장치(100)는, 상기 초음파 단층화상을 얻을 때에 얻어진 초음파 탐촉자의 위치 및 자세를 제2의료용 화상수집장치(180)로부터 취득한다. 그리고, 정보처리장치(100)는, 기지의 값으로서 미리 기억하고 있는 전술한 교정 데이터를 이용하여서, 기준 좌표계에 있어서의 초음파 탐촉자의 위치 및 자세로부터, ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 및 자세를 산출한다. 위치 얼라인먼트의 보정 파라미터를 보유하고 있는 경우에는, 정보처리장치(100)는, 초음파 단층화상의 위치의 산출 값을 보정 파라미터분만큼 보정함으로써, 주목 병변부와 대응 병변부를 정확하게 정렬한다. 단계 S3000에 있어서의 주목 병변부의 위치의 취득과, 본 단계 S3010에 있어서의 초음파 단층화상의 위치 및 자세의 산출에 의해, 주목 병변부(주목 영역)와 단층화상간의 상대적 관계가 추정된다.

S3015:오차추정 값의 취득

단계 S3015에 있어서, 정보처리장치(100)는, 오차취득부(123)의 처리로서, 단계 S3005에서 취득한 오차의 산출에 사용하는 각종 데이터에 의거하여 오차추정 값을 산출한다.

본 실시예에 있어서, ＭＲＩ장치 좌표계와 기준 좌표계간의 관계는 강체(rigid-body) 변환에 의해 나타내어진다. 그러나, ＭＲＩ화상을 촬영했을 때에 얻어진 ＭＲＩ장치 좌표계에서의 피검체의 위치 및 자세와, 초음파 촬영을 행할 때에 얻어진 기준 좌표계에서의 피검체의 위치 및 자세는, 반드시 정확하게 강체변환을 제공하지 않아도 된다. 그 때문에, 상기 좌표계간의 관계를 강체변환에 의해 나타낼 경우에는, 오차가 존재하기도 한다. 가령 상기 좌표계간의 피검체의 위치 및 자세의 차이가 정확한 강체변환을 제공하면, 실제로는 그 강체변환을 정확하게 구하는 것이 곤란하고, 오차가 존재하기도 한다. 또한, 그 존재하기도 하는 오차는, 위치 자세 취득부(112)가 취득하는 위치 자세 계측값에 오차(위치 자세 계측 오차)도 포함한다.

오차추정 값을 산출하는 처리는, 예를 들면, 제2의료용 화상수집장치(180)의 초음파 탐촉자의 위치 및 자세를 계측하는 위치 자세 센서의 특성등에 의거하여 실행될 수 있다. 예를 들면, 위치 자세 센서의 계측방식마다 미리 기준 오차값을 결정해두고, 사용하는 상기 센서의 계측방식에 따라 값을 선택하여도 된다. 예를 들면, 광학식 센서보다 자기식 센서는 일반적으로 계측정밀도가 낮다. 이 때문에, 광학식 센서를 사용하고 있다고 하는 정보를 오차요인정보로서 데이터 서버(190)로부터 취득하는 경우와, 그 취득된 정보에 따라 자기식 센서를 사용하는 경우에 산출된 오차추정 값보다 작은 오차추정 값을 산출할 수 있다. 또한, 오차추정 값은, 위치 자세 센서의 계측방식의 차이에 관계없이, 위치 자세 센서의 계측기준에 대한 공간적인 위치와 자세의 관계에 따라 산출될 수 있다. 예를 들면, 위치 자세 센서가 자기식의 센서일 경우에는, 계측의 기준이 되는 자기발생 장치와 초음파 탐촉자간의 거리의 함수로서 오차추정 값을 정의할 수 있고, 그 거리가 클 경우에는 상기 오차추정 값으로서 큰 값을 산출할 수 있다. 또한, 위치 자세 센서가 광학식 센서일 경우에, 계측의 기준과 초음파 탐촉자간의 거리나, 초음파 탐촉자의 자세 등에 따라 오차추정 값을 산출할 수 있다.

또한, 오차추정 값은, 주목 병변부가 존재하는 피검체에 있어서의 부위 등에 의거하여 산출될 수 있다. 예를 들면, 주목 병변부가 피검체의 유방등의 부드러운 조직에 존재할 경우에는, ＭＲＩ화상의 촬영 시점과, 초음파 화상의 촬영 시점 사이의 기간동안에 피검체의 해당 부위가 변형되기도 하는 것이 상정된다. 따라서, 그러한 부위에 주목 병변부가 존재할 경우에는, 큰 오차추정 값이 산출될 수 있다. 또한, 심박에 의한 위치의 변동이 큰 심장 및 심장근방의 영역, 또는 호흡에 의한 위치의 변동이 큰 폐 및 폐근방의 영역에서는, 큰 오차추정 값이 산출될 수 있다. 구체적으로는, 주목 병변부가 존재하는 피검체내에 있어서의 부위(장기 이름이나 장기내에 있어서의 위치)를 의미하는 정보와, 상기 부위와 오차의 크기간의 대응을 나타내는 데이터(테이블)를 오차요인정보로서 취득하고, 이것들의 정보에 의거하여 오차추정 값을 산출할 수 있다.

또한, ＭＲＩ장치 좌표계와 기준 좌표계와의 교정을 행할 때에 지표로서 사용한 부위의 위치 등에 관한 정보를 오차요인정보로서 취득하고, 이것들의 부위와 주목 병변부와의 위치의 관계에 의거하여 오차추정 값이 산출될 수 있다. 예를 들면, 상기 교정에 사용한 지표로서 피검체의 칼돌기를 사용하는 경우에는, ＭＲＩ화상중에 있어서의 칼돌기의 위치와, 주목 병변부와의 거리의 함수로서, 오차추정 값이 산출될 수 있다. 또한, 유두의 위치를 교정용 지표로서 사용할 경우에는, ＭＲＩ화상중에 있어서의 유두의 위치와 주목 병변부와의 거리의 함수로서, 오차추정 값이 산출될 수 있다. 또한, 이상에서 예시한 방법들 중에서 복수의 방법을 사용해서 복합적으로 오차를 추정하여서, 오차추정 값을 취득하여도 된다.

S3020:탐색 모드의 판정

단계 S3020에 있어서, 정보처리장치(100)는 현재의 조작 모드가 탐색 모드인지, 연동 모드인지를 판정한다. 조작 모드가 탐색 모드일 경우에는, 단계 S3030의 처리로 진행되고; 조작 모드가 연동 모드일 경우에는, 단계 S3070의 처리로 진행된다. 본 실시예에서는, 초기의 조작 모드를 탐색 모드라고 가정한다.

S3030:탐색 모드에 있어서의 화상의 생성 및 표시

단계 S3030에 있어서, 정보처리장치(100)는, 탐색 모드에 있어서의 화상을 생성하여, 표시한다. 이하, 단계 S3030의 처리의 상세한 것은, 도 4에 나타낸 흐름도를 참조하여 설명한다.

정보처리장치(100)는, 이하의 처리(단계 S3040 및 S3050)에 의해, 초음파 단층화상상에 있어서의 대응 병변부의 위치를 조작자가 지정했을 경우에, 주목 병변부의 위치와 대응 병변부가 실제로 존재하는 위치간의 오정렬을 보정한다.

S3040:단층화상상의 대응 병변부의 위치의 지정

단계 S3040에 있어서, 정보처리장치(100)는, 위치 자세 취득부(112)의 처리로서, 정보처리장치(100)는, 초음파 단층화상상의 대응 병변부의 위치가 지정된 것인가 아닌가를 판정한다. 대응 병변부의 위치는, 예를 들면, 표시부(160)에 표시된 초음파 단층화상상의 대응 병변부의 위치를, 조작자가 마우스(1005)로 클릭하여서 지정한다. 대응 병변부의 위치가 지정되었을 경우에는, 정보처리장치(100)는, 초음파 단층화상상에 있어서의 대응 병변부의 위치와, 초음파 단층화상의 위치 및 자세에 따라, ＭＲＩ장치 좌표계에 있어서의 대응 병변부의 위치를 산출한다. 그리고, 단계 S3050의 처리로 진행된다. 대응 병변부의 위치가 지정되지 않고 있는 경우에는, 단계 S3100의 처리로 진행된다. 예를 들면, 초음파 단층화상 위에 대응 병변부가 표시되지 않은 경우에, 유저는 위치를 지정하지 않고 단계 S3010에서 다시 초음파 단층화상을 취득한다.

S3050:보정값의 산출

단계 S3050에 있어서, 정보처리장치(100)는, 위치 자세 취득부(112)의 처리로서, 단계 S3040에서 취득한 대응 병변부의 위치와, 단계 S3000에서 취득한 주목 병변부의 위치와의 사이의 오프셋(보정값)을 산출한다. 그리고, 이 얻어진 값을 위치 얼라인먼트의 보정 파라미터로서 메모리에 보유한다. 위치 자세 취득부(112)는, 그 보정 파라미터를 보유하고 있을 경우에는, 단계 S3010에서 새롭게 취득한 초음파 단층화상을 ＭＲＩ장치 좌표계로 변환하고, 상기 변환한 좌표계에 있어서의 초음파 단층화상의 위치를 보정 파라미터(오프셋)분만큼 보정한다(또는 뺀다). 이에 따라, 위치 자세 센서의 계측오차나 피검체의 변형등의 영향을 보정할 수 있다.

S3060:탐색 모드로부터 연동 모드로의 전환

단계 S3060에 있어서, 정보처리장치(100)는, 시스템의 조작 모드를 탐색 모드로부터 연동 모드로 전환하고, 단계 S3100의 처리로 진행된다. 이 연동 모드에서, 초음파 단층화상으로부터 위치를 지정하는 단계를 행하지 않고, 상기 보정된 초음파 단층화상을 계속해서 취득하는 것이 가능하다. 예를 들면, 유저가 수술로 절제하는 병변부의 크기를 얻기 위해서 병변부의 확대를 관찰하기를 원하기도 한다. 이 경우, 상기 보정된 초음파 단층화상에 의해 대응 병변부의 주변을 관찰할 수 있다.

S3070:연동 모드에 있어서의 화상의 생성 및 표시

단계 S3070에 있어서, 정보처리장치(100)는, 연동 모드에 있어서의 화상을 생성하여, 표시한다. 구체적으로는, 단면화상생성부(130)의 처리로서, 정보처리장치(100)는, 단계 S3010에서 얻은 초음파 단층화상의 위치 및 자세에 따라, 해당 단층화상과 같은 단면을 삼차원 볼륨 데이터로부터 잘라서 얻어진 단면화상을 생성한다. 그리고, 화상합성부(140)의 처리로서, 정보처리장치(100)는, 단계 S3010에서 얻은 초음파 단층화상과, 단계 S3070에서 얻은 단면화상을 합성한다. 예를 들면, 이러한 화상을 좌우로 나란히 배치한 화상을 생성하여도 된다. 단면화상의 평면내에 주목 병변부의 위치가 존재하는 경우에는, 초음파 단층화상과 단면화상에서의 대응한 위치에서, 주목 병변부를 나타내는 사각형 마크 등을 각각의 화상 위에 중첩하도록 그려져도 된다. 또한, 표시 제어부(150)의 처리로서, 정보처리장치(100)는, 합성한 화상을 표시부(160)에 표시한다.

S3080:연동 모드로부터 탐색 모드로의 전환할 것인가의 판정

단계 S3080에 있어서, 정보처리장치(100)는, 시스템의 조작 모드를 연동 모드로부터 탐색 모드로 전환할 것인가 아닌가를 판정한다. 예를 들면, 조작자가 키보드(1004)의 소정의 키(조작 모드 전환 키)를 눌러서 입력한 전환의 지시를 취득한다. 조작 모드를 전환한다고 판정했을 경우에는, 단계 S3090의 처리로 진행되고; 조작 모드를 전환하지 않는다고 판정했을 경우에는, 단계 S3100의 처리로 진행된다. 예를 들면, 대응 병변부의 화상과 유사한 화상이 표시되고 있는 경우, 유저가 단계 S3040에서 실제의 대응 병변부와는 다른 영역을 지정하고 있을 가능성이 있다. 이러한 경우, 유저는, 연동 모드에서 다시 취득한 초음파 단층화상을 사용하여 대응 병변부의 주변을 관찰할 수 있다. 유저가 실제의 대응 병변부를 알아차릴 경우에, 유저는 단계 S3080에서 조작 모드를 탐색 모드로 전환하고, 대응 병변부의 위치를 다시 취득할 수 있다.

S3090:연동 모드로부터 탐색 모드로의 전환

단계 S3090에 있어서, 정보처리장치(100)는, 시스템의 조작 모드를 연동 모드로부터 탐색 모드로 전환하고, 단계 S3100의 처리로 진행된다.

S3100:전체의 처리를 종료할 것인가의 판정

단계 S3100에 있어서, 정보처리장치(100)는, 전체의 처리를 종료할 것인가 아닌가를 판정한다. 예를 들면, 키보드(1004)의 소정의 키(종료 키)를 조작자가 눌러서 입력한 종료의 지시를 취득한다. 그 처리가 종료한다고 판정했을 경우에는, 정보처리장치(100)의 처리의 전체를 종료시킨다. 그 처리가 종료되지 않았다고 판정했을 경우에는, 단계 S3010의 처리로 되돌아가고, 새롭게 촬상되는 초음파 단층화상에 대하여, 단계 S3010이후의 처리를 다시 실행한다.

이에 따라, 정보처리장치(100)의 처리가 실행된다.

탐색 모드에 있어서의 화상의 생성 및 표시

다음에, 단계 S3030에 있어서 정보처리장치(100)의 탐색 모드에서 표시되는 화상의 생성 처리의 상세를, 도 4의 흐름도를 참조하여 설명한다.

S4000:단면화상의 취득

단계 S4000에 있어서, 정보처리장치(100)는, 단면화상생성부(130)의 처리로서, 단계 S3000에서 얻은 삼차원 볼륨 데이터 및 주목 병변부의 위치와, 단계 S3010에서 얻은 초음파 단층화상의 위치 및 자세에 따라, 탐색 모드에 있어서의 단면화상을 생성한다.

먼저, 단면화상생성부(130)는, 주목 병변부의 위치와 초음파 단층화상의 자세에 근거한 단면(평면)을 산출한다. 구체적으로는, 우선, 단면좌표계(단면의 위치 및 자세를 가리키는 좌표계)의 위치 및 자세를 초기화한다. 그 후, 단면의 자세가 초음파 단층화상의 자세와 일치하도록, 단면을 회전시킨다. 그리고, 주목 병변부가 그 단면 위에 위치하도록, 단면을 병행 이동시킨다. 이에 따라 산출된 단면은, 주목 병변부를 면내에 포함하고(즉, 단면을 의미하는 평면이 주목 병변부를 지나가고), 또한, 초음파 단층화상과 동일한 자세를 가진(초음파 단층화상에 평행한) 단면이다. 끝으로, 단면상에 있어서 단면화상을 생성하는 범위를 산출한다. 예를 들면, 초음파 단층화상의 위치 및 자세에 의거하여 초음파 단층화상의 네구석의 점의 위치를 산출하고, 각각의 점으로부터 상기 단면에 내린 수선의 발로 이루어진 4점을 사용하여, 생성하는 단면화상의 범위를 결정한다. 그러므로, 초음파 단층화상의 자세를 움직일 때, 단면화상의 자세도 그에 따라서 움직이기 때문에, 유저는 관찰하기 쉽다.

끝으로, 단면화상생성부(130)는, 상기에서 구한 단면에 대응하는 화상을, 삼차원 볼륨 데이터로부터 잘라내서 생성한다. 지정한 단면의 화상을 삼차원 볼륨 데이터로부터 잘라내서 생성하는 방법에 관해서는 알려져 있으므로, 그 상세한 설명은 생략한다.

S4010:주목 병변부의 존재 범위의 취득

단계 S4010에 있어서, 정보처리장치(100)는, 존재 범위 산출부(135)의 처리로서, 단계 S3010에서 얻은 초음파 단층화상상에 있어서의 대응 병변부의 존재 범위를 산출한다. 본 실시예에 있어서, 삼차원 공간중에 있어서의 대응 병변부의 존재 범위는, 단계 S3000에서 얻은 주목 병변부의 위치를 중심으로 하고 단계 S3015에서 얻은 오차추정 값이 반경인 구로서 정의된다. 또한, 초음파 단층화상상에 있어서의 대응 병변부의 존재 범위는, 삼차원 공간중에 있어서의 대응 병변부의 존재 범위를 나타내는 구와 해당 단층화상이 교차하는 영역(상기 구의 단면)인 원으로서 정의된다. 따라서, 화상합성부(140)는, 초음파 단층화상상에 있어서의 그 원의 중심위치와 반경을 산출한다. 삼차원 공간에 정의된 구와 평면이 교차하는 영역의 산출 방법은 주지이므로, 그 설명은 생략한다. 존재 범위를 나타내는 구와 초음파 단층화상이 교차하지 않을 경우에는, "단면에 존재 범위는 없다"를 가리키는 정보가 보존된다.

S4020:단층화상에 주목 병변부의 존재 범위를 묘화

단계 S4020에 있어서, 정보처리장치(100)는, 화상합성부(140)의 처리로서, 단계 S4010에서 산출한 초음파 단층화상상에 있어서의 대응 병변부의 존재 범위를 가리키는 정보를, 해당 초음파 단층화상 위에 묘화한다. 이 경우에, 대응 병변부가 존재하기도 하는 범위를 원으로 나타내고, 그 원을 둘러싸도록 반투명의 마스크를 대고, 그 원 내측의 에어리어에서의 초음파 단층화상을 통상대로 표시시켜도 된다. 이에 따라, 실제의 대응 병변부를 탐색하는 탐색 영역이 명확히 식별될 수 있다. 또한, 유저가 실제의 대응 병변부를 탐색하기 쉽고, 효율적으로 탐색할 수 있다. 대응 병변부가 존재하기도 하는 범위를 원의 라인만으로 묘화해도 된다. 대응 병변부가 존재하기도 하는 범위 내측의 에어리어가 채색되어도 된다. 이 경우에는, 탐색할 수 있는 정도도 상기 에어리어가 투명하여도 된다. 단계 S4020의 처리 결과, 도 5a에 나타낸 대응 병변부(501)의 존재 범위(502)가 단층화상 위에 겹치는 초음파 단층화상(503)이 생성된다. 이때, 단계 S4010에 있어서 "단면에 존재 범위는 없다"다고 판정되는 경우에, 본 단계 S4020의 처리는 실행되지 않는다.

S4030:단층화상과 단면화상의 합성

단계 S4030에 있어서, 정보처리장치(100)는, 화상합성부(140)의 처리로서, 단계 S4000에서 얻은 단면화상과, 단계 S4020에서 얻은 초음파 단층화상(구체적으로는, 대응 병변부의 존재 범위가 단층화상 위에 겹친 화상)을 합성하여 합성 화상을 생성한다. 예를 들면, 이러한 화상을 좌우로 나란히 배치한 화상을 생성하여도 된다. 그리고, 표시 제어부(150)의 처리로서, 정보처리장치(100)는, 합성 화상을 표시부(160)에 표시한다. 또한, 필요에 따라, I/F(1009)를 통해 이 합성 화상을 외부기기에 출력하고, 또한, 다른 어플리케이션으로부터 이용 가능하도록 ＲＡＭ(1002)에 격납된다.

이에 따라, 초음파 단층화상과 같은 자세로 주목 병변부를 포함하는 단면화상과, 대응 병변부의 존재 범위가 묘화된 초음파 단층화상과의 합성 화상이, 조작자에게 제시된다.

따라서, 본 실시예에 따른 정보처리장치에서는, 조작자가 대응 병변부를 탐색하는데 도움이 되는 초음파 단층화상 위에, 위치 얼라인먼트의 오차를 고려한 대응 병변부의 존재 범위가 제시된다. 대응 병변부의 존재 범위의 제시는, 필요 이상으로 넓은 범위를 탐색하는 원하지 않는 작업을 절감하고, 탐색조작중에 조작자의 부하를 경감할 수 있다. 추가로, 탐색 범위가 한정될 수 있으므로, 조작자가 잘못 연관시킬 수도 있는 위험성을 줄일 수 있다.

상기의 실시예에서는, 대응 병변부의 존재 범위가 초음파 단층화상 위에 제시될 때에, ＭＲＩ의 단면화상으로서 초음파 단층화상과 같은 자세로 주목 병변부를 포함하는 단면화상을 제시하였다. 그러나, 제시되는 ＭＲＩ의 단면화상은, 그 밖의 형태이어도 된다. 예를 들면, 본 실시예에 따른 연동 모드와 마찬가지로, 초음파 단층화상의 위치와 자세의 양쪽과 연동한(초음파 단층화상과 동일한 단면을 잘라내서 얻어진) 단면화상을 표시해도 된다. 또한, 의사가 지정한 ＭＲＩ의 단면화상을 정지화상으로서(자세를 연동시키지 않고) 표시해도 된다. 예를 들면, 의사가 주목 병변부를 지적한 ＭＲＩ의 단면화상을 표시해도 된다. 아울러, ＭＲＩ의 단면화상은 반드시 표시하지 않아도 된다.

추가로, 초음파 단층화상의 위치와 자세의 양쪽과 연동한 단면화상을 표시할 경우, 주목 병변부의 수는 복수이어도 된다. 이 경우, 각각의 주목 병변부에 관해서 삼차원 공간에 있어서의 대응 병변부의 존재 범위가 구로서 정의된다. 따라서, 각각의 구와 초음파 단층화상이 교차하는 영역을 구하고, 해당 단층화상상에서의 대응 병변부의 존재 범위로서 표시되어도 된다.

제3실시예

제3실시예에 따른 정보처리시스템은, 삼차원 화상 데이터(참조 화상)중의 주목 영역(예를 들면, 주목 병변부)의 대응영역(대응 병변부)이 존재하기도 하는 영역을, 실시간으로 촬영된 초음파 단층화상(대상 화상)에 표시하도록 구성된다. 이에 따라 조작자(이를테면, 의사나 기사)가 초음파 단층화상상에서 대응영역을 용이하게 탐색해서 식별할 수 있다. 이하, 본 실시예에 따른 정보처리시스템에 관하여 설명한다.

도 7은, 본 실시예에 따른 정보처리시스템의 구성을 나타낸다. 도 7에 나타나 있는 바와 같이, 본 실시예에 따른 정보처리장치(900)는, 단층화상 취득부("이차원 화상 취득부"라고도 부른다.)(910), 위치 자세 취득부(912), 삼차원 화상 데이터 취득부("삼차원 화상 취득부"라고도 부른다.)(920), 주목 영역 취득부(922), 오차취득부(923), 단면화상생성부("단면화상 취득부"라고도 부른다.)(930), 존재 범위 산출부(935), 화상합성부(940) 및 표시 제어부(950)를 구비한다. 정보처리장치(900)는, 삼차원 화상 데이터, 뒤에 기술하는 오차요인정보 및 임의의 다른 적절한 데이터를 보유하는 데이터 서버(990)에 접속되어 있다. 또한, 정보처리장치(900)는, 피검체의 초음파 단층화상을 촬상하는 제2의료용 화상수집장치(980)로서의 초음파 화상 진단 장치에도 접속되어 있다.

삼차원 화상 데이터의 취득: 제3실시예

데이터 서버(990)가 보유하는 삼차원 화상 데이터는, 제1의료용 화상수집장치(970)로서의 ＭＲＩ장치나 X선 CT 장치등에 의해 피검체를 미리 촬상해서 얻어진 화상이다. 이하의 설명에서는, 일례로, 제1의료용 화상수집장치(970)로서 ＭＲＩ장치를 사용한다. 본 실시예에서는, 삼차원 화상 데이터는, 휘도값을 나타내는 각 삼차원 복셀을 갖는 삼차원 볼륨 데이터로서 나타내어진다. 또한, 각 복셀의 좌표는 ＭＲＩ장치 좌표계를 사용하여 나타내어진다. 데이터 서버(990)가 보유하는 삼차원 화상 데이터는, 삼차원 화상 데이터 취득부(920)에 의해 취득되어, 정보처리장치(900)에 입력된다.

주목 영역의 취득: 제3실시예

데이터 서버(990)는, 삼차원 화상 데이터중의 주목 영역을 가리키는 정보(상세한 것은 후술한다)를 더욱 보유하고 있다. 데이터 서버(990)가 보유하는 주목 영역을 가리키는 정보는, 주목 영역 취득부(922)에 의해 취득되어, 정보처리장치(900)에 입력된다. 이하의 설명에서는, 예로서, 주목 영역을 가리키는 정보도, 삼차원 화상 데이터와 마찬가지로 ＭＲＩ장치 좌표계를 사용해서도 나타낸다.

단층화상의 취득: 제3실시예

제2의료용 화상수집장치(980)로서의 초음파 화상 진단 장치는, 피검체의 초음파 단층화상을 실시간으로 촬상한다. 초음파 단층화상은, 단층화상 취득부(910)에 의해 취득되어, 정보처리장치(900)에 순차로 입력된다. 초음파 탐촉자의 위치 및 자세는 (도면에 나타내지 않은) 위치 자세 센서로 계측되고, 위치 자세 취득부(912)에 의해 취득되어서, 정보처리장치(900)에 입력된다. 초음파 탐촉자의 위치 및 자세는, 예를 들면, 피검체를 기준으로 한 기준 좌표계에 있어서의 위치 및 자세로서 나타내어진다. 위치 자세 취득부(912)는, 기준 좌표계에 있어서의 초음파 탐촉자의 위치 및 자세를 취득하고, 이 취득된 위치 및 자세에 근거하여 ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 및 자세를 산출한다.

존재 범위의 산출

존재 범위 산출부(935)는, 주목 영역 취득부(922)가 취득한 주목 영역을 가리키는 정보와, 위치 자세 취득부(912)가 취득한 초음파 단층화상의 위치 및 자세에 의거하여, 주목 영역에 대응하는 영역(대응영역)을 초음파좌표계상에서 추정한다. 여기에서 "초음파 좌표계"란, 초음파 단층화상을 기준으로 한 삼차원 좌표계이며, 예를 들면, 상기 단층화상상의 1점을 원점으로서, 상기 단층화상의 평면에 x축과 y축을 설정하고, 상기 평면에 직교하는 방향으로 z축을 설정한 좌표계로서 정의할 수 있다. 존재 범위 산출부(935)는, 이 추정한 대응영역과, 후술하는 오차취득부(923)로 취득하는 오차추정 값에 의거하여, 초음파 단층화상상에 있어서의 대응영역의 존재 범위(제2 영역)를 산출한다.

오차추정 값의 취득: 제3실시예

데이터 서버(990)는, 전술한 정보에 더해서, 대응영역의 오차추정 값을 산출하기 위한 정보(오차요인정보, 상세한 것은 후술한다.)를 보유하고 있다. 오차요인정보는, 바꿔 말하면, 초음파 단층화상상에 있어서의 대응영역의 존재 범위를 산출하기 위한 정보다. 데이터 서버(990)가 보유하는 오차요인정보는, 오차취득부(923)를 통해 정보처리장치(900)에 입력된다. 오차취득부(923)는, 취득한 오차요인정보에 의거하여 대응영역의 오차추정 값을 산출한다. 그 산출한 오차추정 값을 존재 범위 산출부(935)에 출력한다.

단면화상의 생성: 제3실시예

단면화상 생성부(930)는, 삼차원 화상 데이터 취득부(920)의 출력인 삼차원 볼륨 데이터와, 위치 자세 취득부(912)의 출력인 초음파 단층화상의 위치 및 자세를 수신한다. 단면화상 생성부(930)는, 이 수신된 데이터에 의거하여 초음파 단층화상에 대응하는 단면화상을 삼차원 볼륨 데이터로부터 생성하여, 화상합성부(940)에 출력한다. 화상합성부(940)는, 대응 병변부의 존재 범위(제2 영역)를 나타내는 정보를 존재 범위 산출부(935)로부터 취득하고, 단층화상 취득부(910)로부터 취득한 초음파 단층화상 위에 그 제2 영역을 묘화한다. 화상합성부(940)는, 그 결과로 얻어진 화상과, 단면화상 생성부(930)로부터 취득한 단면화상을 합성하여(예를 들면, 그 화상을 좌우로 나란히 배치하여) 합성 화상을 생성하고, 이 합성 화상을 표시 제어부(950) 혹은 외부기기에 출력한다. 표시 제어부(950)는, 화상합성부(940)의 출력인 합성 화상을 취득하고, 이 합성 화상을 표시부(960)에 표시한다.

도 7에 나타낸 각 부(단층화상 취득부(910), 위치 자세 취득부(912), 삼차원 화상 데이터 취득부(920), 주목 영역 취득부(922), 오차취득부(923), 단면화상 생성부(930), 존재 범위 산출부(935), 화상합성부(940) 및 표시 제어부(950))의 적어도 일부는, 독립적인 장치로서 실현되어도 된다. 또는, 각 부의 각각은, 하나 혹은 복수의 컴퓨터에 인스톨하고, 컴퓨터의 ＣＰＵ에 의해 실행함으로써 그 기능을 실현하는 소프트웨어에 의해 실현되어도 된다. 본 실시예에서는, 각 부는 소프트웨어에 의해 실현되어, 동일한 컴퓨터에 인스톨되어 있는 것으로 가정한다.

컴퓨터의 기본구성: 제3실시예

도 17은, 단층화상 취득부(910), 위치 자세 취득부(912), 삼차원 화상 데이터 취득부(920), 주목 영역 취득부(922), 오차취득부(923), 단면화상 생성부(930), 존재 범위 산출부(935), 화상합성부(940) 및 표시 제어부(950)의 각각의 기능을, 소프트웨어를 실행함으로써 실현하기 위한 컴퓨터의 기본구성을 나타내는 도면이다.

ＣＰＵ(1001)는, ＲＡＭ(1002)이나 ＲＯＭ(1003)에 격납된 프로그램과 데이터를 사용해서 상기 컴퓨터의 전체 동작을 제어한다. ＣＰＵ(1001)는, 또한, 단층화상 취득부(910), 위치 자세 취득부(912), 삼차원 화상 데이터 취득부(920), 주목 영역 취득부(922), 오차취득부(923), 단면화상 생성부(930), 존재 범위 산출부(935), 화상합성부(940) 및 표시 제어부(950) 각각의 소프트웨어의 실행을 제어하고, 그 기능들을 실현한다.

ＲＡＭ(1002)은, 외부기억장치(1007)나 기억매체 드라이브(1008)로부터 로드된 프로그램과 데이터를 일시적으로 기억하는 에어리어를 갖고, 또한 ＣＰＵ(1001)가 각종의 처리를 행할 때 사용된 워크 에어리어를 갖는다.

ＲＯＭ(1003)은, 일반적으로 컴퓨터의 프로그램이나 설정 데이터등이 격납되어 있다. 키보드(1004)와 마우스(1005)는 입력 디바이스이며, 조작자는 이 키보드(1004)와 마우스(1005)를 사용하여 각종의 지시를 ＣＰＵ(1001)에 입력할 수 있다.

표시부(1006)는, ＣＲＴ 디스플레이, 액정 디스플레이, 또는 임의의 다른 적절한 디스플레이로 형성되어도 되고, 표시부(960)에 대응한다. 표시부(1006)는, 화상합성부(940)가 생성하는 합성 화상의 이외에, 화상처리를 위해 표시해야 할 메시지와 ＧＵＩ등의 항목을 표시할 수 있다.

외부기억장치(1007)는, 하드디스크 드라이브등의 대용량 정보 기억장치로서 기능하는 장치이며, ＯＳ나, ＣＰＵ(1001)가 실행하는 프로그램 등을 보존한다. 본 실시예에 있어서, "기지의 정보"는, 외부기억장치(1007)에 보존되어 있고, 필요에 따라서 ＲＡＭ(1002)에 로드된다.

기억매체 드라이브(1008)는, ＣＤ-ＲＯＭ이나 ＤＶＤ-ＲＯＭ등의 기억매체에 기억되어 있는 프로그램과 데이터를 ＣＰＵ(1001)로부터의 지시에 따라서 판독하여, ＲＡＭ(1002)과 외부기억장치(1007)에 출력한다.

I/F(1009)는, 아날로그 비디오 포트 혹은 ＩＥＥＥ1394 포트등의 디지털 입출력 포트나, 합성 화상등의 정보를 외부에 출력하기 위한 이더넷(등록상표)포트를 구비한다. 각 포트에 입력한 데이터는 I/F(1009)를 통해 ＲＡＭ(1002)에 격납된다. 단층화상 취득부(910), 위치 자세 취득부(912), 삼차원 화상 데이터 취득부(920), 주목 영역 취득부(922) 및 오차취득부(923)의 기능의 일부는, I/F(1009)에 의해 실현된다.

전술한 구성요소들은, 버스(1010)를 통해 서로 접속된다.

도 9는, 정보처리장치(900)의 전체의 처리 순서를 나타내는 흐름도다. 본 실시예에서, 동 흐름도의 순서는, ＣＰＵ(1001)가 각 부의 기능을 실현하는 프로그램을 실행하여서 실현된다. 이하의 처리를 행하기 전에, 동 흐름도에 의거한 프로그램 코드는, 예를 들면, 외부기억장치(1007)로부터 ＲＡＭ(1002)에 로드되어 있었다.

S11000:데이터의 입력

단계 S11000에 있어서, 정보처리장치(900)는, 삼차원 화상 데이터 취득부(920)의 처리로서, 데이터 서버(990)로부터 삼차원 화상 데이터를 취득한다. 또한, 주목 영역 취득부(922)의 처리로서, 정보처리장치(900)는, 데이터 서버(990)로부터 주목 영역을 가리키는 정보를 취득한다. 주목 영역을 가리키는 정보는, 예를 들면, 주목 병변부의 위치(영역의 중심위치)나, 주목 병변부의 영역경계에 위치하는 점들의 그룹의 좌표다.

S11010:오차요인정보의 입력

단계 S11010에 있어서, 정보처리장치(900)는, 오차취득부(923)의 처리로서, 오차추정 값의 산출에 사용하는 각종의 오차요인정보(후술)를 데이터 서버(990)로부터 취득한다.

S11020:단층화상의 취득

단계 S11020에 있어서, 정보처리장치(900)는, 단층화상 취득부(910)의 처리로서, 제2의료용 화상수집장치(980)로부터 초음파 단층화상을 취득한다. 또한, 정보처리장치(900)는, 위치 자세 취득부(912)의 처리로서, 상기 초음파 단층화상을 촬상했을 때 얻어진 초음파 탐촉자의 위치 및 자세를 제2의료용 화상수집장치(980)로부터 취득한다. 그 후, 정보처리장치(900)는, 기지의 값으로서 미리 기억하고 있는 교정 데이터를 이용하여서, 기준 좌표계에 있어서의 초음파 탐촉자의 위치 및 자세로부터, ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 및 자세를 산출한다.

S11030:오차추정 값의 취득

단계 S11030에 있어서, 정보처리장치(900)는, 오차취득부(923)의 처리로서, 단계 S11010에서 취득한 각종의 오차요인정보(오차의 산출에 사용하는 각종 데이터)에 의거하여 오차추정 값을 산출한다.

본 실시예에 있어서, ＭＲＩ장치 좌표계와 기준 좌표계간의 관계는 강체변환에 의해 나타낸다. 그러나, 정확한 강체변환은, ＭＲＩ화상을 촬영했을 때 얻어진 ＭＲＩ장치 좌표계에서의 상기 피검체의 위치 및 자세와, 초음파 촬영을 행할 때의 기준 좌표계에서의 상기 피검체의 위치 및 자세와의 사이에 반드시 제공되지 않아도 된다. 그 때문에, 상기 좌표계간의 관계를 강체변환에 의해 나타낼 경우에는, 오차가 존재하여도 된다. 상기 좌표계간의 피검체의 위치 및 자세의 차이가 정확한 강체변환을 제공하면, 실제로 그 강체변환을 정확하게 결정하는 것은 곤란하고, 오차가 존재하기도 한다. 또한, 그 존재하기도 하는 오차는, 위치 자세 취득부(912)가 취득한 위치 및 자세 계측값에 혼입하는 오차(위치 자세 계측오차)도 포함한다.

오차추정 값을 산출하는 처리는, 예를 들면, 제2의료용 화상수집장치(980)의 초음파 탐촉자의 위치 및 자세를 계측하는 위치 자세 센서의 특성에 의거하여 실행될 수 있다. 예를 들면, 상기 위치 자세 센서의 계측방식마다 미리 기준 오차값을 결정해두고, 사용하는 상기 센서의 계측방식에 따라 값을 선택하여도 된다. 예를 들면, 광학식 센서보다 자기식 센서는 일반적으로 계측정밀도가 낮다. 이 때문에, 광학식 센서를 사용하고 있다고 하는 정보를 오차요인정보로서 데이터 서버(990)로부터 취득하는 경우와, 그 취득된 정보에 의거하여 자기식 센서를 사용하는 경우에 산출된 오차추정 값보다 작은 오차추정 값이 산출될 수 있다. 또한, 오차추정 값은, 위치 자세 센서의 계측방식간의 차이에 상관없이, 위치 자세 센서의 계측 기준에 대한 공간적인 위치 및 자세의 관계에 따라 산출될 수 있다. 예를 들면, 위치 자세 센서가 자기식 센서일 경우에는, 계측의 기준이 되는 자기발생 장치와 초음파 탐촉자와의 거리의 함수로서 오차의 추정 값을 정의하고, 그 거리가 클 경우에는 오차추정 값으로서 큰 값을 산출할 수 있다.

또한, 상기 위치 자세 센서가 광학식 센서일 경우에는, 초음파 탐촉자에 배치된 복수의 지표(마커)의 위치를 광학식 센서로 계측하고, 그 계측된 위치에 의거하여 초음파 탐촉자의 위치 및 자세를 산출하고 있다. 계측의 기준이 되는 광학식 센서에 대해 복수의 지표의 분포가 치우쳐 있는 경우에는, 위치 및 자세의 오차가 커진다. 따라서, 광학식 센서와 초음파 탐촉자간의 거리의 함수로서 오차추정 값을 정의할 수 있고, 그 함수가 큰 값을 가진 경우에는, 큰 오차추정 값을 산출할 수 있다. 또한, 광학식 센서로부터 초음파 탐촉자를 향하는 벡터와 복수의 지표가 배치된 면의 법선방향과의 이루는 각도의 함수로서 오차추정 값을 정의할 수 있고, 그 함수가 큰 값을 갖는 경우에는 큰 오차추정 값을 산출할 수 있다.

또한, 오차추정 값은, 주목 병변부가 존재하는 피검체의 부위 등에 의거하여 산출될 수 있다. 예를 들면, 주목 병변부가 피검체의 유방등의 부드러운 조직에 존재할 경우에는, ＭＲＩ화상의 촬영 시점과, 초음파 화상의 촬영 시점 사이의 기간동안에 피검체의 해당 부위에 변형이 생기는 것이 상정된다. 따라서, 그러한 부위에 주목 병변부가 존재할 경우에는, 큰 오차추정 값이 산출될 수 있다. 또한, 심박에 의한 위치의 변동이 큰 심장 및 심장근방의 영역, 또는 호흡에 의한 위치의 변동이 큰, 폐 및 폐근방의 영역에서는, 큰 오차추정 값이 산출될 수 있다. 구체적으로는, 주목 병변부가 존재하는 피검체내에 있어서의 부위(장기이름이나 장기내에 있어서의 위치)를 가리키는 정보와, 상기 부위와 오차의 크기간의 대응을 나타내는 데이터(테이블)를 오차요인정보로서 취득하고, 이것들의 정보에 의거하여 오차추정 값이 산출될 수 있다.

또한, 오차추정 값은, 축방향마다 다른 값을 갖도록 산출될 수 있다. 예를 들면, 주목 병변부가 피검체의 유방등의 부드러운 조직에 존재할 경우, 초음파 탐촉자의 조작 방향으로는 가압력에 의한 변형이 생기기 쉽다. 이 때문에, (조작 방향과 직교하는 2방향보다) 큰 오차추정 값이 산출될 수 있다. 초음파 탐촉자의 조작 방향은, 초음파 탐촉자의 현재와 과거(예를 들면, 100밀리초 전)의 위치 및 자세에 의거하여 공지의 방법으로 산출될 수 있다. 이 경우, 오차추정 값은, 방향과 크기를 나타내는 3개의 직교벡터로서 나타내어질 수 있다.

또한, ＭＲＩ장치 좌표계와 기준 좌표계간의 교정용 지표로서 사용한 부위의 위치 등에 관한 정보를 오차요인정보로서 취득할 수 있고, 이것들의 부위와 주목 병변부의 위치간의 관계에 의거하여 오차추정 값이 산출될 수 있다. 예를 들면, 상기 교정에 사용한 지표로서 피검체의 칼돌기일 경우에는, ＭＲＩ화상중에 있어서의 칼돌기의 위치와, 주목 병변부와의 거리의 함수로서, 오차추정 값이 산출될 수 있다. 또한, 유두의 위치를 교정용 지표로서 사용하는 경우에는, ＭＲＩ화상중에 있어서의 유두와 주목 병변부와의 거리의 함수로서, 오차추정 값이 산출될 수 있다. 또는, 이상에서 예시한 방법들중에서 복수의 방법을 사용해서 복합적으로 오차를 추정하여서 오차추정 값을 취득하여도 된다.

S11040:단면화상의 취득

단계 S11040에 있어서, 정보처리장치(900)는, 단면화상 생성부(930)의 처리로서, 단계 S11020에서 얻은 초음파 단층화상에 대응하는 참조 화상의 단면화상을 생성한다. 구체적으로는, 단계 S11020에서 얻은 초음파 단층화상의 위치 및 자세에 따라, 단계 S11000에서 얻은 삼차원 볼륨 데이터로부터 상기 초음파 단층화상과 같은 단면을 잘라내서 얻은 단면화상을 생성한다.

S11050:존재 범위의 취득

단계 S11050에 있어서, 정보처리장치(900)는, 존재 범위 산출부(935)의 처리로서, 단계 S11020에서 얻은 초음파 단층화상상에 있어서의 대응영역의 존재 범위를 산출한다.

구체적으로는, 존재 범위 산출부(935)는, 우선, 초음파 좌표계에 있어서의 주목 영역의 대응영역을 추정한다. 예를 들면, 주목 영역을 가리키는 정보로서 주목 병변부의 위치가 주어질 경우에는, 대응영역을 가리키는 정보로서, 초음파 좌표계상에 있어서의 대응 병변부의 위치를 추정한다. 주목 영역을 가리키는 정보로서 주목 병변부의 영역경계에 위치된 점들의 그룹의 좌표가 주어질 경우에는, 대응영역을 가리키는 정보로서, 대응 병변부의 경계영역에 위치된 점들의 그룹의 좌표를 초음파 좌표계상에서 추정한다. 상기 추정은, 위치 자세 취득부(912)가 취득한 초음파 단층화상의 위치 및 자세에 근거할 수 있다.

그 후, 존재 범위 산출부(135)는, 상기에서 추정한 대응영역과 단계 S11030에서 취득한 오차추정 값에 의거하여, 초음파 단층화상상에 있어서의 대응영역의 존재 범위를 산출한다.

대응영역을 가리키는 정보가 대응 병변부의 위치이며, 또한, 오차추정 값이 축방향에 의존하지 않은 경우에는, 초음파 좌표계에 있어서의 대응 병변부의 삼차원의 존재 범위는, 추정한 대응 병변부의 위치를 중심으로 하고 오차추정 값이 반경인 구로서 정의된다. 또한, 초음파 단층화상상에 있어서의 대응 병변부의 존재 범위는, 해당 구와 해당 단층화상이 교차하는 영역(상기 구의 단면)인 원으로서 정의된다. 따라서, 존재 범위 산출부(935)는, 대응 병변부의 존재 범위로서, 초음파 단층화상상에 있어서의 이 원의 중심위치와 반경을 산출한다. 삼차원 공간에 정의된 구와 평면이 교차하는 영역의 산출 방법은 주지이므로, 그 설명은 생략한다. 상기 구와 해당 단층화상이 교차하지 않을 경우에는, "단면에 존재 범위가 없다"를 가리키는 정보가 보존된다.

대응영역을 가리키는 정보가 대응 병변부의 위치이며, 또한, 오차추정 값이 축방향마다 주어질 경우에는, 초음파 좌표계에 있어서의 대응 병변부의 삼차원의 존재 범위는, 추정한 대응 병변부의 위치를 중심으로 하고, 대응한 축방향의 오차추정 값인 각 축방향의 반경을 갖는 타원체로서 정의된다. 따라서, 존재 범위 산출부(935)는, 상기 타원체와 해당 단층화상이 교차하는 영역(타원체의 단면)을, 초음파 단층화상상에 있어서의 대응 병변부의 존재 범위로서 산출한다.

한편, 대응영역을 가리키는 정보가 대응 병변부의 영역경계에 위치하는 점들의 그룹의 좌표일 경우에는, 상기 점들의 그룹의 각각에 대해서 상기의 방법으로 오차추정 값을 반경으로 하는 구 또는 타원체를 구하고, 그의 집합의 합집합으로서 정의된 영역이 대응영역의 삼차원의 존재 범위로서 정의될 수 있다. 따라서, 존재 범위 산출부(935)는, 상기 영역과 초음파 단층화상이 교차하는 영역을, 상기 단층화상상에 있어서의 대응영역의 존재 범위로서, 산출한다.

S11060:단층화상에서의 존재 범위를 묘화

단계 S11060에 있어서, 정보처리장치(900)는, 화상합성부(940)의 처리로서, 단계 S11050에서 산출한 초음파 단층화상상에 있어서의 대응 병변부의 존재 범위를 가리키는 정보를, 해당 초음파 화상 위에 묘화한다. 이 경우에, 대응 병변부가 존재하기도 하는 범위를 폐곡선을 둘러싸도록 나타내고, 그 폐곡선을 둘러싸도록 반투명의 마스크를 대고, 그 페곡선 내측의 에어리어에서의 초음파 단층화상을 통상대로 표시하여도 된다. 이에 따라, 실제의 대응 병변부를 탐색하는 탐색 영역이 명확히 식별될 수 있다. 또한, 유저가 실제의 대응 병변부를 탐색하기 쉽고, 효율적으로 탐색할 수 있다. 또한, 대응 병변부가 존재하기도 하는 범위를 폐곡선의 라인만으로 묘화되어도 된다. 대응 병변부가 존재하기도 하는 범위의 내측의 에어리어는, 채색되어도 된다. 이 경우에, 상기 에어리어는, 탐색하기 충분하게 투명하여도 된다. 단계 S11060의 처리의 결과, 도 5a에 나타낸, 대응 병변부(501)의 존재 범위(502)가 단층화상 위에 겹친 초음파 단층화상(503)이 생성된다. 이때, 단계 S11050에 있어서 "단면에 존재 범위가 없다"라고 판정되는 경우에는, 단계 S11060의 처리는 실행되지 않는다.

또한, 상기 단층화상이 단계 S11050에서 구한 대응영역과 교차하고 있는 것인가 아닌가를 판정하고, 교차하고 있는 경우에는 상기 단층화상상에 있어서의 교차 영역은 상기 단층화상 위에 표시되어도 된다.

S11070:단층화상과 단면화상을 합성

단계 S11070에 있어서, 정보처리장치(900)는, 화상합성부(940)의 처리로서, 단계 S11040에서 얻은 단면화상과, 단계 S11060에서 얻은 초음파 단층화상 위에 대응 병변부의 존재 범위가 겹친 화상을 생성한다. 예를 들면, 이러한 화상을 좌우로 나란히 배치한 화상이 생성되어도 된다. 그리고, 표시 제어부(950)의 처리로서, 정보처리장치(900)는, 합성한 화상을 표시부(960)에 표시한다. 또한, 필요에 따라, 합성 화상은, I/F(1009)를 통해 외부기기에 출력되고, 또한, 다른 어플리케이션으로부터 이용 가능하도록 ＲＡＭ(1002)에 격납된다.

S11080:전체의 처리의 종료 판정

단계 S11080에 있어서, 정보처리장치(900)는, 전체의 처리를 종료할 것인가 아닌가를 판정한다. 예를 들면, 키보드(1004)의 소정의 키(종료 키)를 조작자가 눌러서 입력된 종료의 지시를 취득한다. 그 처리가 종료한다고 판정했을 경우에는, 정보처리장치(900)의 처리의 전체 처리를 종료시킨다. 그 처리가 종료하지 않는다고 판정했을 경우에는, 단계 S11010의 처리로 되돌아가고, 새롭게 촬상되는 초음파 단층화상에 대하여, 단계 S11010이후의 처리를 다시 실행한다.

이에 따라, 정보처리장치(900)의 처리가 실행된다.

따라서, 본 실시예에 따른 정보처리장치에서는, 조작자가 대응 병변부를 탐색하는데 도움이 되는 초음파 단층화상 위에, 위치 추정의 오차를 고려한 대응 병변부의 존재 범위가 제시된다. 대응 병변부의 존재 범위의 제시는, 필요 이상으로 넓은 범위를 탐색하는 원하지 않는 작업을 절감할 수 있고, 탐색동작동안에 조작자의 부하를 경감할 수 있다. 추가로, 탐색의 범위가 한정될 수 있으므로, 조작자가 잘못하여 연관시킬 위험성을 경감할 수 있다.

상기의 실시예에서는, 참조 화상인 초음파 단층화상과 동일한 단면을 삼차원 화상 데이터로부터 잘라내서 얻어진 단면화상은, 초음파 단층화상에 대해 나란히 제시되어 있다. 그렇지만, 이 단면화상은 반드시 표시되지 않아도 된다. 이 경우, 참조 화상인 삼차원 화상 데이터의 취득과, 단면화상의 생성 처리는, 반드시 행해지지 않아도 된다.

제4실시예

제3실시예에 따른 정보처리시스템은, 삼차원 화상 데이터 촬영시의 피검체의 형상과, 초음파 촬영시의 피검체의 형상은 변화되지 않고 있다(즉, 피검체는 강체다)는 가정에 의거한다. 또한, 피검체에 대한 초음파 탐촉자의 위치 및 자세를 계측함으로써 초음파 좌표계에 있어서의 주목 영역의 대응영역(및 그 존재 범위)을 추정한다. 이에 대하여, 제4실시예에 따른 정보처리시스템은, 삼차원 화상 데이터 촬영시의 피검체의 형상으로부터 초음파 촬영시의 피검체의 형상에의 변형을 추정해서 대응영역을 구하도록 구성되는 경우에, 그 변형 추정의 애매모호함을 고려하여, 대응영역의 존재 범위를 추정한다. 본 실시예에 따른 정보처리시스템은, 제3실시예와의 차이에 초점을 맞추고 있다.

도 8은, 본 실시예에 따른 정보처리시스템의 구성을 나타낸다. 도 8에서, 도 7과 같은 구성요소에 대해서는 같은 참조번호나 기호를 기입하고 있어, 그 설명을 생략한다. 도 8에 나타나 있는 바와 같이, 본 실시예에 따른 정보처리장치(1000)는, 형상계측장치(1085)에 접속되어 있다. 형상계측장치(1085)로서의 레인지 센서는, 초음파 촬영시에 얻어진 피검체의 표면형상을 계측해서 표면형상 데이터를 얻는다. 형상계측장치(1085)는, 대상물체의 형상을 계측할 수 있는 것이라면 어떠한 구성을 가져도 되고, 예를 들면, 스테레오 화상계측장치이어도 된다.

형상취득부(1027)는, 정보처리장치(1000)에 입력된 피검체의 표면형상 데이터를 취득하여, 변형 추정부(1028)에 출력한다.

변형 추정부(1028)는, 형상취득부(1027)가 취득한 표면형상 데이터에 의거하여 피검체의 변형된 상태를 추정한다. 또한, 변형 추정부(1028)는, 변형 파라미터의 변동 범위(상세한 것은 후술한다)를 산출하고, 이 산출된 범위를 존재 범위 산출부(1035)에 출력한다. 또한, 변형 추정부(1028)는, 삼차원 화상 데이터를 초음파 촬영시의 피검체의 형상으로 변형시켜 변형 삼차원 화상을 생성하여, 단면화상 생성부(1030)에 출력한다.

존재 범위 산출부(1035)는, 주목 영역 취득부(122)가 취득한 주목 영역을 가리키는 정보와, 변형 추정부(1028)가 추정한 변형파라미터의 변동 범위에 의거하여, 초음파 단층화상상에 있어서의 대응영역의 존재 범위를 산출한다.

단면화상 생성부(1030)는, 변형 추정부(1028)의 출력인 변형 삼차원 화상과, 위치 자세 취득부(112)의 출력인 초음파 단층화상의 위치 및 자세에 의거하여 상기 초음파 단층화상에 대응하는 단면화상을 변형 삼차원 화상으로부터 생성하여, 화상합성부(140)에 출력한다.

도 10은, 본 실시예에 따른 정보처리장치(1000)의 전체의 처리 순서를 나타내는 흐름도다.

S12000:데이터의 입력

단계 S12000에 있어서, 정보처리장치(1000)는, 제3실시예에 따른 단계 S11000과 같은 처리를 행하고, 삼차원 화상 데이터와 주목 영역을 가리키는 정보를 취득한다. 또한, 정보처리장치(1000)는, 형상취득부(1027)의 처리로서, 형상계측장치(1085)로부터 피검체의 표면형상 데이터를 취득한다.

S12005:변형 추정

단계 S12005에 있어서, 정보처리장치(1000)는, 변형 추정부(1028)의 처리로서, 단계 S12000에서 취득한 표면형상 데이터에 의거하여 피검체의 변형 상태를 추정한다. 정보처리장치(1000)는, 예를 들면, 일본국 공개특허공보 특개 2011-092263에 기재된 변형 추정 방법을 사용하여 삼차원 화상 데이터로부터 피검체의 변형 모델을 생성하고, 이 변형 모델을 상기 형상 데이터에 적용시켜 변형파라미터를 추정한다. 정보처리장치(1000)는, 추정한 변형파라미터에 따라 삼차원 화상 데이터를 초음파 촬영시의 피검체의 형상으로 한층 더 변형시켜 변형 삼차원 화상을 생성한다.

S12010:변형파라미터의 변동 범위의 산출

단계 S12010에 있어서, 정보처리장치(1000)는, 변형 추정부(1028)의 처리로서, 변형파라미터의 변동 범위를 산출한다. 정보처리장치(1000)는, 변형파라미터의 변동 범위란, 변형파라미터의 값을 추정 값의 근방에서 변동시켰을 경우에, 형상 데이터와 변형 형상간의 일치도의 평가 값이 일정한 범위내에 포함되도록 정의된 파라미터의 범위다. 이 변동 범위는, 변형파라미터의 추정 값의 애매모호함을 나타낸다.

S12015:삼차원 공간중의 존재 범위의 산출

단계 S12015에 있어서, 정보처리장치(1000)는, 존재 범위 산출부(1035)의 처리로서, 변형 추정에 있어서의 해의 애매모호함에 의거하여 삼차원 공간중에 있어서의 대응영역의 존재 범위를 산출한다. 구체적으로는, 정보처리장치(1000)는, 단계 S12010에서 구한 변동 범위내에서 변형파라미터를 변동시켜, 각각의 변형파라미터를 변동하여서 생긴 대응영역의 변위를 산출한다. 또한, 그 변위의 결과로서 얻어진 모든 영역을 포함하는 영역은, 삼차원 공간중에 있어서의 대응영역의 존재 범위로서 사용된다. 예를 들면, 변위의 결과로서 얻어진 모든 영역을 포함하는 최소의 타원체를 도출하고, 대응영역의 존재 범위로서 사용한다.

S12020:단층화상의 취득

단계 S12020에 있어서, 정보처리장치(1000)는, 제3실시예에 따른 단계 S11020과 같은 처리를 행하고, 초음파 단층화상과 그 위치 및 자세를 취득한다.

S12040:단면화상의 취득

단계 S12040에 있어서, 정보처리장치(1000)는, 단면화상 생성부(1030)의 처리로서, 단계 S12020에서 얻은 초음파 단층화상에 대응하는 변형 삼차원 화상의 단면화상을 생성한다.

S12050:단면화상상의 존재 범위의 취득

단계 S12050에 있어서, 정보처리장치(1000)는, 존재 범위 산출부(1035)의 처리로서, 초음파 단층화상상에 있어서의 대응영역의 존재 범위를 산출한다. 구체적으로는, 단계 S12015에서 산출한 삼차원 공간중에 있어서의 대응영역의 존재 범위를 초음파 단면을 따라 잘라서, 이차원 평면상에 있어서의 대응영역의 존재 범위를 산출한다.

단계 S12060, S12070 및 S12080의 처리는, 제3실시예에 따른 단계 S11060, S11070 및 S11080의 처리와 각각 같으므로, 그 설명을 생략한다.

그러므로, 본 실시예에 따른 정보처리장치는, 삼차원 화상 데이터 촬영시의 피검체의 형상으로부터 초음파 촬영시의 피검체의 형상으로의 변형을 추정해서 대응영역을 구하도록 구성되고, 이때, 그 변형 추정의 애매모호함을 고려함으로써, 대응영역의 존재 범위를 산출한다. 이렇게 하여, 주목 병변부가 피검체의 유방등의 부드러운 조직에 존재하는 경우에도, 유저는 이차원 화상상의 실제의 대응영역의 탐색 범위를 보다 정확하게 얻을 수 있어, 실제의 대응영역을 한층 더 효율적으로 탐색할 수 있다.

제4실시예의 제1변형 예

본 실시예에서는, 변형 추정의 애매모호함을 고려 함으로써 대응영역의 존재 범위를 산출하는 방법은, 변형파라미터 추정시간에 얻어진 상기 해 주변의 파라미터의 변동 범위에 근거하는 방법의 문맥에서 설명하고 있다. 그렇지만, 본 발명은 본 실시예에 한정되지 않는다.

예를 들면, 복수의 변형 시뮬레이션에 의해 얻어진 주목 영역의 변위의 변동에 의거하여 대응영역의 존재 범위를 산출해도 된다. 예를 들면, 주목 병변부의 중심위치를 여러가지 변형 시뮬레이션에 의해 변위시킨 후에, 그 변위 결과로서 얻어진 모든 위치를 포함하는 다면체(예를 들면, 모든 위치의 철포(convex hull))나 폐곡면(예를 들면, 타원체)을 산출하고, 대응 병변부의 존재 범위로서 사용할 수 있다.

제4실시예의 제2변형 예

추가로, 제4실시예와 같이 변형을 고려한 경우에도, 제3실시예와 같이, 오차추정 값을 취득해서, 그 오차추정 값에 의거하여 대응영역의 존재 범위를 산출해도 된다.

예를 들면, 과거의 증례에 있어서의 변형 추정의 오차분포에 의거하여 대응영역의 존재 범위를 산출해도 된다. 예를 들면, 유방의 크기와 병변부의 부위마다 오차의 통계 값이 데이터 서버에 보유되기도 한다. 이 경우에, 피검체에 관한 유방의 크기나 병변부의 부위에 대한 정보를 화상으로부터 취득하고, 그 취득된 정보에 근거하여 연관된 통계 값을 취득하고, 이 취득된 통계 값을 오차추정 값으로서 사용하여 존재 범위를 산출할 수 있다.

또한, 변형 추정부(1028)가 변형파라미터를 추정할 때 얻어진 잔차(또는 초음파 촬영시의 피검체의 형상과 변형 삼차원 화상의 형상과의 차이)에 의거하여 오차추정 값을 산출할 수 있다. 예를 들면, 잔차가 클 경우에는, 큰 오차추정 값이 산출될 수 있다.

또한, 사용하는 변형 추정 방법에 따라 오차추정 값을 바꾸어도 된다. 예를 들면, 고정밀 변형 추정 방법을 사용할 경우에는 작은 오차추정 값이 산출될 수 있고, 간이 변형 추정 방법을 사용할 경우에는 큰 오차추정 값이 산출될 수 있다.

또는, 초음파 탐촉자의 표면위치와, 단면화상중의 체표위치간의 차이를 산출하고, 이 차이에 근거하여 오차추정 값을 산출해도 된다. 예를 들면, 그 차이가 클 경우에는, 큰 오차추정 값이 산출될 수 있다.

또한, 오차추정 값은, 변형 추정의 사전처리로서 실시되는 체표검출등 화상해석의 신뢰도에 의거하여 산출되어도 된다. 예를 들면, 화상해석의 신뢰도가 낮을 경우에는, 큰 오차추정 값이 산출될 수 있다.

본 변형예에 있어서, 오차추정 값을 하나의 값으로서 산출하는 경우에는, 대응 병변부의 존재 범위는, 제3실시예와 같이, 주목 병변부 위치를 중심으로 한 오차추정 값이 반경인 구로서 정의되어도 된다.

제5실시예

전술한 실시예들에 의하면, 삼차원 화상(참조 화상)데이터중의 소정의 위치(주목 영역, 주목 병변부)에 대응하는 부위(대응영역, 대응 병변부)를 포함하는 삼차원 존재 범위내, 초음파 단층화상에 있어서 대응 병변부가 존재하기도 하는 범위(이차원 영역)를, 위치 추정의 오차를 고려하여서 산출될 수 있다. 여기에서 사용된 것처럼, "삼차원 존재 범위"란, 대응 병변부가 존재하기도 하는 삼차원 영역을 말하며, 초음파 단층화상(대상화상)과 같은 공간(좌표계)을 사용하여 나타내어진다. 유저가 대응 병변부를 탐색하는데 도움이 되도록, 상기 존재 범위가 초음파 단층화상 위에 제시된다. 이에 따라, 유저는, 대응 병변부가 탐색하는 범위(탐색 범위)를 얻어, 대응 병변부를 효율적으로 탐색해서 식별할 수 있다.

그렇지만, 전술한 실시예에서는, 대응 병변부의 삼차원 존재 범위의 일 단면만을 표시한다. 그러므로, 삼차원의 존재 범위의 어느 부위를 잘라냈는지를 용이하게 식별하는 것이 곤란하다. 예를 들면, 삼차원의 존재 범위가 구 형상으로 주어질 경우에는, 초음파 단층화상이 삼차원의 존재 범위의 어느 부분과 교차하는지 상관없이, 단층화상상에 있어서의 이차원 존재 범위는 항상 원 형상으로 표시된다. 따라서, 구의 크기를 모르는 유저에 있어서는, 현재의 교차 위치가 구의 중심에 가까운 부분인지, 구의 가장자리에 가까운 부분인지를 파악하는 것이 용이하지는 않다.

이에 따라서, 제5실시예에 따른 정보처리시스템은, 삼차원 존재 범위 중, 초음파 단층화상으로서, 어느 위치가 잘라졌는지를 나타내는 정보(예를 들면, 단층화상의 위치 정보와 연관된 색정보)를, 이차원 영역(교차 영역)을 나타내는 정보(표시 형태)에 부가해서 표시하도록 구성된다. 이 경우에, 표시 형태 변경부(표시 정보 생성부 1137의 일례)가, 현재의 표시 형태를, 단층화상의 위치 정보에 따라, 상기 위치 정보와 연관된 상기 이차원 영역을 나타내는 표시 형태로 변경한다. 이에 따라, 유저는 삼차원 존재 범위(삼차원 영역)의 전체 형상을 용이하게 파악할 수 있고, 대응 병변부를 효율적으로 탐색해서 식별할 수 있다. 삼차원 화상의 주목 영역을 수동 혹은 자동으로 지정하는 지정부(도면에 나타내지 않는다)가 제공되어도 된다. 또한, 주목 영역에 대응하는 대응영역이 존재하는 존재 범위를 소정의 영역으로서 결정하도록 구성된 결정부(표시 정보 생성부 1137의 일례)가 제공되어도 된다.

도 11은, 본 실시예에 따른 정보처리시스템의 구성을 나타낸다. 본 실시예에 따른 정보처리장치(1100)는, 단층화상 취득부(1110), 위치 자세 취득부(1112), 삼차원 화상 데이터 취득부(1120)("삼차원 화상 취득부"라고도 부른다), 주목 영역 취득부(1122), 오차취득부(1123), 단면화상 생성부(1130), 삼차원 존재 범위 산출부("삼차원 영역 취득부"라고도 부른다)(1135), 이차원 존재 범위 취득부("이차원 영역 취득부" 또는 "교차 영역 취득부"라고도 부른다)(1134), 위치 정보산출부(1136), 화상합성부(1140), 및 표시 제어부(1150)를 구비한다. 정보처리장치(1100)는, 삼차원 화상 데이터나, 후술하는 오차요인정보 및 임의의 다른 적절한 데이터를 보유하는 데이터 서버(1190)에 접속되어 있다. 또한, 정보처리장치(1100)는, 피검체의 초음파 단층화상을 촬상하는 제2의료용 화상수집장치(1180)로서의 초음파 화상 진단 장치에도 접속되어 있다.

삼차원 화상 데이터의 취득: 제5실시예

데이터 서버(1190)가 보유하는 삼차원 화상 데이터는, 제1의료용 화상수집장치(1170)를 사용하여 ＭＲＩ장치나 X선 CT 장치등에 의해 피검체를 미리 촬상해서 얻어진 화상이어도 된다. 이하에서는, 제1의료용 화상수집장치(1170)로서 ＭＲＩ장치를 사용하는 경우를 예로서 설명한다. 본 실시예에서는, 삼차원 화상 데이터는, 휘도값을 나타내는 각 삼차원의 복셀을 갖는 삼차원 볼륨 데이터로서 나타내어진다. 또한, 각 복셀의 좌표는 ＭＲＩ장치 좌표계를 사용하여 나타내어진다. 데이터 서버(1190)가 보유하는 삼차원 화상 데이터는, 삼차원 화상 데이터 취득부(1120)에 의해 취득되어, 정보처리장치(1100)에 입력된다.

주목 영역의 취득: 제5실시예

한층 더, 데이터 서버(1190)는, 삼차원 화상 데이터중의 주목 영역을 가리키는 정보(상세한 것은 후술한다)를 보유하고 있다. 데이터 서버(1190)가 보유하는 주목 영역을 가리키는 정보는, 주목 영역 취득부(1122)에 의해 취득되어, 정보처리장치(1100)에 입력된다. 이하의 설명에서는, 주목 영역을 가리키는 정보도, 삼차원 화상 데이터와 마찬가지로, ＭＲＩ장치 좌표계로 나타내어진다.

단층화상의 취득: 제5실시예

제2의료용 화상수집장치(1180)로서의 초음파 화상 진단 장치는, 피검체의 초음파 단층화상을 실시간으로 촬상한다. 초음파 단층화상은, 단층화상 취득부(1110)에 의해 취득되어, 정보처리장치(1100)에 순차로 입력된다. 초음파 탐촉자의 위치 및 자세는 (도면에 나타내지 않은) 위치 자세 센서로 계측되어, 위치 자세 취득부(1112)에 의해 취득되어서, 정보처리장치(1100)에 입력된다. 초음파 탐촉자의 위치 및 자세는, 예를 들면, 피검체를 기준으로 한 기준 좌표계에 있어서의 위치 및 자세로서 나타내어진다. 위치 자세 취득부(1112)는, 기준 좌표계에 있어서의 초음파 탐촉자의 위치 및 자세를 취득하고, 이 취득된 위치 및 자세에 따라 ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 및 자세를 산출한다.

삼차원 존재 범위의 산출

삼차원 존재 범위 산출부(1135)는, 주목 영역 취득부(1122)가 취득한 주목 영역을 가리키는 정보와, 위치 자세 취득부(1112)가 취득한 초음파 단층화상의 위치 및 자세에 의거하여, 주목 영역에 대응하는 영역(대응영역)을 초음파 좌표계상에서 추정한다. 여기에서 사용된 것처럼, "초음파 좌표계"란, 초음파 단층화상을 기준으로 한 삼차원 좌표계를 말하며, 예를 들면, 상기 단층화상상의 1점을 원점으로서, 상기 단층화상의 평면에 x축과 y축을 설정하고, 상기 평면에 직교하는 방향으로 z축을 설정한 좌표계로서 정의될 수 있다. 삼차원 존재 범위 산출부(1135)는, 이 추정한 대응영역과, 후술하는 오차취득부(1123)로 취득하는 오차추정 값에 의거하여, 초음파 좌표계에 있어서의 대응영역의 삼차원 존재 범위(본 실시예에 있어서의 삼차원 영역)를 산출한다.

이차원 존재 범위의 취득

이차원 존재 범위 취득부(1134)는, 삼차원 존재 범위 산출부(1135)가 산출한 삼차원 존재 범위에 의거하여 초음파 단층화상과 삼차원 존재 범위간의 교차 영역을 구하고, 이 구해진 교차 영역을 초음파 단층화상상에 있어서의 대응영역의 이차원 존재 범위로서 표시 정보 생성부(1137)에 출력한다.

위치 정보의 산출

위치 정보 산출부(1136)는, 삼차원 존재 범위 산출부(1135)로부터 취득한 초음파 좌표계에 있어서의 대응영역의 삼차원 존재 범위를 나타내는 정보와, 초음파 단층화상의 위치 및 자세의 정보에 의거하여, 삼차원 존재 범위에 대한 초음파 단층화상의 상대적인 위치 정보를 산출한다. 위치 정보 산출부(1136)는, 산출한 상대적인 위치 정보를 표시 정보 생성부(1137)에 출력한다.

존재 범위의 표시 정보생성

표시 정보 생성부(1137)는, 이차원 존재 범위 취득부(1134)로부터 취득한 이차원 존재 범위의 정보와, 위치 정보 산출부(1136)로부터 취득한 초음파 단층화상의 상대적인 위치 정보에 의거하여, 상대적인 위치 정보를 부가한 이차원 존재 범위의 표시 정보를 생성한다.

오차추정 값의 취득: 제5실시예

데이터 서버(1190)는, 전술한 정보에 더해서, 대응영역의 오차추정 값을 산출하기 위한 정보(오차요인정보. 상세한 것은 후술한다)를 보유하고 있다. 오차요인정보는, 바꿔 말하면, 초음파 단층화상상에 있어서의 대응영역의 삼차원 존재 범위를 산출하기 위한 정보다. 데이터 서버(1190)가 보유하는 오차요인정보는, 오차취득부(1123)를 통해 정보처리장치(1100)에 입력된다. 오차취득부(1123)는, 취득한 오차요인정보에 의거하여 대응영역의 오차추정 값을 산출한다. 산출한 오차추정 값은, 삼차원 존재 범위 산출부(1135)에 출력된다.

단면화상의 생성: 제5실시예

단면화상 생성부(1130)는, 삼차원 화상 데이터 취득부(1120)의 출력인 삼차원 볼륨 데이터와, 위치 자세 취득부(1112)의 출력인 초음파 단층화상의 위치 및 자세를 수신한다. 단면화상 생성부(1130)는, 이 수신된 데이터에 의거하여 초음파 단층화상에 대응하는 단면화상을 삼차원 볼륨 데이터로부터 생성하여 화상합성부(1140)에 출력한다. 화상합성부(1140)는, 이차원 존재 범위의 표시 정보를 표시 정보생성부(1136)로부터 취득하고, 단층화상 취득부(1110)로부터 취득한 초음파 단층화상 위에 이차원 존재 범위를 묘화한다. 화상합성부(1140)는, 한층 더, 그 결과로 얻어진 화상과, 단면화상 생성부(1130)로부터 취득한 단면화상을 합성하여(예를 들면, 그 화상을 좌우로 나란히 배치하여) 합성 화상을 생성하고, 이것을 표시 제어부(1150) 혹은 외부기기에 출력한다. 표시 제어부(1150)는, 화상합성부(1140)의 출력인 합성 화상을 취득하고, 이 합성 화상을 표시부(1160)에 표시한다.

또한, 도 11에 나타낸 부들(즉, 단층화상 취득부(1110), 위치 자세 취득부(1112), 삼차원 화상 데이터 취득부(1120), 주목 영역 취득부(1122), 오차취득부(1123), 단면화상 생성부(1130), 삼차원 존재 범위 산출부(1135), 이차원 존재 범위 취득부(1134), 위치 정보 산출부(1136), 표시 정보 생성부(1137), 화상합성부(1140) 및 표시 제어부(1150))의 적어도 일부는, 독립적인 장치로서 실현되어도 된다. 또는, 각 부는, 하나 혹은 복수의 컴퓨터에 인스톨하고, 컴퓨터의 ＣＰＵ에 의해 실행함으로써 그 기능을 실현하는 소프트웨어로서 실현되어도 된다. 본 실시예에서는, 각 부는 소프트웨어에 의해 실현되어, 동일한 컴퓨터에 인스톨되어 있는 것으로 가정한다.

컴퓨터의 기본구성: 제4실시예

도 17은, 단층화상 취득부(1110), 위치 자세 취득부(1112), 삼차원 화상 데이터 취득부(1120), 주목 영역 취득부(1122), 오차취득부(1123), 단면화상 생성부(1130), 삼차원 존재 범위 산출부(1135), 이차원 존재 범위 취득부(1134), 위치 정보 산출부(1136), 표시 정보 생성부(1137), 화상합성부(1140) 및 표시 제어부(1150)의 각각의 기능을, 소프트웨어를 실행 함으로써 실현하기 위한 컴퓨터의 기본구성을 나타내는 도면이다.

ＣＰＵ(1001)는, ＲＡＭ(1002)이나 ＲＯＭ(1003)에 격납된 프로그램과 데이터를 사용해서 상기 컴퓨터 전체 동작을 제어한다. ＣＰＵ(1001)는, 한층 더, 단층화상 취득부(1110), 위치 자세 취득부(1112), 삼차원 화상 데이터 취득부(1120), 주목 영역 취득부(1122), 오차취득부(1123), 단면화상 생성부(1130), 삼차원 존재 범위 산출부(1135), 이차원 존재 범위 취득부(1134), 위치 정보 산출부(1136), 표시 정보 생성부(1137), 화상합성부(1140) 및 표시 제어부(1150)의 각각에 있어서의 소프트웨어의 실행을 제어하고, 각각의 기능을 실현한다.

ＲＡＭ(1002)은, 외부기억장치(1007)나 기억매체 드라이브(1008)로부터 로드된 프로그램과 데이터를 일시적으로 기억하는 에어리어를 구비함과 아울러, ＣＰＵ(1001)가 각종의 처리를 행할 때 사용된 워크 에어리어를 갖는다.

ＲＯＭ(1003)에는, 일반적으로 컴퓨터의 프로그램이나 설정 데이터등이 격납되어 있다. 키보드(1004)와 마우스(1005)는 입력 디바이스이며, 유저는 이 키보드(1004)와 마우스(1005)를 사용하여, 각종의 지시를 ＣＰＵ(1001)에 입력할 수 있다.

표시부 1006은, ＣＲＴ 디스플레, 액정 디스플레이, 또는 임의의 다른 적절한 디스플레이로 형성되어도 되고, 표시부 1160에 해당한다. 표시부(1006)는, 화상합성부(1140)가 생성하는 합성 화상의 이외에, 화상처리를 위해 표시해야 할 메시지와 ＧＵＩ등의 항목을 표시할 수 있다.

외부기억장치(1007)는, 하드 디스크 드라이브 등의 대용량 정보기억장치로서 기능하는 장치이며, ＯＳ나 ＣＰＵ(1001)가 실행하는 프로그램 등을 보존한다. 본 실시예에 있어서, "기지의 정보"는 외부기억장치(1007)에 보존되어 있고, 필요에 따라서 ＲＡＭ(1002)에 로드된다.

기억매체 드라이브(1008)는, ＣＤ-ＲＯＭ이나 ＤＶＤ-ＲＯＭ등의 기억매체에 기억되어 있는 프로그램과 데이터를 ＣＰＵ(1001)로부터의 지시에 따라서 판독하고, ＲＡＭ(1002)과 외부기억장치(1007)에 출력한다.

I/F(1009)은, 아날로그 비디오 포트 혹은 ＩＥＥＥ1394등의 디지털 입/출력 포트나, 합성 화상등의 정보를 외부에 출력하기 위한 이더넷(등록상표)포트로 구성된다. 각 포트에 입력된 데이터는 I/F(1009)을 통해 ＲＡＭ(1002)에 격납된다. 단층화상 취득부(1110), 위치 자세 취득부(1112), 삼차원 화상 데이터 취득부(1120), 주목 영역 취득부(1122) 및 오차취득부(1123)의 기능의 일부는, I/F(1009)에 의해 실현된다.

전술한 구성요소들은, 버스(1010)를 통해 서로 접속된다.

도 12는, 정보처리장치(1100)의 전체의 처리 순서를 나타내는 흐름도다. 본 실시예에서, 동 흐름도의 순서는, ＣＰＵ(1001)가 각 부의 기능을 실현하는 프로그램을 실행하여서 실현된다. 이하의 처리를 행하기 전에, 동 흐름도에 의거한 프로그램 코드는, 예를 들면, 외부기억장치(1007)로부터 ＲＡＭ(1002)에 로드되어 있었다.

S13000:데이터의 입력

단계 S13000에 있어서, 정보처리장치(1100)는, 삼차원 화상 데이터 취득부(1120)의 처리로서, 데이터 서버(1190)로부터 삼차원 화상 데이터를 취득한다. 또한, 정보처리장치(1100)는, 주목 영역 취득부(1122)의 처리로서, 데이터 서버(1190)로부터 주목 영역을 가리키는 정보를 취득한다. 주목 영역을 가리키는 정보는, 예를 들면, 주목 병변부의 위치(영역의 중심위치)나, 주목 병변부의 영역의 경계에 위치하는 점들의 그룹의 좌표이어도 된다.

S13010:오차요인정보의 입력

단계 S13010에 있어서, 정보처리장치(1100)는, 오차취득부(1123)의 처리로서, 오차추정 값의 산출에 사용하는 각종의 오차요인정보를 데이터 서버(1190)로부터 취득한다. 오차요인정보는, 초음파 단층화상상에 있어서의 대응영역의 존재 범위를 산출하기 위한 정보이어도 된다. 예를 들면, 초음파 탐촉자의 위치 및 자세를 계측하는데 사용되는 위치 자세 센서의 종별(이를테면, 센서A나 센서B)을 가리키는 정보를, 오차요인정보로서 데이터 서버(1190)로부터 취득한다.

S13020:단층화상의 취득

단계 S13020에 있어서, 정보처리장치(1100)는, 단층화상 취득부(1110)의 처리로서, 제2의료용 화상수집장치(1180)로부터 초음파 단층화상을 취득한다. 또한, 위치 자세 취득부(1112)의 처리로서, 정보처리장치(1100)는, 상기 초음파 단층화상을 촬상했을 때 얻어진 초음파 탐촉자의 위치 및 자세를 제2의료용 화상수집장치(1180)로부터 취득한다. 정보처리장치(1100)는, 기지의 값으로서 미리 기억하고 있는 교정 데이터를 이용하여, 기준 좌표계에 있어서의 초음파 탐촉자의 위치 및 자세로부터, ＭＲＩ장치 좌표계에 있어서의 초음파 단층화상의 위치 및 자세를 산출한다.

S13030:오차추정 값의 취득

단계 S13030에 있어서, 정보처리장치(1100)는, 오차취득부(1123)의 처리로서, 단계 S13010에서 취득한 각종의 오차요인정보(오차의 산출에 사용하는 각종 데이터)에 의거하여 오차추정 값을 산출하고, 삼차원 존재 범위 산출부(1135)에 출력한다.

오차추정 값을 산출하는 처리는, 예를 들면, 초음파 탐촉자의 위치 및 자세를 계측하는 위치 자세 센서의 특성등에 의거하여 실행될 수 있다. 위치 자세 센서의 종별마다 미리 기준 오차값을 결정해두고, 사용하는 센서의 종별에 따라 값을 선택하여도 된다. 예를 들면, 단계 S13010에서 얻어진 오차요인정보가, 광학식 센서인 센서A를 사용하고 있다고 하는 정보일 경우, 자기식 센서인 센서B를 사용하고 있는 경우보다 작은 오차추정 값이 산출될 수 있다. 오차를 추정하는 처리는, 임의의 다른 처리를 사용하여 행해져도 된다.

S13040:단면화상의 취득

단계 S13040에 있어서, 정보처리장치(1100)는, 단면화상 생성부(1130)의 처리로서, 단계 S13020에서 얻은 초음파 단층화상에 대응하는 참조 화상의 단면화상을 생성한다. 구체적으로는, 단계 S13020에서 얻은 초음파 단층화상의 위치 및 자세에 따라, 단계 S13000에서 얻은 삼차원 볼륨 데이터로부터 상기 초음파 단층화상과 같은 단면을 잘라내서 얻은 단면화상을 생성한다.

S13050:삼차원 존재 범위의 취득

단계 S13050에 있어서, 정보처리장치(1100)는, 삼차원 존재 범위 산출부(1135)의 처리로서, 단계 S13020에서 얻은 초음파 단층화상의 초음파 좌표계에 있어서의 대응영역의 삼차원 존재 범위(삼차원 영역)를 산출한다.

구체적으로는, 삼차원 존재 범위 산출부(1135)는, 우선, 초음파 좌표계에 있어서의 주목 영역의 대응영역을 추정한다. 예를 들면, 주목 영역을 가리키는 정보로서 주목 병변부의 위치가 주어져 있을 경우에는, 대응영역을 가리키는 정보로서, 초음파 좌표계에 있어서의 대응 병변부의 위치를 추정한다.

그 후, 삼차원 존재 범위 산출부(1135)는, 상기 추정한 대응영역과 단계 S13030에서 취득한 오차추정 값에 의거하여, 초음파 좌표계에 있어서의 대응영역의 삼차원 존재 범위를 산출한다. 예를 들면, 대응영역을 가리키는 정보가 대응 병변부의 위치이며, 또한, 오차추정 값이 축방향에 의존하지 않고 있을 경우에는, 초음파 좌표계에 있어서의 대응 병변부의 삼차원 존재 범위는, 추정한 대응 병변부의 위치를 중심으로 하고 오차추정 값이 반경인 구로서 산출된다.

S13051:이차원 존재 범위의 취득

단계 S13051에 있어서, 정보처리장치(1100)는, 이차원 존재 범위 취득부(1134)의 처리로서, 삼차원 존재 범위 산출부(1135)가 산출한 삼차원 존재 범위에 의거하여 초음파 단층화상과 삼차원 존재 범위간의 교차 영역(이차원 존재 범위)을 구하고, 이 교차 영역을 표시 정보 생성부(1137)에 출력한다. 삼차원 존재 범위가 구일 경우, 이차원 존재 범위는 해당 구와 해당 단층화상이 교차하는 영역(구의 단면)인 원으로서 정의된다. 따라서, 이차원 존재 범위 취득부(1134)는, 초음파 단층화상상에 있어서의 이 원의 중심위치와 반경을 이차원 존재 범위로서 산출한다. 삼차원 공간중에 정의된 구와 평면간의 교차 영역의 산출 방법은 주지이므로, 그 설명은 생략한다. 해당 구와 해당 단층화상이 교차하지 않을 경우에는, "단면에 존재 범위가 없다"라고 하는 정보가 보존된다.

S13052:단층화상의 위치 정보를 산출

단계 S13052에 있어서, 정보처리장치(1100)는, 위치 정보 산출부(1136)의 처리로서, 삼차원 존재 범위 산출부(1135)로부터 삼차원 존재 범위와 초음파 단층화상의 위치 정보를 취득하고, 삼차원 존재 범위에 대한 초음파 단층화상의 상대적 위치 정보를 산출한다. 이때, 단계 S13051에 있어서 "단면에 존재 범위가 없다"라고 판정되었을 경우에는, 본 단계 S13052의 처리는 실행되지 않는다. 이하에, 구체적인 산출 방법을 설명한다.

도 13은, 삼차원 존재 범위에 있어서의 초음파 단층화상의 위치 정보를 나타내는 도면이다. 참조번호 301은 단계 S13050에서 산출한 삼차원 존재 범위, 302는 초음파 단층화상, 303은 삼차원 존재 범위(301)를 초음파 단면 초음파 단층화상(302)에 의해 잘라내서 얻어진 이차원 존재 범위를 의미한다.

정보처리장치(1100)는, 초음파 단층화상(302)에 평행한 평면(이후, "평행평면"이라고 부른다)을 삼차원 공간중에 설정한다. 그 설정된 평행평면을 초음파 단층화상(302)에 직교하는 축을 따라 평행 이동시켰을 때에, 평행평면이 삼차원 존재 범위(301)와 교차하기 시작하는 위치와 그 교차가 끝나는 위치는 산출된다. 그 교차가 시작하는 위치를 시작 위치(소정의 위치의 일례)로서 정의하고, 그 교차가 끝나는 위치를 종료 위치(소정의 위치의 일례)로서 정의한다. 참조번호 304는 시작 위치를 의미하고, 305는 종료 위치를 의미한다.

그 후, 정보처리장치(1100)는, 초음파 단층화상(302)과 직교하는 축을 따라, 초음파 단층화상(302)에 대응하는 위치, 상기 시작 위치에 대응하는 위치, 종료 위치에 대응하는 위치를 플로트(plot)하고, 각각, 단층화상대응위치, 시작 대응위치, 및 종료 대응위치로서 정의한다. 참조기호 Ａｘ는 초음파 단층화상(302)에 직교하는 직교 축, Ｐｓ는 단층화상 대응위치, P0은 시작 대응위치, P1은 종료 대응위치를 의미한다. 단층화상 대응위치Ｐｓ의, 시작 대응위치P0 및 종료 대응위치P1의 사이에 위치된 상대적 위치(위치 관계)를, 상대적 위치 정보로서 산출한다. 본 실시예에서는, 예를 들면, 축Ａｘ상의 위치Ｐ0의 좌표가 0이 되고, P1의 좌표가 1이 되도록 정규화했을 때, 그 사이의 단층화상 대응위치 Ｐｓ의 좌표(예:0.3)를 상대적 위치 정보로서 정의한다.

이렇게, 초음파 단층화상(302)에 직교하는 축을 따라 삼차원 존재 범위(301)의 시작 위치(304)와 종료 위치(305)를 구하고, 그 위치 304와 305사이에서의 초음파 단층화상(302)에 대한 상대적 위치 정보를 산출한다. 이것은, 유저가 표시중의 초음파 단층화상(302)의 자세를 고정한 채 초음파 탐촉자를 평행 이동시켰을 때에, 초음파 탐촉자가 삼차원 존재 범위와 교차하기 시작하는 위치와 그 교차가 끝나는 위치에 대한 현재의 초음파 단층화상(302)의 상대적 위치 정보를 구하는 것을 의미한다. 그러므로, 유저가 초음파 단층화상(302)의 자세를 고정한 채 초음파 탐촉자를 평행 이동시킬 때, 어느 방향으로 어느 정도 평행 이동시키면, 삼차원 존재 범위(301)의 어느 가장자리에 도달할 것인지를 용이하게 결정할 수 있다.

이때, 시작 위치 및 종료 위치의 산출 방법은, 초음파 단층화상과 직교하는 축을 따라 평행평면을 평행 이동시키는 방법에 한정되는 것이 아니다. 예를 들면, 평행평면을 임의의 축을 따라 평행 이동시키고, 삼차원 존재 범위(301)와 교차하기 시작하는 위치와 교차가 끝나는 위치를 산출함으로써, 시작 위치 및 종료 위치를 결정하여도 된다.

산출한 상대적 위치 정보는 표시 정보 생성부(1137)에 송신된다.

S13054:위치 정보를 갖는 존재 범위의 표시 정보를 생성

단계 S13054에 있어서, 정보처리장치(1100)는, 표시 정보 생성부(1137)의 처리로서, 이차원 존재 범위 취득부(1134)로부터 취득한 이차원 존재 범위의 윤곽을 의미하는 형상정보와, 위치 정보 산출부(1136)로부터 취득한 초음파 단층화상의 상대적 위치 정보에 의거하여, 이차원 존재 범위에 상대적 위치 정보를 부여한 표시 정보를 생성한다. 이때, 단계 S13051에 있어서 "단면에 존재 범위가 없다"라고 판정되는 경우에는, 본 단계 S13054의 처리는 실행되지 않는다. 이하에, 구체적인 생성 방법을 설명한다.

처음에, 정보처리장치(1100)는, 초음파 단층화상의 상대적 위치 정보를 컬러 테이블과 연관시킴으로써, 삼차원 존재 범위에 있어서의 초음파 단층화상의 위치에 대응하는 색정보를 얻는다.

도 14a는, 상대적 위치 정보의 컬러 테이블과의 연관성을 나타내는 도면이다. 참조기호 Ａｘ, Ｐｓ, P1, P2는, 도 13과 같은 항목을 의미한다.

축Ａｘ를 따라, 위치P0과 P1의 사이에, 그 위치에 따라 색이 변화(변경)하는 컬러 테이블이 설정되어 있다. 본 실시예에서는, 예를 들면, 위치P0에 가까울수록 색이 희미해지고, 위치P1에 가까울수록 색이 짙어지도록, 특정 색의 강도에 있어서 연속적으로 컬러 테이블이 변화된다. 그리고, 단계 S13054에서 위치P0과 P1의 사이의 범위에서 정규화된 초음파 단층화상의 상대적 위치 정보에 대응한, 컬러 테이블상의 색정보를 취득한다. 참조기호 T1은 컬러 테이블, C1은 상대적 위치 정보에 대응하는 색정보를 의미한다. 예를 들면, 컬러 테이블T1이, 청색의 강도가 변화되는 컬러 테이블을 나타내고(위치P0로부터 위치P1의 방향으로, 옅은 청색이 짙은 청색이 되고), 위치Ｐｓ의 상대적 위치 정보가 0.3일 경우, 위치Ｐｓ는 위치P0에 가까운 컬러 테이블T1상의 위치에 매핑된다. 이 때문에, 색정보C1은, 다소 옅은 청색으로 나타내어진다. 이 색정보를 참조함으로써, 유저는, 단층화상 대응위치Ｐｓ가 비교적 위치P0에 가까운 것을 직관적으로 알 수 있다.

그렇지만, 컬러 테이블의 설정 방법은 상기의 방법에 한정되는 것이 아니다. 예를 들면, 특정 색의 강도에 있어서 연속적인 변화 대신에, 단계적으로 변화되는 (예를 들면, 10개의 레벨) 컬러 테이블을 사용해도 된다. 또는, 단색 대신에, 복수의 전형적인 색을 위치P0과 P1의 사이에 소정의 간격으로 배치하고, 인접하는 색의 사이에서 연속적으로 색이 변화되는(예를 들면, 위치P0으로부터 P1의 방향으로, 흑색, 청색, 녹색, 황색, 적색 및 흰색의 순서로) 컬러 테이블을 사용해도 된다. 위치P0과 P1 사이의 거리를 복수의 구역으로 나누고, 구역마다에 다른 색을 할당한 컬러 테이블을 사용해도 된다.

그 후, 정보처리장치(1100)는, 취득한 초음파 단층화상의 상대적 위치 정보에 대응하는 색정보를 바탕으로, 이차원 존재 범위의 형상정보에 연관된 표시 정보를 생성한다. 이 생성된 표시 정보를, 존재 범위 표시 정보라고 부른다. 본 실시예에서는, 취득한 색정보를 이차원 존재 범위의 윤곽형상에 부가한 표시 정보를 얻는다.

도 15a 내지 15d는, 존재 범위 표시 정보를 나타내는 도면이다. 도 15a는, 존재 범위의 윤곽형상(윤곽선)에 색정보를 부가한 표시 정보를 나타낸다. 도 15a에 있어서, 참조기호 S1은 색정보가 부가된 존재 범위의 윤곽형상(윤곽선)을 의미한다. 예를 들면, 상대적 위치 정보가 0.3이며 전술한 바와 같이 다소 옅은 청색에 매핑되어 있는 경우에는, 윤곽형상(윤곽선) S1은 다소 옅은 청색으로 채색된다.

그렇지만, 존재 범위 표시 정보의 생성 방법은 상기의 방법에 한정되는 것이 아니다. 예를 들면, 이차원 존재 범위의 형상정보에, 초음파 단층화상의 상대적 위치 정보를 색정보로서 부가하는 것이 아니고, 형상을 나타내는 곡선을 점선으로 나타내어도 되고, 그 점선의 밀도로 나타내어도 된다. 이 경우, 사전에, 컬러 테이블 대신에, 위치P0과 P1의 사이에서, 그 위치에 따라 점선의 밀도가 변화되는 테이블을 설정해(예를 들면, P0로부터 P1의 방향으로, 굵은 점선이 가는 점선으로 변화되어), 위치Ｐｓ를 그 테이블 위에 매핑해 놓는다. 도 15b는, 존재 범위의 윤곽형상에 점선의 밀도정보를 부가한 표시 정보를 나타낸다. 도 15b에 있어서, 참조기호 S2는 점선의 밀도정보가 부가된 존재 범위의 형상을 의미한다. 예를 들면, 상대적 위치 정보도 0.3이며, 다소 굵은 점선에 매핑되어 있는 경우에는, 상기 윤곽형상 S2는 다소 굵은 점선으로 그려진다.

초음파 단층화상의 상대적 위치 정보를 부가하는 피검체는, 이차원 존재 범위의 윤곽형상에 한정되는 것이 아니다. 예를 들면, 이차원 존재 범위의 내부영역이 채색되어도 된다. 도 15c는, 존재 범위의 내부영역에 색정보를 부가한 표시 정보를 나타낸다. 도 15c에 있어서, 참조기호 R1은, 색정보가 부가된 존재 범위의 내부영역을 의미한다. 예를 들면, 상대적 위치 정보가, 전술한 바와 같이, 다소 옅은 청색에 매핑되어 있는 경우에는, 내부영역 R1은 다소 옅은 청색으로 채색된 영역이다. 반대로, 그 이차원 존재 범위의 외부영역이 채색되어도 된다. 도 15d는, 존재 범위의 외부영역에 색정보를 부가한 표시 정보를 나타낸다. 도 15d에 있어서, 참조기호 R2는 색정보가 부가된 존재 범위의 외부영역을 의미한다. 상기와 같은 색에의 매핑이 행해졌을 경우, 외부영역R2는 다소 옅은 청색으로 채색된다. 생성된 존재 범위 표시 정보를 화상합성부(1140)에 송신한다.

S13060:단층화상에 존재 범위를 묘화

단계 S13060에 있어서, 정보처리장치(1100)는, 화상합성부(1140)의 처리로서, 표시 정보 생성부(1137)로부터 취득한 대응 병변부의 이차원 존재 범위에 초음파 단층화상의 상대적 위치 정보를 부가시킨 존재 범위 표시 정보를, 해당 초음파 화상 위에 묘화한다. 이때, 단계 S13051에 있어서 "단면에 존재 범위가 없다"라고 판정되어 경우에는, 본 단계 S13060의 처리는 실행되지 않는다.

도 16a 내지 16d는, 존재 범위 표시 정보가 겹쳐서 표시된 초음파 단층화상을 나타내는 도면이다. 도 16a는, 상대적 위치 정보를 색정보로서 이차원 존재 범위의 윤곽형상에 부가한 표시 정보를 겹쳐 표시한 초음파 단층화상을 나타낸다. 도 16a에 있어서, 참조번호 601은 초음파 단층화상, 602는 대응 병변부, 및 참조기호 S1은 도 15a와 같은 존재 범위 표시 정보를 의미한다. 초음파 단층화상(601) 위에 존재 범위 표시 정보S1이 겹치므로, 실제의 대응 병변부를 탐색하는 탐색 영역이 명확히 식별될 수 있다. 또한, 유저가 실제의 대응 병변부를 쉽게 탐색할 수 있어, 효율적으로 탐색할 수 있다.

유저는, 존재 범위의 윤곽형상에 부가된 색정보를 참조함으로써, 삼차원 존재 범위에 있어서의 초음파 단층화상(601)의 상대적 위치 정보를 직관적으로 파악할 수 있다. 도 15a와 같이, 색정보가 다소 옅은 청색으로 나타내는 경우에는, 초음파 단층화상(601)이 삼차원 존재 범위에 대하여, 도 13의 시작 위치(304)에 근처의 장소에 위치하는 것을 용이하게 알 수 있다.

초음파 단층화상 위에 묘화되는 존재 범위 표시 정보는, 상기의 도 16a를 참조하여 상술한 표시 정보에 한정되지 않는다. 예를 들면, 상대적 위치 정보가 이차원 존재 범위의 윤곽형상을 나타내는 곡선의 밀도에 의해 표현된 표시 정보를, 초음파 단층화상 위에 묘화해도 된다. 도 16b는, 상대적 위치 정보가 윤곽형상의 밀도에 의해 표현된 이차원 존재 범위가 겹쳐서 표시된 초음파 단층화상을 나타낸다. 도 16b에 있어서, 참조번호 601 및 602는 도 16a와 같은 초음파 단층화상 및 대응 병변부를 각각 나타내고, 참조기호 S2는 도 15b와 같은 존재범위의 형상을 나타낸다.

도 16b로부터, 유저는, 존재 범위의 윤곽형상에 부가된 점선의 밀도정보를 참조함으로써, 삼차원 존재 범위에 있어서의 초음파 단층화상(601)의 상대적 위치 정보를 직관적으로 파악할 수 있다. 그 윤곽형상이 채색되는 경우에, 색이 희미해지면 그 윤곽형상이 시인하기 어려워질 가능성이 있다. 이 경우에는, 윤곽형상을 나타내는 색을 시인성이 높은 색으로 설정해둠으로써, 점선의 밀도가 변화되는 경우에도 유저가 점선을 용이하게 식별할 수 있다. 도 15b와 같이, 다소 굵은 점선이 사용되는 경우에, 초음파 단층화상(601)이 삼차원 존재 범위에 대하여, 도 13의 시작 위치(304) 근처의 장소에 위치되는 것을 용이하게 파악할 수 있다.

상대적 위치 정보를 가리키는 색정보는, 이차원 존재 범위의 내부영역이 채색된 표시 정보를 초음파 단층화상 위에 묘화해서 얻어져도 된다. 도 16c는, 상대적 위치 정보가 내부영역에 묘화된 이차원 존재 범위가 겹친 초음파 단층화상을 나타낸다. 도 16c에 있어서, 참조번호 601 및 602는, 도 16a와 같은 초음파 단층화상 및 대응 병변부를 각각 의미하고, 참조기호 R1은 도 15c와 같은 내부영역을 의미한다.

도 16c로부터, 유저는, 존재 범위의 내부영역내에 채색된 색정보를 참조함으로써, 초음파 단층화상(601)의 상대적 위치 정보를 직관적으로 파악할 수 있다. 추가로, 영역 내부에 채색함으로써 윤곽형상에 채색할 경우에 비교하여, 색정보를 보다 시인할 수 있다. 이 경우에, 내부영역은, 유저가 대응 병변부(602)를 탐색할 수 있는 정도로 투명하여도 된다.

도 16c와는 반대로, 상대적 위치 정보를 나타내는 색정보는, 이차원 존재 범위의 외부영역에 채색된 표시 정보를 초음파 단층화상 위에 묘화해서 나타내어져도 된다. 도 16d는, 상대적 위치 정보가 외부영역에 묘화된 이차원 존재 범위가 겹친 초음파 단층화상을 나타낸다. 도 16d에 있어서, 참조번호 601 및 602는 도 16a와 같은 초음파 단층화상과 대응 병변부를 나타내고, 참조기호 R2는 도 15d와 같은 영역을 나타낸다.

도 16d로부터, 유저는, 존재 범위의 외부영역이 채색된 색정보를 참조함으로써, 초음파 단층화상(601)의 상대적 위치 정보를 직관적으로 파악할 수 있다. 추가로, 내부영역에는 채색되지 않기 때문에, 유저는 내부영역에 채색하는 경우에 비교하여 내부영역이 보다 관찰하기 쉬울 수 있고, 대응 병변부를 쉽게 탐색할 수 있다. 이 경우에, 외부영역은, 이차원 존재 범위의 외부영역에 초음파 단층화상이 어떻게 보이는지를 유저가 관찰할 수 있는 정도로 투명하여도 된다.

상기 단층화상이 단계 S13050에서 구한 대응영역과 교차하고 있는 것인가 아닌가를 판정하여, 교차하고 있는 경우에는 상기 단층화상상에 있어서의 교차 영역을 상기 단층화상 위에 겹쳐서 표시하여도 된다.

S13070:단층화상과 단면화상을 합성

단계 S13070에 있어서, 정보처리장치(1100)는, 화상합성부(1140)의 처리로서, 단계 S13040에서 얻은 단면화상과, 단계 S13060에서 얻은 초음파 단층화상 위에 대응 병변부의 존재 범위를 겹친 화상을 합성한다. 예를 들면, 이러한 화상을 좌우로 나란히 배치한 화상을 생성하여도 된다. 그 후, 표시 제어부(1150)의 처리로서, 정보처리장치(1100)는, 합성한 화상을 표시부(1160)에 표시한다. 또한, 필요에 따라, I/F(1009)을 통해 이 합성한 화상을 외부기기에 출력하고, 한층 더, 다른 어플리케이션으로부터 이용 가능하도록 ＲＡＭ(1002)에 격납한다.

S13080:전체의 처리의 종료 판정

단계 S13080에 있어서, 정보처리장치(1100)는, 전체의 처리를 종료할 것인가 아닌가를 판정한다. 예를 들면, 키보드(1004)의 소정의 키(종료 키)를 유저가 눌러서 입력한 종료의 지시를 취득한다. 그 처리가 종료한다고 판정했을 경우에는, 정보처리장치(1100)의 처리의 전체를 종료시킨다. 그 처리가 종료하지 않았다고 판정했을 경우에는, 단계 S13020의 처리로 되돌아가고, 새롭게 촬상된 초음파 단층화상에 대하여, 단계 S13020이후의 처리를 다시 실행한다. 이에 따라, 정보처리장치(1100)의 처리가 실행된다.

그러므로, 본 실시예에 따른 정보처리장치는, 표시중의 초음파 단층화상의 상대적 위치 정보를 부가한 이차원 존재 범위를, 초음파 단층화상 위에 표시함으로써, 유저는 초음파 단층화상상의 이차원 존재 범위에 주목한 상태에서, 삼차원 존재 범위에 대한 초음파 단층화상의 현재 위치를 용이하게 파악할 수 있다. 따라서, 유저는 탐색해야 할 존재 범위가 남겨져 있는 정도를 용이하게 파악할 수 있고, 대응 병변부를 효율적으로 탐색해서 식별할 수 있다.

제6 실시예

상기 제5실시예에 따른 정보처리시스템은, 삼차원 존재 범위의 시작 위치와 종료 위치에 근거해 초음파 단층화상의 위치 정보를 컬러 테이블에 매핑하도록 구성된다. 이에 대하여, 제6실시예에 따른 정보처리시스템은, 상기 시작 위치와 종료 위치의 이외에, 삼차원 존재 범위를 대표하는 위치 정보(소정의 위치의 일례인 대표 위치라고도 말한다)에 따라, 초음파 단층화상의 위치 정보를 컬러 테이블에 매핑하도록 구성된다. 본 실시예에 따른 정보처리시스템의 구성은 도 11과 같되, 제5실시예에서의 표시 정보 생성부(1137)의 처리의 일부는 예외다. 본 실시예에 따른 정보처리시스템의 처리의 흐름은 도 12와 같되, 제5실시예의 단계 S13054의 처리의 일부는 예외다. 본 실시예에 따른 정보처리시스템에 대해서, 제5실시예와의 차이에 주목하여 설명하겠다.

단계 S13054에 있어서, 제6실시예에 따른 정보처리장치(1100)는, 표시 정보 생성부(1137)의 처리로서, 삼차원 존재 범위 산출부(1135)로부터 취득한 이차원 존재 범위의 윤곽을 가리키는 형상정보와, 위치 정보 산출부(1136)로부터 취득한 초음파 단층화상의 위치 정보와, 삼차원 존재 범위를 대표하는 위치 정보에 의거하여, 이차원 존재 범위에 상대적 위치 정보를 부가한 표시 정보를 생성한다. 구체적인 생성 방법을 설명하겠다. 본 실시예에서는, 삼차원 존재 범위를 나타내는 위치 정보를, 삼차원 존재 범위의 중심 대응위치를 사용하여서 설명한다.

우선, 표시 정보 생성부(1137)는, 삼차원 존재 범위의 중심위치를 반영시킨 컬러 테이블을 설정하고, 초음파 단층화상의 상대적 위치 정보를 컬러 테이블과 연관시킨다.

도 14b는, 상대적 위치 정보와, 중심 대응위치를 반영시킨 컬러 테이블간의 연관성을 나타내는 도면이다. 참조기호 Ａｘ, P0, P1, Ｐｓ는 도 13과 같은 항목을 의미한다. 참조기호 Ｐｇ는 상기의 중심 대응위치를 의미한다. 축Ａｘ를 따라, 위치P0과 P1의 사이에서 컬러 테이블을 설정하고, 이때, 위치P0과 Ｐｇ의 사이와 Ｐｇ와 P1의 사이에서, 그 위치에 따라 색이 연속적으로 변화된다. 구체적으로는, Ｐｇ의 위치에서 색의 강도가 최대가 되고, Ｐｇ로부터 P0에의 방향과 Ｐｇ로부터 P1에의 방향으로 색의 강도가 떨어지는, 컬러 테이블을 설정한다. 단계 S13054에서, 위치P0과 P1의 사이에서 정규화된 단층화상 대응위치Ｐｓ의 상대적 위치 정보에 대응하는, 컬러 테이블상의 색정보를 취득한다.

참조기호 T2는 중심 대응위치Ｐｇ의 위치를 반영한 컬러 테이블, 참조기호 C2는 상대적 위치 정보에 대응하는 색정보를 의미한다. 예를 들면, 컬러 테이블T2가 청색의 강도가 변화되는 컬러 테이블이고, 단층화상 대응위치Ｐｓ의 상대적 위치 정보가 0.3일 경우, 단층화상 대응위치Ｐｓ는 중심 대응위치Ｐｇ의 0.5의 위치 근처의 컬러 테이블상의 위치에 매핑된다. 이 때문에, 색정보C2는, 다소 짙은 청색으로 나타낸다. 이 색정보C2를 참조함으로써, 유저는, 초음파 단층화상이, 비교적 삼차원 존재 범위의 중심위치에 가까운 것을 직관적으로 알 수 있다.

또한, P0, Ｐｇ 및 P1의 위치에 다른 전형적인 색을 설정하고, 그 P0, Ｐｇ 및 P1의 위치 중에서 그 위치에 따라 색이 연속적으로 변화되는 컬러 테이블을 설정해도 된다. 예를 들면, 위치P0에 적색, 위치Ｐｇ에 녹색, 위치P1에 청색을 설정하고, 위치P0과 Ｐｇ의 사이에서는 적색으로부터 녹색, Ｐｇ과 P1의 사이에서는 녹색으로부터 청색으로 변화되는 컬러 테이블을 설정한다. 이에 따라, 유저는, 초음파 단층화상이, 위치P0, Ｐｇ 및 P1 중에서 어느 위치에 가까운 것인지를 직관적으로 알 수 있다. 또한, 위치P0과 Ｐｇ의 사이, Ｐｇ과 P1의 사이에서는 다른 색이 설정되므로, 유저는, 초음파 단층화상이 삼차원 존재 범위의 중심위치에 대하여 위치P0 또는 P1의 어느측에 위치하고 있는 것인지를 용이하게 파악할 수 있다. 위치Ｐｓ의 상대적 위치 정보가 0.3일 때, 색정보C2는, 적색과 녹색의 사이에서 녹색에 가까운 색으로 나타낸다. 이때, 위치 P0과 Ｐｇ의 사이와 Ｐｇ와 P1의 사이의 거리를 복수의 구역으로 나누고, 구역마다에 다른 색을 할당한 컬러 테이블을 사용해도 된다.

그 후, 정보처리장치(1100)는, 제5실시예와 같이, 취득한 초음파 단층화상의 상대적 위치 정보에 대응하는 색정보를 바탕으로, 이차원 존재 범위의 형상정보와 연관된 존재 범위 표시 정보를 생성한다.

삼차원 존재 범위를 나타내는 위치 정보는, 중심위치에 한정되는 것이 아니다. 예를 들면, 초음파 단층화상(302)에 평행한 평면을 직교축Ａｘ를 따라 평행 이동시켰을 때에, 삼차원 존재 범위(301)와 초음파 단층화상(302)이 교차하는 영역(이차원 존재 범위303)의 면적이 최대가 될 때 얻어진 평면의 위치를 구하여도 되고, 이 구해진 평면의 위치를 직교축Ａｘ에 플로트한 위치를, 삼차원 존재 범위를 나타내는 위치 정보로서 사용해도 된다.

이에 따라, 유저는, 삼차원 존재 범위에 있어서의 초음파 단층화상의 위치가, 삼차원 존재 범위의 중심위치에 어느 정도 가까운지를 판독할 수 있고, 그 위치를 보다 직관적으로 알 수 있다.

변형 예

상기 제5실시예 및 제6실시예에서는 대응 병변부가 존재하기도 하는 삼차원 존재 범위가 삼차원 영역인 예를 설명했다. 그렇지만, 그 실시예들은, 이 예에 한정되는 것이 아니다. 예를 들면, X선 CT화상이나 ＭＲＩ화상에 있어서의 병변부나 장기등의 주목 부위를 나타내는 영역을 삼차원 영역으로서 사용해도 된다. 이것은, 상기 실시예들에 있어서의 단계 S13020에서 취득된 초음파 단층화상을, 현재 표시하고 있는 슬라이스 화상으로 바꿔 놓고, 한층 더, 단계 S13050에서 취득된 삼차원 존재 범위를, 주목 부위의 삼차원 영역으로 바꿔 놓는 것에 의해, 실현될 수 있다.

그러므로, 의사가, X선 CT화상이나 ＭＲＩ화상을 분석(또는 판독)할 때에, 현재 표시중의 슬라이스 화상에 비치는 주목 부위가, 슬라이스 화상의 직교 방향에 있어서의 주목 부위의 삼차원 영역의 어느 위치에 위치하는 것인지를 직관적으로 알 수 있다. 분석(또는 판독)해야 할 주목 부위의 삼차원 영역이 어느 정도 남겨져 있는 것인지를 용이하게 인지할 수 있으므로, X선 CT화상이나 ＭＲＩ화상을 효율적으로 분석(또는 판독)하게 된다.

그 밖의 실시예

또한, 본 발명은, 이하의 처리: 전술한 실시예들의 기능을 실현하는 소프트웨어(프로그램)를, 네트워크 또는 각종 기억매체를 거쳐서 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터(또는 ＣＰＵ, 마이크로프로세싱 유닛(ＭＰＵ)등)가 그 프로그램을 판독해서 실행하는 처리를, 실행함으로써도 실현된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조, 및 기능을 포함하도록 폭 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2011년 4월 6일에 제출된 일본국 특허출원번호 2011-084495, 2012년 1월 18일에 제출된 일본국 특허출원번호 2012-008205 및 2012년 2월 24일에 제출된 일본국 특허출원번호 2012-038883의 이점을 청구한다.

Claims (24)

1. 피검체의 이차원 화상을 취득하는 이차원 화상 취득부;
   상기 피검체의 삼차원 화상의 소정의 영역에 대응하는 상기 이차원 화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출부; 및
   상기 존재범위를 상기 이차원 화상 위에 겹쳐 표시부에 표시시키는 표시 제어부를 구비한, 정보처리장치.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 소정의 영역의 위치를, 상기 삼차원 화상의 삼차원 좌표계로부터 상기 이차원 화상의 상기 삼차원 좌표계로 좌표변환 하는 좌표변환부를 더 구비하고,
   상기 존재범위는, 상기 삼차원 화상과 상기 이차원 화상 사이의 위치 맞춤에 있어서의 오차에 따라 산출되는, 정보처리장치.
   
4. 제 3 항에 있어서,
   상기 소정의 영역보다도 크고 상기 소정의 영역을 포함하는 영역을 상기 삼차원 화상에 설정하는 설정부를 더 구비하고,
   상기 좌표변환부가, 상기 영역의 위치를, 상기 삼차원 화상의 삼차원 좌표계로부터 상기 이차원 화상의 삼차원 좌표계로 좌표변환 하는, 정보처리장치.
   
5. 제 1 항에 있어서,
   상기 존재 범위내에 소정의 부위를 지정하는 지정부; 및
   주목 병변부의 위치와 대응 병변부가 실제로 존재하는 위치 간의 차이를 보정하는 보정부를 더 구비한, 정보처리장치.
   
6. 제 5 항에 있어서,
   상기 표시 제어부는, 상기 소정의 부위에서 상기 이차원 화상 위에 마크가 겹치도록 상기 대응영역을 나타내는 상기 마크를 상기 표시부에 표시시키는, 정보처리장치.
   
7. 제 6 항에 있어서,
   상기 보정부에 의해 상기 오차가 보정되는 경우, 상기 피검체의 이차원 화상을 다시 취득하고, 상기 존재 범위를 상기 취득된 이차원 화상 위에 표시시키지 않고, 또한 상기 이차원 화상 위에 상기 소정의 부위가 표시되고 있는 경우에는, 상기 마크를 상기 이차원 화상 위에 겹치도록 상기 표시부에 표시시키는 모드로, 상기 정보처리장치의 조작모드를 바꾸는 전환부를 더 구비한, 정보처리장치.
   
8. 제 1 항에 있어서,
   상기 삼차원 화상에 있어서의 상기 소정의 영역의 위치에 따라, 또한 상기 이차원 화상의 자세에 따라, 상기 소정의 영역을 지나가며 상기 자세에 대응하는 상기 삼차원 화상의 단면화상을 취득하는 단면화상 취득부를 더 구비한, 정보처리장치.
   
9. 제 8 항에 있어서,
   상기 이차원 화상을 취득하기 위해서 상기 피검체로부터의 초음파를 검출하는 초음파 탐촉자; 및
   상기 초음파 탐촉자의 위치 및 자세를 취득하는 위치 자세 취득부를 더 구비하고,
   상기 초음파 탐촉자의 위치 및 자세에 따라 상기 이차원 화상의 자세를 취득하는, 정보처리장치.
   
10. 제 8 항에 있어서,
    상기 표시 제어부가, 상기 존재 범위를 상기 이차원 화상 위에 겹쳐서 얻어진 화상과, 상기 단면화상 위에 상기 소정의 영역을 겹쳐서 얻어진 화상을, 상기 표시부에 표시시키는, 정보처리장치.
    
11. 피검체의 삼차원 화상의 소정의 부위를 지정하는 지정부;
    상기 피검체의 단층화상을 취득하는 단층화상 취득부;
    상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 상기 단층화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출부; 및
    상기 존재범위를, 상기 단층화상의 위치 정보에 따라, 상기 소정의 부위에 대응하는 일부를 포함하는 삼차원 영역내에 상기 단층화상에 있어서의 이차원 영역을 나타내는 표시 형태 위에 겹쳐 표시부에 표시시키는 표시 제어부를 구비한, 정보처리장치.
12. 제 11 항에 있어서,
    상기 표시 제어부가, 상기 위치 정보와 연관된 색정보를 나타내는 표시 형태를 사용하여, 상기 이차원 영역을 상기 표시부에 표시시키는, 정보처리장치.
    
13. 제 11 항에 있어서,
    상기 표시 제어부가, 상기 위치 정보와 연관된 상기 이차원 영역의 윤곽선을 상기 표시부에 표시시키는, 정보처리장치.
    
14. 제 11 항에 있어서,
    상기 단층화상의 위치 정보에 따라, 상기 단층화상의 상기 위치 정보와 연관된 상기 표시 형태를 변경하는 표시 형태 변경부를 더 구비하고,
    상기 표시 제어부가, 상기 위치 정보와 연관된 상기 표시 형태를 사용하여, 상기 이차원 영역을 상기 표시부에 표시시키는, 정보처리장치.
    
15. 제 11 항에 있어서,
    상기 이차원 영역에 있어서의 소정의 위치와 상기 단층화상간의 위치 관계에 따라, 상기 단층화상의 위치 정보를 산출하는 산출부를 더 구비한, 정보처리장치.
    
16. 제 15 항에 있어서,
    상기 산출부가, 상기 이차원 영역의 시작 위치, 상기 이차원 영역의 종료 위치, 및 상기 이차원 영역의 대표 위치를 포함하는 상기 소정의 위치를, 상기 이차원 영역에 특정하고, 상기 시작 위치, 상기 종료 위치, 상기 대표 위치 및 상기 단층화상간의 위치 관계에 따라, 상기 위치 정보를 산출하는, 정보처리장치.
    
17. 제 11 항에 있어서,
    상기 소정의 부위에 대응하는 상기 일부는 상기 단층화상의 좌표계를 사용하여 나타내고, 상기 표시 제어부가, 상기 단층화상의 상기 좌표계에 있어서의 상기 단층화상의 상기 위치 정보에 따라, 상기 이차원 영역을 나타내는 표시 형태를 상기 단층화상 위에 겹치도록 상기 표시부에 표시시키는, 정보처리장치.
    
18. 피검체의 이차원 화상을 취득하는 이차원 화상 취득부;
    상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 상기 이차원 화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출부; 및
    상기 존재범위를, 상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 일부를 포함하는 삼차원 영역내에 상기 이차원 화상에 있어서의 이차원 영역을 나타내는 표시 형태 위에 겹쳐 표시부에 표시시키는 표시 제어부를 구비한, 정보처리장치.
19. 피검체의 이차원 화상을 취득하는 이차원 화상 취득단계;
    상기 피검체의 삼차원 화상의 소정의 영역에 대응하는 상기 이차원 화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출단계; 및
    상기 존재범위를 상기 이차원 화상 위에 겹쳐 표시부에 표시시키는 표시 제어단계를 구비한, 정보처리방법.
    
20. 피검체의 삼차원 화상의 소정의 부위를 지정하는 지정단계;
    상기 피검체의 단층화상을 취득하는 단층화상 취득단계;
    상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 상기 단층화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출단계; 및
    상기 존재범위를, 상기 단층화상의 위치 정보에 따라, 상기 소정의 부위에 대응하는 일부를 포함하는 삼차원 영역내에 상기 단층화상에 있어서의 이차원 영역을 나타내는 표시 형태 위에 겹쳐 표시부에 표시시키는 표시 제어단계를 포함한, 정보처리방법.
21. 피검체의 이차원 화상을 취득하는 이차원 화상 취득단계;
    상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 상기 이차원 화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출단계; 및
    상기 존재범위를, 상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 일부를 포함하는 삼차원 영역내에 상기 이차원 화상에 있어서의 이차원 영역을 나타내는 표시 형태 위에 겹쳐 표시부에 표시시키는 표시 제어단계를 포함한, 정보처리방법.
    
22. 피검체의 이차원 화상을 취득하는 이차원 화상 취득단계;
    상기 피검체의 삼차원 화상의 소정의 영역에 대응하는 상기 이차원 화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출단계; 및
    상기 존재 범위를 상기 이차원 화상 위에 겹쳐 표시부에 표시시키는 표시 제어단계를 포함한 정보처리방법을, 컴퓨터에 실행시키기 위한 프로그램을 기억한 컴퓨터 판독 가능한 기억매체.
    
23. 피검체의 삼차원 화상의 소정의 부위를 지정하는 지정단계;
    상기 피검체의 단층화상을 취득하는 단층화상 취득단계;
    상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 상기 단층화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출단계; 및
    상기 존재범위를, 상기 단층화상의 위치 정보에 따라, 상기 소정의 부위에 대응하는 일부를 포함하는 삼차원 영역내에 상기 단층화상에 있어서의 이차원 영역을 나타 내는 표시 형태 위에 겹쳐 표시부에 표시시키는 표시 제어단계를 포함한 정보처리방법을, 컴퓨터에 실행시키기 위한 프로그램을 기억한 컴퓨터 판독 가능한 기억매체.
    
24. 피검체의 이차원 화상을 취득하는 이차원 화상 취득단계;
    상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 상기 이차원 화상을 포함하는 평면 위의 대응영역의 주변에 소정의 범위를 부가한 존재범위를 산출하는 존재범위 산출단계; 및
    상기 존재범위를, 상기 피검체의 삼차원 화상의 소정의 부위에 대응하는 일부를 포함하는 삼차원 영역내에 상기 이차원 화상에 있어서의 이차원 영역을 나타내는 표시 형태 위에 겹쳐 표시부에 표시시키는 표시 제어단계를 포함한 정보처리방법을, 컴퓨터에 실행시키기 위한 프로그램을 기억한 컴퓨터 판독 가능한 기억매체.

Images