KR100970295B1

KR100970295B1 - 화상 처리 장치 및 화상 처리 방법

Info

Publication number: KR100970295B1
Application number: KR1020077023403A
Authority: KR
Inventors: 히로까즈 니시무라; 데쯔오 노나미
Original assignee: 올림푸스 메디칼 시스템즈 가부시키가이샤
Priority date: 2005-04-13
Filing date: 2006-03-14
Publication date: 2010-07-15
Also published as: EP2415389A3; CN101966071A; CN101966071B; US7953261B2; EP1870020A4; EP1870020A1; US20070292011A1; EP2415389A2; WO2006112227A1; EP2415389B1; KR20070116634A; EP1870020B1

Abstract

유저에 의한 관찰 효율을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공한다. 본 발명의 화상 처리 장치는, 복수의 색 신호로 이루어지는 의용 화상을 입력하는 화상 입력부와, 상기 입력된 의용 화상이 생체 점막을 충분히 촬상했는지의 여부를 판정하는 판정부와, 상기 판정부에서의 판정 결과에 기초하여 상기 의용 화상의 표시 또는 기억 중 적어도 하나를 제어하는 제어부를 구비한다.

캡슐형 내시경, 화상 신호, 특징량, 영역 분류, 생체 점막

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND METHOD}

본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 특히, 생체 점막 표면의 상이 양호하게 촬상되어 있지 않은 화상을 제외할 수 있는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

종래, 의료 분야에서, X선, CT, MRI, 초음파 관측 장치 및 내시경 장치 등의 화상 촬상 기기를 이용한 관찰이 널리 행해지고 있다. 이와 같은 화상 촬상 기기 중, 내시경 장치는, 예를 들면, 생체로서의 체강 내에 삽입되는 가늘고 긴 삽입부를 갖고, 그 삽입부의 선단부에 배치된 대물 광학계에 의해 결상한 체강 내의 상을 고체 촬상 소자 등에 의해 촬상하여 촬상 신호로서 출력하고, 그 촬상 신호에 기초하여 모니터 등에 체강 내의 상의 화상을 표시한다고 하는 작용 및 구성을 갖는다. 그리고, 유저는, 상기 모니터 등에 표시된 체강 내의 상의 화상에 기초하여, 예를 들면, 체강 내에서의 장기 등의 관찰을 행한다. 또한, 내시경 장치는, 소화관 점막의 상을 직접적으로 촬상하는 것이 가능하다. 이 때문에, 유저는, 예를 들면, 점막의 색조, 병변의 형상 및 점막 표면의 미세한 구조 등의 다양한 소견을 종합적으로 관찰할 수 있다.

그리고, 최근, 전술한 바와 같은 내시경 장치와 대략 마찬가지의 유용성을 기대할 수 있는 화상 촬상 기기로서, 예를 들면, 캡슐형 내시경 장치가 제안되어 있다. 일반적으로, 캡슐형 내시경 장치는, 피검자가 입으로부터 삼킴으로써 체강 내에 배치되고, 촬상한 그 체강 내의 상을 촬상 신호로서 외부에 송신하는 캡슐형 내시경과, 송신된 그 촬상 신호를 체강 밖에서 수신한 후, 수신한 그 촬상 신호를 축적하는 리시버와, 리시버에 축적된 촬상 신호에 기초하는 체강 내의 상의 화상을 관찰하기 위한 관찰 장치로 구성된다.

캡슐형 내시경 장치를 구성하는 캡슐형 내시경은, 소화관의 연동 운동에 의해 진행하기 때문에, 예를 들면, 입으로부터 체강 내에 들어간 후, 항문으로 배출될 때까지 수 시간 정도의 시간이 걸리는 것이 일반적이다. 그리고, 캡슐형 내시경은, 체강 내에 들어간 후, 배출될 때까지의 동안, 리시버에 대하여 촬상 신호를 대략 상시 계속해서 출력하기 때문에, 예를 들면, 수시간분의 동화상에서의, 리시버에 축적된 프레임 화상으로서의 정지 화상의 매수는 방대한 것으로 된다. 이 때문에, 유저에 의한 관찰의 효율화라고 하는 점에서, 예를 들면, 축적된 화상 중, 출혈 부위 등의 병변 부위가 포함되는 소정의 화상을 검출하는 화상 처리 방법이 행해진 후에, 그 소정의 화상 이외의 화상을 표시 또는 보존하지 않는다고 하는 처리가 행해짐으로써, 화상의 데이터량이 삭감되는 제안이 요망되고 있다.

전술한 바와 같은 화상 처리 방법으로서는, 예를 들면, PCT WO 02/073507 A2호 공보에 기재되어 있는 것 바와 같은 것이 있다. 특허 문헌1에 기재되어 있는, 생체 내에서의 비색 분석의 이상을 검출하기 위한 방법은, 정상 점막과 출혈 부위의 색조의 차이에 주목하여, 색조를 특징량으로 설정한 특징 공간에서의 각 평균치 로부터의 거리에 기초하여, 화상의 분할 영역마다 출혈 부위의 검출을 행하는 방법, 즉, 병변 부위로서의 출혈 부위가 포함되는 소정의 화상을 검출하기 위한 방법을 갖는 화상 처리 방법이다.

그러나, PCT WO 02/073507 A2호 공보에 기재되어 있는 화상 처리 방법에서는, 이하에 기재한 바와 같은 과제가 있다.

일반적으로, 소화관에서는, 항상 생체 점막 표면의 상만의 촬상이 행해지고 있는 것이 아니라, 예를 들면, 변, 기포, 점액 또는 음식물 잔사 등의 이물의 상과, 생체 점막 표면의 상이 혼재한 상태에서 촬상이 행해지고 있다. 이 때문에, 전술한 바와 같은 이물의 존재를 고려하고 있지 않은 PCT WO 02/073507 A2호 공보에 기재되어 있는 화상 처리 방법에서는, 예를 들면, 그 이물에 의해 정상 점막을 출혈 부위로 오검출하게 될 가능성, 및 그 이물의 상이 대부분을 차지하는 화상을 검출할 가능성이 생각된다. 그 결과, PCT WO 02/073507 A2호 공보의 화상 처리 방법을 이용한 관찰이 행해지는 경우, 병변 부위의 검출 정밀도가 저하되게 되는 것에 기인하는, 관찰 효율의 저하가 발생하게 된다고 하는 과제가 생기고 있다.

본 발명은, 전술한 점을 감안하여 이루어진 것으로, 유저에 의한 관찰 효율을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공하는 것을 목적으로 하고 있다.

<발명의 개시>

<과제를 해결하기 위한 수단>

본 발명의 제1 화상 처리 장치는, 복수의 색 신호로 이루어지는 의용 화상을 입력하는 화상 입력부와, 상기 입력된 의용 화상이 생체 점막을 충분히 촬상했는지의 여부를 판정하는 판정부와, 상기 판정부에서의 판정 결과에 기초하여 상기 의용 화상의 표시 또는 기억 중 적어도 하나를 제어하는 제어부를 구비한 것을 특징으로 한다.

본 발명의 제2 화상 처리 장치는, 상기 제1 화상 처리 장치에서, 상기 의용 화상을 복수의 영역으로 분할하는 화상 분할부와, 상기 의용 화상의 상기 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 특징량에 기초하여, 상기 복수의 영역 각각이 복수의 클래스 중 어느 것에 속하는지를 식별함과 함께, 그 식별 결과에 의해 상기 복수의 영역 각각을 분류하는 영역 분류부와, 상기 영역 분류부에 의한 분류 결과에 기초하여, 상기 복수의 클래스 중, 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출부와, 상기 분류 판정치 산출부에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류부를 더 구비하고, 상기 판정부는, 상기 화상 분류부의 분류 결과에 기초하여, 상기 비율이 소정의 임계치 이하인 경우에, 상기 의용 화상을, 생체 점막을 충분히 촬상하고 있지 않은 화상이라고 판정하고, 상기 비율이 소정의 임계치보다 큰 경우에, 상기 의용 화상을, 생체 점막을 충분히 촬상한 화상이라고 판정하는 것을 특징으로 한다.

본 발명의 제3 화상 처리 장치는, 상기 제2 화상 처리 장치에서, 상기 제어부는, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 표시하지 않도록 제어하는 것을 특징으로 한다.

본 발명의 제4 화상 처리 장치는, 상기 제2 화상 처리 장치에서, 상기 제어부는, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 기억하지 않도록 제어하는 것을 특징으로 한다.

본 발명의 제5 화상 처리 장치는, 상기 제3 화상 처리 장치에서, 상기 제어부는, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 기억하지 않도록 제어하는 것을 특징으로 한다.

본 발명의 제6 화상 처리 장치는, 상기 제2 화상 처리 장치에서, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 한다.

본 발명의 제7 화상 처리 장치는, 상기 제3 화상 처리 장치에서, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 한다.

본 발명의 제8 화상 처리 장치는, 상기 제4 화상 처리 장치에서, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 한다.

본 발명의 제9 화상 처리 장치는, 상기 제5 화상 처리 장치에서, 상기 판정부에 의해 생체 점막을 충분히 촬상하고 있지 않다고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 한다.

본 발명의 제10 화상 처리 장치는, 상기 제2 화상 처리 장치에서, 상기 특징 량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제11 화상 처리 장치는, 복수의 색 신호로 이루어지는 복수의 의용 화상을 입력하는 화상 입력부와, 상기 입력된 의용 화상에 대하여, 복수의 영역을 설정하는 영역 설정부와, 상기 복수의 영역 중으로부터 병변의 존재가 의심되는 영역을 검출하는 검출부와, 상기 영역 설정부에 의해 설정된 상기 복수의 복수의 영역이 생체 점막을 촬상한 영역인지의 여부를 판정하는 영역 판정부와, 상기 영역 판정부에서의 판정 결과에 기초하여, 상기 검출부에 의한 검출 결과가 올바른지의 여부를 판정하는 검출 결과 판정부를 구비한 것을 특징으로 한다.

본 발명의 제12 화상 처리 장치는, 상기 제11 화상 처리 장치에서, 상기 의용 화상의 상기 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 특징량에 기초하여, 상기 복수의 영역을, 생체 점막에 관한 클래스와 비생체 점막에 관한 클래스를 포함하는 복수의 클래스 중 어느 하나로 각각 분류하는 영역 분류부와, 상기 의용 화상의 녹 성분의 농도치에 기초하여, 상기 복수의 영역에 있어서 엣지를 갖는 영역을 검출하는 엣지 검출부와, 상기 화상의 적 성분의 농도치에 기초하여, 상기 엣지를 갖는 영역이 출혈 부위를 포함하는 영역인지의 여부를 판정하는 출혈 부위 판정부와, 상기 출혈 부위 판정부의 판정 결과에 기초하여, 상기 영역 분류부의 분류 결과가 올바른지의 여부를 판정하는 분류 결과 판정부를 더 구비하고, 상기 검출부는, 상기 출혈 부위를 포함하는 영역을 병변의 존재가 의심되는 영역으로서 검출하는 것을 특징으로 한다.

본 발명의 제13 화상 처리 장치는, 상기 제12 화상 처리 장치에서, 상기 영역 판정부는, 상기 영역 분류부의 분류 결과에 기초하여, 하나의 영역이 생체 점막에 관한 클래스로 분류된 경우에, 그 하나의 영역을, 생체 점막을 촬상한 영역이라고 판정하는 것을 특징으로 한다.

본 발명의 제14 화상 처리 장치는, 상기 제13 화상 처리 장치에서, 상기 검출 결과 판정부는, 상기 검출부의 검출 결과와, 상기 영역 판정부의 판정 결과에 기초하여, 상기 병변의 존재가 의심되는 영역이, 상기 생체 점막을 촬상한 영역인 경우에, 상기 검출부의 검출 결과를 올바르다고 판정하는 것을 특징으로 한다.

본 발명의 제15 화상 처리 장치는, 상기 제12 화상 처리 장치에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제16 화상 처리 장치는, 시간적으로 연속하여 촬상된 복수의 의용 화상을 입력하는 화상 입력부와, 상기 의용 화상에 복수의 영역을 설정하는 영역 설정부와, 상기 영역 설정부에 의해 설정된 상기 복수의 영역에 있어서의 촬상 대상을 판정하는 판정부와, 상기 판정부의 판정 결과에 기초하여, 상기 의용 화상에 촬상되어 있는 장기를 특정하는 특정부와, 상기 특정부에서의 특정 결과를 표시하는 특정 결과 표시부를 구비한 것을 특징으로 한다.

본 발명의 제17 화상 처리 장치는, 상기 제16 화상 처리 장치에서, 상기 의용 화상을 복수의 영역으로 분할하는 화상 분할부와, 상기 의용 화상의 상기 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 특징량에 기초하여, 상기 복수의 영역 각각이 복수의 클래스 중 어느 것에 속하는지를 식별함과 함께, 그 식별 결과에 의해 상기 복수의 영역 각각을 분류하는 영역 분류부와, 상기 영역 분류부에 의한 분류 결과에 기초하여, 상기 복수의 클래스 중, 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출부와, 상기 분류 판정치 산출부에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류부를 더 구비하고, 상기 특정부는, 상기 화상 분류부의 분류 결과에 기초하여, 상기 의용 화상에 촬상되어 있는 장기를 특정하는 것을 특징으로 한다.

본 발명의 제18 화상 처리 장치는, 상기 제17 화상 처리 장치에서, 상기 복수의 클래스는, 위 점막 클래스와, 융모 클래스와, 변 클래스를 적어도 갖는 것을 특징으로 한다.

본 발명의 제19 화상 처리 장치는, 상기 제18 화상 처리 장치에서, 상기 소정의 클래스가 위 점막 클래스인 경우, 상기 특정부는, 상기 의용 화상에 촬상되어 있는 장기가 위라고 판정하는 것을 특징으로 한다.

본 발명의 제20 화상 처리 장치는, 상기 제18 화상 처리 장치에서, 상기 소정의 클래스가 융모 클래스인 경우, 상기 특정부는, 상기 의용 화상에 촬상되어 있는 장기가 소장이라고 판정하는 것을 특징으로 한다.

본 발명의 제21 화상 처리 장치는, 상기 제18 화상 처리 장치에서, 상기 소정의 클래스가 변 클래스인 경우, 상기 특정부는, 상기 의용 화상에 촬상되어 있는 장기가 대장이라고 판정하는 것을 특징으로 한다.

본 발명의 제22 화상 처리 장치는, 상기 제17 화상 처리 장치에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제23 화상 처리 장치는, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 기초한 화상 신호를 입력하는 화상 신호 입력부와, 상기 화상 신호 입력부에서 입력한 화상 신호에 기초하여 상기 의료 기기에 의해 촬상된 화상을 복수의 영역으로 분할하는 화상 분할부와, 상기 화상 분할부에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 특징량 산출부에서 산출된 특징량과, 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류부와, 상기 특징량과, 상기 제1 영역 분류부에 의한 분류 결과에 기초하여 제2 분류 기준을 설정하는 분류 기준 설정부와, 상기 특징량과, 상기 제2 분류 기준에 기초하여, 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 제2 영역 분류부를 구비한 것을 특징으로 한다.

본 발명의 제24 화상 처리 장치는, 상기 제23 화상 처리 장치에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제25 화상 처리 장치는, 상기 제23 화상 처리 장치에서, 상기 제1 영역 분류부는, 상기 제1 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용 하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하고, 상기 제2 영역 분류부는, 상기 제2 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 것을 특징으로 한다.

본 발명의 제26 화상 처리 장치는, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 기초하는 화상 신호를 입력하는 화상 신호 입력부와, 상기 화상 신호 입력부에서 입력한 화상 신호에 기초하여 상기 의료 기기에 의해 촬상된 화상을 복수의 영역으로 분할하는 화상 분할부와, 상기 화상 분할부에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 특징량 산출부에서 산출된 특징량과, 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류부와, 상기 복수의 영역 중, 하나의 영역의 상기 제1 영역 분류부에 의한 분류 결과를, 상기 하나의 영역의 근방에 위치하는 영역의 상기 제1 영역 분류부에 의한 분류 결과에 기초한 평가치를 산출함으로써 평가하는 평가치 산출부와, 상기 평가치 산출부에서의 평가치에 기초하여, 상기 하나의 영역을 상기 복수의 클래스 중 어느 하나로 분류하는 제2 영역 분류부를 구비한 것을 특징으로 한다.

본 발명의 제27 화상 처리 장치는, 상기 제26 화상 처리 장치에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제28 화상 처리 장치는, 촬상 기능을 갖는 의료 기기에 의해 촬상 된 화상에 기초하는 화상 신호를 입력하는 화상 신호 입력부와, 상기 화상 신호 입력부에서 입력한 화상 신호에 기초하여 상기 의료 기기에 의해 촬상된 화상을 복수의 영역으로 분할하는 화상 분할부와, 상기 화상 분할부에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 복수의 영역 중, 하나의 영역을 주목 영역으로서 설정하는 주목 영역 설정부와, 상기 주목 영역으로부터 소정의 거리만큼 떨어진 영역인 근방 외주 영역을 검출하는 근방 외주 영역 검출부와, 상기 근방 외주 영역에서, 상기 특징량에 기초하여, 대략 원형 형상의 윤곽부의 적어도 일부가 존재하는 것을 검출하는 대략 원형 형상 검출부와, 상기 대략 원형 형상 검출부에 의해, 상기 대략 원형 형상이 검출된 경우, 상기 주목 영역을 추출하는 영역 추출부를 구비한 것을 특징으로 한다.

본 발명의 제29 화상 처리 장치는, 상기 제28 화상 처리 장치에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제30 화상 처리 장치는, 상기 제28 화상 처리 장치에서, 상기 대략 원형 형상 검출부는, 상기 근방 외주 영역 중, 상기 대략 원형 형상의 윤곽부의 적어도 일부가 존재하는 영역의 비율이 소정의 임계치 이상이라고 판단한 경우에 대략 원형 형상을 검출하고, 상기 영역 추출부는, 상기 주목 영역을 상기 대략 원형 형상의 중앙부가 존재하는 영역으로서 추출하는 것을 특징으로 한다.

본 발명의 제31 화상 처리 장치는, 상기 제29 화상 처리 장치에서, 상기 대략 원형 형상은, 기포인 것을 특징으로 한다.

본 발명의 제32 화상 처리 장치는, 상기 제30 화상 처리 장치에서, 상기 대략 원형 형상은, 기포인 것을 특징으로 한다.

본 발명의 제33 화상 처리 장치는, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 기초하는 화상 신호를 입력하는 화상 신호 입력부와, 상기 화상 신호 입력부에서 입력한 화상 신호에 기초하여 상기 의료 기기에 의해 촬상된 화상을 복수의 영역으로 분할하는 화상 분할부와, 상기 화상 분할부에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와, 상기 특징량 산출부에서 산출된 특징량과, 소정의 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 영역 분류부와, 상기 복수의 클래스 중, 구조적으로 명확한 특징을 갖는 클래스로서 미리 설정된 소정의 클래스로 분류되는 영역을, 상기 복수의 영역으로부터 검출하는 영역 검출부와, 상기 영역 검출부에서 검출된 상기 영역이 갖는 상기 특징량에 기초하여, 상기 영역 분류부에서의 상기 소정의 분류 기준을 설정하는 분류 기준 설정부를 구비한 것을 특징으로 한다.

본 발명의 제34 화상 처리 장치는, 상기 제33 화상 처리 장치에서, 상기 소정의 클래스는, 기포 클래스 또는 융모 클래스 중, 적어도 하나의 클래스인 것을 특징으로 한다.

본 발명의 제35 화상 처리 장치는, 상기 제33 화상 처리 장치에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제1 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상 된 화상을 입력하는 화상 입력 스텝과, 상기 화상을 복수의 영역으로 분할하는 영역 분할 스텝과, 상기 복수의 영역 각각으로부터 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량에 기초하여, 상기 복수의 영역 각각을, 생체 점막 표면을 촬상한 영역 또는 비생체 점막을 촬상한 영역 중 어느 하나로 분류하는 영역 분류 스텝을 갖는 것을 특징으로 한다.

본 발명의 제2 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상을 입력하는 화상 입력 스텝과, 상기 화상을 복수의 영역으로 분할하는 영역 분할 스텝과, 상기 복수의 영역 각각으로부터 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량에 기초하여, 상기 복수의 영역 각각을, 복수의 서로 다른 클래스 중, 어느 하나의 클래스로 분류하는 영역 분류 스텝을 갖는 화상 처리 방법으로서, 상기 영역 분류 스텝은, 생체 점막 표면을 촬상한 영역과, 비생체 점막을 촬상한 영역과, 상기 생체 점막 표면 및 상기 비생체 점막 중 어느 쪽에도 해당하지 않는 영역 중 어느 하나로 상기 복수의 영역 각각을 분류하는 것을 특징으로 한다.

본 발명의 제3 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상을 입력하는 화상 입력 스텝과, 상기 화상을 복수의 영역으로 분할하는 영역 분할 스텝과, 상기 복수의 영역 각각으로부터 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량에 기초하여, 상기 복수의 영역 각각을, 복수의 서로 다른 클래스 중, 어느 하나의 클래스로 분류하는 영역 분류 스텝과, 상기 복수의 서로 다른 클래스에서, 상기 화상 상에 혼재하는 것을 허가하지 않는 배타 클래스의 조합을 설정하는 배타 클래스 설정 스텝과, 상기 배타 클래스의 조합 중, 어느 클래스 를 우선할지를 설정하는 우선 클래스 설정 스텝을 갖는 화상 처리 방법으로서, 상기 영역 분류 스텝은, 상기 배타 클래스 설정 스텝에서 설정된 배타 클래스의 조합 중 어느 하나의 클래스로 분류된 영역이 존재하는 경우, 상기 영역을 상기 우선 클래스 설정 스텝에서 설정된 클래스로 분류하는 것을 특징으로 한다.

본 발명의 제4 화상 처리 방법은, 상기 제3 화상 처리 방법에서, 상기 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 배타 클래스의 조합에 포함되는 클래스 중, 하나의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출 스텝을 더 구비하고, 상기 우선 클래스 설정 스텝은, 상기 분류 판정치 산출 스텝에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하는 비교를 행함으로써, 상기 배타 클래스의 조합 중, 어느 클래스를 우선할지를 설정하는 것을 특징으로 한다.

본 발명의 제5 화상 처리 방법은, 상기 제1 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제6 화상 처리 방법은, 상기 제2 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제7 화상 처리 방법은, 상기 제3 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제8 화상 처리 방법은, 상기 제1 화상 처리 방법에서, 상기 영역 분류 스텝에서의 상기 복수의 영역 각각의 분류 결과에 기초하여, 상기 화상이 생체 점막 표면을 촬상했는지의 여부를 판정하는 판정 스텝을 더 갖는 것을 특징으로 한다.

본 발명의 제9 화상 처리 방법은, 상기 제2 화상 처리 방법에서, 상기 영역 분류 스텝에서의 상기 복수의 영역 각각의 분류 결과에 기초하여, 상기 화상이 생체 점막 표면을 촬상했는지의 여부를 판정하는 판정 스텝을 더 갖는 것을 특징으로 한다.

본 발명의 제10 화상 처리 방법은, 상기 제4 화상 처리 방법에서, 상기 영역 분류 스텝에서의 상기 복수의 영역 각각의 분류 결과에 기초하여, 상기 화상이 생체 점막 표면을 촬상했는지의 여부를 판정하는 판정 스텝을 더 갖는 것을 특징으로 한다.

본 발명의 제11 화상 처리 방법은, 상기 제8 화상 처리 방법에서, 상기 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 복수의 서로 다른 클래스 중, 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출 스텝과, 상기 분류 판정치 산출 스텝에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류 스텝을 더 구비하고, 상기 판정 스텝은, 상기 화상 분류 스텝의 분류 결과에 기초하여, 상기 비율이 소정의 임계치 이하인 경우에, 상기 화상을, 생체 점막을 충분히 촬상하고 있지 않은 화상이라고 판 정하고, 상기 비율이 소정의 임계치보다 큰 경우에, 상기 화상을, 생체 점막을 충분히 촬상한 화상이라고 판정하는 것을 특징으로 한다.

본 발명의 제12 화상 처리 방법은, 상기 제9 화상 처리 방법에서, 상기 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 복수의 서로 다른 클래스 중, 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출 스텝과, 상기 분류 판정치 산출 스텝에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류 스텝을 더 구비하고, 상기 판정 스텝은, 상기 화상 분류 스텝의 분류 결과에 기초하여, 상기 비율이 소정의 임계치 이하인 경우에, 상기 화상을, 생체 점막을 충분히 촬상하고 있지 않은 화상이라고 판정하고, 상기 비율이 소정의 임계치보다 큰 경우에, 상기 화상을, 생체 점막을 충분히 촬상한 화상이라고 판정하는 것을 특징으로 한다.

본 발명의 제13 화상 처리 방법은, 상기 제10 화상 처리 방법에서, 상기 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 복수의 서로 다른 클래스 중, 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출 스텝과, 상기 분류 판정치 산출 스텝에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류 스텝을 더 구비하고, 상기 판정 스텝은, 상기 화상 분류 스텝의 분류 결과에 기초하여, 상기 비율이 소정의 임계치 이하인 경우에, 상기 화상을, 생체 점막을 충분히 촬상하고 있지 않은 화상이라고 판정하고, 상기 비율이 소정의 임계치보다 큰 경우에, 상기 화상을, 생체 점막을 충분히 촬상한 화상이라고 판정하는 것을 특징으로 한다.

본 발명의 제14 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상을 입력하는 화상 입력 스텝과, 상기 화상을 복수의 영역으로 분할하는 영역 분할 스텝과, 상기 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량에 기초하여, 상기 복수의 영역 각각이 복수의 클래스 중 어느 것에 속하는지를 식별함과 함께, 그 식별 결과에 의해 상기 복수의 영역 각각을 분류하는 영역 분류 스텝과, 상기 영역 분류 스텝에서의 분류 결과에 기초하여, 상기 의료 기기가 촬상한 장기를 추정하는 촬상 장기 추정 스텝을 갖는 것을 특징으로 한다.

본 발명의 제15 화상 처리 방법은, 상기 제14 화상 처리 방법에서, 상기 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 복수의 클래스 중, 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출 스텝과, 상기 분류 판정치 산출 스텝에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류 스텝을 더 구비하고, 상기 촬상 장기 추정 스텝은, 상기 화상 분류 스텝의 분류 결과에 기초하여, 상기 화상이 촬상한 장기를 특정하는 것을 특징으로 한다.

본 발명의 제16 화상 처리 방법은, 상기 제15 화상 처리 방법에서, 상기 복수의 클래스는, 위 점막 클래스와, 융모 클래스와, 변 클래스를 적어도 갖는 것을 특징으로 한다.

본 발명의 제17 화상 처리 방법은, 상기 제16 화상 처리 방법에서, 상기 소정의 클래스가 위 점막 클래스인 경우, 상기 특정부는, 상기 화상에 촬상되어 있는 장기가 위라고 판정하는 것을 특징으로 한다.

본 발명의 제18 화상 처리 방법은, 상기 제16 화상 처리 방법에서, 상기 소정의 클래스가 융모 클래스인 경우, 상기 특정부는, 상기 화상에 촬상되어 있는 장기가 소장이라고 판정하는 것을 특징으로 한다.

본 발명의 제19 화상 처리 방법은, 상기 제16 화상 처리 방법에서, 상기 소정의 클래스가 변 클래스인 경우, 상기 특정부는, 상기 화상에 촬상되어 있는 장기가 대장이라고 판정하는 것을 특징으로 한다.

본 발명의 제20 화상 처리 방법은, 상기 제14 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제21 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 따른 화상 신호를 입력하는 화상 신호 입력부에서 입력한 화상 신호에 기초하여, 그 의료 기기에 의해 촬상된 상기 화상을 복수의 영역으로 분할하는 화상 분할 스텝과, 상기 화상 분할 스텝에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량 산출 스텝에서 산출된 특징량과, 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류 스텝과, 상기 특징량과, 상기 제1 영역 분류 스 텝에 의한 분류 결과에 기초하여 제2 분류 기준을 설정하는 분류 기준 설정 스텝과, 상기 특징량과, 상기 제2 분류 기준에 기초하여, 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 제2 영역 분류 스텝을 구비한 것을 특징으로 한다.

본 발명의 제22 화상 처리 방법은, 상기 제21 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제23 화상 처리 방법은, 상기 제21 화상 처리 방법에서, 상기 제1 영역 분류 스텝은, 상기 제1 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하고, 상기 제2 영역 분류 스텝은, 상기 제2 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 것을 특징으로 한다.

본 발명의 제24 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 따른 화상 신호를 입력하는 화상 신호 입력부에서 입력한 화상 신호에 기초하여, 그 의료 기기에 의해 촬상된 상기 화상을 복수의 영역으로 분할하는 화상 분할 스텝과, 상기 화상 분할 스텝에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량 산출 스텝에서 산출된 특징량과, 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류 스텝과, 상기 복수의 영역 중, 하나의 영역의 상기 제1 영역 분류 스텝에 의한 분류 결과를, 상기 하나의 영역의 근방에 위치하는 영역의 상기 제1 영역 분류 스텝에 의한 분류 결과에 기초한 평가치를 산출함으로써 평가하는 평가치 산출 스텝과, 상기 평가치 산출 스텝에서의 평가치에 기초하여, 상기 하나의 영역을 상기 복수의 클래스 중 어느 하나로 분류하는 제2 영역 분류 스텝을 구비한 것을 특징으로 한다.

본 발명의 제25 화상 처리 방법은, 상기 제24 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제26 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 따른 화상 신호를 입력하는 화상 신호 입력부에서 입력한 화상 신호에 기초하여, 그 의료 기기에 의해 촬상된 상기 화상을 복수의 영역으로 분할하는 화상 분할 스텝과, 상기 화상 분할 스텝에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 복수의 영역 중, 하나의 영역을 주목 영역으로서 설정하는 주목 영역 설정 스텝과, 상기 주목 영역으로부터 소정의 거리만큼 떨어진 영역인 근방 외주 영역을 검출하는 근방 외주 영역 검출 스텝과, 상기 근방 외주 영역에서, 상기 특징량에 기초하여, 대략 원형 형상의 윤곽부의 적어도 일부가 존재하는 것을 검출하는 대략 원형 형상 검출 스텝과, 상기 대략 원형 형상 검출 스텝에 의해, 상기 대략 원형 형상이 검출된 경우, 상기 주목 영역을 추출하는 영역 추출 스텝을 구비한 것을 특징으로 한다.

본 발명의 제27 화상 처리 방법은, 상기 제26 화상 처리 방법에서, 상기 특 징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제28 화상 처리 방법은, 상기 제26 화상 처리 방법에서, 상기 대략 원형 형상 검출 스텝은, 상기 근방 외주 영역 중, 상기 대략 원형 형상의 윤곽부의 적어도 일부가 존재하는 영역의 비율이 소정의 임계치 이상이라고 판단한 경우에 대략 원형 형상을 검출하고, 상기 영역 추출 스텝은, 상기 주목 영역을 상기 대략 원형 형상의 중앙부가 존재하는 영역으로서 추출하는 것을 특징으로 한다.

본 발명의 제29 화상 처리 방법은, 상기 제26 화상 처리 방법에서, 상기 대략 원형 형상은, 기포인 것을 특징으로 한다.

본 발명의 제30 화상 처리 방법은, 상기 제28 화상 처리 방법에서, 상기 대략 원형 형상은, 기포인 것을 특징으로 한다.

본 발명의 제31 화상 처리 방법은, 촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 따른 화상 신호를 입력하는 화상 신호 입력부에서 입력한 화상 신호에 기초하여, 그 의료 기기에 의해 촬상된 상기 화상을 복수의 영역으로 분할하는 화상 분할 스텝과, 상기 화상 분할 스텝에 의해 분할된 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량 산출 스텝에서 산출된 특징량과, 소정의 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 영역 분류 스텝과, 상기 복수의 클래스 중, 구조적으로 명확한 특징을 갖는 클래스로서 미리 설정된 소정의 클래스로 분류되는 영역을, 상기 복수의 영역으로부터 검출하는 영역 검출 스텝과, 상기 영역 검출 스텝에서 검출된 상기 영역이 갖는 상기 특징량에 기초하여, 상기 영역 분류 스텝에서의 상기 소정의 분류 기준을 설정하는 분류 기준 설정 스텝을 구비한 것을 특징으로 한다.

본 발명의 제32 화상 처리 방법은, 상기 제31 화상 처리 방법에서, 상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 한다.

본 발명의 제33 화상 처리 방법은, 상기 제31 화상 처리 방법에서, 상기 소정의 클래스는, 기포 클래스 또는 융모 클래스 중, 적어도 하나의 클래스인 것을 특징으로 한다.

도 1은 제1 실시 형태인 화상 처리 동작이 행해지는 화상 처리 장치 및 주변 기기의 외관을 도시한 외관 정면도.

도 2는 제1 실시 형태의 화상 처리 장치에서 처리하는 소정의 화상 정보를 생성하는 캡슐형 내시경의 일부를 잘라내어 도시한 주요부 확대 단면도.

도 3은 제1 실시 형태의 화상 처리 장치에 소정의 화상 정보를 공급하는 캡슐형 내시경 장치의 개략 내부 구성을 도시하는 블록도.

도 4는 제1 실시 형태의 화상 처리 장치에 소정의 화상 정보를 공급하는 캡슐형 내시경 장치의 일 사용예를 도시한 도면.

도 5는 도 2에 도시한 캡슐형 내시경으로부터 출력되는 신호의 일례를 도시한 타이밍차트.

도 6은 도 2에 도시한 캡슐형 내시경의 위치 검출을 설명하는 설명도.

도 7은 도 3에 도시한 캡슐형 내시경 장치를 사용했을 때에서의 안테나 유닛을 도시한 주요부 확대 단면도.

도 8은 도 3에 도시한 캡슐형 내시경 장치를 사용했을 때에서의 실드 재킷을 설명하는 설명도.

도 9는 도 3에 도시한 캡슐형 내시경 장치의 외부 장치의 피검체에의 장착 상태를 설명하는 설명도.

도 10은 도 2에 도시한 캡슐형 내시경의 전기적인 구성을 도시하는 블록도.

도 11은 제1 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트.

도 12는 제1 실시 형태에 따른 화상 처리 동작에서, 입력된 화상이 (m×n)개의 영역으로 분할될 때의 일례를 도시하는 도면.

도 13은 교사 데이터를 구성하는 복수의 화상 중, 위 점막의 화상의 일례를 도시하는 도면.

도 14는 교사 데이터를 구성하는 복수의 화상 중, 융모의 화상의 일례를 도시하는 도면.

도 15는 교사 데이터를 구성하는 복수의 화상 중, 변의 화상의 일례를 도시하는 도면.

도 16은 교사 데이터를 구성하는 복수의 화상 중, 기포의 화상의 일례를 도시하는 도면.

도 17은 캡슐형 내시경에 의해 촬상된 체강 내의 상의 화상의 일례를 도시하는 모식도.

도 18은 도 17에 도시한 화상의 분류 결과의 일례를 도시하는 도면.

도 19는 제1 실시 형태에 따른 화상 처리 동작에서, 도 11과는 다른 화상 처리 동작을 설명하는 플로우차트.

도 20은 디스플레이에 표시되는 뷰어의 화상 중, 메인 메뉴 화면의 일례를 도시하는 도면.

도 21은 제2 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트.

도 22는 제3 본 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트.

도 23은 제4 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트.

도 24는 제5 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트.

도 25는 제5 실시 형태에 따른 화상 처리 동작의 일부로서, 도 24의 플로우차트에 도시한 처리가 행해진 후에 행해지는, 화상의 표시 제어 동작을 설명하는 플로우차트.

도 26은 제6 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트.

도 27은 도 26의 처리에 이어서 행해지는, 제6 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트.

도 28은 도 27의 처리에 이어서 행해지는, 제6 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트.

도 29A는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량(엣지 특징 벡터)을 결정할 때에 지표로 되는 8개의 방향 중, 하나의 방향을 도시하는 도면.

도 29B는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A와는 다른 하나의 방향을 도시하는 도면.

도 29C는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A 및 도 29B와는 다른 하나의 방향을 도시하는 도면.

도 29D는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29C까지와는 다른 하나의 방향을 도시하는 도면.

도 29E는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29D까지와는 다른 하나의 방향을 도시하는 도면.

도 29F는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29E까지와는 다른 하나의 방향을 도시하는 도면.

도 29G는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29F까지와는 다른 하나의 방향을 도시하는 도면.

도 29H는 제6 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29G까지와는 다른 하나의 방향을 도시하는 도면.

도 30은 제6 실시 형태에 따른 화상 처리 동작에서 설정되는, 중심 영역과 최외주 영역의 위치 관계를 도시하는 도면.

도 31은 제6 실시 형태에 따른 화상 처리 동작에서 설정되는, 엣지 특징 벡터의 방향과, 벡터 Ⅵ의 방향이 이루는 각도를 도시하는 도면.

도 32는 제7 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트.

도 33은 도 32의 처리에 이어서 행해지는, 제7 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트.

도 34는 제7 실시 형태에 따른 화상 처리 동작에서, 입력된 화상이 (m×n)개의 영역으로 분할될 때의 일례를 도시하는 도면.

도 35는 제8 실시 형태의 화상 처리 장치에서의 화상 처리 동작을 설명하는 플로우차트.

도 36은 제8 실시 형태의 화상 처리 장치에서의 화상 처리 동작을 설명하는 플로우차트.

도 37은 제8 실시 형태의 화상 처리 동작에서, 하나의 영역에서의 근방 영역을 결정할 때의 일례를 도시하는 도면.

도 38은 제8 실시 형태의 화상 처리 동작에서 이용되는, 캡슐형 내시경에 의해 촬상된 체강 내의 상의 화상의 일례를 도시하는 모식도.

도 39는 도 38에 도시한 화상의 분류 결과의 일례를 도시하는 도면.

도 40은 도 39에 도시한 분류 결과에 기초하여, 제8 실시 형태의 화상 처리 동작을 행한 후의 재분류 결과를 도시하는 도면.

도 41은 제9 실시 형태에서의 화상 처리 동작을 설명하는 플로우차트.

도 42는 제9 실시 형태에서의 화상 처리 동작을 설명하는 플로우차트.

도 43은 제9 실시 형태에서의 화상 처리 동작에서, 4×4의 화소수를 갖는 작은 사각형 영역 각각에 대하여 가상적으로 부여하는 번호의 배열의 일례를 도시하는 도면.

도 44는 제9 실시 형태에서의 화상 처리 동작에서, 하나의 사각형 영역 RO에 대한 근방 외주 영역 Ht의 위치 관계를 도시하는 도면.

도 45는 제9 실시 형태에서의 화상 처리 동작에서, 근사 gradient 벡터 Vgt 및 방향 벡터 Vgt가 이루는 각도 θt의 일례를 도시하는 도면.

도 46은 제9 실시 형태에서 이용되는 캡슐형 내시경에 의해 촬상된 체강 내의 상의 화상의 일례를 도시하는 모식도.

도 47은 도 46에 도시한 화상의 분류 결과의 일례를 도시하는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 도면을 참조하여 본 발명의 실시 형태를 설명한다.

(제1 실시 형태)

도 1 내지 도 20은, 본 발명의 제1 실시 형태에 따른 것이다. 도 1은, 본 발명의 제1 실시 형태인 화상 처리 동작이 행해지는 화상 처리 장치 및 주변 기기의 외관을 도시한 외관 정면도이다. 도 2는, 본 실시 형태의 화상 처리 장치에서 처리하는 소정의 화상 정보를 생성하는 캡슐형 내시경의 일부를 잘라내어 도시한 주요부 확대 단면도이다. 도 3은, 본 실시 형태의 화상 처리 장치에 소정의 화상 정보를 공급하는 캡슐형 내시경 장치의 개략 내부 구성을 도시하는 블록도이다. 도 4는, 본 실시 형태의 화상 처리 장치에 소정의 화상 정보를 공급하는 캡슐형 내시경 장치의 일 사용예를 도시한 도면이다. 도 5는, 도 2에 도시한 캡슐형 내시경으로부터 출력되는 신호의 일례를 도시한 타이밍차트이다. 도 6은, 도 2에 도시한 캡슐형 내시경의 위치 검출을 설명하는 설명도이다. 도 7은, 도 3에 도시한 캡슐형 내시경 장치를 사용했을 때에서의 안테나 유닛을 도시한 주요부 확대 단면도이다. 도 8은, 도 3에 도시한 캡슐형 내시경 장치를 사용했을 때에서의 실드 재킷을 설명하는 설명도이다. 도 9는, 도 3에 도시한 캡슐형 내시경 장치의 외부 장치의 피검체에의 장착 상태를 설명하는 설명도이다. 도 10은, 도 2에 도시한 캡슐형 내시경의 전기적인 구성을 도시하는 블록도이다. 도 11은, 본 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트이다. 도 12는, 본 실시 형태에 따른 화상 처리 동작에서, 입력된 화상이 (m×n)개의 영역으로 분할될 때의 일례를 도시하는 도면이다. 도 13은, 교사 데이터를 구성하는 복수의 화상 중, 위 점막의 화상의 일례를 도시하는 도면이다. 도 14는, 교사 데이터를 구성하는 복수의 화상 중, 융모의 화상의 일례를 도시하는 도면이다. 도 15는, 교사 데이터를 구성하는 복수의 화상 중, 변의 화상의 일례를 도시하는 도면이다. 도 16은, 교사 데이터를 구성하는 복수의 화상 중, 기포의 화상의 일례를 도시하는 도면이다. 도 17은, 캡슐형 내시경에 의해 촬상된 체강 내의 상의 화상의 일례를 도시하는 모식도이다. 도 18 은, 도 17에 도시한 화상의 분류 결과의 일례를 도시하는 도면이다. 도 19는, 본 실시 형태에 따른 화상 처리 동작에서, 도 11과는 다른 화상 처리 동작을 설명하는 플로우차트이다. 도 20은, 디스플레이에 표시되는 뷰어의 화상 중, 메인 메뉴 화면의 일례를 도시하는 도면이다.

본 발명의 제1 실시 형태인 화상 처리 장치에 소정의 화상 정보를 공급하는 캡슐형 내시경 장치(1)는, 도 3에 도시한 바와 같이, 캡슐형 내시경(3), 안테나 유닛(4) 및 외부 장치(5)에 의해 주요부가 구성되어 있다.

의료 기기로서의 캡슐형 내시경(3)은, 상세한 것은 후술하지만, 피검체인 환자(2)의 입으로부터 체강 내로 삼켜짐으로써 체강 내에 배치된 후, 연동 운동에 의해 소화관 내를 진행하는 형상으로 형성되며, 또한, 내부에 체강 내를 촬상하고, 그 촬상 화상 정보를 생성하는 촬상 기능과, 그 촬상 화상 정보를 체외로 송신하는 송신 기능을 갖고 있다. 안테나 유닛(4)은, 상세한 것은 후술하지만, 환자(2)의 신체 표면 상에 설치되고, 상기 캡슐형 내시경(3)으로부터 송신되는 촬상 화상 정보를 수신하는 복수의 수신 안테나(11)를 갖고 있다. 외부 장치(5)는, 외형이 상자 형상으로 형성되어 있고, 상세한 것은 후술하지만, 상기 안테나 유닛(4)이 수신한 촬상 화상 정보의 각종 처리, 촬상 화상 정보의 기억, 및 촬상 화상 정보에 의한 촬상 화상 표시 등의 기능을 갖고 있다. 이 외부 장치(5)의 외장의 표면에 상기 촬상 화상을 표시시키는 액정 모니터(12)와, 각종 기능의 조작 지시를 행하는 조작부(13)가 설치되어 있다.

또한, 이 외부 장치(5)는, 구동 전원용의 전지의 잔량에 관한 경고 표시용의 LED와, 전원 스위치 등의 스위치로 이루어지는 조작부(13)가 외장의 표면에 설치되어 있다. 또한, 캡슐형 내시경(3)의 내부에는, CPU 및 메모리를 이용한 연산 실행부가 설치되어 있고, 예를 들면, 그 연산 실행부에서, 수신 및 기억한 촬상 화상 정보에 대하여 후술하는 본 발명에 따른 화상 처리 방법이 실행되는 구성이어도 된다.

이 외부 장치(5)는, 환자(2)의 신체에 착탈 가능하게 장착됨과 함께, 도 1에 도시한 바와 같이, 크레이들(6)에 장착됨으로써, 본 발명의 제1 실시 형태인 화상 처리 장치(이하, 단말 장치라고 함)(7)에 착탈 가능하게 접속되도록 되어 있다. 이 단말 장치(7)는, 예를 들면, 퍼스널 컴퓨터가 이용되고, 각종 데이터의 처리 기능이나 기억 기능을 갖는 단말기 본체(9)와, 각종 조작 처리 입력용의 키보드(8a) 및 마우스(8b)와, 및 각종 처리 결과를 표시하는, 표시부로서의 기능을 갖는 디스플레이(8c)를 갖고 있다. 이 단말 장치(7)는, 기본적 기능으로서, 예를 들면, 상기 외부 장치(5)에 기억되어 있는 촬상 화상 정보를 크레이들(6)을 통하여 취득하고, 단말기 본체(9)에 내장되어 있는 재기입 가능한 메모리, 혹은 단말기 본체(9)에 착탈 가능하며 재기입 가능한 반도체 메모리 등의 가반형 메모리에 기입 기억시키며, 또한, 그 기억한 촬상 화상 정보를 디스플레이(8c)에 표시하는 화상 처리를 행하는 기능을 갖고 있다. 또한, 상기 외부 장치(5)에 기억되어 있는 촬상 화상 정보는, 상기 크레이들(6) 대신에, USB 케이블 등에 의해 단말 장치(7)에 취득되도록 해도 된다.

또한, 단말 장치(7)가 행하는 화상 처리는, 예를 들면, 상기 외부 장치(5)로 부터 취득하고, 도시하지 않은 기억부로서의 기능을 갖는 메모리 등에 기억된 촬상 화상 정보로부터 경과 시간에 따라서 표시시키는 화상을 선택하는 처리, 및 후술하는 본 발명에 따른 화상 처리 방법에 기초하는 처리로서, 단말기 본체(9)가 갖는 제어부(9a)에서 행해지는 것인 것으로 한다. 제어부(9a)는, CPU 등으로 이루어지고, 예를 들면, 전술한 바와 같은 처리를 행하는 경우에, 처리 결과를 일시적으로 도시하지 않은 레지스터 등에 유지할 수 있다.

다음으로, 상기 캡슐형 내시경(3)의 외형과 내부 구조에 대해서, 도 2를 이용하여 설명한다. 캡슐형 내시경(3)은, 단면이 U자 형상인 외장 부재(14)와, 이 외장 부재(14)의 선단측의 개방단에 접착제에 의해 수밀 장착된 투명 부재에 의해 형성된 대략 반구 형상의 커버 부재(14a)로 이루어진다. 이 때문에, 캡슐형 내시경(3)의 외장은, 외장 부재(14)와, 커버 부재(14a)가 접속된 상태에서는, 수밀 구조이면서 또한 캡슐 형상을 갖도록 형성되어 있다.

이 외장 부재(14)와 커버 부재(14a)로 이루어지는 캡슐 형상의 내부 중공부로서, 상기 커버 부재(14a)의 반구의 원호의 대략 중앙에 해당하는 부분에는, 커버 부재(14a)를 통하여 입사된 관찰 부위 상을 취득하는 대물 렌즈(15)가 렌즈 틀(16)에 수납되어 배치되어 있다. 이 대물 렌즈(15)의 결상 위치에는, 촬상 소자인 전하 결합 소자(이후, CCD라고 함)(17)가 배치되어 있다. 또한, 상기 대물 렌즈(15)를 수납하는 렌즈 틀(16)의 주위에는, 조명광을 발광 방사시키는 4개의 백색계의 LED(18)가 동일 평면 상에 배치되어 있다(도면에서는 2개의 LED만을 표기하고 있음). 상기 CCD(17)의 후단측의 상기 외장 부재(14)의 내부 중공부에는, 상기 CCD(17)를 구동 제어하여 광전 변환된 촬상 신호의 생성, 그 촬상 신호에 소정의 신호 처리를 실시하여 촬상 화상 신호를 생성하는 촬상 처리, 및 상기 LED(18)의 점등/비점등의 동작을 제어하는 LED 구동의 처리를 행하는 처리 회로(19)와, 이 처리 회로(19)의 촬상 처리에 의해 생성된 촬상 화상 신호를 무선 신호로 변환하여 송신하는 통신 처리 회로(20)와, 이 통신 처리 회로(20)로부터의 무선 신호를 외부에 송신하는 송신 안테나(23)와, 상기 처리 회로(19)와 통신 처리 회로(20)의 구동용 전원을 공급하는 복수의 버튼형의 전지(21)가 배치되어 있다.

또한, CCD(17), LED(18), 처리 회로(19), 통신 처리 회로(20) 및 송신 안테나(23)는, 도시하지 않은 기판 상에 배치되고, 이들 기판 사이는, 도시하지 않은 플렉시블 기판으로 접속되어 있다. 또한, 상기 처리 회로(19)에는, 후술하는 화상 처리를 행하기 위한 도시하지 않은 연산 회로를 구비하고 있다. 즉, 상기 캡슐형 내시경(3)은, 도 3에 도시한 바와 같이, 상기 CCD(17), LED(18) 및 처리 회로(19)를 갖는 촬상 장치(43)와, 상기 통신 처리 회로(20)를 갖는 송신기(37)와, 송신 안테나(23)를 갖는다.

다음으로, 상기 캡슐형 내시경(3)의 촬상 장치(43)의 상세 구성에 대해서, 도 10을 이용하여 설명한다. 촬상 장치(43)는, LED(18)의 점등/비점등의 동작을 제어하는 LED 드라이버(18A)와, CCD(17)의 구동을 제어하여 광전 변환된 전하의 전송을 행하기 위한 CCD 드라이버(17A)와, 상기 CCD(17)로부터 전송된 전하를 이용하여 촬상 신호를 생성하고, 또한, 그 촬상 신호에 소정의 신호 처리를 실시하여 촬상 화상 신호를 생성하는 처리 회로(19A)와, 상기 LED 드라이버(18A), CCD 드라이 버(17A), 처리 회로(19A), 및 송신기(37)에 전지(21)로부터의 구동 전원을 공급하는 스위치부와, 상기 스위치부 및 CCD 드라이버(17A)에 타이밍 신호를 공급하는 타이밍 제너레이터(19B)를 갖는다. 또한, 상기 스위치부는, 전지(21)로부터 상기 LED 드라이버(18A)에의 전원 공급을 온/오프하는 스위치(19C)와, 상기 CCD(17), CCD 드라이버(17A) 및 처리 회로(19A)에의 전원 공급을 온·오프하는 스위치(19D)와, 상기 송신기(37)에의 전원 공급을 온/오프하는 스위치(19E)를 갖는다. 또한, 상기 타이밍 제너레이터(19B)에는, 전지(21)로부터 항상 구동 전원이 공급되도록 되어 있다.

이와 같은 구성을 갖는 캡슐형 내시경(3)의 촬상 장치(43)에서는, 스위치(19C)와, 스위치(19D)와, 스위치(19E)가 오프 상태인 경우, 타이밍 제너레이터(19B) 이외의 각 부는 비동작 상태이다. 그리고, 타이밍 제너레이터(19B)로부터 타이밍 신호가 출력되면, 상기 스위치(19D)가 온되고, 이에 의해, 전지(21)로부터 전원이 공급된 CCD(17), CCD 드라이버(17A) 및 처리 회로(19A)는 동작 상태로 된다.

상기 CCD(17)의 구동 초기 시에, CCD(17)의 전자 셔터를 동작시켜, 불필요한 암전류를 제거한 후, 타이밍 제너레이터(19B)는, 스위치(19C)를 온시켜 LED 드라이버(18A)를 구동시켜 LED(18)를 점등시켜 CCD(17)를 노광한다. LED(18)는, CCD(17)의 노광에 필요한 소정의 시간만큼 점등된 후, 소비 전력 저감을 위해서, 스위치(19C)가 오프한 타이밍에서 소등된다.

상기 CCD(17)의 노광이 행해진 상기 소정의 시간 내에 축적된 전하는, CCD 드라이버(17A)의 제어에 의해 처리 회로(19A)에 전송된다. 처리 회로(19A)는, CCD(17)로부터 전송된 전하에 기초하여 촬상 신호를 생성하고, 그 촬상 신호에 소정의 신호 처리를 실시하여 내시경 화상 신호를 생성한다. 처리 회로(19A)는, 예를 들면, 송신기(37)로부터 송신되는 신호가 아날로그 무선 방식인 경우, CDS 출력 신호에 대하여 복합 동기 신호를 중첩시킨 아날로그 촬상 신호를 생성한 후, 그 아날로그 촬상 신호를 내시경 화상 신호로서 송신기(37)에 출력한다. 또한, 처리 회로(19A)는, 예를 들면, 송신기(37)로부터 송신되는 신호가 디지털 무선 방식인 경우, 아날로그/디지털 컨버터에 의해 생성한 시리얼한 디지털 신호에 대하여, 스크램블 등의 부호화 처리를 더 실시한 디지털 촬상 화상 신호를 생성하고, 그 디지털 촬상 신호를 내시경 화상 신호로서 송신기(37)에 출력한다.

이 송신기(37)는, 상기 처리 회로(19A)로부터 공급된 내시경 화상 신호인, 아날로그 촬상 화상 신호 또는 디지털 촬상 화상 신호에 대하여 변조 처리를 실시하여 송신 안테나(23)로부터 외부에 무선 송신한다. 이 때, 스위치(19E)는, 상기 처리 회로(19A)로부터 촬상 화상 신호가 출력된 타이밍에서만 송신기(37)에 구동 전력이 공급되도록, 타이밍 제너레이터(19B)에 의해 온/오프된다.

또한, 스위치(19E)는, 처리 회로(19A)로부터 촬상 화상 신호가 출력되고 나서 소정의 시간이 경과한 후에, 송신기(37)에 구동 전력이 공급되도록 제어되어도 된다. 또한, 스위치(19E)는, 캡슐형 내시경(3)에 설정된, 도시하지 않은 pH 센서에 의한 소정치의 pH값의 검출, 도시하지 않은 습도 센서에 의한 소정치 이상의 습도의 검출, 도시하지 않은 압력 센서 또는 도시하지 않은 가속도 센서에 의한 소정 치 이상의 압력 또는 가속도의 검출 등의 검출 결과에 기초하여 타이밍 제너레이터(19B)로부터 출력되는 신호에 의해, 피검체인 환자(2)의 체강 내에 삽입되었을 때에, 송신기(37)에 전원을 공급하도록 제어되는 구성을 갖고 있어도 된다.

또한, 상기 캡슐형 내시경(3)의 촬상 장치(43)는, 통상 매초 2매의 화상(매초 2 프레임=2fps)을 촬상하는 것이지만, 예를 들면, 식도 검사의 경우에는, 매초 15∼30매의 화상(15fps∼30fps)을 촬상할 수 있도록 한다. 구체적으로는, 캡슐형 내시경(3)에, 도시하지 않은 타이머 회로를 설치하고, 이 타이머 회로에 의해, 예를 들면, 타이머 카운트가 소정 시간 이내에서는 매초당의 촬상 매수가 많은 고속 촬상으로 하고, 소정시간이 경과한 후에는, 매초당의 촬상 매수가 적은 저속 촬상으로 되도록 촬상 장치(43)의 구동을 제어시킨다. 혹은, 캡슐형 내시경(3)의 전원의 투입과 함께 타이머 회로를 작동시키고, 이 타이머 회로에 의해, 예를 들면, 환자(2)가 삼킨 직후의 식도를 통과할 때까지의 시간은 고속 촬상으로 되도록, 촬상 장치(43)의 구동을 제어시키는 것도 가능하다. 또한, 저속 촬상용 캡슐형 내시경과 고속 촬상용 캡슐형 내시경을 개별로 설치하여, 관찰 대상 부위에 따라서 구별하여 사용하도록 해도 된다.

다음으로, 상기 환자(2)의 신체 표면 상에 설치되는 안테나 유닛(4)에 대하여 설명한다. 도 4에 도시한 바와 같이, 캡슐형 내시경(3)을 삼켜서 내시경 검사를 행하는 경우, 환자(2)는, 복수의 수신 안테나(11)로 이루어지는 안테나 유닛(4)이 설치된 재킷(10)을 장착한다. 이 안테나 유닛(4)은, 도 7에 도시한 바와 같이, 예를 들면, GPS에 사용되고 있는 패치 안테나와 같은 단방향의 지향성을 갖는 복수 의 수신 안테나(11)를 환자(2)의 신체 내 방향으로 그 지향성을 향하게 하여 배치한다. 즉, 캡슐형 내시경(3)의 캡슐 본체(3D)는, 신체 내에 유치되기 때문에, 그 신체 내의 캡슐 본체(3D)를 둘러싸도록 상기 복수의 안테나(11)가 배치된다. 이 지향성이 높은 안테나(11)를 사용함으로써, 신체 내의 캡슐 본체(3D) 이외로부터의 전파에 의한 간섭 방해의 영향을 받기 어렵게 하고 있다.

상기 재킷(10)은, 도 8에 도시한 바와 같이, 환자(2)의 신체 표면에 설치하는 상기 안테나 유닛(4)과, 벨트에 의해 환자(2)의 허리에 설치된 외부 장치(5)의 본체부(5D)를 덮도록 전자 실드 섬유로 형성된 실드 재킷(72)으로 이루어진다. 이 실드 재킷(72)을 형성하는 전자 실드 섬유는, 금속 섬유, 금속 화학 섬유 또는 황화 구리 함유 섬유 등이 이용되고 있다. 또한, 이 실드 재킷(72)은, 재킷 형상에 한정되는 것이 아니라, 예를 들면, 베스트 또는 원피스 형상 등이어도 된다.

또한, 상기 실드 재킷(72)에 상기 외부 장치(5)를 장착하는 예로서, 도 9에 도시한 바와 같이, 상기 외부 장치(5)의 외부 본체(5D)에 열쇠 구멍(74)을 설치하고, 상기 실드 재킷(72)에 설치한 키(75)를 상기 열쇠 구멍(74)에 삽입함으로써, 벨트(73)에 착탈 가능하게 장착할 수 있도록 한다. 혹은, 단순히 실드 재킷(72)에 도시하지 않은 포켓을 설치하고, 그 포켓에 외부 본체(5D)를 수납해도 되고, 또는, 외부 장치(5)의 외부 본체(5D)와 실드 재킷(72)에 매직 테이프(등록상표)를 설치하고, 그 매직 테이프(등록상표)에 의해 부착 고정해도 된다.

즉, 안테나 유닛(4)이 배치된 신체에 실드 재킷(72)을 장착함으로써, 안테나 유닛(4)에 대한 외부로부터의 전파가 실드 차폐되어, 외부 전파에 의한 간섭 방해 의 영향을 한층 더 받기 어렵게 하고 있다.

다음으로, 상기 안테나 유닛(4)과 외부 장치(5)의 구성에 대해서, 도 3을 이용하여 설명한다. 상기 안테나 유닛(4)은, 상기 캡슐형 내시경(3)의 송신 안테나(23)로부터 송신된 무선 신호를 수신하는 복수의 수신 안테나(11a∼11d)와, 이 안테나(11a∼11d)를 절환하는 안테나 절환 스위치(45)로 이루어진다. 상기 외부 장치(5)는, 안테나 절환 스위치(45)로부터의 무선 신호를 촬상 화상 신호로 변환 및 증폭 등의 수신 처리를 행하는 수신 회로(33)와, 이 수신 회로(33)로부터 공급된 촬상 화상 신호에 소정의 신호 처리를 실시하여, 촬상 화상의 표시용 신호 및 촬상 화상 데이터를 생성하는 신호 처리 회로(35)와, 이 신호 처리 회로(35)에 의해 생성된 촬상 화상 표시용 신호에 기초하여 촬상 화상을 표시하는 액정 모니터(12)와, 상기 신호 처리 회로(35)에 의해 생성된 촬상 화상 데이터를 기억하는 메모리(47)와, 상기 수신 회로(33)에 의해 수신 처리된 무선 신호의 크기에 의해 상기 안테나 절환 스위치(45)를 제어하는 안테나 선택 회로(46)로 이루어진다.

상기 안테나 유닛(4)의 도면 중 수신 안테나(11a∼11d)로서 도시한 복수의 수신 안테나(11)는, 상기 캡슐형 내시경(3)의 송신 안테나(23)로부터 일정한 전파 강도에 의해 송신된 무선 신호를 수신한다. 이 복수의 수신 안테나(11a∼11d)는, 상기 외부 장치(5)의 안테나 선택 회로(46)로부터의 안테나 선택 신호에 의해 안테나 절환 스위치(45)가 제어되어, 상기 무선 신호를 수신하는 수신 안테나를 순차적으로 절환한다. 즉, 상기 안테나 절환 스위치(45)에 의해 순차적으로 절환된 수신 안테나(11a∼d)마다 수신한 무선 신호가 상기 수신기(33)에 출력된다. 이 수신 기(33)에서, 수신 안테나(11a∼11d)마다의 무선 신호의 수신 강도를 검출하여, 각 수신 안테나(11a∼11d)와 캡슐형 내시경(3)의 위치 관계를 산출함과 함께, 그 무선 신호를 복조 처리하여 촬상 화상 신호를 신호 처리 회로(35)에 출력한다. 상기 안테나 선택 회로(46)는, 상기 수신기(33)로부터의 출력에 의해 제어된다.

상기 안테나 선택 회로(46)에 의한 안테나 절환 스위치(45)의 동작에 대하여 설명한다. 상기 캡슐형 내시경(3)으로부터 송신되는 무선 신호는, 도 5에 도시한 바와 같이, 촬상 화상 신호의 1 프레임의 송신 기간에, 무선 신호의 수신 강도를 나타내는 수신 강도 신호의 송신 기간인 강도 수신 기간과, 촬상 화상 신호의 송신 기간인 영상 신호 기간이 순차적으로 반복되어 송신되는 것으로 한다.

상기 안테나 선택 회로(46)는, 상기 수신 회로(33)를 통하여, 각 수신 안테나(11a∼11d)가 수신한 수신 강도 신호의 수신 강도가 공급된다. 상기 안테나 선택 회로(46)는, 상기 수신기(33)로부터의 공급된 각 안테나(11a∼11d)의 수신 강도 신호의 강도를 비교하여, 영상 신호 기간의 촬상 화상 신호를 수신하는 최적의 수신 안테나, 즉, 수신 강도 신호의 강도가 가장 높은 안테나(11i)(i=a∼d)를 결정하고, 안테나 절환 회로(45)를 그 안테나(11i)로 절환하기 위한 제어 신호를 생성 출력한다. 이에 의해, 현재 화상 신호를 수신하고 있는 안테나보다도, 다른 안테나의 수신 강도 신호의 수신 강도가 높은 경우에는, 영상 신호 기간의 수신 안테나를 다음 프레임분으로부터 절환하도록 한다.

이와 같이, 캡슐형 내시경(3)으로부터의 무선 신호를 수신할 때마다, 촬상 화상 신호, 또는 수신 강도 신호의 수신 강도를 비교하고, 이 비교 결과를 받은 안 테나 선택 회로(46)에 의해 수신 강도가 최대로 되는 안테나(11i)를 화상 신호 수신용의 안테나로 지정하도록 하고 있다. 이에 의해, 캡슐형 내시경(3)이 환자(2)의 체내에서 이동하더라도, 그 이동 위치에서 가장 수신 강도가 높은 신호를 검출할 수 있는 안테나(11)에 의해 취득한 화상 신호를 수신할 수 있다. 또한, 체내에서의 캡슐형 내시경(3)의 이동 속도는 매우 느린 부분과 빠른 부분으로 분리되므로, 촬상 동작 1회에 대하여 항상 안테나 절환 동작을 1회 행한다고는 할 수 없으며, 고속 촬상 모드 등에서는 복수회의 촬상 동작에 대하여 안테나 절환 동작을 1회 행하도록 하여도 된다.

또한, 캡슐형 내시경(3)은, 환자(2)의 체내를 이동하고 있으므로, 적절한 시간 간격으로 외부 장치(5)로부터 전파 강도를 검출한 결과인 검출 결과 신호를 보내고, 그 신호에 기초하여 캡슐형 내시경(3)이 송신할 때의 그 출력을 갱신하도록 하여도 된다. 이와 같이 하면, 캡슐형 내시경(3)이 환자(2)의 체내를 이동한 경우에도, 적절한 송신 출력으로 설정할 수 있어, 전지(21)의 에너지를 불필요하게 소비하는 것 등을 방지할 수 있어, 신호의 송수신 상태를 적절한 상태로 유지할 수 있게 된다.

다음으로, 상기 복수의 수신 안테나(11)와 캡슐형 내시경(3)의 위치 관계를 나타내는 정보의 취득 방법에 대해서, 도 6을 이용하여 설명한다. 또한, 도 6에서, 캡슐형 내시경(3)을 3차원 좌표 X, Y, Z의 원점으로 설정한 경우를 예로 설명한다. 또한, 상기 복수의 수신 안테나(11a∼11d) 중, 설명을 간단화하기 위해서, 3개의 수신 안테나(11a, 11b, 11c)를 이용하고, 수신 안테나(11a)와 수신 안테 나(11b) 사이의 거리를 Dab, 수신 안테나(11b)와 수신 안테나(11c) 사이의 거리를 Dbc, 수신 안테나(11a)와 수신 안테나(11c) 사이의 거리 Dac로 하고 있다. 또한, 이 수신 안테나(11a∼11c)와 캡슐형 내시경(3) 사이는, 소정의 거리 관계로 하고 있다.

캡슐형 내시경(3)의 송신된 일정한 송신 강도의 무선 신호는, 각 수신 안테나(11j)(j=a, b, c)에서 수신한 경우의 수신 강도는, 캡슐형 내시경(3)(캡슐형 내시경(3)의 송신 안테나(23))으로부터의 거리 Li(i=a, b, c)의 함수로 된다. 구체적으로는 전파 감쇠량이 수반되는 거리 Li에 의존한다. 따라서, 캡슐형 내시경(3)으로부터 송신된 무선 신호의 수신 안테나(11j)에 의해 수신한 수신 강도로부터 캡슐형 내시경(3)과 각 수신 안테나(11j) 사이의 거리 Li를 산출한다. 이 거리 Li의 산출에는, 상기 캡슐형 내시경(3)과 수신 안테나(11j) 사이의 거리에 의한 전파의 감쇠량 등의 관계 데이터를 사전에 상기 안테나 선택 회로(46)에 설정한다. 또한, 그 산출된 캡슐형 내시경(3)과 각 수신 안테나(11j)의 위치 관계를 나타내는 거리 데이터는, 상기 메모리(47)에 캡슐형 내시경(3)의 위치 정보로서 기억시킨다. 이 메모리(47)에 기억된 촬상 화상 정보 및 캡슐형 내시경(3)의 위치 정보에 기초하여, 상기 단말 장치(7)에 의한 후술하는 화상 정보 처리 방법에서, 내시경 관찰 소견의 위치 설정에 유용하게 된다.

다음으로, 본 실시 형태의 화상 처리 장치에서의 화상 처리 동작에 대하여 설명을 행한다.

또한, 본 실시 형태에서는, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상은, 크기 ISX×ISY(1≤ISX, 1≤ISY를 충족하는 값이며, 예를 들면, ISX=300, ISY=300), RGB의 3 플레인으로 이루어지고, 각 플레인에서의 각 화소는 각각 8bit, 즉, 0 내지 255의 값을 취하는 것으로 한다. 또한, 본 실시 형태에서는, 시간적으로 연속하여 촬상된 N매의 화상(1≤N)에서의 i번째의 화상을 Ii(1≤i≤N), 그 RGB 각 플레인을 각각 Ri, Gi 및 Bi로 나타내는 것으로 한다. 또한, 본 실시 형태에서는, 각 플레인에서의 k번째의 화소(1≤k≤ISX×ISY)를 각각 rik, gik 및 bik로 나타내는 것으로 한다.

또한, 본 실시 형태에서의 화상 처리 장치에서의 화상 처리 동작은, 전술한 단말 장치(7)의 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

우선, 화상 신호 입력부 및 화상 입력부로서의 기능을 갖는 제어부(9a)는, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초하는 화상 신호를 입력하고, 입력된 i번째의 화상 Ii를 구성하는 Ri, Gi 및 Bi의 각 플레인에 대하여, 전처리로서, 예를 들면, 메디안 필터링에 의한 노이즈 제거 및 역γ보정을 행함과 함께, 할레이션 화소 및 암부 화소를 이후의 처리 대상으로부터 제외하기 위해서, 임계치에 기초하는 처리에 의해 검출해 둔다(도 11의 스텝 S1). 그리고, 상기 임계치에 기초하는 처리는, 예를 들면, rik, gik 및 bik의 농도치 모두가 10 이하의 값이면 암부 화소, 또한, rik, gik 및 bik의 농도치 모두가 230 이상의 값이면 할레이션 화소로 하는 식의 처리로서 행해진다.

그 후, 화상 분할부 및 영역 설정부로서의 기능을 갖는 제어부(9a)는, Ri, Gi 및 Bi의 각 플레인을 소영역으로 분할한다(도 11의 스텝 S2). 또한, 본 실시 형태에서, 제어부(9a)는, 도 12에 도시한 바와 같이, Ri, Gi 및 Bi의 각 플레인을, x축 방향의 화소수 lx×y축 방향의 화소수 ly(1≤lx, 1≤ly)로 이루어지는 사각형 영역으로 분할하는 것으로 하고, 그 영역수는 (m×n)개(m=ISX/lx, n=ISY/ly)인 것으로 한다. 또한, 제어부(9a)는, m 또는 n이 정수로 되지 않는 경우에서는, 크기가 우수리로 되는 최단부의 영역을, 우수리의 화소수를 갖는 영역으로서 처리하거나, 또는 이후의 처리 대상으로부터 제외하는 것으로 한다.

특징량 산출부로서의 기능을 갖는 제어부(9a)는, 분할한 각 영역에서, 촬상 대상의 상의 화상 상에서의 색의 차이를 반영하는 색조 정보, 및 촬상 대상의 상의 화상 상에서의 구조의 차이를 반영하는 텍스쳐 정보를 특징량으로서 산출한다(도 11의 스텝 S3). 또한, 이후의 설명에서는, 제어부(9a)에서 분할된 영역 중, 하나의 영역을 Hst(1≤s≤m, 1≤t≤n)로 나타내는 것으로 한다.

본 실시 형태에서, 제어부(9a)가 산출하는 색조 정보는, 하나의 영역 Hst에 포함되는 각 화소의 RGB값의 비에 기초하는 값으로서의, gik/rik의 평균치(이후, μgst라고 함) 및 bik/rik의 평균치(이후, μbst라고 함)로 이루어지는, 2개의 특징량으로서 나타내어지는 값이다. 또한, μgst 및 μbst의 각 값은, 0 내지 1의 값을 취하는 것으로 한다. 또한, μgst 및 μbst의 각 값은, 예를 들면, 위 점막과 같은 비교적 적색조를 나타내는 영역에서는, 대략 마찬가지로 작은 값을 취한다. 한편, μgst 및 μbst의 각 값은, 예를 들면, 소장과 같은 비교적 백색조를 나타내는 영역에서는, 대략 마찬가지로 큰 값을 취한다. 또한, μgst 및 μbst의 각 값은, 예를 들면, 변과 같은 비교적 황색조를 나타내는 영역에서는, μgst>μbst로 되는 값을 취한다.

본 실시 형태에서, 제어부(9a)가 산출하는 텍스쳐 정보는, 전술한 바와 같이, 촬상 대상의 상의 화상 상에서의 구조의 차이를 반영하는 것이다. 그리고, 촬상 대상의 상의 화상 상에서의 구조는, 예를 들면, 점막 표면에서의 융모 등의 미세 구조, 및 변이 갖는 부정형한 모양 등으로서 나타내어지는 것이다. 구체적으로는, 제어부(9a)가 산출하는 텍스쳐 정보는, 하나의 영역 Hst에 포함되는 각 화소의 RGB값의 표준 편차 σrst, σgst 및 σbst를, 하나의 영역 Hst에 포함되는 각 화소의 RGB값의 평균치 mrst, mgst 및 mbst로 나눈 것인, 3개의 특징량으로서 나타내어지는 RGB값의 변동 계수 CVrst, CVgst 및 CVbst이다. 또한, 변동 계수 CVrst, CVgst 및 CVbst를 산출하기 위한 계산식은, 하기 수학식 1, 수학식 2 및 수학식 3으로서 나타내어진다.

상기 수학식 1, 수학식 2 및 수학식 3에 의해 산출되는 변동 계수 CVrst, CVgst 및 CVbst에 의해, 촬상 대상에 대하여 공급되는 조명 광량의 차이 등에 의한 영향에 상관없이, 텍스쳐 구조에 의한 화소 변동의 정도를 수치화할 수 있다. CVrst, CVgst 및 CVbst의 각 값은, 예를 들면, 확대 관찰을 행하고 있지 않은 상태인, 통상 관찰에서 촬상된 위 점막과 같은, 화상 상에서의 구조가 비교적 평탄한 영역에서는, 명료한 텍스쳐 구조가 없기 때문에, 대략 마찬가지로 작은 값을 취한다. 한편, CVrst, CVgst 및 CVbst의 각 값은, 예를 들면, 소장의 융모와 같은, 화상 상에서의 구조에 엣지를 비교적 많이 포함하는 영역에서는, 대략 마찬가지로 큰 값을 취한다.

또한, 본 실시 형태의 제어부(9a)가 행하는 이후의 처리에서는, 색조 정보 및 텍스쳐 정보를 갖는 5개의 특징량을 사용하지만, 이 특징량을 구성하는 값은, 유저의 용도 등에 따라서, 적절히 변경 또는 추가하는 것이 가능하다. 예를 들면, 제어부(9a)는, 색조 정보로서의 μgst의 값 및 μbst의 값 대신에, 색도로서 나타내어지는 값인, 각 영역의 각 화소에서의 rik, gik 및 bik의 비율, 즉, rik/(rik+gik+bik), gik/(rik+gik+bik) 및 bik/(rik+gik+bik)의 값을 사용하여 이후의 처리를 행하는 것이어도 된다.

그리고, 제어부(9a)는, 색조 정보 및 텍스쳐 정보로 이루어지는 5개의 특징량, 즉, μgst, μbst, CVrst, CVgst 및 CVbst의 각 값을, 할레이션 화소 및 암부 화소를 제외한 각 화소의 RGB값에 기초하여, (m×n)개의 영역 Hst 각각에서 산출한다. 또한, 본 실시 형태에서는, 하나의 영역 Hst가 갖는, (lx×ly)개의 화소에서, 예를 들면, 할레이션 화소의 개수와, 암부 화소의 개수의 합이 차지하는 비율이 50%를 초과한 경우, 하나의 영역 Hst를 이후의 처리로부터 제외하는 제어가 행해지는 것이어도 된다.

그 후, 영역 분류부로서의 기능을 갖는 제어부(9a)는, 분할한 영역 Hst에서 각각 산출된 5개의 특징량에 기초한 식별 분류를 실행함으로써, 영역마다의 촬상 대상이 무엇인지를 식별한 후, 그 식별 결과에 기초하여 영역 Hst를 각각 분류한다.

구체적으로는, 우선, 제어부(9a)는, 위 점막, 융모, 변 및 기포로 이루어지는 4개의 클래스의 교사 데이터를 구성하는 화상으로서 미리 준비된, 예를 들면, 도 13, 도 14, 도 15 및 도 16에 도시한 바와 같은 화상에 기초하여, 그 화상의 하나의 영역 각각에서 그 때마다 결정되는, 전술한 5개의 특징량을 산출한 후, 그 4개의 클래스 각각에 관한 선형 판별 함수를 작성한다. 그리고, 제어부(9a)는, 전술한 수순에 의해 산출한, 식별기로서의 선형 판별 함수를 이용하여, 예를 들면, 위 점막, 융모, 변 및 기포로 이루어지는 4개의 클래스 중, 하나의 영역 Hst가 어느 클래스에 속하는지를 식별하고, 그 식별 결과에 기초한 분류를 행한다. 제어부(9a)는, 이상에 설명한 바와 같은 식별 및 분류를 화상 Ii가 갖는 영역 Hst 모두에 대하여 행함으로써, 예를 들면, 도 17에 도시한 바와 같은 화상이 입력된 경우, 도 18에 도시한 바와 같은, 융모와 기포가 분류된 분류 결과를 얻는다(도 11의 스텝 S4).

또한, 본 실시 형태의 제어부(9a)가 화상의 하나의 영역 각각에 대하여, 식별기를 이용하여 행하는 식별 및 분류는, 선형 판별 함수에 의한 것에 한하는 것이 아니라, 예를 들면, 2차 분류 규칙 또는 뉴럴 네트워크 등의 방법에 의한 것이어도 된다. 또한, 본 실시 형태에서는, 제어부(9a)는, 위 점막, 융모, 변 및 기포의 4 클래스 중 어느 하나라고 하는 것으로 하여, 입력되는 화상의 하나의 영역 각각에 대한 식별 및 분류를 행하였지만, 분류되는 클래스의 수 및 종류는, 유저의 용도 등에 따라서, 적절히 변경 또는 추가하는 것이 가능하다. 제어부(9a)는, 전술한 4 클래스 외에 예를 들면, 식도 혹은 대장 점막의 분류를 행하는 것이어도 되고, 또한, 십이지장과 융모를 별도의 클래스로서 취급한 후에 분류를 행하는 것이어도 된다.

또한, 분류 판정치 산출부로서의 기능을 갖는 제어부(9a)는, 전술한 분류 결과에 기초하여, 생체 점막 표면으로서 분류된, 즉, 위 점막 또는 융모로서 분류된 영역수의 합계수 z가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 p의 값을, 하기 수학식 4에 기초하여 산출한다(도 11의 스텝 S5).

그리고, 화상 분류부로서의 기능을 갖는 제어부(9a)는, 화상 Ii가 생체 점막 표면이 충분히 촬상되어 있는 화상인지 여부를 식별하기 위해서, 수학식 4에 의해 산출된 비율 p의 값과, 임계치 thr의 비교를 행한다. 제어부(9a)는, 화상 Ii에서의 비율 p의 값이, 임계치 thr보다 큰 것을 검출하면(도 11의 스텝 S6), 화상 Ii를, 생체 점막 표면이 충분히 촬상되어 있는 화상인, 즉, 관찰이 필요한 화상으로 서 식별 및 분류하고, 참조치로서의 플래그치 flagi를 1로 한다(도 11의 스텝 S7). 또한, 본 실시 형태에서는, 예를 들면, 임계치 thr의 값은 0.5인 것으로 한다.

또한, 제어부(9a)는, 화상 Ii에서의 비율 p의 값이, 임계치 thr 이하인 것을 검출하면(도 11의 스텝 S6), 화상 Ii를, 변 및 기포에 의해 생체 점막 표면이 충분히 촬상되어 있지 않은 화상인, 즉, 관찰이 불필요한 화상으로서 식별 및 분류하고, 플래그치 flagi를 0으로 한다(도 11의 스텝 S8).

그 후, 제어부(9a)는, 입력된 화상 Ii 모두에 대하여, 전술한 처리가 완료되어 있지 않은 경우(도 11의 스텝 S9), 화상 번호 i에 1을 더하고(도 11의 스텝 S10), 다음 화상에 대해서, 도 11의 스텝 S1부터 스텝 S9까지에 나타낸 처리를 계속해서 행한다.

화상 표시 제어부로서의 기능을 갖는 제어부(9a)는, 이상에 설명한 바와 같은 처리를 행함으로써, 유저가 촬상 대상의 상의 관찰을 행할 때에, 플래그치 flagi의 값에 기초하여, 예를 들면, 플래그치 flagi가 1인, 관찰이 필요한 화상만을 디스플레이(8c)에 표시하고, 또한, 플래그치 flagi가 0인, 관찰이 불필요한 화상을 디스플레이(8c)에 비표시로 할 수 있다. 또한, 화상 삭제부로서의 기능을 갖는 제어부(9a)는, 플래그치 flagi가 0인, 관찰이 불필요한 화상을 삭제함으로써, 기억하는 화상 데이터의 사이즈를 삭감하도록 해도 된다.

또한, 이상에 설명한 처리 중, 도 11의 스텝 S5에 도시한 처리에서, 제어부(9a)는, 위 점막 또는 융모로서 분류된 영역수를 합계한 값 z로부터 비율 p를 산출했다. 그러나, 제어부(9a)가 행하는 처리는, 이와 같은 것에 한하는 것이 아니 라, 예를 들면, 이하에 기재한 바와 같은, 위 점막으로서 분류된 영역수 z1과, 융모로서 분류된 영역수 z2를 개별로 취급하는 것이어도 된다.

그 경우, 제어부(9a)는, 도 11의 스텝 S5에 도시한 처리에서, 위 점막 또는 융모로서 분류된 영역수의 합계수 (z1+z2)가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 p의 값을, 하기 수학식 5에 기초하여 산출한다.

또한, 제어부(9a)는, 각각의 클래스로 분류된 영역수에 기초하여, 그 영역수가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율을, 클래스마다 개별로 산출하는 처리를 행하는 것이어도 된다.

우선, 제어부(9a)는, 도 11의 스텝 S1부터 스텝 S4까지의 처리를 행함으로써, 화상 Ii가 갖는 영역 Hst 모두에 대한 분류 결과를 얻는다(도 19의 스텝 S11). 그리고, 위 점막으로서 분류된 영역수를 z1, 융모로서 분류된 영역수를 z2, 변으로서 분류된 영역수를 z3으로 하면, 제어부(9a)는, 상기 수학식 4에 기초하여, 위 점막으로서 분류된 영역수 z1이 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 p1과, 융모로서 분류된 영역수 z2가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 p2와, 변으로서 분류된 영역수 z3이 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 p3을 각각 산출한다(도 19의 스텝 S12).

그리고, 제어부(9a)는, 비율 p1의 값과, 임계치 thr1의 비교를 행한다. 화상 분류부로서의 기능을 갖는 제어부(9a)는, 화상 Ii에서의 비율 p1의 값이, 임계 치 thr1보다 큰 것을 검출하면(도 19의 스텝 S13), 화상 Ii를, 피사체로서 위의 상이 촬상된 것인 것으로서, 식별 및 분류한다(도 19의 스텝 S14). 또한, 본 실시 형태에서는, 예를 들면, 임계치 thr1의 값은 0.8인 것으로 한다.

또한, 제어부(9a)는, 화상 Ii에서의 비율 p1의 값이, 임계치 thr1 이하인 것을 검출하면(도 11의 스텝 S13), 이번에는, 비율 p2의 값과, 임계치 thr2의 비교를 행한다. 화상 분류부로서의 기능을 갖는 제어부(9a)는, 화상 Ii에서의 비율 p2의 값이, 임계치 thr2보다 큰 것을 검출하면(도 19의 스텝 S15), 화상 Ii를, 피사체로서 소장(의 융모)의 상이 촬상된 것인 것으로서, 식별 및 분류한다(도 19의 스텝 S16). 또한, 본 실시 형태에서는, 예를 들면, 임계치 thr2의 값은 0.8인 것으로 한다.

또한, 제어부(9a)는, 화상 Ii에서의 비율 p2의 값이, 임계치 thr2 이하인 것을 검출하면(도 11의 스텝 S15), 이번에는, 비율 p3의 값과, 임계치 thr3의 비교를 행한다. 화상 분류부로서의 기능을 갖는 제어부(9a)는, 화상 Ii에서의 비율 p3의 값이, 임계치 thr3보다 큰 것을 검출하면(도 19의 스텝 S17), 화상 Ii 중에 있어서의 변이 차지하는 비율이 크기 때문에, 화상 Ii를, 피사체로서 대장의 상이 촬상된 것인 것으로서, 식별 및 분류한다(도 19의 스텝 S18). 또한, 본 실시 형태에서는, 예를 들면, 임계치 thr3의 값은 0.8인 것으로 한다.

그 후, 제어부(9a)는, 이상까지의 처리에서, 위 점막, 융모 및 변 중 어느 화상으로서도 식별 및 분류되지 않았던 화상에 대한 식별 및 분류를 보류한다. 그리고, 제어부(9a)는, 입력된 화상 Ii의 모두에 대하여, 전술한 처리가 완료되어 있 지 않은 경우(도 19의 스텝 S19), 화상 번호 i에 1을 더하고(도 19의 스텝 S20), 다음 화상에 대해서, 도 19의 스텝 S11부터 스텝 S19까지에 나타낸 처리를 계속해서 행한다.

제어부(9a)는, 이상에 설명한, 도 19의 스텝 S11부터 스텝 S19까지의 처리를 행함으로써, 소장이 촬상된 화상 및 대장이 촬상된 화상으로서 식별 및 분류된 화상을 각각 특정한다. 환언하면, 제어부(9a)는, 이상에 설명한, 도 19의 스텝 S11부터 스텝 S19까지의 처리를 행함으로써, 피사체로서 촬상된 장기가 위, 소장 또는 대장 중 어느 것인지를 검출할 수 있다.

또한, 유저가 촬상 대상의 상의 관찰을 행할 때는, 도 20에 도시한 바와 같은, GUI를 구비한 뷰어가 단말 장치(7)의 디스플레이(8c)에 표시된다. 도 20에 도시한 뷰어의 메인 화면(101)은, 촬상 대상의 상의 화상이 표시되는 화상 표시부(102)와, 환자 및 검사 내용에 관한 정보가 표시되는 환자/검사 정보 표시부(103)와, 화상의 매수 등이 표시되는 화상 정보 표시부(104)와, 화상 표시부(102)에 대한 표시 제어를 행하는 화상 표시 제어부(105)와, 슬라이더(106)를 갖고 있다.

슬라이더(106)는, 도시하지 않은 마우스 커서를 이용한 지시가 행해짐으로써, 그 지시에 기초하는 원하는 화상을 화상 표시부(102)에 표시하는 기능을 갖고 있다. 또한, 이 슬라이더(106)는, 소장이 촬상된 화상 및 대장이 촬상된 화상의 개시 위치를 지시하기 위한 안내 표시부(107)를 갖는다. 이 때문에, 유저는, 예를 들면, 소장의 출혈이 의심되는 증례에 대해서는, 소장을 우선적으로 또한 효율적으 로 관찰하는 등과 같은, 체강 내의 원하는 부위의 관찰을 용이하게 행할 수 있다. 또한, 도 20에 도시한 뷰어의 메인 화면(101)에서는, 예를 들면, 도시하지 않은 「소장」 등의 기재가 이루어진 버튼이 설치되어 있어도 된다. 이 경우, 유저는, 상기 버튼을 도시하지 않은 마우스 커서를 이용하여 클릭함으로써, 소장이 촬상된 화상을 직접 표시하여 관찰을 행할 수 있다.

또한, 본 실시 형태의 화상 처리 방법에서는, 단말 장치(7)의 제어부(9a)는, 화상 Ii를, x축 방향의 화소수 lx×y축 방향의 화소수 ly로 이루어지는 사각형 영역으로 분할했지만, 또한, 예를 들면, x축 방향의 화소수 lx/2 및 y축 방향의 화소수 ly/2의 크기로 이루어지는 영역을 그 사각형 영역에 중복시켜 마찬가지의 처리를 행하는 것이어도 된다. 이 경우, 분류 대상으로 되는 각 클래스의 경계가 상기 사각형 영역에 포함되었을 때에 생길 수 있는 오분류를 경감하는 것이 가능해진다.

또한, 전술한 바와 같이, 단말 장치(7)의 제어부(9a)는, 본 실시 형태의 화상 처리 방법을 이용함으로써, 위 점막과 융모를 개별 클래스로서 식별 및 분류를 행하였지만, 예를 들면, 위 점막 및 융모를 1개의 클래스인 「생체 점막 표면」으로서 식별 및 분류를 행한 후, 또한, 「생체 점막 표면」으로서 분류된 영역 Hst에 대하여, 위 점막 및 융모의 2개의 클래스에서의 식별 및 분류를 다시 행하는 것이어도 된다.

또한, 캡슐형 내시경(3)은, 체강 내에 배치된 후, 위로부터 소장으로 순차적으로 진행해 간다. 이 때문에, 단말 장치(7)의 제어부(9a)는, 얻어진 분류 결과에 기초하여, 예를 들면, 전체 영역수에 대하여 융모로 분류된 영역의 비율이 0.7을 초과한 시점에서, 위 점막 클래스로의 분류를 정지하는 처리를 행하는 것이어도 된다.

또한, 본 실시 형태의 화상 처리 방법은, 예를 들면, 식도 클래스 및 대장 클래스를 설정함으로써, 점막 표면의 색조 및 모양의 차이에 의한 식별기를 실현한다고 하는 용도로서 이용하는 것도 가능하다. 또한, 본 실시 형태의 화상 처리 방법은, 전체 영역수에 대하여 변으로 분류된 영역의 비율이 많고, 또한, 전체 영역수에 대하여 융모로 분류된 영역의 비율이 적어진 경우에 대장으로 식별하는 용도로서 이용하는 것도 가능하다.

이상에 설명한 바와 같이, 본 실시 형태에서의 화상 처리 방법에 따르면, 생체 점막 표면의 상으로서의 위 점막 및 융모의 상과, 생체 점막 표면과는 상이한 것인, 이물 또는 비생체 점막의 상으로서의 변 및 기포의 상을 화상마다 식별 및 분류하고, 관찰이 필요한 화상만을 디스플레이(8c)에 표시할 수 있다. 이 때문에, 유저는, 생체 점막 표면의 상이 양호하게 촬상되어 있지 않은 화상이 제외된 상태에서 체강 내의 관찰을 행할 수 있고, 그 결과, 캡슐형 내시경 장치(1)를 이용한 관찰 효율의 향상을 도모할 수 있다.

또한, 이상에 설명한 본 실시 형태의 화상 처리 방법은, 예를 들면, 출혈 또는 발적 등의 병변 부위의 검출을 행하는 화상 처리 방법과 조합하여 이용됨으로써, 병변 부위의 검출 결과가 생체 점막 표면 상으로부터 얻어진 것인지 여부를 판정할 수 있고, 그 결과, 병변 부위의 검출 정밀도를 높일 수 있다. 구체적으로는, 단말 장치(7)의 제어부(9a)는, 출혈 또는 발적 등의 병변 부위의 검출을 행하는 화 상 처리 방법을 이용하여, 병변이 의심되는 영역으로서 추출된 영역 Hst의 분류 결과를 참조하여, 그 분류 결과가 변, 기포 등의 비생체 점막 표면 상인 경우에는 오검출로서 취급하는 처리를 행함으로써, 병변 부위의 검출 정밀도를 높일 수 있다.

또한, 본 실시 형태에 따르면, 생체 점막 표면의 상으로서 분류된 각각의 영역에 대하여, 또한, 예를 들면, 상기 각각의 영역이 갖는 특징량에 기초하여, 정상적인 점막의 상과 병변 부위의 상으로 분류하는 화상 처리 방법을 이용함으로써, 병변 부위의 검출 정밀도를 높일 수 있다.

(제2 실시 형태)

도 21은, 본 발명의 제2 실시 형태에 따른 것이다. 또한, 제1 실시 형태와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 21은, 본 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트이다.

우선, 제어부(9a)는, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초하는 화상 신호를 입력하고, 입력된 i번째의 화상 Ii를 구성하는 Ri, Gi 및 Bi의 각 플레인에 대하여, 전처리로서, 예를 들면, 메디안 필터링에 의한 노이즈 제거 및 역γ보정을 행함과 함께, 할레이션 화소 및 암부 화소를 이후의 처리 대상으로부터 제외하기 위해서, 임계치에 기초하는 처리에 의해 검출해 둔다(도 21의 스텝 S21). 그리고, 상기 임계치에 기초하는 처리는, 예를 들면, rik, gik 및 bik의 농도치 모두가 10 이하의 값이면 암부 화소, 또한, rik, gik 및 bik의 농도치 모두가 230 이상의 값이면 할레이션 화소로 하는 처리로서 행해진다.

그 후, 제어부(9a)는, Ri, Gi 및 Bi의 각 플레인을 소영역으로 분할한다(도 21의 스텝 S22). 또한, 본 실시 형태에서, 제어부(9a)는, 제1 실시 형태에서 행한 방법과 마찬가지로, Ri, Gi 및 Bi의 각 플레인을, x축 방향의 화소수 lx×y축 방향의 화소수 ly(1≤lx, 1≤ly)로 이루어지는 사각형 영역으로 분할하는 것으로 하고, 그 영역수는 (m×n)개(m=ISX/lx, n=ISY/ly)인 것으로 한다. 또한, 제어부(9a)는, m 또는 n이 정수로 되지 않는 경우에서는, 크기가 우수리로 되는 최단부의 영역을, 우수리의 화소수를 갖는 영역으로서 처리하거나, 또는 이후의 처리 대상으로부터 제외하는 것으로 한다.

제어부(9a)는, 분할한 각 영역에서, 촬상 대상의 상의 화상 상에서의 색의 차이를 반영하는 색조 정보, 및 촬상 대상의 상의 화상 상에서의 구조의 차이를 반영하는 텍스쳐 정보를 특징량으로서 산출한다(도 21의 스텝 S23). 또한, 본 실시 형태의 화상 처리 방법에서는, 제어부(9a)에서 분할된 영역 중, 하나의 영역을 Hj(1≤j≤m×n)로 나타내는 것으로 한다.

본 실시 형태에서, 제어부(9a)가 산출하는 색조 정보는, 하나의 영역 Hj에 포함되는 각 화소의 RGB값의 비에 기초한 값으로서의, gik/rik의 평균치(이후, μ gj라고 함) 및 bik/rik의 평균치(이후, μbj라고 함)로 이루어지는, 2개의 특징량으로서 나타내어지는 값이다. 또한, μgj 및 μbj의 각 값은, 0 내지 1의 값을 취하는 것으로 한다. 또한, μgj 및 μbj의 각 값은, 예를 들면, 위 점막과 같은 비교적 적색조를 나타내는 영역에서는, 대략 마찬가지로 작은 값을 취한다. 한편, μgj 및 μbj의 각 값은, 예를 들면, 소장과 같은 비교적 백색조를 나타내는 영역에서는, 대략 마찬가지로 큰 값을 취한다. 또한, μgj 및 μbj의 각 값은, 예를 들면, 변과 같은 비교적 황색조를 나타내는 영역에서는, μgj>μbj로 되는 값을 취한다.

본 실시 형태에서, 제어부(9a)가 산출하는 텍스쳐 정보는, 전술한 바와 같이, 촬상 대상의 상의 화상 상에서의 구조의 차이를 반영하는 것이다. 그리고, 촬상 대상의 상의 화상 상에서의 구조는, 예를 들면, 점막 표면에서의 융모 등의 미세 구조, 및 변이 갖는 부정형한 모양 등으로서 나타내어지는 것이다. 구체적으로는, 제어부(9a)가 산출하는 텍스쳐 정보는, 하나의 영역 Hj에 포함되는 각 화소의 RGB값의 표준 편차 σrj, σgj 및 σbj를, 하나의 영역 Hj에 포함되는 각 화소의 RGB값의 평균치 mrj, mgj 및 mbj로 나눈 것인, 3개의 특징량으로서 나타내어지는 RGB값의 변동 계수 CVrj, CVgj 및 CVbj이다. 또한, 변동 계수 CVrj, CVgj 및 CVbj를 산출하기 위한 계산식은, 하기 수학식 6, 수학식 7 및 수학식 8로서 나타내어진다.

상기 수학식 6, 수학식 7 및 수학식 8에 의해 산출되는 변동 계수 CVrj, CVgj 및 CVbj에 의해, 촬상 대상에 대하여 공급되는 조명 광량의 차이 등에 의한 영향에 상관없이, 텍스쳐 구조에 의한 화소 변동의 정도를 수치화할 수 있다. CVrj, CVgj 및 CVbj의 각 값은, 예를 들면, 확대 관찰을 행하고 있지 않은 상태인, 통상 관찰에서 촬상된 위 점막과 같은, 화상 상에서의 구조가 비교적 평탄한 영역에서는, 명료한 텍스쳐 구조가 없기 때문에, 대략 마찬가지로 작은 값을 취한다. 한편, CVrj, CVgj 및 CVbj의 각 값은, 예를 들면, 소장의 융모와 같은, 화상 상에서의 구조에 엣지를 비교적 많이 포함하는 영역에서는, 대략 마찬가지로 큰 값을 취한다.

그리고, 제어부(9a)는, 색조 정보 및 텍스쳐 정보로 이루어지는 5개의 특징량, 즉, μgj, μbj, CVrj, CVgj 및 CVbj의 각 값을, 할레이션 화소 및 암부 화소를 제외한 각 화소의 RGB값에 기초하여, (m×n)개의 영역 Hj 각각에서 산출한다. 또한, 본 실시 형태에서는, 하나의 영역 Hj가 갖는, (lx×ly)개의 화소에서, 예를 들면, 할레이션 화소의 개수와, 암부 화소의 개수의 합이 차지하는 비율이 50%를 초과한 경우, 하나의 영역 Hj를 이후의 처리로부터 제외하는 제어가 행해지는 것이 어도 된다.

그 후, 제어부(9a)는, 이후에 설명하는 처리를 행하기 위해서, 하나의 영역 Hj의 영역 번호 j를 j=1로 한다(도 21의 스텝 S24). 그리고, 제어부(9a)는, 베이즈의 정리에 기초한 통계적 식별기를 이용하여, 위 점막, 융모, 변 및 기포로 이루어지는 4개의 클래스 중, 하나의 영역 Hj가 어느 클래스에 속하는지를 식별하고, 그 식별 결과에 기초한 분류를 행한다.

구체적으로는, 4개의 클래스의 식별 및 분류에 있어서, 하나의 클래스 ωa(a=1, 2, …, C, C는 클래스수를 나타냄)가 발생하는 사전 확률을 P(ωa)로 하고, 하나의 영역 Hj에서의 5개의 특징량으로부터 결정된 특징 벡터를 x로 하고, 전체 클래스로부터의 특징 벡터 x의 발생 확률에 기초하는 확률 밀도 함수를 p(x)로 하고, 하나의 클래스 ωa로부터의 특징 벡터 x의 발생 확률에 기초한 상태 의존 확률 밀도(다변량 정규 확률 밀도) 함수를 p(x|ωa)로 하면, 발생한 특징 벡터 x가 하나의 클래스 ωa에 속하는 사후 확률 P(ωa|x)를 산출하기 위한 계산식은, 하기 수학식 9로서 나타내어진다.

또한, 상태 의존 확률 밀도 함수 p(x|ωa) 및 확률 밀도 함수 p(x)는, 하기 수학식 10 및 수학식 11로서 나타내어진다.

또한, 상기 수학식 10 및 수학식 11에 있어서, d는 x의 특징량의 개수와 동수인 차원수를 나타내고 μa 및 Σa는 클래스 ωa에서의 특징 벡터 x의 평균 q벡터 및 하나의 클래스 ωa에서의 분산 공분산 행렬을 나타내는 것으로 한다. 또한, (x-μa)^t는 (x-μa)의 전치 행렬을 나타내고, |Σa|는 Σa의 행렬식을 나타내고, Σa^-1은 Σa의 역행렬을 나타내는 것으로 한다. 또한, 설명을 간단히 하기 위해서, 사전 확률 P(ωa)는, 전체 클래스에서 동일한 값을 취한다고 가정하고, 또한, 확률 밀도 함수 p(x)는, 상기 수학식 11에 의해 전체 클래스 공통의 함수로서 나타내어지는 것으로 한다.

분류 기준으로서의 평균 벡터 μa 및 분산 공분산 행렬 Σa는, 하나의 클래스 ωa에서의 모수를 구성하는 요소이며, 1번째의 화상 I1이 단말 장치(7)에 입력되기 이전의 단계에서, 위 점막, 융모, 변 및 기포로 이루어지는 4개의 클래스의 교사 데이터를 구성하는 복수의 화상, 예를 들면, 도 13, 도 14, 도 15 및 도 16에 도시한 바와 같은 화상에 기초하여, 그 화상의 하나의 영역 각각에서 그 때마다 결정되는 특징 벡터 x로부터, 클래스마다 미리 산출된 후, 초기치로서 단말 장치(7) 에 각각 기억된다.

또한, 평균 벡터 μa는, 특징 벡터 x가 갖는 5개의 특징량 각각의 평균치로 이루어지고, 또한, 특징 벡터 x와 동일한 차원수를 갖는 벡터이다. 즉, 특징 벡터 x가 x=(x1, x2, x3, x4, x5)로서 표시되는 경우, 평균 벡터 μa는, 특징 벡터 x가 갖는 5개의 특징량 각각의 평균치인, μx1, μx2, μx3, μx4 및 μx5를 이용하여, μa=(μx1, μx2, μx3, μx4, μx5)로서 나타내어지는 것으로 한다. 또한, 분산 공분산 행렬 Σa는, 하나의 클래스 ωa에 속하는 특징 벡터 x의 분포의 변동 및 확대 상태를 나타내는 행렬이며, 특징 벡터 x의 특징량의 개수와 동수인 차원수 d에 대하여, d×d 행렬로서 나타내어지는 것으로 한다.

제어부(9a)는, 발생한 특징 벡터 x가 클래스 ω1에 속하는 사후 확률 P(ω1|x)와, 발생한 특징 벡터 x가 클래스 ω2에 속하는 사후 확률 P(ω2|x)와, 발생한 특징 벡터 x가 클래스 ω3에 속하는 사후 확률 P(ω3|x)와, 발생한 특징 벡터 x가 클래스 ω4에 속하는 사후 확률 P(ω4|x)를, 베이즈의 정리에 기초한 상기 수학식 9 내지 수학식 11을 이용하여 각각 산출한다. 그리고, 제어부(9a)는, 이들 4개의 사후 확률 중, 최대의 사후 확률 P1(ωa|x)을 부여하는 클래스 ωa에 특징 벡터 x가 속하는 것으로서 식별을 행하고, 그 식별 결과에 기초하여 특징 벡터 x가 발생한 영역인 하나의 영역 Hj를 클래스 ωa로 분류함(도 21의 스텝 S25)과 함께, 최대의 사후 확률 P1(ωa|x)을 부여하는 확률 밀도 함수 p1(x|ωa)의 값을 산출한다.

그리고, 제어부(9a)는, 이상까지의 처리에서, 클래스 ωa로 분류된 하나의 영역 Hj의 분류 결과가 정확한 것인지의 여부를 판정하기 위해서, 평균치로부터의 거리에 기초하는 처리, 즉, 최대의 사후 확률 P1(ωa|x)을 부여하는 확률 밀도 함수 p1(x|ωa)의 값에 대한 임계치에 기초하는 처리를 더 행한다.

구체적으로는, 우선, 제어부(9a)는, 평균 μa가 갖는 5개의 특징량 각각의 평균치 중, 예를 들면, 특징량 x1의 평균치 μx1에 대하여, 특징량 x1의 표준 편차 σx1과, 소정의 상수로서의 승산 계수 α의 곱을 더한 값을 포함하는, 임계치 벡터 xb1을 결정한다. 또한, 이러한 임계치 벡터 xb1은, 예를 들면, 하기 수학식 12으로서 나타내어지는 것이며, 또한, 본 실시 형태에서는, 승산 계수 α의 값은 1.5인 것으로 한다.

상기 수학식 12에 의해 임계치 벡터 xb1이 결정되면, 제어부(9a)는, 임계치 벡터 xb1을 상기 수학식 9, 수학식 10 및 수학식 11의 x로서 대입하고, 하나의 영역 Hj가 분류된 클래스 ωa의 임계치로서의, 확률 밀도 함수 p(xb1|ωa)의 값을 산출한다.

그리고, 제어부(9a)는, p1(x|ωa)의 값이 p(xb1|ωa)의 값보다 큰 것을 검출하면(도 21의 스텝 S26), 도 21의 스텝 S25에 도시한 처리에서, 하나의 영역 Hj를 클래스 ωa로 분류한 분류 결과가 정확하다고 판단한다(도 21의 스텝 S27).

또한, 제어부(9a)는, p1(x|ωa)의 값이 p(xb1|ωa)의 값 이하인 것을 검출하면(도 21의 스텝 S26), 도 21의 스텝 S25에 도시한 처리에서, 하나의 영역 Hj를 클 래스 ωa로 분류한 분류 결과가 부정확하다고 판단하고, 하나의 영역 Hj를 불명료 클래스로 분류한다(도 21의 스텝 S28).

그리고, 제어부(9a)는, 분할한 (m×n)개의 영역 모두에 대한 분류가 완료되어 있지 않은 경우(도 21의 스텝 S29), 영역 번호 j에 1을 더하고(도 21의 스텝 S30), 다음 영역에 대해서, 도 21의 스텝 S25부터 스텝 S29까지에 나타낸 처리를 행한다.

또한, 제어부(9a)는, 입력된 화상 Ii의 모두에 대하여, 전술한 처리가 완료되어 있지 않은 경우(도 21의 스텝 S31), 화상 번호 i에 1을 더하고(도 21의 스텝 S32), 다음 화상에 대해서, 도 21의 스텝 S21부터 스텝 S31까지에 나타낸 처리를 계속해서 행한다.

또한, 이상의 설명에서는, 색조 정보 및 텍스쳐 정보에 기초한 5개의 특징량 모두를 한 번에 이용하여 특징 벡터 x를 결정하는, 5차원의 다변량 정규 확률 밀도를 규정하는 경우에 대하여 설명했다. 그러나, 본 실시 형태에서의 화상 처리 방법에서는, 예를 들면, 색조 정보 및 텍스쳐 정보에 대한 각각의 특징량을 개별로 이용하여 2 종류의 특징 벡터 xc 및 xt를 결정하고, 1개의 클래스에 대하여 2개의 다변량 정규 확률 밀도를 규정함으로써, 화상의 분류를 더욱 고정밀도로 행할 수 있다.

구체적으로는, 우선, 제어부(9a)는, 색조 정보를 구성하는 2개의 특징량 μgj 및 μbj에 대한 상태 의존 확률 밀도 함수를 pc(xc|ωa)로 하고, 또한, 텍스쳐 정보를 구성하는 3개의 특징량 CVrj, CVj 및 CVbj에 대한 상태 의존 확률 밀도 함 수를 pt(xt|ωa)로 하여 각각 산출한다. 또한, xc는, xc=(μgj, μbj)로서 나타내어지는 2차원의 벡터이고, 또한, xt는, xt=(Cvrj, Cvgj, Cvbj)로서 나타내어지는 3차원의 벡터이다.

또한, 클래스 ωa로의 분류 결과의 정확성을 판단하기 위한 임계치는, 색조 정보 및 텍스쳐 정보의 특징량 각각의 평균 벡터 μc 및 μt와, 표준 편차 σc1 및 σt1에 기초하여, 예를 들면, p(xcb|ωa) 및 p(xtb|ωa)로서 설정된다. 그리고, 제어부(9a)는, p1(xc|ωa)>p(xcb|ωa)이고, 또한, p1(xt|ωa)>p(xtb|ωa)이면, 분류 결과는 정확한 것으로 하여, 특징 벡터 xc 및 특징 벡터 xt를 갖는 하나의 영역 Hj를, 위 점막, 융모, 변 또는 기포 중 어느 하나의 클래스로서 분류하고, 그렇지 않으면 불명료 클래스로서 분류한다.

또한, 이상의 설명에서, 사전 확률 P(ωa)는, 전체 클래스에서 동일하다고 가정했지만, 이에 한정되는 것은 아니다. 사전 확률 P(ωa)는, 예를 들면, 캡슐형 내시경(3)이 촬상하는 부위의 시간 배분에 기초하여, 융모 클래스 또는 변 클래스의 사전 확률 P(ωa)를 높게 설정하거나, 캡슐형 내시경(3)이 촬상한 부위의 오분 류에 의한 리스크에 기초하여, 위 점막 클래스 및 융모 클래스의 사전 확률 P(ωa)를, 관찰 불필요로 하는 변 클래스 및 기포 클래스보다 높게 설정하거나 하는 등, 다양한 용도에 따른 값으로 설정되는 것이어도 된다.

이상에 설명한 바와 같이, 본 실시 형태에서의 화상 처리 방법에 따르면, 생체 점막 표면의 상으로서의 위 점막 및 융모의 상과, 이물 또는 비생체 점막의 상으로서의 변 및 기포의 상을 화상의 소영역마다 식별 및 분류할 수 있다. 이 때문에, 유저는, 화상의 소영역의 대부분을 이물의 상이 차지하는, 생체 점막 표면의 상이 양호하게 촬상되어 있지 않은 화상을, 관찰 불필요한 화상으로서 용이하게 제외할 수 있으며, 그 결과, 캡슐형 내시경 장치(1)에서의 관찰 효율의 향상을 도모할 수 있다.

또한, 본 실시 형태에서의 화상 처리 방법에 따르면, 예를 들면, 특징량이 분류 대상 클래스의 분포 경계 또는 분포 중복 범위에 해당하는 등의 이유에 의해, 확실한 분류가 곤란해지는 화상이 존재하는 경우, 그 화상을 불명료 클래스로서 분류할 수 있다. 이 때문에, 단말 장치(7)의 제어부(9a)는, 본 실시 형태에서의 화상 처리 방법을 이용한 처리를 행함으로써, 신뢰성이 높은 화상 분류 결과를 얻을 수 있다.

(제3 실시 형태)

도 22는, 본 발명의 제3 실시 형태에 따른 것이다. 또한, 제1 실시 형태 및 제2 실시 형태와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태 및 제2 실시 형태와 마찬가지의 구성 요소에 대해서는, 동일 한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태 및 제2 실시 형태의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 22는, 본 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트이다.

제어부(9a)는, 본 실시 형태에 따른 화상 처리 방법을 행하기 전에, 우선, 입력된 i번째의 화상 Ii에 대하여, 제2 실시 형태에서 설명한, 도 21에 도시하는, 스텝 S21부터 스텝 S30까지의 처리를 행하여, 화상 Ii에 대한 분류 결과를 얻는다(도 22의 스텝 S41). 또한, 본 실시 형태에서, 도 22의 스텝 S41에 도시한 처리를 행함으로써 제어부(9a)가 얻는 분류 결과는, 화상 내의 각 영역이 위 점막 클래스, 융모 클래스, 변 클래스, 기포 클래스 및 불명료 클래스로 이루어지는 5개의 클래스 중 어느 하나로 분류된 분류 결과인 것으로 한다.

그리고, 분류 판정치 산출부로서의 기능을 갖는 제어부(9a)는, 화상 Ii에 대한 분류 결과에 기초하여, 융모 클래스로 분류된 영역수가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 J의 값을 산출한다(도 22의 스텝 S42). 또한, 비율 J는, 구체적으로는, 예를 들면, 상기 수학식 4에서의 p를 J로, 또한, z를 융모 클래스로 분류된 영역수 za로 치환함으로써 산출되는 값이다.

그 후, 제어부(9a)는, 비율 J의 값과 임계치 thrJ의 비교를 행한다. 영역 분류부로서의 기능을 갖는 제어부(9a)는, 화상 Ii에서의 비율 p의 값이, 임계치 thrJ보다 큰 것을 검출하면(도 22의 스텝 S43), 화상 Ii의 각 영역 Hj에서, 위 점막 클래스로 분류되어 있던 영역을 융모 클래스로서 재분류한다(도 22의 스텝 S44). 또한, 본 실시 형태에서는, 예를 들면, 임계치 thrJ의 값은 0.5인 것으로 한다.

또한, 영역 분류부로서의 기능을 갖는 제어부(9a)는, 화상 Ii에서의 비율 p의 값이, 임계치 thrJ 이하인 것을 검출하면(도 22의 스텝 S43), 화상 Ii의 각 영역 Hj에서, 융모 클래스로 분류되어 있던 영역을 위 점막 클래스로서 재분류한다(도 22의 스텝 S45).

그리고, 제어부(9a)는, 화상 Ii에 대한, 전술한 바와 같은 처리에 의한 재분류가 완료되면, 이번에는 (i+1)번째의 화상 Ii+1에 대하여, 도 22의 스텝 S41부터의 일련의 처리를 행한다(도 22의 스텝 S46).

이상에 설명한 바와 같이, 제어부(9a)에 의해 본 실시 형태에서의 화상 처리 방법을 이용한 처리가 행해지는 경우, 유저는, 제2 실시 형태에서 설명한 효과와 마찬가지의 효과로서, 캡슐형 내시경 장치(1)를 이용한 관찰에서의 관찰 효율의 향상을 도모할 수 있다고 하는 효과를 얻을 수 있다.

또한, 본 실시 형태에서의 화상 처리 방법을 이용한 경우, 단말 장치(7)의 제어부(9a)는, 분류 결과를 얻은 화상에 대하여, 또한, 위 점막 및 융모의 각 클래스로 분류된 영역 Hj를 배타적으로 치환하여 재분류하는 처리를 행한다. 이 때문에, 단말 장치(7)의 제어부(9a)는, 본 실시 형태에서의 화상 처리 방법을 이용한 처리를 행함으로써, 하나의 화상 내에 혼재하여 존재할 수 없는, 위 점막의 상의 화상과 (소장의) 융모의 상의 화상의 분류를 행하는 경우에서의 오분류를 없앨 수 있으며, 그 결과, 정밀도가 높은 화상 분류 결과를 얻을 수 있다.

(제4 실시 형태)

도 23은, 본 발명의 제4 실시 형태에 따른 것이다. 또한, 제1 실시 형태부터 제3 실시 형태까지와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태부터 제3 실시 형태까지와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태부터 제3 실시 형태까지의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 23은, 본 실시 형태에 따른 화상 처리 동작을 설명하는 플로우차트이다.

제어부(9a)는, 본 실시 형태에 따른 화상 처리 방법을 행하기 전에, 우선, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초한 화상 신호를 입력하고, 입력된 i번째의 화상 Ii에 대하여, 제2 실시 형태에서 설명한, 도 21에 도시하는, 스텝 S21부터 스텝 S30까지의 처리를 행하여, 화상 Ii에 대한 분류 결과를 얻는다(도 23의 스텝 S51). 또한, 본 실시 형태에서, 도 23의 스텝 S51에 도시한 처리를 행함으로써 제어부(9a)가 얻는 분류 결과는, 화상 내의 각 영역이 변 클래 스, 기포 클래스, 불명료 클래스 및 생체 점막 클래스로 이루어지는 4개의 클래스 중 어느 하나로 분류된 분류 결과인 것으로 한다.

그 후, 제어부(9a)는, 이후에 설명하는 처리를 행하기 위해서, 하나의 영역 Hj의 영역 번호 j를 j=1로 한다(도 23의 스텝 S52). 그리고, 제어부(9a)는, 화상 Ii에 대한 분류 결과로부터, 영역 Hj를 생체 점막 클래스로 분류했는지의 여부를 판정한다(도 23의 스텝 S53).

제어부(9a)는, 영역 Hj를 생체 점막 클래스로 분류한 것을 검출하면, 교사 데이터를 구성하는 위 점막의 화상 및 융모의 화상이 각각 갖는 특징량에 기초하여 산출된 평균 벡터 μa 및 분산 공분산 행렬 Σa가 대입된 상기 수학식 9 내지 수학식 11을 이용하여, 그 영역 Hj에서 발생한 특징 벡터 x가 위 점막 클래스(a=1로 함)에 속하는 사후 확률 P(ω1|x)와, 발생한 특징 벡터 x가 융모 클래스(a=2로 함)에 속하는 사후 확률 P(ω2|x)를 각각 산출한다. 그리고, 제어부(9a)는, 이들 2개의 사후 확률 중, 최대의 사후 확률 P2(ωa|x)를 부여하는 클래스에 특징 벡터 x가 속하는 것으로서 식별을 행하고, 그 식별 결과에 기초하여 특징 벡터 x가 발생한 영역인 하나의 영역 Hj를 위 점막 클래스 또는 융모 클래스 중 어느 하나로 분류한다(도 23의 스텝 S54).

그리고, 제어부(9a)는, 분할한 (m×n)개의 영역 모두에 대한 분류가 완료되어 있지 않은 경우(도 23의 스텝 S55), 영역 번호 j에 1을 더하고(도 23의 스텝 S56), 다음 영역에 대해서, 도 23의 스텝 S53부터 스텝 S55까지에 나타낸 처리를 행한다.

또한, 제어부(9a)는, 화상 Ii에 대한, 전술한 바와 같은 처리에 의한 분류를 완료하면, 이번에는 (i+1)번째의 화상 Ii+1에 대하여, 도 23의 스텝 S51부터의 일련의 처리를 행한다(도 23의 스텝 S57).

또한, 본 실시 형태에서의 화상 처리 방법을 이용한 처리를 행하는 경우, 단말 장치(7)의 제어부(9a)는, 분류 결과를 얻은 화상에 대하여, 또한, 생체 점막 클래스로 분류된 영역 Hj를, 위 점막 클래스 또는 융모 클래스로서 재분류하는 처리를 행한다. 이 때문에, 단말 장치(7)의 제어부(9a)는, 본 실시 형태에서의 화상 처리 방법을 이용한 처리를 행함으로써, 위 점막의 상의 화상과 (소장의) 융모의 상의 화상의 분류를 고정밀도로 행할 수 있다. 그리고, 단말 장치(7)의 제어부(9a)는, 본 실시 형태에서의 화상 처리 방법과, 제3 실시 형태에서의 화상 처리 방법과 조합하여 이용함으로써, 위 점막의 상의 화상과 (소장의) 융모의 상의 화상이 더욱 고정밀도로 분류된 분류 결과를 얻을 수 있다.

또한, 본 발명에서의 제1 실시 형태 내지 제4 실시 형태에서 설명한 화상 처리 방법은, 캡슐형 내시경 장치(1)의 캡슐형 내시경(3)이 촬상한 상의 화상에 대하여 이용되는 것에 한하지 않고, 예를 들면, 촬상 소자 및 대물 광학계를 삽입부의 선단부에 갖는 내시경을 갖는 내시경 장치가 촬상한 상의 화상에 대하여 이용되는 것이어도 된다.

(제5 실시 형태)

도 24 및 도 25는, 본 발명의 제5 실시 형태에 따른 것이다. 또한, 제1 실시 형태부터 제4 실시 형태까지와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태부터 제4 실시 형태까지와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태부터 제4 실시 형태까지의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다. 또한, 본 실시 형태에서는, 제어부(9a)는, 단말 장치(7)에 미리 입력된 상태의 일련의 화상에 대하여, 이후에 설명하는 화상 처리를 이용하는 것으로 한다.

도 24는, 본 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트이다. 도 25는, 본 실시 형태에 따른 화상 처리 동작의 일부로서, 도 24의 플로우차트에 도시한 처리가 행해진 후에 행해지는, 화상의 표시 제어 동작을 설명하는 플로우차트이다.

제어부(9a)는, 본 실시 형태에 따른 화상 처리 방법을 행하기 전에, 우선, 전부해서 N매(1≤N)의 화상 중, 입력된 i번째의 화상 Ii(I1≤n≤IN)에 대한 분류 결과를 얻는다(도 24의 스텝 S61). 또한, 본 실시 형태에서, 제어부(9a)는, 화상 Ii에 대한 분류 결과를 얻기 위한 처리 방법으로서, 예를 들면, 도 11에 도시한 스텝 S1부터 스텝 S4까지의 처리, 또는 도 21에 도시한 스텝 S21부터 스텝 S30까지의 처리 중, 어느 처리 방법을 이용하는 것이어도 된다. 또한, 화상 Ii에 대한 분류 결과를 얻기 위한 처리를 행함으로써 제어부(9a)가 얻는 분류 결과는, 화상 내의 각 영역이 위 점막 클래스, 융모 클래스, 변 클래스, 기포 클래스 및 불명료 클래스로 이루어지는 5개의 클래스 중 어느 하나로 분류된 분류 결과인 것으로 한다. 또한, 제어부(9a)는, 화상 Ii에 대한 분류 결과를 얻기 위한 처리를 행할 때에, 하나의 영역에서, 극단적인 암부 혹은 할레이션 등의 화소수가 소정의 임계치 이상 포함되는 것을 검출한 경우, 예를 들면, 그 하나의 영역을 변 클래스, 기포 클래스 또는 불명료 클래스 중 어느 하나로서 분류하는 것이어도 된다.

그리고, 제어부(9a)는, 도 24의 스텝 S61의 처리에 의해 얻은 분류 결과에 기초하여, 예를 들면, 변 클래스, 기포 클래스 및 불명료 클래스로서 분류된 영역수의 합계가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 K를 산출한다(도 24의 스텝 S62). 그 후, 제어부(9a)는, 비율 K의 값과 임계치 thlx(본 실시 형태에서는, 예를 들면 0.7로 함)의 비교를 행함으로써, 화상 Ii가 관찰 불필요한 화상인지의 여부를 판정한다. 또한, 전술한 바와 같은 판정을 행하기 위한 처리에서, 제어부(9a)가 얻은 분류 결과에 불명료 클래스의 분류 결과가 포함되지 않는 경우, 제어부(9a)는, 변 클래스 및 기포 클래스로서 분류된 영역수의 합계가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 K1을 산출한 후, 비율 K1의 값과 임계치 thlx의 비교를 행하는 것이어도 된다. 또한, 전술한 바와 같은 판정을 행하기 위한 처리 에서는, 제어부(9a)는, 위 점막 클래스 및 융모 클래스로서 분류된 영역수의 합계가 화상 Ii의 전체 영역수 (m×n)에 차지하는 비율 K2를 산출한 후, 비율 K2의 값과 임계치 thly(예를 들면 0.3로 함)의 비교를 행하는 것이어도 된다. 또한, 임계치 thlx 및 임계치 thly는, 미리 고정된 값에 한정하는 것이 아니라, 예를 들면, 단말 장치(7)의 조작에 의해, 유저가 원하는 값을 설정할 수 있는 것이어도 된다. 이에 의해, 유저는, 어느 정도 생체 점막 표면이 촬상된 화상을 관찰 대상으로 할지를 선택할 수 있다. 이 때문에, 유저는, 예를 들면, 병변 발견을 위해서 스크리닝 검사를 행하는 경우에는 관찰 효율을 중시하고, 정밀 검사를 행하는 경우에는 보다 상세하게 많은 화상을 관찰하는 등과 같이, 용도에 따라서 구분하여 사용하는 처리로 하여, 제어부(9a)에 본 실시 형태의 화상 처리 방법을 실행시킬 수 있다.

그 후, 제어부(9a)는, 화상 Ii에서의 비율 K의 값이, 임계치 thlx 이상인 것을 검출하면(도 24의 스텝 S63), 화상 Ii를 관찰 불필요한 화상으로 하고, 참조치로서의 플래그치 kflagi의 값을 예를 들면 1로 한다(도 24의 스텝 S64).

또한, 제어부(9a)는, 화상 Ii에서의 비율 K의 값이, 임계치 thlx보다 작다는 것을 검출하면(도 24의 스텝 S63), 화상 Ii를 관찰 불필요한 화상이 아닌 것으로 하고, 플래그치 kflagi의 값을 예를 들면 0으로 한다(도 24의 스텝 S65).

제어부(9a)는, 이상에 설명한 바와 같은 처리에 의해 결정된 플래그치 kflagi를, 화상 Ii에 관련지어 유지한다(도 24의 스텝 S66).

그 후, 제어부(9a)는, 화상 I1부터 화상 IN까지의 모든 화상에 대해서, 전술한 바와 같은 처리에 의한 분류를 행했는지의 여부를 판정하고(도 24의 스텝 S67), 모든 화상에 대하여 분류가 행해져 있지 않은 경우, 이번에는 (i+1)번째의 화상 Ii+1에 대하여, 도 24의 스텝 S61부터의 일련의 처리를 행한다(도 24의 스텝 S68). 또한, 제어부(9a)는, 화상 I1부터 화상 IN까지의 모든 화상에 대해서, 전술한 바와 같은 처리에 의한 분류를 행한 경우, 단말 장치(7)에 미리 입력된 상태의 일련의 화상에 대한 처리를 종료한다.

다음으로, 전술한 바와 같은 처리에 의해 분류된 화상 I1부터 화상 IN까지의 일련의 화상을, 예를 들면, 유저가 화상 I1(화상 번호 i=1의 화상)부터 순차적으로 관찰한다고 상정한 경우, 제어부(9a)는, 화상 Ii에 관련시켜 유지한 플래그치 kflagi의 값을 읽어들인다(도 25의 스텝 S71). 그리고, 제어부(9a)는, 플래그치 kflagi의 값에 기초하여, 화상 Ii가 관찰 불필요한 화상인지의 여부를 판정한다.

제어부(9a)는, 화상 Ii에 관련지어진 플래그치 kflagi의 값이 1인 경우(도 25의 스텝 S72), 화상 Ii를 디스플레이(8c)에 표시시키지 않는 표시 제어를, 단말 장치(7)의 각 부에 대하여 행한다(도 25의 스텝 S73).

또한, 제어부(9a)는, 화상 Ii에 관련지어진 플래그치 kflagi의 값이 1이 아닌 경우, 즉, 플래그치 kflagi의 값이 0인 경우(도 25의 스텝 S72), 화상 Ii를 디스플레이(8c)에 표시시키는 표시 제어를, 단말 장치(7)의 각 부에 대하여 행한다(도 25의 스텝 S74).

그 후, 제어부(9a)는, 화상 Ii부터 화상 IN까지의 모든 화상에 대해서, 전술한 바와 같은 표시 제어 처리를 행했는지의 여부를 판정하고(도 25의 스텝 S75), 모든 화상에 대하여 처리가 행해져 있지 않은 경우, 화상 번호 i에 1을 더한 후, 다음 화상 Ii+1에 대하여, 도 25의 스텝 S71부터의 일련의 처리를 행한다(도 25의 스텝 S76). 또한, 제어부(9a)는, 화상 I1부터 화상 IN까지의 모든 화상에 대하여 전술한 바와 같은 표시 제어 처리를 행한 경우, 유저가 화상 I1부터 화상 IN까지의 일련의 화상을 순차적으로 다 관찰한 것으로 하고, 표시 제어 처리를 종료한다.

또한, 이상에 설명한 화상 처리 방법은, 화상 I1부터 화상 IN까지의 일련의 화상을, 유저가 화상 I1부터 순차적으로 관찰하는 경우에 대해서만 이용되는 것에 한하지 않고, 예를 들면, 화상 I1부터 화상 IN까지의 일련의 화상 중, 유저가 원하는 화상을 선택하여 관찰하는 경우에 대하여 이용되는 것이어도 된다. 또한, 이상에 설명한 화상 처리 방법에서, 제어부(9a)는, 관찰 불필요한 화상으로서 분류한 화상을 기억하지 않도록 단말 장치(7)의 각 부에 제어를 행하여도 되고, 또한, 관찰 불필요한 화상으로서 분류한 후, 도시하지 않은 기억부에 기억시킨 화상을 삭제하도록 단말 장치(7)의 각 부에 제어를 행하여도 된다.

이상에 설명한 바와 같이, 본 실시 형태에서의 화상 처리 방법에 의하면, 생체 점막 표면의 상으로서의 위 점막 및 융모의 상과, 이물 또는 비생체 점막의 상으로서의 변 및 기포의 상을 화상마다 식별 및 분류하고, 관찰이 필요한 화상만을 디스플레이(8c)에 표시할 수 있다. 이 때문에, 유저는, 생체 점막 표면의 상이 양호하게 촬상되어 있지 않은 화상이 제외된 상태에서 체강 내의 관찰을 행할 수 있고, 그 결과, 캡슐형 내시경 장치(1)를 이용한 관찰에서의 관찰 효율의 향상을 도모할 수 있다.

(제6 실시 형태)

도 26 내지 도 31은, 본 발명의 제6 실시 형태에 따른 것이다. 또한, 제1 실시 형태부터 제5 실시 형태까지와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태부터 제5 실시 형태까지와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태부터 제5 실시 형태까지의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 26은, 본 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트이다. 도 27은, 도 26의 처리에 계속해서 행해지는, 본 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트이다. 도 28은, 도 27의 처리에 계속해서 행해지는, 본 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트이다. 도 29A는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량(엣지 특징 벡터라고도 함)을 결정할 때에 지표로 되는 8개의 방향 중, 하나의 방향을 도시하는 도면이다. 도 29B는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A와는 다른 하나의 방향을 도시하는 도면이다. 도 29C는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A 및 도 29B와는 다른 하나의 방향을 도시하는 도면이다. 도 29D는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특 징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A 내지 도 29C까지와는 다른 하나의 방향을 도시하는 도면이다. 도 29E는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29D까지와는 다른 하나의 방향을 도시하는 도면이다. 도 29F는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29E까지와는 다른 하나의 방향을 도시하는 도면이다. 도 29G는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29F까지와는 다른 하나의 방향을 도시하는 도면이다. 도 29H는, 본 실시 형태에 따른 화상 처리 동작에서, 엣지 특징량을 결정할 때에 지표로 되는 8개의 방향 중, 도 29A부터 도 29G까지와는 다른 하나의 방향을 도시하는 도면이다. 도 30은, 본 실시 형태에 따른 화상 처리 동작에서 설정되는, 중심 영역과 최외주 영역의 위치 관계를 도시하는 도면이다. 도 31은, 본 실시 형태에 따른 화상 처리 동작에서 설정되는, 엣지 특징 벡터의 방향과, 벡터 Ⅵ의 방향이 이루는 각도를 도시하는 도면이다.

제어부(9a)는, 본 실시 형태에 따른 화상 처리 방법을 행하기 전에, 우선, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초하느 화상 신호를 입력하고, 입력된 i번째의 화상 Ii에 대한 분류 결과를 얻는다(도 26의 스텝 S81). 또한, 본 실시 형태에서, 제어부(9a)는, 화상 Ii에 대한 분류 결과를 얻기 위한 처리 방법으로서, 예를 들면, 도 11에 도시한 스텝 S1부터 스텝 S4까지의 처리, 또는 도 21에 도시한 스텝 S21부터 스텝 S30까지의 처리 중, 어느 처리 방법을 이용하는 것이어도 된다. 또한, 화상 Ii에 대한 분류 결과를 얻기 위한 처리를 행함으로써 제어부(9a)가 얻는 분류 결과는, 화상 내의 각 영역이 위 점막 클래스, 융모 클래스, 변 클래스, 기포 클래스 및 불명료 클래스로 이루어지는 5개의 클래스 중 어느 하나로 분류된 분류 결과인 것으로 한다. 또한, 본 실시 형태에서, 제어부(9a)는, 도 26의 스텝 S81의 처리를 행하는 경우, 입력된 i번째의 화상 Ii를 M×M개의 영역 Hk(1≤k≤M×M)로 분할하는 것으로 한다. 환언하면, 제어부(9a)는, 화상 Ii의 분류 결과로서, M×M개의 영역 Hk 각각이 위 점막 클래스, 융모 클래스, 변 클래스, 기포 클래스 및 불명료 클래스로 이루어지는 5개의 클래스 중 어느 하나로 분류된 분류 결과를 얻는 것인 것으로 한다.

제어부(9a)는, 화상 Ii에 대한 분류 결과를 얻은 후, M×M개의 영역 Hk 각각에서의 G(녹) 화소의 농도치의 평균치 gak를 산출한다(도 26의 스텝 S82). 그리고, 제어부(9a)는, 영역 Hk에서의 G 화소의 농도치의 평균치 gak와, 영역 Hk에 인접하는 영역 Hkt(t≤8) 각각에서의 G 화소의 농도치의 평균치 gakt에 기초하여, G 화소의 농도치의 변동량 Gbt를 하기 수학식 14에 의해 산출한다(도 26의 스텝 S83).

제어부(9a)는, 상기 수학식 14에 의해 얻어진, 영역 Hkt 각각에서의 Gbt의 값 중, 최대의 것을 최대치 Gbm으로 하고, 또한, 영역 Hkt 중, 최대치 Gbm을 부여 하는 영역 Hktm이, 영역 Hk에 대하여 존재하는 방향을 dirGbm으로 한 후, 이들 2개를 영역 Hk의 엣지 특징량으로서 유지한다(도 26의 스텝 S84). 또한, G 화소의 농도치의 변동량의 최대치 Gbm을 부여하는 영역 Hktm이, 영역 Hk에 대하여 존재하는 방향은, 도 29A로부터 도 29H까지에 나타낸 방향 1 내지 방향 8 중, 어느 한 방향으로서 결정되는 것인 것으로 한다.

그 후, 엣지 검출부로서의 기능을 갖는 제어부(9a)는, 최대치 Gbm과, 임계치 thre1의 비교를 행하여(도 26의 스텝 S85), 최대치 Gbm이 임계치 thre1보다도 큰 경우, 영역 Hk에는 화상 Ii에서의 엣지가 존재한다고 판정하고(도 26의 스텝 S86), 또한, 최대치 Gbm이 임계치 thre1 이하인 경우, 영역 Hk에는 화상 Ii에서의 엣지가 존재하지 않는다고 판정한다(도 26의 스텝 S87). 또한, 본 실시 형태에서는, 임계치 thre1의 값은, 예를 들면 0.3인 것으로 한다. 그리고, 제어부(9a)는, 영역 번호 k의 값에 1을 더하면서, (M×M)개의 영역 Hk 모두에 대하여, 도 26의 스텝 S83 내지 스텝 S87에 나타내는, 상기 수학식 14를 이용한 처리를 반복하여 행함으로써, 화상 Ii에서 엣지가 존재하는 영역을 특정한다(도 26의 스텝 S88 및 스텝 S89).

또한, 이상에 설명한 바와 같은, 화상 Ii에서의 엣지를 검출하기 위한 처리를 행하기 이전의 단계에서, 제어부(9a)는, 화상 Ii에 대한 전처리로서, 예를 들면, 역감마 보정 또는 쉐이딩 보정 등의 처리를 행하는 것이어도 된다.

제어부(9a)는, (M×M)개의 영역 Hk 모두에 대하여 전술한 바와 같은 처리를 행함으로써, 화상 Ii에서 엣지가 존재하는 영역을 특정한 후, 영역 Hk를 중심 영역으로 하는, M1×M1(M1≤M)개의 영역으로 이루어지는 배치 평가 영역을 취득한다(도 27의 스텝 S91). 그 후, 제어부(9a)는, 배치 평가 영역을 구성하는 영역 중, 최외주에 존재하는 영역의 수인 최외주 영역수 D를 검출한다(도 27의 스텝 S92). 또한, 제어부(9a)는, 배치 평가 영역에서의 D개의 최외주 영역 Hkl 각각에서, 영역 Hk가 존재하는 방향을 향하는 벡터인 벡터 Vl을 산출한다(도 27의 스텝 S93). 또한, 영역 Hk와 최외주 영역 Hkl의 위치 관계는, 예를 들면, 도 30에 도시한 바와 같은 것으로 된다.

제어부(9a)는, 최외주 영역 Hkl로서 정해진 영역 각각이 갖는, 엣지 특징 벡터의 방향을 나타내는 dirGbm과, 벡터 Vl의 방향에 기초하여, 도 31에 도시한 바와 같은, 이들 2개의 벡터가 이루는 각도 θl을 산출한다(도 27의 스텝 S94). 그 후, 제어부(9a)는, D개의 최외주 영역 Hkl 중, 도 26의 스텝 S81 내지 스텝 S89까지의 처리에서 엣지가 존재하는 영역이라고 판정되고, 또한, θl≤thre2로 되는 영역수 E를 검출한다(도 27의 스텝 S95). 또한, 본 실시 형태에서는, 임계치 thre2의 값은, 예를 들면 45°인 것으로 한다.

그리고, 제어부(9a)는, E/D의 값을 산출하고, E/D의 값이 임계치 thre3보다도 큰 경우(도 27의 스텝 S96), 영역 Hk를, 화상 Ii에서 출혈부가 존재할 가능성이 있는, 출혈부 후보 영역이라고 판정한다(도 27의 스텝 S97). 또한, 제어부(9a)는, E/D의 값이 임계치 thre3보다도 큰 경우(도 27의 스텝 S96), 도 26의 스텝 S81부터 스텝 S89까지의 처리에서 엣지가 존재하는 영역이라고 판정되고, 또한, θl≤thre2를 충족하는 E개의 최외주 영역 Hkl을, 출혈부의 엣지가 존재할 가능성이 있는, 출혈부 엣지 후보 영역이라고 판정한다(도 27의 스텝 S97). 또한, 본 실시 형태에서 는, 임계치 thre3의 값은, 예를 들면 0.7인 것으로 한다.

그리고, 제어부(9a)는, 영역 번호 k의 값에 1을 더하면서, (M×M)개의 영역 Hk 모두에 대하여, 도 27의 스텝 S91 내지 스텝 S97에 나타내는, 상기 수학식 14를 이용한 처리를 반복하여 행함으로써, 화상 Ii에서, 출혈부가 존재하는 영역의 후보와, 출혈부의 엣지가 존재하는 영역의 후보를 특정한다(도 27의 스텝 S98 및 스텝 S99).

제어부(9a)는, (M×M)개의 영역 Hk 모두에 대하여 전술한 바와 같은 처리를 행함으로써, 화상 Ii에서의 출혈부 후보 영역과, 출혈부 엣지 후보 영역을 특정한 후, 출혈부 후보 영역의 영역수 H를 검출한다(도 28의 스텝 S101). 그 후, 제어부(9a)는, 각각의 출혈부 후보 영역에 대응하는, E개의 출혈부 엣지 후보 영역을 검출한다(도 28의 스텝 S102).

그리고, 제어부(9a)는, 출혈부 후보 영역으로서의 영역 Hk에 대응하는, 출혈부 엣지 후보 영역으로서의 최외주 영역 Hkl에서, 영역 Hkl로서 정해진 영역이 갖는 G 화소의 농도치의 평균치 gakl과, 영역 Hkl에 인접하는 영역 Hklt(t≤8) 각각에서의 G 화소의 농도치의 평균치 gaklt에 기초하여, G 화소의 농도치의 변동량 Gblt를 하기 수학식 15에 의해 산출한다(도 28의 스텝 S103).

또한, 제어부(9a)는, 출혈부 후보 영역으로서의 영역 Hk에 대응하는, 출혈부 엣지 후보 영역으로서의 최외주 영역 Hkl에서, 영역 Hkl로서 정해진 영역에서의 R(적) 화소의 농도치의 평균치 rakl과, 영역 Hkl에 인접하는 영역 Hklt(t≤8) 각각에서의 R 화소의 농도치의 평균치 raklt를 산출한다. 그리고, 제어부(9a)는, 평균치 rakl과, 평균치 raklt에 기초하여, R 화소의 농도치의 변동량 Rblt를 하기 수학식 16에 의해 산출한다(도 28의 스텝 S104).

제어부(9a)는, 영역 Hkl로서 정해진 영역이 갖는 최대치 Gbm과, 방향 dirGbm에서의 변동량 Rblt에 기초하여, 컬러 엣지 특징량으로서의 Gbm/Rblt의 값을 산출한다. 그 후, 제어부(9a)는, E개의 영역 Hkl 중, Gbm/Rblt>thre4로 되는 영역수 F를 검출한다(도 28의 스텝 S105). 또한, 본 실시 형태에서는, 임계치 thre4의 값은, 예를 들면 1.0인 것으로 한다. 또한, 본 실시 형태에서는, 제어부(9a)가 행하는 처리에서 컬러 엣지 특징량으로서 이용하는 값은 Gbm/Rblt의 값에 한하는 것은 아니다. 제어부(9a)는, 전술한 처리에서, 예를 들면, 변동량 Rblt와 대략 마찬가지의 방법에 의해 산출한 B 화소의 농도치의 변동량 Bblt에 기초하여, Gbm/Bblt의 값을 컬러 엣지 특징량으로서 이용하는 것이어도 된다.

그리고, 출혈 부위 판정부로서의 제어부(9a)는, F/E의 값을 산출하고, F/E의 값이 임계치 thre5보다도 큰 경우(도 28의 스텝 S106), 영역 Hk를 화상 Ii에서의 출혈부라고 판정하고, 또한, 영역 Hkl을 영역 Hk에 대응하는 출혈부 엣지 영역으로서 판정한다(도 28의 스텝 S107). 또한, 제어부(9a)는, F/E의 값이 임계치 thre5 이하인 경우(도 28의 스텝 S106), 영역 Hk를 출혈부가 아니라고 판정한다(도 28의 스텝 S108). 또한, 본 실시 형태에서는, 임계치 thre5의 값은, 예를 들면 0.7인 것으로 한다. 그리고, 제어부(9a)는, 출혈부 후보 영역으로서 검출한 H개의 영역 Hk 모두에 대하여, 도 28의 스텝 S101 내지 스텝 S108에 도시한 처리를 반복 행함으로써, 화상 Ii에서, 출혈부가 존재하는 영역과, 출혈부의 엣지가 존재하는 영역을 특정한다(도 28의 스텝 S109 및 스텝 S110).

또한, 제어부(9a)는, 화상 Ii에서의 출혈부가 존재하는 영역을 특정하면, 도 26의 스텝 S81의 처리에서 얻은, 화상 Ii에 대한 분류 결과를 참조함으로써, 출혈부가 존재하는 영역으로서 특정한 영역 Hk를, 어느 클래스로 분류했는지를 검출한다(도 28의 스텝 S111). 그리고, 분류 결과 판정부로서의 기능을 갖는 제어부(9a)는, 출혈부가 존재하는 영역으로서 특정한 영역 Hk가, 생체 점막에 관한 클래스에 포함되는 위 점막 클래스, 생체 점막에 관한 클래스에 포함되는 융모 클래스, 또는 불명료 클래스 중 어느 하나로서 분류되어 있는 것을 검출한 경우(도 28의 스텝 S112), 화상 Ii에서의 영역 Hk의 분류 결과는 올바른 것이라고 판정한다(도 28의 스텝 S113). 또한, 제어부(9a)는, 출혈부가 존재하는 영역으로서 특정한 영역 Hk가, 비생체 점막에 관한 클래스에 포함되는 변 클래스, 또는 비생체 점막에 관한 클래스에 포함되는 기포 클래스로서 분류되어 있는 것을 검출한 경우(도 28의 스텝 S112), 화상 Ii에서의 영역 Hk의 분류 결과는 오류인 것으로 판정한다(도 28의 스텝 S114). 또한, 제어부(9a)는, 출혈부가 존재하는 영역으로서 특정한 영역 Hk가 불명료 클래스로서 분류되어 있는 것을 검출한 경우에 대해서는, 영역 Hk의 분류 결과에 관한 정오의 판정을 행하지 않고, 예를 들면, 「병변 부위가 촬상되어 있을 가능성이 있는 영역」으로서 별도로 판정을 행하는 것이어도 된다.

그 후, 제어부(9a)는, 입력된 화상 Ii 모두에 대해서, 전술한 바와 같은 처리를 행했는지의 여부를 판정하고(도 28의 스텝 S115), 모든 화상에 대하여 처리가 행해져 있지 않은 경우, 다음 화상 Ii+1에 대하여, 도 25의 스텝 S71부터의 일련의 처리를 행한다(도 28의 스텝 S116). 또한, 제어부(9a)는, 입력된 화상 Ii 모두에 대하여 전술한 바와 같은 처리를 행한 경우, 처리를 종료한다.

이상에 설명한 바와 같이, 본 실시 형태에서의 화상 처리 방법을 이용한 경우, 제2 실시 형태에서 설명한 효과와 마찬가지의 효과로서, 캡슐형 내시경 장치(1)를 이용한 관찰에서의 관찰 효율의 향상을 도모할 수 있는 효과를 얻을 수 있다.

또한, 본 실시 형태에서의 화상 처리 방법을 이용한 경우, 단말 장치(7)의 제어부(9a)는, 화상 Ii 내의 출혈부가 존재하는 영역 Hk를 특정한 후, 미리 얻은 화상 Ii의 영역 Hk의 분류 결과에 대하여, 정오 판정의 처리를 행한다. 이 때문에, 단말 장치(7)의 제어부(9a)는, 본 실시 형태에서의 화상 처리 방법을 이용함으로써, 예를 들면, 변 등의 이물 또는 비생체 점막의 상이 촬상되어 있는 영역에, 병변 부위로서의 출혈 부위가 존재하는 등과 같은, 출혈 부위의 오검출을 방지할 수 있으며, 그 결과, 종래에 비하여, 보다 신뢰성이 높은 병변 부위의 검출 결과를 얻을 수 있다.

(제7 실시 형태)

도 32 내지 도 34는, 본 발명의 제7 실시 형태에 따른 것이다. 또한, 제1 실시 형태부터 제6 실시 형태까지와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태부터 제6 실시 형태까지와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태부터 제6 실시 형태까지의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 32는, 본 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트이다. 도 33은, 도 32의 처리에 이어서 행해지는, 본 실시 형태에 따른 화상 처리 동작의 일부를 설명하는 플로우차트이다. 도 34는, 본 실시 형태에 따른 화상 처리 동작에서, 입력된 화상이 (m×n)개의 영역으로 분할될 때의 일례를 도시하는 도면이다.

우선, 제어부(9a)는, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초한 화상 신호를 입력하고, 입력된 i번째의 화상 Ii를 구성하는 Ri, Gi 및 Bi의 각 플레인에 대하여, 전처리로서, 예를 들면, 메디안 필터링에 의한 노이즈 제거 및 역γ보정을 행함과 함께, 할레이션 화소 및 암부 화소를 이후의 처리 대상으로부터 제외하기 위해서, 임계치에 기초하는 처리에 의해 검출해 둔다(도 32의 스텝 S201). 그리고, 상기 임계치에 기초하는 처리는, 예를 들면, rik, gik 및 bik의 농도치 모두가 10 이하의 값이면 암부 화소, 또한, rik, gik 및 bik의 농도 치 모두가 230 이상의 값이면 할레이션 화소로 하는 처리로서 행해진다.

그 후, 제어부(9a)는, Ri, Gi 및 Bi의 각 플레인을 소영역으로 분할한다(도 32의 스텝 S202). 또한, 본 실시 형태에서, 제어부(9a)는, 도 34에 도시한 바와 같이, Ri, Gi 및 Bi의 각 플레인을, x축 방향의 화소수 lx×y축 방향의 화소수 ly(1≤lx, 1≤ly)로 이루어지는 사각형 영역으로 분할하는 것으로 하고, 그 영역수는 m×n개(m=ISX/lx, n=ISY/ly)인 것으로 한다. 또한, 제어부(9a)는, m 또는 n이 정수로 되지 않는 경우에서는, 크기가 우수리로 되는 최단부의 영역을, 우수리의 화소수를 갖는 영역으로서 처리하거나, 또는 이후의 처리 대상으로부터 제외하는 것으로 한다.

제어부(9a)는, 분할한 각 영역에서, 촬상 대상의 상의 화상 상에서의 색의 차이를 반영하는 색조 정보, 및 촬상 대상의 상의 화상 상에서의 구조의 차이를 반영하는 텍스쳐 정보를 특징량으로서 산출한다(도 32의 스텝 S203). 또한, 이후의 설명에서는, 제어부(9a)에서 분할된 영역 중, 하나의 영역을 Hj(1≤j≤m×n)로 나타내는 것으로 한다.

본 실시 형태에서, 제어부(9a)가 산출하는 색조 정보는, 하나의 영역 Hj에 포함되는 각 화소의 RGB값의 비에 기초하는 값으로서의, gik/rik의 평균치(이후, μgj라고 함) 및 bik/rik의 평균치(이후, μbj라고 함)로 이루어지는, 2개의 특징량으로서 나타내어지는 값이다. 또한, μgj 및 μbj의 각 값은, 0 내지 1의 값을 취하는 것으로 한다. 또한, μgj 및 μbj의 각 값은, 예를 들면, 위 점막과 같은 비교적 적색조를 나타내는 영역에서는, 대략 마찬가지로 작은 값을 취한다. 한편, μgj 및 μbj의 각 값은, 예를 들면, 소장과 같은 비교적 백색조를 나타내는 영역에서는, 대략 마찬가지로 큰 값을 취한다. 또한, μgj 및 μbj의 각 값은, 예를 들면, 변과 같은 비교적 황색조를 나타내는 영역에서는, μgj>μbj로 되는 값을 취한다.

본 실시 형태에서, 제어부(9a)가 산출하는 텍스쳐 정보는, 전술한 바와 같이, 촬상 대상의 상의 화상 상에서의 구조의 차이를 반영하는 것이다. 그리고, 촬상 대상의 상의 화상 상에서의 구조는, 예를 들면, 점막 표면에서의 융모 등의 미세 구조, 및 변이 갖는 부정형한 모양 등으로서 나타내어지는 것이다. 구체적으로는, 제어부(9a)가 산출하는 텍스쳐 정보는, 하나의 영역 Hj에 포함되는 각 화소의 RGB값의 표준 편차 σrj, σgj 및 σbj를, 하나의 영역 Hj에 포함되는 각 화소의 RGB값의 평균치 mrj, mgj 및 mbj로 나눈 것인, 3개의 특징량으로서 나타내어지는 RGB값의 변동 계수 CVrj, CVgj 및 CVbj이다. 또한, 변동 계수 CVrj, CVgj 및 CVbj를 산출하기 위한 계산식은, 하기 수학식 17, 수학식 18 및 수학식 19로서 나타내어진다.

상기 수학식 17, 수학식 18 및 수학식 19에 의해 산출되는 변동 계수 CVrj, CVgj 및 CVbj에 의해, 촬상 대상에 대하여 공급되는 조명 광량의 차이 등에 의한 영향에 상관없이, 텍스쳐 구조에 의한 화소 변동의 정도를 수치화할 수 있다. CVrj, CVgj 및 CVbj의 각 값은, 예를 들면, 확대 관찰을 행하고 있지 않은 상태인, 통상 관찰에서 촬상된 위 점막과 같은, 화상 상에서의 구조가 비교적 평탄한 영역에서는, 명료한 텍스쳐 구조가 없기 때문에, 대략 마찬가지로 작은 값을 취한다. 한편, CVrj, CVgj 및 CVbj의 각 값은, 예를 들면, 소장의 융모와 같은, 화상 상에서의 구조에 엣지를 비교적 많이 포함하는 영역에서는, 대략 마찬가지로 큰 값을 취한다.

그리고, 제어부(9a)는, 색조 정보 및 텍스쳐 정보로 이루어지는 5개의 특징량, 즉, μgj, μbj, CVrj, CVgj 및 CVbj의 각 값을, 할레이션 화소 및 암부 화소를 제외한 각 화소의 RGB값에 기초하여, m×n개의 영역 Hj 각각에서 산출한다. 또한, 본 실시 형태에서는, 하나의 영역 Hj가 갖는, (lx×ly)개의 화소에서, 예를 들면, 할레이션 화소의 개수와, 암부 화소의 개수의 합이 차지하는 비율이 50%를 초과한 경우, 하나의 영역 Hj를 이후의 처리로부터 제외하는 제어가 행해지는 것이어도 된다.

그 후, 제어부(9a)는, 이후에 설명하는 처리를 행하기 위해서, 하나의 영역 Hj의 영역 번호 j를 j=1로 한다(도 32의 스텝 S204). 그리고, 제어부(9a)는, 베이 즈의 정리에 기초하는 통계적 식별기를 이용하여, 위 점막, 융모, 변 및 기포로 이루어지는 4개의 클래스 중, 하나의 영역 Hj가 어느 클래스에 속하는지를 식별하고, 그 식별 결과에 기초하는 분류를 행한다.

구체적으로는, 4개의 클래스의 식별 및 분류에서, 하나의 클래스 ωa(a=1, 2, …, C, C는 클래스수를 나타냄)가 발생하는 사전 확률을 P(ωa)로 하고, 하나의 영역 Hj에서의 5개의 특징량으로부터 결정된 특징 벡터를 x로 하고, 전체 클래스로부터의 특징 벡터 x의 발생 확률에 기초하는 확률 밀도 함수를 p(x)로 하고, 하나의 클래스 ωa로부터의 특징 벡터 x의 발생 확률에 기초하는 상태 의존 확률 밀도(다변량 정규 확률 밀도) 함수를 p(x|ωa)로 하면, 발생한 특징 벡터 x가 하나의 클래스 ωa에 속하는 사후 확률 P(ωa|x)를 산출하기 위한 계산식은, 하기 수학식 20으로서 나타내어진다.

또한, 상태 의존 확률 밀도 함수 p(x|ωa) 및 확률 밀도 함수 p(x)는, 하기 수학식 21 및 수학식 22로서 나타내어진다.

또한, 상기 수학식 21 및 수학식 22에서, d는 x의 특징량의 개수와 동수인 차원수를 나타내고, μa 및 Σa는 클래스 ωa에서의 특징 벡터 x의 평균 벡터 및 하나의 클래스 ωa에서의 분산 공분산 행렬을 나타내는 것으로 한다. 또한, (x-μa)^t는 (x-μa)의 전치 행렬을 나타내고, |Σa|는 Σa의 행렬식을 나타내고, Σa^-1은 Σa의 역행렬을 나타내는 것으로 한다. 또한, 설명을 간단히 하기 위해서, 사전 확률 P(ωa)는, 전체 클래스에서 동일한 값을 취한다고 가정하고, 또한, 확률 밀도 함수 p(x)는, 상기 수학식 22에 의해 전체 클래스 공통의 함수로서 나타내어지는 것으로 한다.

전술한 바와 같은 베이즈의 정리에 기초한 통계적 식별기와 함께, 분류 기준으로서 이용되는 평균 μa 및 분산 공분산 행렬 Σa는, 하나의 클래스 ωa에서의 모수를 구성하는 요소이며, 1번째의 화상 I1이 단말 장치(7)에 입력되기 이전의 단계에서, 위 점막, 융모, 변 및 기포로 이루어지는 4개의 클래스의 교사 데이터를 구성하는 복수의 화상, 예를 들면, 제1 실시 형태의 설명에서 서술한, 도 14, 도 15, 도 16 및 도 17과 같은 화상에 기초하여, 그 화상의 하나의 영역 각각에서 그 때마다 결정되는 특징 벡터 x로부터, 클래스마다 미리 산출된 후, 초기치로서 단말 장치(7)에 각각 기록된다. 또한, 이 때, 제어부(9a)는, 각 클래스의 교사 데이터에서의 특징 벡터에, 화상 Ii에서의 각 클래스의 특징 벡터를 가하도록 하여 모수를 추정해도 된다.

또한, 평균 벡터 μa는, 특징 벡터 x가 갖는 5개의 특징량 각각의 평균치로 이루어지고, 또한, 특징 벡터 x와 동일한 차원수를 갖는 벡터이다. 즉, 특징 벡터 x가 x=(x1, x2, x3, x4, x5)로서 나타나는 경우, 평균 벡터 μa는, 특징 벡터 x가 갖는 5개의 특징량 각각의 평균치인, μx1, μx2, μx3, μx4 및 μx5를 이용하여, μa=(μx1, μx2, μx3, μx4, μx5)로서 나타내어지는 것으로 한다. 또한, 분산 공분산 행렬 Σa는, 하나의 클래스 ωa에 속하는 특징 벡터 x의 분포의 변동 및 확대 상태를 나타내는 행렬이며, 특징 벡터 x의 특징량의 개수와 동수인 차원수 d에 대하여, d×d 행렬로서 나타내어지는 것으로 한다.

제어부(9a)는, 발생한 특징 벡터 x가 클래스 ω1에 속하는 사후 확률 P(ω1|x)와, 발생한 특징 벡터 x가 클래스 ω2에 속하는 사후 확률 P(ω2|x)와, 발생한 특징 벡터 x가 클래스 ω3에 속하는 사후 확률 P(ω3|x)와, 발생한 특징 벡터 x가 클래스 ω4에 속하는 사후 확률 P(ω4|x)를, 베이즈의 정리에 기초하는 상기 수학식 20 내지 수학식 22을 이용하여 각각 산출한다. 그리고, 제어부(9a)는, 이들 4개의 사후 확률 중, 최대의 사후 확률 P1(ωa|x)을 부여하는 클래스 ωa에 특징 벡터 x가 속하는 것으로서 식별을 행하고, 그 식별 결과에 기초하여 특징 벡터 x가 발생한 영역인 하나의 영역 Hj를 클래스 ωa로 분류함(도 32의 스텝 S205)과 함께, 최대의 사후 확률 P1(ωa|x)을 부여하는 확률 밀도 함수 p1(x|ωa)의 값을 산출한다.

그리고, 제어부(9a)는, 이상까지의 처리에서, 클래스 ωa로 분류된 하나의 영역 Hj의 분류 결과가 정확한 것인지의 여부를 판정하기 위해서, 평균치로부터의 거리에 기초한 처리, 즉, 최대의 사후 확률 P1(ωa|x)을 부여하는 확률 밀도 함수 p1(x|ωa)의 값에 대한 임계치에 기초한 처리를 더 행한다.

구체적으로는, 우선, 제어부(9a)는, 평균 벡터 μa가 갖는 5개의 특징량 각각의 평균치 중, 예를 들면, 특징량 x1의 평균치 μx1에 대하여, 특징량 x1의 표준 편차 σx1과, 소정의 상수로서의 승산 계수 α의 곱을 더한 값을 포함하는, 임계치 벡터 xb1을 결정한다. 또한, 이와 같은 임계치 벡터 xb1은, 예를 들면, 하기 수학식 23으로서 나타내어지는 것이며, 또한, 본 실시 형태에서는, 승산 계수 α의 값은 1.5인 것으로 한다.

상기 수학식 23에 의해 임계치 벡터 xb1이 결정되면, 제어부(9a)는, 임계치 벡터 xb1을 상기 수학식 20, 수학식 21 및 수학식 22의 x로서 대입하고, 하나의 영역 Hj가 분류된 클래스 ωa의 임계치로서의, 확률 밀도 함수 p(xb1|ωa)의 값을 산출한다.

그리고, 제어부(9a)는, p1(x|ωa)의 값이 p(xb1|ωa)의 값보다 큰 것을 검출하면(도 32의 스텝 S206), 도 32의 스텝 S205에 도시한 처리에서, 하나의 영역 Hj를 클래스 ωa로 분류한 분류 결과가 정확하다고 판단한다(도 32의 스텝 S207).

또한, 제어부(9a)는, p1(x|ωa)의 값이 p(xb1|ωa)의 값 이하인 것을 검출하면(도 32의 스텝 S206), 도 32의 스텝 S205에 도시한 처리에서, 하나의 영역 Hj를 클래스 ωa로 분류한 분류 결과가 부정확하다고 판단하고, 하나의 영역 Hj를 불명 료 클래스로 분류한다(도 32의 스텝 S208).

그리고, 제어부(9a)는, 분할한 m×n개의 영역 모두에 대한 분류가 완료되어 있지 않은 경우(도 32의 스텝 S209), 영역 번호 j에 1을 더하고(도 32의 스텝 S210), 다음 영역에 대해서, 도 32의 스텝 S205부터 스텝 S209까지에 나타낸 처리를 행한다. 또한, 제어부(9a)는, 분할한 m×n개의 영역 모두에 대한 분류가 완료된 경우(도 32의 스텝 S209), 화상 Ii에서의 m×n개의 분류 결과와, m×n개의 영역이 각각 갖는 특징량에 기초하여, 4개의 클래스 각각에서, 분류 기준으로서의 평균 벡터 μa 및 분산 공분산 행렬 Σa를 재차 산출한다(도 33의 스텝 S211). 또한, 평균 벡터 μa 및 분산 공분산 행렬 Σa를 재차 산출할 때에, 색조 정보 및 텍스쳐 정보에 기초한 5개의 특징량 모두에 대하여 산출하는 것이 아니라, 예를 들면, 색조 정보를 구성하는 2개의 특징량에 대해서만 산출하도록 하여도 된다.

그 후, 제어부(9a)는, 이후에 설명하는 처리를 행하기 위해서, 하나의 영역 Hj의 영역 번호 j를 j=1로 한다(도 33의 스텝 S212).

제어부(9a)는, 도 33의 스텝 S211에 도시한 처리에서 산출된 평균 벡터 μa 및 분산 공분산 행렬 Σa가 대입된 상기 수학식 20 내지 수학식 22를 이용하여, 발생한 특징 벡터 x가 클래스 ω1에 속하는 사후 확률 P(ω1|x)와, 발생한 특징 벡터 x가 클래스 ω2에 속하는 사후 확률 P(ω2|x)와, 발생한 특징 벡터 x가 클래스 ω3에 속하는 사후 확률 P(ω3|x)와, 발생한 특징 벡터 x가 클래스 ω4에 속하는 사후 확률 P(ω4|x)를, 재차 각각 산출한다. 그리고, 제어부(9a)는, 이들 4개의 사후 확률 중, 최대의 사후 확률 P2(ωa|x)를 부여하는 클래스 ωa에 특징 벡터 x가 속 하는 것으로서 식별을 행하고, 그 식별 결과에 기초하여 특징 벡터 x가 발생한 영역인 하나의 영역 Hj를 클래스 ωa로 재분류함(도 33의 스텝 S213)과 함께, 최대의 사후 확률 P2(ωa|x)를 부여하는 확률 밀도 함수 p2(x|ωa)의 값을 산출한다.

그리고, 제어부(9a)는, 이상까지의 처리에서, 클래스 ωa로 재분류된 하나의 영역 Hj의 재분류 결과가 정확한 것인지의 여부를 판정하기 위해서, 최대의 사후 확률 P2(ωa|x)를 부여하는 확률 밀도 함수 p2(x|ωa)의 값에 대한 임계치에 기초한 처리를 더 행한다.

즉, 전술한 바와 같이, 도 33의 스텝 S211에 도시한 처리에서 산출된 평균 벡터 μa가 갖는 5개의 특징량 각각의 평균치 중, 예를 들면, 특징량 x1의 평균치 μx1에 대하여, 특징량 x1의 표준 편차 σx1과, 소정의 상수로서의 승산 계수 α의 곱을 더한 값을 포함하는, 임계치 벡터 xb2를 결정한다. 그리고, 임계치 벡터 xb2가 결정되면, 제어부(9a)는, 임계치 벡터 xb2를 상기 수학식 20, 수학식 21 및 수학식 22의 x로서 대입하고, 하나의 영역 Hj가 재분류된 클래스 ωa의 임계치로서의, 확률 밀도 함수 p(xb2|ωa)의 값을 산출한다.

그리고, 제어부(9a)는, p2(x|ωa)의 값이 p(xb2|ωa)의 값보다 큰 것을 검출하면(도 33의 스텝 S214), 하나의 영역 Hj를 클래스 ωa로 재분류한 재분류 결과가 정확하다고 판단한다(도 33의 스텝 S215).

또한, 제어부(9a)는, p2(x|ωa)의 값이 p(xb2 |ωa)의 값 이하인 것을 검출하면(도 33의 스텝 S214), 하나의 영역 Hj를 클래스 ωa로 재분류한 재분류 결과가 부정확하다고 판단하고, 하나의 영역 Hj를 불명료 클래스로 재분류한다(도 33의 스 텝 S216).

그리고, 제어부(9a)는, 분할한 m×n개의 영역 모두에 대한 분류가 완료되어 있지 않은 경우(도 33의 스텝 S217), 영역 번호 j에 1을 더하고(도 33의 스텝 S218), 다음 영역에 대해서, 도 33의 스텝 S213부터 스텝 S217까지에 나타낸 처리를 행한다. 또한, 제어부(9a)는, 분할한 m×n개의 영역 모두에 대한 분류가 완료된 경우(도 33의 스텝 S217), 이번에는 (i+1)번째의 화상 Ii+1에 대하여, 도 32의 스텝 S201부터의 일련의 처리를 행한다(도 33의 스텝 S219).

또한, 도 33의 스텝 S211에 도시한 처리에서 산출된 평균 벡터 μa 및 분산 공분산 행렬 Σa는, (i+1)번째의 화상 Ii+1에 대하여 행해지는, 도 32의 스텝 S205에 도시한 처리에서 사용되는 것이어도 된다. 이 경우, 시간적으로 연속하는 화상간에서, 화상의 식별 및 분류에 사용되는 모수를 동적으로 변경함으로써, 화상의 분류를 더욱 고정밀도로 행할 수 있다.

또한, 일반적으로, 생체 점막 표면의 상은, 텍스쳐 정보에 기초한 차에 비하여, 색조 정보에 기초하는 차가 현저하다. 이 때문에, 제어부(9a)는, 도 33의 스텝 S211에 나타낸 처리에서, 색조 정보 및 텍스쳐 정보의 양방에 대하여 평균 벡터 μa 및 분산 공분산 행렬 Σa를 재차 산출하는 처리를 행하는 것에 한하지 않고, 예를 들면, 색조 정보 또는 텍스쳐 정보 중, 어느 한쪽에 대해서만 μa 및 분산 공분산 행렬 Σa를 재차 산출하는 처리를 행하는 것이어도 된다.

단말 장치(7)의 제어부(9a)는, 이상에 설명한 바와 같은, 도 32 및 도 33의 스텝 S201 내지 스텝 S218에 나타낸 화상 Ii의 분류 결과를 이용한 처리를 더 행함 으로써, 예를 들면, 화상 Ii가 위 점막, 융모 등의 상인 생체 점막 표면의 상인지의 여부를 판단할 수 있다.

구체적으로는, 제어부(9a)는, 도 32 및 도 33의 스텝 S201 내지 스텝 S218에 나타낸 화상 Ii의 분류 결과에서, 각 클래스로 분류된 영역수를 센 후, 예를 들면, 위 점막 클래스 또는 융모 클래스로 분류된 영역수 A가 전체 영역수 (m×n)에 차지하는 비율을 산출한다. 그리고, 제어부(9a)는, A/(m×n)가 소정의 임계치 이상(예를 들면 0.8)인 경우, 화상 Ii가 생체 점막 표면의 상이라고 판단한다. 이에 의해, 제어부(9a)는, 생체 점막 표면의 상이라는 것이 확실한 화상을 추출할 수 있다.

또한, 이상의 설명에서는, 색조 정보 및 텍스쳐 정보에 기초한 5개의 특징량 모두를 한번에 이용하여 특징 벡터 x를 결정하는, 5차원의 다변량 정규 확률 밀도를 규정하는 경우에 대하여 설명했다. 그러나, 본 실시 형태에서의 화상 처리 방법에서는, 예를 들면, 색조 정보 및 텍스쳐 정보에 대한 각각의 특징량을 개별로 이용하여 2 종류의 특징 벡터 xc 및 xt를 결정하고, 1 개의 클래스에 대하여 2개의 다변량 정규 확률 밀도를 규정함으로써, 화상의 분류를 더욱 고정밀도로 행할 수 있다.

구체적으로는, 우선, 제어부(9a)는, 색조 정보를 구성하는 2개의 특징량 μgj 및 μbj에 대한 상태 의존 확률 밀도 함수를 pc(xc|ωa)로서, 또한, 텍스쳐 정보를 구성하는 3개의 특징량 CVrj, CVgj 및 CVbj에 대한 상태 의존 확률 밀도 함수를 pt(xc|ωa)로서 각각 산출한다. 또한, xc는, xc=(μgj, μbj)로서 나타내어지 는 2차원의 벡터이고, 또한, xt는, xt=(Cvrj, Cvgj, Cvbj)로서 나타내어지는 3차원의 벡터이다.

또한, 클래스 ωa로의 분류 결과의 정확성을 판단하기 위한 임계치는, 색조 정보 및 텍스쳐 정보의 특징량 각각의 평균 벡터 μc 및 μt, 표준 편차 σc1 및 σt1에 기초하여, 예를 들면, p(xcb|ωa) 및 p(xtb|ωa)로서 설정된다. 그리고, 제어부(9a)는, p1(xc|ωa)>p(xcb|ωa)이고, 또한, p1(xt|ωa)>p(xtb|ωa)이면, 분류 결과는 정확한 것으로 하여, 특징 벡터 xc 및 특징 벡터 xt를 갖는 하나의 영역 Hj를, 위 점막, 융모, 변 또는 기포 중 어느 하나의 클래스로서 분류하고, 그렇지 않으면 불명료 클래스로서 분류한다.

또한, 이상의 설명에서, 사전 확률 P(ωa)는, 전체 클래스에서 동일하다고 가정했지만, 이에 한정되는 것은 아니다. 사전 확률 P(ωa)는, 예를 들면, 캡슐형 내시경(3)이 촬상하는 부위의 시간 배분에 기초하여, 융모 클래스 또는 변 클래스의 사전 확률 P(ωa)를 높게 설정하거나, 캡슐형 내시경(3)이 촬상한 부위의 오분류에 의한 리스크에 기초하여, 위 점막 클래스 및 융모 클래스의 사전 확률 P(ωa) 를, 관찰 불필요로 하는 변 클래스 및 기포 클래스보다 높게 설정하거나 하는 등, 다양한 용도에 따른 값으로 설정되는 것이어도 된다.

또한, 이상의 설명에서, 화상의 분류를 행할 때에 제어부(9a)가 이용하는 통계적 식별기는, 베이즈의 정리에 기초한 것에 한하는 것이 아니라, 예를 들면, 선형 판별 함수 등에 기초한 것이어도 된다.

이상에 설명한 바와 같이, 본 실시 형태에 따르면, 생체 점막 표면의 상으로서의 위 점막 및 융모의 상과, 이물 또는 비생체 점막의 상으로서의 변 및 기포의 상을 화상의 소영역마다 식별하여 분류할 수 있다. 이 때문에, 유저는, 화상의 소영역의 대부분을 이물의 상이 차지하는, 생체 점막 표면의 상이 양호하게 촬상되어 있지 않은 화상을, 관찰 불필요한 화상으로서 용이하게 제외할 수 있으며, 그 결과, 캡슐형 내시경 장치(1)를 이용한 관찰 효율의 향상을 도모할 수 있다.

또한, 이상에 설명한 바와 같이, 본 실시 형태에 따르면, 통계적 식별기의 모수를, 단말 장치(7)에 입력되는 화상에 따른 최적의 값으로서 산출할 수 있다. 이 때문에, 본 실시 형태에 이용하는 캡슐형 내시경 장치(1)는, 생체 점막 표면의 색조 및 미세한 구조의 개인차, 캡슐형 내시경(3)을 구성하는 각 부의 특성 변동 등에 의해, 특징량에 변화가 생기는 경우에도, 단말 장치(7)에 입력되는 화상의 각 영역의 분류를 고정밀도로 행할 수 있다.

또한, 본 실시 형태에 따르면, 생체 점막 표면의 상으로서 분류된 각각의 영역에 대하여, 또한, 예를 들면, 상기 각각의 영역이 갖는 특징량에 기초하여, 정상적인 점막의 상과 병변 부위의 상으로 분류하는 화상 처리 방법을 이용한 처리를 행함으로써, 병변 부위의 검출 정밀도를 높일 수 있다.

또한, 본 실시 형태에 따르면, 화상에서 융모의 상 혹은 변의 상이 촬상되어 있는 것을 검출하여 분류할 수 있다. 이 때문에, 제어부(9a)는, 상기 분류 결과에 기초하여, 예를 들면, 변의 상이 화상의 대부분을 차지하고 있으면 대장이 촬상된 화상이다 등의 분류 기준을 더 이용한 처리를 행함으로써, 상기 화상에서 촬상된 장기를 특정할 수 있다.

(제8 실시 형태)

도 35 내지 도 40은, 본 발명의 제8 실시 형태에 따른 것이다. 또한, 제1 실시 형태부터 제7 실시 형태까지와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태부터 제7 실시 형태까지와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태부터 제7 실시 형태까지의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 35는, 본 실시 형태의 화상 처리 장치에서의 화상 처리 동작을 설명하는 플로우차트이다. 도 36은, 본 실시 형태의 화상 처리 장치에서의 화상 처리 동작을 설명하는 플로우차트이다. 도 37은, 본 실시 형태의 화상 처리 동작에서, 하나의 영역에서의 근방 영역을 결정할 때의 일례를 도시하는 도면이다. 도 38은, 본 실시 형태의 화상 처리 동작에서 이용되는, 캡슐형 내시경에 의해 촬상된 체강 내의 상의 화상의 일례를 도시하는 모식도이다. 도 39는, 도 38에 도시한 화상의 분류 결과의 일례를 도시하는 도면이다. 도 40은, 도 39에 도시한 분류 결과에 기초하여, 본 실시 형태의 화상 처리 동작을 행한 후의 재분류 결과를 도시하는 도면이다.

제어부(9a)는, 본 실시 형태에서의 화상 처리 동작을 행하기 전에, 우선, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초한 화상 신호를 입력하고, 입력된 i번째의 화상 Ii에 대하여, 제7 실시 형태에서 설명한, 도 32 및 도 33에 나타내는, 스텝 S201부터 스텝 S218까지의 처리를 행하여, 화상 Ii에 대한 분류 결과를 얻는다(도 35의 스텝 S221).

그 후, 제어부(9a)는, 영역 통합의 반복 횟수를 나타내는 count의 값(1≤count)을 count=1로 한다(도 35의 스텝 S222). 또한, 영역 통합의 최대 반복 횟수를 나타내는 countmax의 값은, 유저에 의해 설정되는 값이다. 그리고, 제어부(9a)는, 유저에 의해 설정된 countmax의 값의 횟수분만큼, 이후에 상술하는 바와 같은 영역 통합의 처리를 행한다. 또한, 본 실시 형태에서는, countmax의 값은 5인 것으로 하여 이후의 설명을 행한다.

그리고, 제어부(9a)는, 하나의 영역 Hj의 영역 번호 j를 j=1로 한 후(도 35의 스텝 S223), 하나의 영역 Hj를 클래스 c(c=1, 2, 3, 4 또는 5)로 분류한 것에 대한 평가를 행하기 위한 평가치를 산출한다. 또한, 클래스 1부터 클래스 5까지의 5개의 클래스 각각은, 위 점막 클래스, 융모 클래스, 변 클래스, 기포 클래스 및 불명료 클래스 중 어느 하나의 클래스와 일대일로 대응하는 것인 것으로 한다.

구체적으로는, 우선, 제어부(9a)는, 영역 Hj의 분류 후보로 되는 클래스 c를 c=1로 한다(도 36의 스텝 S231). 그 후, 제어부(9a)는, 후술하는, 영역 Hj의 근방 영역의 분류 결과에 기초한 코스트 함수로부터 도출되는 값인 평가치 Vjc를 Vjc=0으로 한다(도 36의 스텝 S232). 그리고, 제어부(9a)는, 예를 들면, 도 37에 도시하는 바와 같은, 하나의 영역 Hj의 8근방 영역을 나타내는 영역 s(s=1, 2, 3, 4, 5, 6, 7 또는 8)를 s=1로 한다(도 36의 스텝 S233). 또한, 영역 1부터 영역 8까지의 8개의 영역으로서 표시되는, 하나의 영역 Hj의 8근방 영역 각각은, 예를 들면, 도 37에 도시되는 바와 같은 영역 1부터 영역 8의 사각형 영역 중, 어느 하나의 영역과 일대일로 대응하는 것인 것으로 한다. 또한, 하나의 영역 Hj의 각 근방 영역은, 이후 Hjs로 표시되는 것으로 한다. 또한, 하나의 영역 Hj가 화상 변연부인 것, 및 암부 화소 또는 할레이션 화소이기 때문에 처리로부터 제외된 영역이 있는 것 등의 이유에 의해, 하나의 영역 Hj의 근방 영역을 8영역분 설정할 수 없는 경우, 제어부(9a)는, 하나의 영역 Hj의 근방 영역으로서 설정 가능한 영역분에 대해서만, 이후의 처리를 행하는 것으로 한다.

제어부(9a)는, 화상 Ii에 대한 분류 결과로부터, 근방 영역 Hjs를 클래스 c로 분류했는지의 여부를 판정한다(도 36의 스텝 S234). 그리고, 평가치 산출부로서의 기능을 갖는 제어부(9a)는, 근방 영역 Hjs를 클래스 c로 분류하고 있지 않은 것을 검출하면, 하기 수학식 25에 의해 나타내어지는 코스트 함수를 이용하여, 평가치 Vjc의 값에 0.2를 더한다(도 36의 스텝 S235).

그 후, 제어부(9a)는, 영역 s의 값에 1을 더하면서, 하나의 영역 Hj의 근방 영역 Hjs 모두에 대하여, 도 36의 스텝 S234 및 스텝 S235에 나타내는, 상기 수학식 25를 이용한 처리를 반복하여 행함으로써, 클래스 c에서의 평가치를 산출한다(도 36의 스텝 S236 및 스텝 S237).

또한, 제어부(9a)는, 클래스 c에서의 평가치를 결정하면(도 36의 스텝 S236), 클래스 c의 값에 1을 더하면서, 도 36의 스텝 S232 내지 스텝 S237에 나타낸 일련의 처리를 반복하여 행함으로써, 클래스 1부터 클래스 5까지의 모든 클래스에서의 평가치를 산출한다(도 36의 스텝 S238 및 스텝 S239).

영역 분류부로서의 기능을 갖는 제어부(9a)는, 각 Vjc의 값, 즉, Vj1, Vj2, Vj3, Vj4 및 Vj5의 값을 비교하여, 최소의 Vjc의 값을 부여하는 클래스 c로, 하나의 영역 Hj를 재분류한다(도 35의 스텝 S224). 또한, 제어부(9a)는, 최소의 Vjc의 값을 부여하는 클래스 c가 복수 존재한 경우에는, 예를 들면, c가 최소로 되는 클래스를 선택하는 처리를 행하는 것으로 한다.

그리고, 제어부(9a)는, 소정의 count의 값에서, 분할한 m×n개의 영역 모두에 대한 분류가 완료되어 있지 않은 경우(도 35의 스텝 S225), 영역 번호 j에 1을 더하고(도 35의 스텝 S226), 다음 영역에 대해서, 도 35의 스텝 S223 및 스텝 S224에 도시한 처리와, 도 36의 스텝 S231부터 스텝 S239까지에 나타내는 처리로 이루 어지는 일련의 처리를 반복하여 행한다.

제어부(9a)는, 분할한 m×n개의 영역 모두에 대한 분류가 완료되고, 또한, count의 값이 countmax의 값보다 작은 경우(도 35의 스텝 S227), count의 값에 1을 더한 후(도 35의 스텝 S228), 화상 Ii에 대하여, 도 35의 스텝 S222 내지 스텝 S227에 나타낸 처리와, 도 36의 스텝 S231부터 스텝 S239에까지 나타내는 처리로 이루어지는 일련의 처리를 반복하여 행한다. 또한, 제어부(9a)는, 분할한 m×n개의 영역 모두에 대한 분류가 완료되고, 또한, count의 값이 countmax의 값 이상인 경우(도 35의 스텝 S227), 이번에는 (i+1)번째의 화상 Ii+1에 대하여, 도 35의 스텝 S221부터의 일련의 처리를 행한다(도 35의 스텝 S229).

또한, 단말 장치(7)의 제어부(9a)가 본 실시 형태에서의 화상 처리 동작을 이용하여 처리를 행했을 때의 일례를 도 38, 도 39 및 도 40에 도시한다. 도 38은, 이상에 설명한 본 실시 형태에서의 화상 처리 동작에서, 화상 Ii에 상당하는 화상을 모식적으로 도시한 도면이다. 그리고, 도 38에 도시한 바와 같은 화상 Ii가 단말 장치(7)에 입력되면, 단말 장치(7)의 제어부(9a)는, 도 35의 스텝 S221에 도시한 처리에서, 도 39에 도시한 바와 같은 분류 결과를 얻는다. 그 후, 제어부(9a)는, 도 39에 도시한 바와 같은 분류 결과에 기초하여, 또한 도 35의 스텝 S222 이후에 나타낸 영역 통합의 처리를 countmax의 값으로서 미리 설정된 횟수(본 실시 형태에서는 5회)분 반복하여 행함으로써, 도 40에 도시한 바와 같은 재분류 결과를 얻는다.

이상에 설명한 바와 같이, 제어부(9a)에 의해 본 실시 형태에서의 화상 처리 방법을 이용한 처리가 행해지는 경우, 유저는, 제7 실시 형태에서 설명한 효과와 마찬가지의 효과로서, 캡슐형 내시경 장치(1)를 이용한 관찰에서의 관찰 효율의 향상을 도모할 수 있다고 하는 효과를 얻을 수 있다. 또한, 본 실시 형태에서의 화상 처리 방법을 이용한 경우, 단말 장치(7)의 제어부(9a)는, 단말 장치(7)에 입력되는 화상의 소정의 영역의 재분류를, 그 소정의 영역의 근방 영역에서의 분류 결과에 기초하여 행하기 때문에, 오분류 영역의 발생을 억제하면서, 그 화상의 각 영역의 분류를 더욱 고정밀도로 행할 수 있다.

(제9 실시 형태)

도 41 내지 도 47은, 본 발명의 제9 실시 형태에 따른 것이다. 또한, 제1 실시 형태부터 제8 실시 형태까지와 마찬가지의 구성을 갖는 부분에 대해서는, 상세 설명은 생략한다. 또한, 제1 실시 형태부터 제8 실시 형태까지와 마찬가지의 구성 요소에 대해서는, 동일한 부호를 이용하고 설명은 생략한다. 또한, 본 실시 형태에서의 캡슐형 내시경 장치(1)의 구성은, 제1 실시 형태부터 제8 실시 형태까지의 형태와 마찬가지임과 함께, 본 실시 형태에서의 화상 처리 방법도 또한 마찬가지로, 단말 장치(7)로서의, 예를 들면, 퍼스널 컴퓨터에서 실행되는 프로그램으로서 실현되고 있는 것으로 한다. 그리고, 본 실시 형태에서의 화상 처리 방법은, 단말기 본체(9)가 갖는 제어부(9a)에서의 처리로서 행해지는 것으로 한다.

도 41은, 본 실시 형태에서의 화상 처리 동작을 설명하는 플로우차트이다. 도 42는, 본 실시 형태에서의 화상 처리 동작을 설명하는 플로우차트이다. 도 43은, 본 실시 형태에서의 화상 처리 동작에서, 4×4의 화소수를 갖는 작은 사각형 영역 각각에 대하여 가상적으로 부여하는 번호의 배열의 일례를 도시하는 도면이다. 도 44는, 본 실시 형태에서의 화상 처리 동작에서, 하나의 사각형 영역 RO에 대한 근방 외주 영역 Ht의 위치 관계를 도시하는 도면이다. 도 45는, 본 실시 형태에서의 화상 처리 동작에서, 근사 gradient 벡터 Vgt 및 방향 벡터 Vdt가 이루는 각도 θt의 일례를 도시하는 도면이다. 도 46은, 본 실시 형태에서 이용되는 캡슐형 내시경에 의해 촬상된 체강 내의 상의 화상의 일례를 도시하는 모식도이다. 도 47은, 도 46에 도시한 화상의 분류 결과의 일례를 도시하는 도면이다.

우선, 단말 장치(7)의 제어부(9a)는, 전술한 바와 같은, 도 32의 스텝 S201부터 스텝 S203에 도시한 처리와 대략 마찬가지의 처리를 행한다. 즉, 제어부(9a)는, 캡슐형 내시경(3)에 의해 촬상된 체강 내의 상의 화상에 기초한 화상 신호를 입력하고, 입력된 i번째의 화상 Ii에 대하여 전처리를 행하여(도 41의 스텝 S241), 화상 Ii를 m×n개의 소영역으로 분할한(도 41의 스텝 S242) 후, 분할한 각 영역에서, 색조 정보 및 텍스쳐 정보를 특징량으로서 산출한다(도 41의 스텝 S243). 그리고, 제어부(9a)는, 이후에 설명하는 화상 처리를 행하여, 분할한 각 영역 중, 구조적으로 명확한 특징을 갖는 클래스로서 미리 설정된 클래스인, 예를 들면, 기포 클래스로 분류되는 영역을 검출한다(도 41의 스텝 S244). 또한, 본 실시 형태에서는, 제어부(9a)는, 화상 Ii를 m×n개의 소영역으로 분할할 때에, 각각의 영역이 lx=ly=8로 되도록, 즉, 8×8의 화소수를 갖는 사각형 영역으로 되도록 화상 Ii를 분할하는 것으로 한다.

구체적으로는, 제어부(9a)는, 화상 Ii의 각 플레인 중, 녹색의 플레인인 플 레인 Gi에서, 8×8의 화소수를 갖는 각각의 사각형 영역을, 다시 4분할함으로써, 각각이 4×4의 화소수를 갖는 작은 사각형 영역을 생성한다(도 42의 스텝 S251). 제어부(9a)는, 4×4의 화소수를 갖는 작은 사각형 영역 각각에서의 G(녹) 화소의 농도치의 평균치 ga를 산출한 후, 4×4의 화소수를 갖는 작은 사각형 영역 각각에 대하여, 예를 들면, 도 43에 도시한 바와 같은 배열을 갖는 번호를 가상적으로 부여한다. 그리고, 제어부(9a)는, 영역 1과 영역 7 또는 영역 2와 영역 8을 연결하는 선분으로 이루어지는 방향을 화상 상의 수직 방향, 영역 3과 영역 4 또는 영역 5와 영역 6을 연결하는 선분으로 이루어지는 방향을 화상 상의 수평 방향, 영역 2와 영역 5 또는 영역 4와 영역 7을 연결하는 선분으로 이루어지는 방향을 화상 상의 좌측 경사 방향, 및 영역 1과 영역 6 또는 영역 3과 영역 8을 연결하는 선분으로 이루어지는 방향을 화상 상의 우측 경사 방향으로서 각각 설정한 후, 각각의 영역간에서, G 화소의 농도치의 평균치 ga의 대수 차분의 값을 산출한다. 그 후, 제어부(9a)는, 상기 대수 차분의 값이 최대로 되는 영역의 조합이 존재하는 화상 상의 방향에, 대략 원형 형상의 엣지를 나타내는 화소의 배열이 존재한다고 판단하고, 상기 대수 차분의 최대치와, 상기 최대치를 부여하는 화상 상의 방향을 일시적으로 유지한다.

또한, 주목 영역 설정부 및 근방 외주 영역 검출부로서의 기능을 갖는 제어부(9a)는, 8×8의 화소수를 갖는 사각형 영역 중, 도 44에 도시한 바와 같이, 주목 영역으로서의 하나의 사각형 영역 RO를, 대략 원형 형상의 중앙부가 존재하는 영역으로서 가상적으로 좌표 (xo, yo)로 설정한 후, (xo, yo)로부터 거리 Q(Q=1, 2, 3 …)만큼 떨어진 영역, 즉, RO를 중앙부로 하는 대략 원형 형상의 엣지의 적어도 일부가 존재할 수 있는 영역으로 하여, 좌표 (xt, yt)에 의해 표시되는 근방 외주 영역 Ht(t=1, 2, 3 …, T)를 하기 수학식 26에 의해 검출한다(도 42의 스텝 S252).

또한, 상기 수학식 26에서, []는 가우스 기호를 나타내는 것으로 한다.

벡터 산출부로서의 기능을 갖는 제어부(9a)는, 상기 수학식 26을 충족하는 좌표 (xt, yt)를 모두 검출한 후, 검출한 근방 외주 영역 각각에서의 근사 gradient 벡터 Vgt와, 각 좌표 (xt, yt) 및 좌표 (xo, yo)를 연결하는 방향 벡터 Vdt를 산출한다(도 42의 스텝 S253).

또한, 근방 외주 영역 Ht 각각에서의 근사 gradient 벡터 Vgt는, 제어부(9a)에 유지된, G 화소의 농도치의 평균치 ga의 대수 차분의 최대치를 크기로서 갖고, 또한, 상기 최대치를 부여하는 화상 상의 방향을 방향으로서 갖는 벡터이다.

그리고, 제어부(9a)는, 근방 외주 영역 Ht 각각에서의 근사 gradient 벡터 Vgt 및 방향 벡터 Vdt를 산출하면, Vgt의 크기 |Vgt|의 값이 임계치(본 실시 형태에서는 0.4) 이상인지의 여부를 판정한다. 제어부(9a)는, |Vgt|의 값이 임계치 이상인 것을 검출하면, 내적의 공식에 기초하여, 도 45에 도시한 바와 같은, 근사 gradient 벡터 Vgt 및 방향 벡터 Vdt가 이루는 각도 θt에 대해서, 하기 수학식 27에 의해 cosθt의 값을 산출한다(도 42의 스텝 S254).

엣지 판정부로서의 기능을 갖는 제어부(9a)는, 상기 수학식 27을 이용한 cosθt의 산출 결과에 기초하여, |cosθt|의 값이 0.7보다 큰 것을 검출하면(도 42의 스텝 S255), 하나의 사각형 영역 RO를 중심으로 한 방사 형상의 gradient 벡터가 근방 외주 영역 Ht에 존재하는, 즉, 하나의 사각형 영역 RO를 중앙부로 하는 대략 원형 형상의 엣지의 적어도 일부가 존재한다고 판단함과 함께, 그 하나의 사각형 영역 RO를 추출한다.

영역 추출부로서의 기능을 갖는 제어부(9a)는, T개의 근방 외주 영역 중, L개의 영역에서 하나의 사각형 영역 RO를 중심으로 한 방사 형상의 gradient 벡터가 존재하는 경우, L/T의 값에 기초하여, L/T의 값이, 예를 들면 0.7 이상이면(도 42의 스텝 S256), 추출한 상기 하나의 사각형 영역 RO에 대략 원형 형상을 갖는 기포의 중앙부가 존재한다고 판단한다. 그리고, 제어부(9a)는, 거리 Q의 값을, 유저에 의해 미리 설정된 Qmax의 값까지 변화시키면서, 거리 Q의 값 각각에서 전술한 바와 같은 처리를 행한다(도 42의 스텝 S257 및 스텝 S258). 또한, 제어부(9a)는, 8×8의 화소수를 갖는 사각형 영역 모두에 대하여, 순차적으로 하나의 사각형 영역 RO를 설정하면서, 설정한 영역 RO 각각에 대해서, 그 때마다 전술한 바와 같은 처리를 행한다(도 42의 스텝 S259 및 스텝 S260). 제어부(9a)는, 이상에 설명한 바와 같은 처리를 행함으로써, 화상 Ii 상의 다양한 영역에 존재하는, 다양한 기포의 크기에 따라서, 기포 클래스로 분류되는 영역을 검출한다.

그 후, 제어부(9a)는, 기포 클래스로 분류되는 영역 이외의 영역에서, 융모 클래스로 분류되는 영역을 검출하기(도 41의 스텝 S245) 위해서, 도 32의 스텝 S205 내지 스텝 S210에 도시한 처리와 대략 마찬가지의 처리를 행한다.

즉, 전술한 바와 같이, 제어부(9a)는, 교사 데이터에 기초하여 클래스마다 미리 산출된 평균 벡터 μa 및 분산 공분산 행렬 Σa를 갖는 상기 수학식 20 내지 수학식 22를 이용하여, 발생한 특징 벡터 x가 클래스 ω1에 속하는 사후 확률 P(ω1|x)와, 발생한 특징 벡터 x가 클래스 ω2에 속하는 사후 확률 P(ω2|x)와, 발생한 특징 벡터 x가 클래스 ω3에 속하는 사후 확률 P(ω3|x)와, 발생한 특징 벡터 x가 클래스 ω4에 속하는 사후 확률 P(ω4|x)를 각각 산출한다. 그리고, 제어부(9a)는, 이들 4개의 사후 확률 중, 최대의 사후 확률 P1(ωa|x)을 부여하는 클래스 ωa에 특징 벡터 x가 속하는 것으로서 식별을 행하고, 그 식별 결과에 기초하여 특징 벡터 x가 발생한 영역인 하나의 영역 Hj를 클래스 ωa로 분류한다. 또한, 융모 클래스를 클래스 ω1(a=1)로 하면, 제어부(9a)는, m×n개의 영역 중, 이상까지의 처리에서 클래스 ω1로 분류된 영역을 검출하고, 그 영역 각각에서, 최대의 사후 확률 P1(ω1|x)을 부여하는 확률 밀도 함수 p1(x|ω1)의 값을 산출한다.

그리고, 제어부(9a)는, 클래스 ω1로 분류된 영역 각각의 분류 결과가 정확한 것인지의 여부를 판정하기 위해서, 최대의 사후 확률 P1(ω1|x)을 부여하는 확률 밀도 함수 p1(x|ω1)의 값에 대한 임계치에 기초한 처리를 더 행한다.

구체적으로는, 전술한 바와 같이, 제어부(9a)는, 교사 데이터에 기초하여 미리 산출된 평균 벡터 μ1이 갖는 5개의 특징량 각각의 평균치 중, 예를 들면, 특징 량 x1의 평균치 μx1에 대하여, 특징량 x1의 표준 편차 σx1과, 소정의 상수로서의 승산 계수 α의 곱을 더한 값을 포함하는, 임계치 벡터 xb1을 결정한다. 또한, 승산 계수 α의 값은, 융모 클래스의 분류를 확실하게 행하기 위해서, p1(x|ω1)의 값에 대한 임계치를 구성하는 값으로서, 본 처리에서는 0.8로서 설정되는 것인 것으로 한다. 그리고, 임계치 벡터 xb1이 결정되면, 제어부(9a)는, 임계치 벡터 xb1을 상기 수학식 20, 수학식 21 및 수학식 22의 x로서 대입함으로써, 확률 밀도 함수 p(xb1|ω1)의 값을 산출한다.

그리고, 제어부(9a)는, p1(x|ω1)의 값이 p(xb1|ω1)의 값보다 커지는 영역에 대해서는, 융모 클래스로 분류한 분류 결과가 정확하다고 판단하고, 또한, p1(x|ω1)의 값이 p(xb1|ω1)의 값 이하로 되는 영역에 대해서는, 융모 클래스로 분류한 분류 결과가 부정확하다고 판단하고, 해당하는 영역을 불명료 클래스로 분류한다.

제어부(9a)는, m×n개의 영역에 대하여 전술한 처리를 행함으로써, 기포 클래스로 분류되는 영역 이외의 영역에서, 융모 클래스로 분류되는 영역을 검출한다. 그 후, 제어부(9a)는, 전술한 처리에서의 검출 결과에 기초하여, 융모 클래스로 분류되는 영역이 각각 갖는 5개의 특징량으로부터, 융모 클래스를 구성하는 모수인 평균 벡터 μ1 및 분산 공분산 행렬 Σ1을 산출한다(도 41의 스텝 S246). 또한, 기포 클래스를 클래스 ω2(a=2)로 하면, 제어부(9a)는, 전술한 처리에서의 검출 결과에 기초하여, 기포 클래스로 분류되는 영역이 각각 갖는 5개의 특징량으로부터, 기포 클래스를 구성하는 모수인 평균 벡터 μ2 및 분산 공분산 행렬 Σ2를 산출한 다(도 41의 스텝 S246). 그 후, 제어부(9a)는, 융모 클래스를 구성하는 모수인 평균 벡터 μ1 및 분산 공분산 행렬 Σ1과, 기포 클래스를 구성하는 모수인 평균 벡터 μ2 및 분산 공분산 행렬 Σ2를 이용하여, 예를 들면, 도 46에 도시한 바와 같은 화상 Ii에 대하여, 본 발명의 제7 실시 형태 또는 제8 실시 형태에서 설명한 화상 처리를 더 행함으로써, 도 47에 도시한 바와 같은 최종적인 분류 결과를 얻는다(도 41의 스텝 S247).

또한, 본 실시 형태에서의, 기포 클래스로 분류되는 영역의 검출은, 전술한 바와 같은 검출에 한정되는 것이 아니라, 예를 들면, 이후에 기재한 바와 같은 것이어도 된다.

제어부(9a)는, 예를 들면, 엣지의 형상이 일그러져 타원형 형상으로 되는 기포에 대하여, 좌표 (xt, yt)에 의해 표시되는 근방 외주 영역 Ht를, 하기 수학식 28에 기초하여 검출한다.

또한, 상기 수학식 28에서, β는 1 이상의 정수로 하고, 또한, []는 가우스 기호를 나타내는 것으로 한다.

제어부(9a)는, 상기 수학식 28을 충족하는 좌표 (xt, yt)를 모두 검출한 후, 검출한 각 근방 외주 영역 각각에서의 근사 gradient 벡터 Vgt와, 각 좌표 (xt, yt) 및 좌표 (xo, yo)를 연결하는 방향 벡터 Vdt를 산출한다. 그리고, 제어부(9a) 는, Vgt의 크기 |Vgt|의 값이 임계치(본 실시 형태에서는 0.4) 이상인지의 여부를 판정한다. 제어부(9a)는, |Vgt|의 값이 임계치 이상인 것을 검출하면, 내적의 공식에 기초하여, 근사 gradient 벡터 Vgt 및 방향 벡터 Vdt가 이루는 각도 θt에 대해서, 상기 수학식 27에 의해 cosθt의 값을 산출한다.

제어부(9a)는, 상기 수학식 27을 이용한 cosθt의 산출 결과에 기초하여, |cosθt|의 값이 0.7보다 큰 것을 검출하면, 하나의 사각형 영역 RO를 중심으로 한 방사 형상의 gradient 벡터가 근방 외주 영역 Ht에 존재한다고 판단한다. 또한, 제어부(9a)는, 방사 형상의 gradient 벡터가 존재한다고 판단한 근방 외주 영역을 Ht1로 하고, 또한, 그 이외의 근방 외주 영역을 Ht0으로 하여 2치화한 후, Ht1로서 검출된 영역에 대하여 세선화 처리를 행한다. 그 후, 제어부(9a)는, 세선화 처리를 행한 후에도 Ht1로서 남은 영역수를 센다. 제어부(9a)는, 상기 영역수가 L1개인 경우, 영역수 L1과, 상기 수학식 26을 이용함으로써 검출한 근방 외주 영역수 T로부터 L1/T의 값을 산출한다. 그리고, 제어부(9a)는, 상기 L1/T의 값에 기초하여, 상기 L1/T의 값이 임계치(예를 들면 0.7) 이상이면, 하나의 사각형 영역 RO에, 일그러진 엣지의 형상을 갖는 대략 원형 형상의 기포의 중앙부가 존재한다고 판단한다.

또한, 전술한 처리에서, 제어부(9a)는, 영역 RO를 중심으로, 0°부터 360°까지의 사이에서, 각도 φ씩 방향을 변화시키면서, 거리 (Q-β)부터 거리 (Q+β)까지의 범위에서, 방사 형상의 gradient 벡터를 갖는 근방 외주 영역을 검출하는 처리를 행하여도 된다. 이 경우, 제어부(9a)는, 방사 형상의 gradient 벡터를 갖는 근방 외주 영역이 존재한다고 판정한 방향수를 S로 하고, 또한, 근방 외주 영역수 T를 [360/φ]개로 한 후, S/T의 값을 산출한다. 그리고, 제어부(9a)는, 상기 S/T의 값에 기초하여, 상기 S/T의 값이 임계치(예를 들면 0.7) 이상이면, 하나의 사각형 영역 RO에 기포의 중앙부가 존재한다고 판단한다.

또한, 본 실시 형태에서, 제어부(9a)가 기포 클래스로 분류되는 영역을 검출할 때에 이용하는 벡터는, 근사 gradient 벡터에 한정되는 것이 아니라, 예를 들면, 평균 gradient 벡터이어도 된다.

이상에 설명한 바와 같이, 본 실시 형태에 따르면, 제7 실시 형태에서 설명한, 캡슐형 내시경 장치(1)를 이용한 관찰에서의 관찰 효율의 향상을 도모할 수 있다고 하는 효과가 얻어짐과 함께, 색조 정보 및 텍스쳐 정보로 구성되는 특징량에 의한 분류가 어려운 경우에도, 단말 장치(7)에 입력되는 화상에서의 기포 클래스의 영역의 분류를 양호한 정밀도로 행할 수 있다.

또한, 본 실시 형태에 따르면, 구조적으로 명확한 특징을 갖는 기포 및 융모에 대하여, 단말 장치(7)에 입력되는 화상에 기초한 모수의 산출을 미리 행함으로써, 기포 클래스 및 융모 클래스의 영역의 분류를 더욱 양호한 정밀도로 행할 수 있다.

또한, 본 발명에서의 제7 실시 형태 내지 제9 실시 형태에서는, 화상 처리의 적용 대상으로서 캡슐형 내시경(3)에 의한 촬상 화상을 이용했지만, 예를 들면, 캡슐형 내시경(3)과는 다른 구성을 갖는 내시경이 촬상한 상의 화상에 대하여 그 화상 처리 방법을 이용한 경우에도, 마찬가지의 처리 결과를 얻을 수 있다.

또한, 본 발명에서의 제7 실시 형태 내지 제9 실시 형태에서는, 색조 정보 및 텍스쳐 정보에 기초한 5개의 값을, 특징량을 구성하는 값으로서 사용했지만, 이 특징량을 구성하는 값은, 유저의 용도 등에 따라서, 적절히 변경 또는 추가하는 것이 가능하다.

또한, 본 발명에서의 제7 실시 형태 내지 제9 실시 형태에서는, 출혈 또는 발적 등의 병변 부위의 검출을 행하는 화상 처리와 조합하여 이용됨으로써, 병변 부위의 검출 결과가 생체 점막 표면 상으로부터 얻어진 것인지의 여부를 판정할 수 있고, 그 결과, 병변 부위의 검출 정밀도를 높일 수 있다.

또한, 본 발명은, 전술한 실시 형태에 한정되는 것이 아니라, 발명의 취지를 일탈하지 않는 범위 내에서 다양한 변경이나 응용이 가능한 것은 물론이다.

본 출원은, 2005년 4월 13일에 일본에 출원된, 일본 특원 2005-115960호 및 일본 특원 2005-115961호를 우선권 주장의 기초로서 출원하는 것이며, 상기의 개시 내용은, 본원 명세서, 청구의 범위, 도면에 인용된 것으로 한다.

Claims

복수의 색 신호로 이루어지는 의용(醫用) 화상을 입력하는 화상 입력부와,

생체 점막의 관찰에서의 소망의 관찰 대상물이, 관찰에 지장이 없는 정도까지 촬상되어 있는지 여부의 판정을 상기 화상 입력부에 입력되는 상기 의용 화상에 대하여 행하는 판정부와,

상기 판정부에서의 판정 결과에 기초하여 상기 의용 화상의 표시 또는 기억 중 적어도 하나를 제어하는 제어부

를 구비한 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 의용 화상을 복수의 영역으로 분할하는 화상 분할부와,

상기 의용 화상의 상기 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와,

상기 특징량에 기초하여, 상기 복수의 영역 각각이 복수의 클래스 중 어느 것에 속하는지를 식별함과 함께, 그 식별 결과에 의해 상기 복수의 영역 각각을 분류하는 영역 분류부와,

상기 영역 분류부에 의한 분류 결과에 기초하여, 상기 복수의 클래스 중, 상기 소망의 관찰 대상물에 관계되는 소정의 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출부와,

상기 분류 판정치 산출부에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 소정의 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류부

를 더 구비하고,

상기 판정부는, 상기 화상 분류부의 분류 결과에 기초하여, 상기 비율이 소정의 임계치 이하인 경우에, 상기 의용 화상을, 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정하고, 상기 비율이 소정의 임계치보다 큰 경우에, 상기 의용 화상을, 상기 소망의 관찰 대상물의 관찰에 지장이 없는 화상이라고 판정하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,

상기 제어부는, 상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 표시하지 않도록 제어하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,

상기 제어부는, 상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 기억하지 않도록 제어하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서,

상기 제어부는, 상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 기억하지 않도록 제어하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,

상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서,

상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서,

상기 판정부에 의해 상기 소망의 관찰 대상물의 관찰에 지장이 있는 화상이라고 판정된 상기 의용 화상을 삭제하는 화상 삭제부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,

상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 하는 화상 처리 장치.
복수의 색 신호로 이루어지는 복수의 의용 화상을 입력하는 화상 입력부와,

상기 입력된 의용 화상에 대하여, 복수의 영역을 설정하는 영역 설정부와,

상기 복수의 영역 중으로부터 병변(病變)의 존재가 의심되는 영역을 검출하는 검출부와,

상기 영역 설정부에 의해 설정된 상기 복수의 영역이 생체 점막을 촬상한 영역인지의 여부를 판정하는 영역 판정부와,

상기 영역 판정부에서의 판정 결과에 기초하여, 상기 검출부에 의한 검출 결과가 올바른지의 여부를 판정하는 검출 결과 판정부와,

상기 의용 화상의 상기 복수의 영역 각각에서의 특징량을 산출하는 특징량 산출부와,

상기 특징량에 기초하여, 상기 복수의 영역을, 생체 점막에 관한 클래스와 비생체 점막에 관한 클래스를 포함하는 복수의 클래스 중 어느 하나로 각각 분류하는 영역 분류부와,

상기 의용 화상의 녹(綠) 성분의 농도치에 기초하여, 상기 복수의 영역에서 엣지를 갖는 영역을 검출하는 엣지 검출부와,

상기 의용 화상의 녹 성분의 농도치에 기초하여, 상기 엣지를 갖는 영역이 출혈 부위를 포함하는 영역인지의 여부를 판정하는 출혈 부위 판정부와,

상기 출혈 부위 판정부의 판정 결과에 기초하여, 상기 영역 분류부의 분류 결과가 올바른지의 여부를 판정하는 분류 결과 판정부

를 구비하고,

상기 검출부는, 상기 출혈 부위를 포함하는 영역을 병변의 존재가 의심되는 영역으로서 검출하는 것을 특징으로 하는 화상 처리 장치.
삭제
제11항에 있어서,

상기 영역 판정부는, 상기 영역 분류부의 분류 결과에 기초하여, 하나의 영역이 생체 점막에 관한 클래스로 분류된 경우에, 그 하나의 영역을, 생체 점막을 촬상한 영역이라고 판정하는 것을 특징으로 하는 화상 처리 장치.
제13항에 있어서,

상기 검출 결과 판정부는, 상기 검출부의 검출 결과와, 상기 영역 판정부의 판정 결과에 기초하여, 상기 병변의 존재가 의심되는 영역이, 상기 생체 점막을 촬상한 영역인 경우에, 상기 검출부의 검출 결과를 올바르다고 판정하는 것을 특징으로 하는 화상 처리 장치.
제11항에 있어서,

상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 하는 화상 처리 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 기초하는 화상 신호를 입력하는 화상 신호 입력부와,

상기 화상 신호 입력부에서 입력한 화상 신호에 기초하여 상기 의료 기기에 의해 촬상된 화상을 복수의 영역으로 분할하는 화상 분할부와,

상기 화상 분할부에 의해 분할된 복수의 영역 각각에서, 색조에 관한 특징량과, 텍스쳐에 관한 특징량을 산출하는 특징량 산출부와,

상기 특징량 산출부에서 산출된 특징량과, 생체 내에 존재하는 대상물을 화상 내에 포함하는 교사(敎師) 데이터를 이용하여 작성된 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류부와,

상기 특징량과, 상기 제1 영역 분류부에 의한 분류 결과에 기초하여, 상기 소정의 제1 분류 기준을, 상기 소정의 제1 분류 기준과는 상이한 제2 분류 기준으로 다시 설정하는 분류 기준 설정부와,

상기 특징량과, 상기 제2 분류 기준에 기초하여, 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 제2 영역 분류부

를 구비한 것을 특징으로 하는 화상 처리 장치.
삭제
제23항에 있어서,

상기 제1 영역 분류부는, 상기 제1 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하고, 상기 제2 영역 분류부는, 상기 제2 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하 나로 각각 분류하는 것을 특징으로 하는 화상 처리 장치.
촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 기초하는 화상 신호를 입력하는 화상 신호 입력부와,

상기 화상 신호 입력부에서 입력한 화상 신호에 기초하여 그 의료 기기에 의해 촬상된 화상을 복수의 영역으로 분할하는 화상 분할부와,

상기 화상 분할부에 의해 분할된 복수의 영역 각각에서, 색조에 관한 특징량과, 텍스쳐에 관한 특징량을 산출하는 특징량 산출부와,

상기 특징량 산출부에서 산출된 특징량과, 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류부와,

상기 복수의 영역 중, 하나의 영역의 상기 제1 영역 분류부에 의한 분류 결과를, 상기 하나의 영역의 근방에 위치하는 영역의 상기 제1 영역 분류부에 의한 분류 결과에 기초한 평가치를 산출함으로써 평가하는 평가치 산출부와,

상기 평가치 산출부에서의 평가치에 기초하여, 상기 하나의 영역을 상기 복수의 클래스 중 어느 하나로 분류하는 제2 영역 분류부

를 구비한 것을 특징으로 하는 화상 처리 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
촬상 기능을 갖는 의료 기기에 의해 촬상된 화상을 입력하는 화상 입력 스텝과,

상기 화상을 복수의 영역으로 분할하는 영역 분할 스텝과,

상기 복수의 영역 각각으로부터 특징량을 산출하는 특징량 산출 스텝과,

상기 특징량에 기초하여, 상기 복수의 영역 각각을, 생체 점막 표면을 촬상한 클래스, 또는, 비생체 점막을 촬상한 클래스 중 어느 하나의 클래스로 분류하는 영역 분류 스텝과,

상기 영역 분류 스텝에서의 상기 복수의 영역 각각의 분류 결과에 기초하여, 상기 화상 입력 스텝에서 입력된 화상이, 생체 점막 표면의 관찰에 지장이 없는 정도의 것인지 여부의 판정을 행하는 판정 스텝

을 갖는 것을 특징으로 하는 화상 처리 방법.
삭제
삭제
삭제
제36항에 있어서,

상기 특징량은, 색조에 관한 특징량과, 텍스쳐에 관한 특징량 중, 적어도 한쪽의 특징량을 갖는 것을 특징으로 하는 화상 처리 방법.
삭제
삭제
삭제
삭제
삭제
제36항에 있어서,

상기 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 생체 점막 표면을 촬상한 클래스로 분류된 영역군이 상기 복수의 영역에 차지하는 비율을 산출하는 분류 판정치 산출 스텝과,

상기 분류 판정치 산출 스텝에 의해 산출된 상기 비율과, 상기 비율에 관한 소정의 임계치에 기초하여, 상기 생체 점막 표면을 촬상한 클래스로 분류된 상기 영역군을 갖는 상기 화상을 분류하는 화상 분류 스텝

을 더 구비하고,

상기 판정 스텝은, 상기 화상 분류 스텝의 분류 결과에 기초하여, 상기 비율이 소정의 임계치 이하인 경우에, 상기 화상을, 생체 점막 표면의 관찰에 지장이 있는 화상이라고 판정하고, 상기 비율이 소정의 임계치보다 큰 경우에, 상기 화상을, 생체 점막 표면의 관찰에 지장이 없는 화상이라고 판정하는 것을 특징으로 하는 화상 처리 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 따른 화상 신호를 입력하는 화상 신호 입력부에서 입력한 화상 신호에 기초하여, 그 의료 기기에 의해 촬상된 상기 화상을 복수의 영역으로 분할하는 화상 분할 스텝과,

상기 화상 분할 스텝에 의해 분할된 복수의 영역 각각에서, 색조에 관한 특징량과, 텍스쳐에 관한 특징량을 산출하는 특징량 산출 스텝과,

상기 특징량 산출 스텝에서 산출된 특징량과, 생체 내에 존재하는 대상물을 화상 내에 포함하는 교사 데이터를 사용하여 작성된 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류 스텝과,

상기 특징량과, 상기 제1 영역 분류 스텝에 의한 분류 결과에 기초하여, 상기 소정의 제1 분류 기준을, 상기 소정의 제1 분류 기준과는 상이한 제2 분류 기준으로 다시 설정하는 분류 기준 설정 스텝과,

상기 특징량과, 상기 제2 분류 기준에 기초하여, 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 제2 영역 분류 스텝

을 구비한 것을 특징으로 하는 화상 처리 방법.
삭제
제56항에 있어서,

상기 제1 영역 분류 스텝은, 상기 제1 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하고, 상기 제2 영역 분류 스텝은, 상기 제2 분류 기준을 정하는 모수를 이용한 통계적 식별기를 이용하여 상기 복수의 영역을 상기 복수의 클래스 중 어느 하나로 각각 분류하는 것을 특징으로 하는 화상 처리 방법.
촬상 기능을 갖는 의료 기기에 의해 촬상된 화상에 따른 화상 신호를 입력하는 화상 신호 입력부에서 입력한 화상 신호에 기초하여, 그 의료 기기에 의해 촬상된 상기 화상을 복수의 영역으로 분할하는 화상 분할 스텝과,

상기 화상 분할 스텝에 의해 분할된 복수의 영역 각각에서, 색조에 관한 특징량과, 텍스쳐에 관한 특징량을 산출하는 특징량 산출 스텝과,

상기 특징량 산출 스텝에서 산출된 특징량과, 소정의 제1 분류 기준에 기초하여, 상기 복수의 영역을 복수의 클래스 중 어느 하나로 각각 분류하는 제1 영역 분류 스텝과,

상기 복수의 영역 중, 하나의 영역의 상기 제1 영역 분류 스텝에 의한 분류 결과를, 상기 하나의 영역의 근방에 위치하는 영역의 상기 제1 영역 분류 스텝에 의한 분류 결과에 기초한 평가치를 산출함으로써 평가하는 평가치 산출 스텝과,

상기 평가치 산출 스텝에서의 평가치에 기초하여, 상기 하나의 영역을 상기 복수의 클래스 중 어느 하나로 분류하는 제2 영역 분류 스텝

을 구비한 것을 특징으로 하는 화상 처리 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제