KR100943109B1

KR100943109B1 - 화상 처리 장치 및 내시경 장치

Info

Publication number: KR100943109B1
Application number: KR1020077021978A
Authority: KR
Inventors: 겐지 야마자끼; 요시노리 다까하시
Original assignee: 올림푸스 가부시키가이샤; 올림푸스 메디칼 시스템즈 가부시키가이샤
Priority date: 2005-03-22
Filing date: 2006-03-22
Publication date: 2010-02-18
Anticipated expiration: 2026-03-22
Also published as: JPWO2006101128A1; KR20070106641A; EP1862967A1; US8305427B2; AU2006225662A1; US20090021578A1; JP4599398B2; AU2006225662B2; CN101142592A; CA2602906A1; EP1862967A4; CN101142592B; WO2006101128A1

Abstract

화상 처리 장치는, 촬상 장치에 의해 촬상된 화상 데이터에 대하여, 복수의 공간 필터에 의한 필터 처리를 행하는 필터 처리 회로와, 화상 데이터의 국소 영역에서의 밝기를 산출하는 밝기 산출 회로와, 필터 처리 회로의 출력에 대하여, 필터 처리 회로의 출력 및/또는 상기 밝기 산출 회로의 출력에 따른 가중치 부여를 행하는 가중치 부여 회로와, 가중치 부여 회로의 출력에 대하여, 처리 화상 데이터를 생성하기 위한 역 필터 처리를 행하는 역 필터 처리 회로를 구비한다.

화상 처리, 촬상, 화상 데이터, 밝기 산출, 필터 처리, 역 필처 처리, 가중치 부여

Description

화상 처리 장치 및 내시경 장치{IMAGE PROCESSING DEVICE AND ENDOSCOPE}

본 발명은, 내시경의 촬상 수단에 의해 촬상된 화상 데이터에 대한 노이즈를 억제하는 데에 알맞은 화상 처리 장치 및 내시경 장치에 관한 것이다.

최근, 촬상 수단을 구비한 전자 내시경은, 통상 관찰의 외에, 특수광 관찰 등에서도 널리 채용되게 되었다.

예를 들면, 일본 특개 2002-95635호 공보에는, 특수광 관찰로서, 협대역 광 관찰상이 얻어지는 내시경 장치가 개시되어 있다.

협대역 광 관찰상을 얻는 경우에는, 협대역화에 의한 조사 광량의 저하 때문에, 촬상 소자에 의해 얻어진 화상 정보를 그대로 모니터에 출력하면 통상 광 관찰상보다도 어두워지는 경우가 있다.

그 때문에, 종래예에서는 밝기를 보충하는 수단으로서, 조광용의 신호를 생성하고, 이 조광용의 신호에 의해 광원 장치의 조리개의 개폐량을 제어하여 조명 광량을 증감하는 것이 행하여진다.

또한, 종래예에서는, AGC 회로에 의해 촬상된 신호를 적절한 레벨까지 증폭하는 것도 행하여진다. 협대역 광 관찰상을 얻는 경우에는, 협대역화에 의한 조사 광량의 저하 때문에, 조리개에 의한 조명 광량이 최대의 상태로 되어도 광량이 부 족한 경우가 있어, 이와 같은 경우에는 AGC 회로 등에 의해 신호를 전기적으로 증폭하는 것이 행하여진다.

그러나, 광량이 부족한 어두운 화상에서는, S/N이 낮은 상태이기 때문에, 소정의 밝기로 되도록 AGC 회로 등으로 증폭하면 노이즈가 눈에 띄기 쉬워진다.

이와 같은 경우에서의 노이즈를 억제하는 방법으로서는, 주파수 공간에서의 평활화 처리를 행하는 방법이 알려져 있다. 예를 들면 화상 데이터를 푸리에 기저 등에 의해 직교 변환하고, 저역 통과형의 주파수 필터 함수의 적용 후에, 역변환하는 방법을 들 수 있다. 마찬가지의 효과를 실공간의 처리로 실현하는 방법도 있다. 또한, 메디안 필터와 같은 국소적 필터에 의한 노이즈 억제 방법도 알려져 있다.

그러나, 이들의 방법의 대부분은 화상 전체를 균일하게 처리하기 때문에, 노이즈 이외의 화상 정보, 예를 들면 생체 조직에 관한 화상 정보의 콘트라스트도 저하한다.

본 발명은, 전술한 점을 감안하여 이루어진 것으로, 콘트라스트 저하를 경감하면서 노이즈를 유효하게 억제하여, 진단에 알맞은 화상을 얻을 수 있는 화상 처리 장치 및 내시경 장치를 제공하는 것을 목적으로 한다.

<발명의 개시>

<발명을 해결하기 위한 수단>

본 발명은, 촬상 수단에 의해 촬상된 화상 데이터에 대하여 화상 처리를 행하는 화상 처리 장치에서, 상기 화상 데이터에 대하여, 복수의 공간 필터에 의한 필터 처리를 행하는 필터 처리 수단과, 상기 화상 데이터의 국소 영역에서의 밝기를 산출하는 밝기 산출 수단과, 상기 필터 처리 수단의 출력에 대하여, 상기 필터 처리 수단의 출력 및/또는 상기 밝기 산출 수단의 출력에 따른 가중치 부여를 행하는 가중치 부여 수단과, 상기 가중치 부여 수단의 출력에 대하여, 처리 화상 데이터를 생성하기 위한 역 필터 처리를 행하는 역 필터 처리 수단을 구비한 것을 특징으로 한다.

상기 구성에 의해, 필터 처리 수단의 출력과, 국소 영역에서의 밝기의 출력에 따라서 필터 처리된 출력에 대하여 가중치 부여의 계수를 변경함으로써, 밝은 화상 영역에서의 콘트라스트 저하를 회피하면서, 어두운 화상 영역에서의 노이즈를 유효하게 억제할 수 있도록 하고 있다.

도 1은, 본 발명의 실시예1을 구비한 내시경 장치의 전체 구성도.

도 2는, 도 1의 회전 필터의 구성을 도시하는 도면.

도 3은, 도 2의 회전 필터의 제1 필터 세트의 분광 특성을 도시하는 도면.

도 4는, 도 2의 회전 필터의 제2 필터 세트의 분광 특성을 도시하는 도면.

도 5는, 노이즈 억제 회로의 구성을 도시하는 블록도.

도 6은, 필터 처리 결과에 대한 가중치 부여 계수의 특성예를 도시하는 도면.

도 7은, 국소 영역 내의 화소치의 평균치에 대하여 가중치 부여 계수의 특성을 결정하는 임계치의 함수예를 도시하는 도면.

도 8은, 본 실시예에서의 국소적으로 어두운 화상 부분에서의 노이즈 억제의 작용의 설명도.

도 9는, 본 실시예에서의 국소적으로 밝은 화상 부분에서의 노이즈 억제의 작용의 설명도.

도 10은, 본 실시예에서의 동작 내용의 플로우차트도.

도 11은, 본 발명의 실시예2에서의 노이즈 억제 회로 주변부의 구성을 도시하는 블록도.

도 12는, CCD 종별 등에 따라 가중치 부여 계수의 값이 변경되는 노이즈 억제 회로의 구성을 도시하는 블록도.

도 13은, AGC 게인치에 따라서 가중치 부여 계수가 변경되는 것의 설명도.

도 14는, 노이즈 억제 레벨의 변경에 따라서 가중치 부여 계수를 결정하는 파라미터의 특성을 변경하는 설명도.

도 15는, 도 14의 경우와는 서로 다른 특성으로 한 경우의 설명도.

도 16은, 본 발명의 실시예3에서의 노이즈 억제 회로 주변부의 구성을 도시하는 블록도.

도 17은, 가중 평균부에서의 밝기의 평균치에 대한 가중 평균하는 가중치 부여 계수의 특성 설정예를 도시하는 도면.

도 18은, 실시예3에서의 동작 내용을 나타내는 플로우차트도.

도 19는, 변형예에서의 가중 평균하는 가중치 부여 계수의 특성 설정예를 도시하는 도면.

도 20은, 본 발명의 실시예4을 구비한 내시경 장치의 전체 구성도.

도 21은, 백상 노이즈 억제 회로의 구성도.

도 22는, 백상 노이즈를 검출하기 위한 처리 대상 화소를 중심으로 한 주변 화소를 포함하도록 설정되는 마스크를 도시하는 도면.

도 23은, 제1 변형예에서의 백상 노이즈 억제 회로의 구성도.

도 24는, 제2 변형예에서의 백상 노이즈 억제 회로의 구성도.

도 25는, 백상 노이즈를 검출하기 위해서 설정된 처리 대상 화소 및 주변 화소의 화소치의 구체예를 도시하는 도면.

도 26은, 도 20의 회전 필터의 구성을 도시하는 도면.

도 27은, 본 발명의 실시예5를 구비한 내시경 장치의 전체 구성도.

도 28은, 실시예5에 사용되는 제2 전자 내시경의 구성을 도시하는 도면.

도 29는 제1 및 제2 전자 내시경에 각각 사용되는 여기광 컷 필터의 투과율특성의 개략을 도시하는 도면.

도 30은 제1 및 제2 전자 내시경에 각각 사용되는 여기광 컷 필터의 투과율특성의 개략을 통상 관찰에 이용되는 조명광의 파장 영역의 관계로 나타내는 도면.

도 31은 변형예에서의 백상 억제 회로의 구성을 도시하는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 도면을 참조하여 본 발명의 실시예를 설명한다.

(실시예1)

도 1 내지 도 10은, 본 발명의 실시예1에 관한 것으로, 도 1은 본 발명의 실 시예1을 구비한 내시경 장치의 전체 구성을 도시하고, 도 2는 도 1의 회전 필터의 구성을 도시하고, 도 3은 도 2의 회전 필터의 제1 필터 세트의 분광 특성을 도시하고, 도 4는 도 2의 회전 필터의 제2 필터 세트의 분광 특성을 도시하고, 도 5는 노이즈 억제 회로의 구성을 도시한다.

또한, 도 6은 필터 처리 결과에 대한 가중치 부여 계수의 특성예를 도시하고, 도 7은 국소 영역 내의 화소치의 평균치에 대하여 가중치 부여 계수의 특성을 결정하는 임계치의 함수예를 도시하고, 도 8 및 도 9는, 본 실시예에 따른 노이즈 억제의 작용의 설명도를 도시하고, 도 10은 본 실시예에 따른 동작 내용의 플로우차트를 나타낸다.

본 실시예는, 국소적으로 밝은 화상 영역의 콘트라스트 저하를 경감하면서, 어두운 화상 영역의 노이즈를 억제하고, 또한 고속 처리 가능한 노이즈 억제 처리 수단을 구비한 화상 처리 장치 및 내시경 장치를 제공하는 것을 목적으로 한다. 또한, 촬상 소자의 특성이 서로 다른 복수 종류의 전자 내시경이 접속되는 경우에도, 노이즈 억제가 충분히 얻어지는 내시경용 화상 처리 장치 및 내시경 장치를 제공하는 것도 목적으로 한다.

도 1에 도시하는 바와 같이, 본 실시예를 구비한 내시경 장치(1)는, 체강 내에 삽입되어, 체강 내 조직을 촬상하는 전자 내시경(2)과, 전자 내시경(2)에 조명광을 공급하는 광원 장치(3)와, 전자 내시경(2)에 내장된 촬상 수단을 구동함과 함께, 촬상된 촬상 신호를 신호 처리하는 비디오 프로세서(4)와, 비디오 프로세서(4)에 의해 생성된 내시경 화상을 표시하는 관찰 모니터(5)와, 부호화된 내시경 화상 을 파일링하는 파일링 장치(6)로 구성된다.

전자 내시경(2)은, 체강 내에 삽입되는 가늘고 긴 삽입부(7)를 가지며, 이 삽입부(7)의 후단에는 조작부(8)가 설치되어 있다. 또한, 삽입부(7) 내에는 조명광을 전송하는 라이트 가이드(9)가 삽입 관통되고, 이 라이트 가이드(9)의 후단은, 광원 장치(3)에 착탈 가능하게 접속된다.

광원 장치(3)는, 램프 점등 회로(10)로부터의 점등 전력의 공급에 의해 조명광을 발생하는 램프로서의 예를 들면 크세논 램프(11)와, 백색광의 열선을 차단하는 열선 컷 필터(12)와, 열선 컷 필터(12)를 통한 백색광의 광량을 제어하는 조리개 장치(13)와, 조명광을 면 순차 광으로 변환하는 회전 필터(14)와, 전자 내시경(2) 내에 배설된 라이트 가이드(9)의 입사면에 회전 필터(14)를 통한 면 순차 광을 집광하여 공급하는 집광 렌즈(15)와, 회전 필터(14)의 회전을 제어하는 제어 회로(16)를 구비하고 있다.

회전 필터(14)는, 도 2에 도시하는 바와 같이, 원판 형상으로 구성되어 중심을 회전축으로 한 2중 구조로 되어 있고, 직경이 큰 외측의 둘레 방향 부분에는 도 3에 도시하는 바와 같은 색 재현에 알맞은 오버랩한(제2 필터 세트의 경우에 비교하면 광대역의) 분광 특성의 면 순차 광을 출력하기 위한 제1 필터 세트를 구성하는 R1 필터(14r1), G1 필터(14g1), B1 필터(14b1)가 배치되어 있다.

또한, 내측의 둘레 방향 부분에는 도 4에 도시하는 바와 같은 원하는 심층 조직 정보가 추출 가능한 이산적인 분광 특성의 협대역의 면 순차 광을 출력하기 위한 제2 필터 세트를 구성하는 R2 필터(14r2), G2 필터(14g2), B2 필터(14b2)가 배치되어 있다.

그리고, 회전 필터(14)는, 도 1에 도시하는 바와 같이, 제어 회로(16)에 의해 회전 필터 모터(17)의 회전 구동의 제어가 행하여져 소정 속도로 회전된다. 또한, 회전 필터(14)는, 회전 필터 모터(17)와 함께, 이동 모터(18)에 의해 화살표 A로 나타내는 바와 같이 광로와 직교하는 방향으로 이동된다.

예를 들면 회전 필터 모터(17)를 유지하고 있는 유지판(17a)에는, 래크가 설치되어 있고, 이 래크는, 이동 모터(18)의 회전축에 설치된 피니언 기어(18a)와 맞물려 있다. 그리고, 유저에 의한 모드 절환 스위치(20)의 모드 절환 지시 신호에 따라서 모드 절환 회로(21)로부터 출력되는 구동 신호에 의해, 이동 모터(18)를 정회전 혹은 역회전시킴으로써, 관찰 모드에 따라서, 제1 필터 세트 혹은 제2 필터 세트를 광로 상에 배치할 수 있도록 하고 있다.

제1 필터 세트가 광로 상에 배치된 경우에는, 통상의 면 순차 광으로 되고, 통상 광 관찰상이 얻어지는 통상 모드에 상당한다. 이에 대하여 제2 필터 세트가 광로 상에 배치된 경우에는, 협대역의 면 순차 광으로 되고, 협대역 광 관찰상이 얻어지는 협대역 모드(NBI 모드)에 상당한다. 또한, 도 2에서는 제1 필터 세트와 제2 필터 세트가 광로 상에 배치된 경우에서의 광속의 위치를 나타내고 있다.

광로 상에 배치된(통상 모드에 대응하는) 제1 필터 세트 혹은 (NBI 모드에 대응하는) 제2 필터 세트를 투과하여, 집광 렌즈(15)에 의해 집광된 조명광은, 라이트 가이드(9)에 의해 전송되고, 삽입부(7)의 선단부(22)의 조명창에 부착된 조명 렌즈(23)를 거쳐, 체강 내 조직측에 조명광으로서 조사된다.

이 조명창에 인접하여 설치된 관찰창에는 대물 렌즈(24)가 부착되어 있고, 그 결상 위치에는, 촬상 소자로서 전하 결합 소자(CCD로 약기)(25)가 배치되어 있고, 이 CCD(25)는, 결상된 광학상을 광전 변환한다.

이 CCD(25)는 신호선(26)을 통하여 비디오 프로세서(4) 내의 CCD 드라이버(29)와, 프리앰프(30)에 접속된다. 또한, 신호선(26)은, 실제로는, 도시하지 않은 커넥터를 통하여 비디오 프로세서(4)와 착탈 가능하게 접속된다.

CCD 드라이버(29)로부터의 CCD 드라이브 신호의 인가에 의해 CCD(25)에 의해 광전 변환된 촬상 신호는, 프리앰프(30)에 의해 증폭된 후, 상관 2중 샘플링 및 노이즈 제거 등을 행하는 프로세스 회로(31)를 거쳐 A/D 변환 회로(32)에 입력됨과 함께, 조광 회로(33)에 입력된다.

이 A/D 변환 회로(32)에 의해 아날로그 신호로부터 디지털 신호의 화상 데이터로 변환된 후, 화이트 밸런스 회로(34)에 입력되고, 화이트 밸런스의 처리가 행하여진 후, 오토 게인 컨트롤 회로(AGC 회로라고 약기)(35)에 입력되어, 소정 레벨까지 증폭된다.

또한, AGC 회로(35)는, 광원 장치(3)의 조리개 장치(13)에 의한 조명 광량에서의 조광 동작이 우선되어 행해지고, 이 조리개 장치(13)의 개구가 개방 상태에 도달한 후, 그 개방 상태의 정보에 기초하여, AGC 회로(35)에 의해 부족한 신호 레벨이 증대하도록 증폭하는 동작을 행한다.

또한, 조광 회로(33)는, 프로세스 회로(31)의 출력 신호로부터, 광원 장치(3)의 조리개 장치(13)의 개구량을 조정하여 적정한 조명 광량으로 제어하는 조 광 신호를 생성한다.

상기 AGC 회로(35)의 출력 데이터는, 노이즈 억제 회로(36)에 입력됨과 함께, 절환 스위치(40)를 통하여 γ 보정 회로(41)에 입력된다.

절환 스위치(40)는, 모드 절환 스위치(20)의 조작에 의해, 모드 절환 회로(21)를 통하여 통상 모드 시에는, 접점 a가 선택되고, NBI 모드 시에는 접점 b가 선택된다. 따라서, 본 실시예에서는, 노이즈 억제 회로(36)측(노이즈 억제 회로(36)로부터 면 순차 회로(39)까지)은, NBI 모드가 선택된 경우에 기능한다.

노이즈 억제 회로(36)는, 타이밍 제너레이터(49)로부터의 타이밍 신호가 송신되고, 회전 필터(14)의 제2 필터 세트가 광로 상에 배치된 상태에서 촬상되는 정보를 취득한다. 그리고, 노이즈 억제 회로(36)는, 타이밍 신호를 이용하여, 제2 필터 세트에 의한 (R2, G2, B2의 조명 하에서 각각 촬상한 색 성분 화상으로서의) R, G, B의 화상 데이터마다 노이즈 억제의 처리를 행하는 경우의 각종 파라미터를 절환한다.

노이즈 억제 회로(36)의 출력 데이터는, 동시화 회로(37)에 입력되고, 동시화된 후, 색 변환 회로(38)에 입력되고, 이 색 변환 회로(38)에 의해 색 변환의 처리가 행하여진다. 이 색 변환 회로(38)는, 동시화된 RGB 화상 정보를 3×3의 매트릭스에 의해 색 변환한다. 이에 의해, NBI 모드에서 재현되는 화상 정보의 시인성을 향상한다.

이 경우에서의 RGB로부터 R'G'B'로 색 변환하는 변환식은, 3행 3열의 매트릭스 K를 이용하여, 이하의 수학식 1로 한다.

여기에서, K는, 예를 들면 3개의 실수 성분 k1∼k3(그 밖의 성분은 0)으로 이루어지고, 이 수학식 1과 같은 변환식에 의해, RGB 컬러 신호에서의 B의 색 신호의 가중치 부여(비율)가 최대로 되어 있다. 환언하면, 장파장으로 되는 R2 필터의 투과광에 의해 화상화된 R의 색 신호를 억압하고, 단파장측의 B의 색 신호를 강조하여 RGB 컬러 화상으로서 표시되도록 한다.

상기 수학식 1에서는, R의 색 신호를 완전하게 억압하고 있는 예로 나타내고 있지만, R의 색 신호 성분을 일부 남기는 색 변환을 행하도록 하여도 된다. 또한, 수학식 1과 같이 R의 색 신호를 완전하게 억압하는 경우에는, 실시예3에서 설명하고 있는 바와 같이 R2는 조명광으로서 이용하지 않고, G2, B2의 조명광만 이용하도록 하면 된다.

이 색 변환 회로(38)의 출력 신호(R', G', B'이지만 간단화를 위해서 R, G, B를 이용하여 설명함)는, 면 순차 회로(39)에 입력된다. 면 순차 회로(39)는, 프레임 메모리에 의해 구성되고, 동시에 저장된 R, G, B의 화상 데이터를 색 성분 화 상으로서 순차적으로 판독함으로써 면 순차의 화상 데이터로 변환된다. 이 면 순차의 화상 데이터 R, G, B는, 절환 스위치(40)를 거쳐 γ 보정 회로(41)에 입력되고, γ 보정된 후, 확대 회로(42)에 입력되어 확대 보간 처리된 후, 강조 회로(43)에 입력된다.

이 강조 회로(43)에 의해, 구조 강조 혹은 윤곽 강조가 행하여진 후, 셀렉터(44)를 거쳐 동시화 회로(45)에 입력된다. 이 동시화 회로(45)는, 3개의 메모리(45a, 45b, 45c)에 의해 형성되어 있다.

동시화 회로(45)에 의해 동시화된 신호 데이터는, 화상 처리 회로(46)에 입력되고, 동화상의 색차 보정 등의 화상 처리가 실시된 후, D/A 변환 회로(47a, 47b, 47c) 및 부호화 회로(48)에 입력되고, 이들 D/A 변환 회로(47a, 47b, 47c)에 의해 아날로그의 영상 신호로 변환된 후, 관찰 모니터(5)에 입력된다.

관찰 모니터(5)는, 입력되는 영상 신호에 대응한 내시경 화상을 표시한다. 또한, 부호화 회로(48)에 의해 압축된 내시경 화상 신호는 파일링 장치(6)에 입력되어, 기록된다. 또한, 비디오 프로세서(4) 내에는, 타이밍 제너레이터(49)가 설치되어 있고, 광원 장치(3)의 제어 회로(16)로부터의 회전 필터(14)의 회전에 동기한 동기 신호가 입력되고, 이 동기 신호와 동기한 각종 타이밍 신호를 상기 각 회로에 출력한다.

또한, 전자 내시경(2)에는, 각 전자 내시경(2)에 고유한 내시경 식별 정보(스코프 ID라고 약기)를 발생하는 스코프 ID 발생 회로(28)가 설치되어 있다. 본 발명에서는, 이 스코프 ID에서의 CCD(25)의 정보를 신호 처리에 이용하도록 하고 있다.

즉, 이 스코프 ID는, 노이즈 억제 회로(36)에 입력되어, 실제로 사용되어 있는 CCD(25)의 종별 등에 따른 노이즈 억제의 처리를 행할 수 있다. 또한, CCD(25)의 종별, AGC 회로(35)의 AGC 게인치 등에 따라 노이즈 억제 회로(36)의 가중치 부여 계수를 변경하는 경우의 설명은 실시예2에서 행한다.

또한, 전자 내시경(2)에는, 모드 절환의 지시를 행하는 모드 절환 스위치(20)가 설치되어 있고, 이 모드 절환 스위치(20)의 출력은, 비디오 프로세서(4) 내의 모드 절환 회로(21)에 출력된다.

모드 절환 회로(21)는, 모드 절환의 지시 신호에 따른 제어 신호를, 조광 제어 파라미터 절환 회로(50) 및 광원 장치(3)의 이동 모터(18)에 출력함과 함께, 절환 스위치(40)의 절환을 제어한다. 이 절환 스위치(40)는, 통상 모드인 경우에는, 접점 a가 선택되고, 협대역 관찰 모드(NBI 모드라고 약기)인 경우에는 접점 b가 선택되게 된다. 조광 제어 파라미터 절환 회로(50)는, 회전 필터(14)의 제1 필터 세트 혹은 제2 필터 세트에 따른 조광 제어 파라미터를 조광 회로(33)에 출력하고, 조광 회로(33)는 모드 절환 회로(21)로부터의 제어 신호 및 조광 제어 파라미터 절환 회로(50)로부터의 조광 제어 파라미터에 기초하여 광원 장치(3)의 조리개 장치(13)를 제어하여 적정한 밝기 제어를 행하도록 되어 있다.

도 5는, 노이즈 억제 회로(36)의 내부 구성을 도시한다. 노이즈 억제 회로(36)에는, 면 순차의 R, G, B의 화상 데이터가 입력 화상 데이터로서 입력된다. 입력 화상 데이터는, 도시하고 있지 않은 메모리에 기억되어, 화상의 좌측 위로부 터 우측 아래를 향하여, 중심 화소를 1화소씩 어긋나게 하면서, n×n 화소의 화상 데이터로서 판독하여, 필터부(51)를 구성하는 복수의 필터 A1, A2, …, Ax, …, Ap에 입력됨과 함께, 소영역에서의 밝기를 산출하는 평균 화소치 산출부(52)에 입력된다.

필터부(51)는, 3×3, 5×5 등, 홀수 n으로 한 필터 사이즈 n×n으로 이루어지는 p(=n×n)개의 필터로 구성되고, 각 필터 Ax(x=1, 2, …, p)는, 입력 화상 데이터로 컨볼루션 처리를 행하고, 각각의 필터 처리 결과를 가중치 부여부(53) 및 LUT(56)에 출력한다.

필터부(51)에서의 p개의 필터 Ax의 계수는, R, G, B 화상 데이터마다 타이밍 제너레이터(49)로부터의 타이밍 신호(보다 구체적으로는 절환 신호)에 의해 절환되고, 필터 계수 저장부(54)로부터 판독되어 설정된다.

필터 Ax의 계수는, 미리 샘플의 내시경 화상(구체적으로는, NBI 모드에 의해 촬상한 내시경 화상)으로부터 R, G, B마다 표본 데이터를 작성하고, 그 R, G, B마다 표본 데이터의 공분산 행렬의 고유 벡터로 부여한다.

이 경우의 고유 벡터는, 서로 직교하는 특성의 벡터로 되고, Karhunen-Loeve 변환(KL 변환으로 약기) 행렬로 된다. 또한, 고유 벡터와 고유치는 세트로 되어 있어, 고유치가 큰 고유 벡터일수록, 그 고유 벡터로 직교 변환함으로써, 낮은 주파수에 상당하는 주파수 성분이 구해진다.

본 실시예에서는, p개의 p차원의 고유 벡터를 고유치가 큰 순으로, 필터 A1, A2, …, Ap로서 상기 필터 계수 저장부(54)에 저장되어 있다. 이 경우, 필터 A1, A2, …, Ap는, 낮은 주파수 성분에 상당하는 변환 계수를 부여하는 필터 계수로부터 순차적으로 높은 쪽에 상당하는 필터 계수로 재배열한 배열로 된다.

그리고 필터부(51)는, 입력 화상 데이터에 대하여, p개의 필터 계수를 이용하여 직교 변환하는 필터 처리를 행하고, 필터 처리한 필터 처리 결과(직교 변환 계수)를 가중치 부여부(53)에 출력한다.

상기 평균 화소치 산출부(52)는, 필터부(51)에서 필터 처리에 이용하는 것과 동일한 화상 데이터에서의 n×n 화소에서의 화소치의 평균치를 산출하고, 그 산출 결과를 LUT(56)에 출력한다.

가중치 부여부(53)도, p(=n×n)개의 가중치 부여 회로 W1, W2, …, Wp(도 5에서는 가중치 부여 W1, W2, …, Wp라고 약기)로 이루어지고, 각 필터 Ax에 의한 필터 처리 결과가, 대응하는 가중치 부여 회로 Wx에 입력된다.

또한, 각 가중치 부여 회로(53Wx)는, 필터 Ax로부터 출력되는 필터 처리 결과에 대하여 가중치 부여한다. 그리고, 가중치 부여 회로(53Wx)에 의해 가중치 부여한 p(=n×n)개의 처리 결과를, 역 필터 처리를 행하는 역 필터부(55)에 출력한다.

가중치 부여부(53)의 가중치 부여 회로(53Wx)에 의해 가중치 부여하는 가중치 부여 계수 W는, LUT(56)에 미리 저장되어 있고, 평균 화소치 산출부(52)에서 산출된 평균 화소치 및 필터 Ax의 출력에 따른 가중치 부여 계수 W가 이 LUT(56)로부터 판독되어 가중치 부여 회로(53Wx)에 세트되고, 세트된 가중치 부여 계수 W에 의해 가중치 부여된다.

역 필터부(55)는, 가중치 부여부(53)의 출력에 대하여, 역 필터 처리하여 노이즈 억제를 실시한 화상 데이터를 생성한다. 생성된 화상 데이터는, 입력 화상 데이터의 n×n 화소의 중심 화소에서의 화소치로 된다.

본 실시예에서는, 가중치 부여부(53)는, 필터부(51)에 의한 필터 처리 결과의 절대치 │Coef│를 변수로서, 도 6의 (A) 혹은 도 6의 (B)에 도시하는 바와 같은 특성에 의해 결정되는 가중치 부여 계수 W의 값이 필터 처리 결과 Coef에 승산된다.

도 6의 (A) 혹은 도 6의 (B)에 도시하는 가중치 부여 함수의 특성은, 2개의 파라미터 Cth1, Cth2에 의해 결정된다. 보다 구체적으로는, 파라미터 Cth1은, 가중치 부여 계수 W가 1로 되는 값을 결정하는 임계치이며, 또한 다른 하나의 파라미터 Cth2는, 가중치 부여 계수 W가 0으로 되는 값을 결정하는 임계치이다.

또한, 도 6의 (A) 및 도 6의 (B)의 특성을 결정하는 파라미터(임계치) Cth1a, Cth2a는, 파라미터(임계치) Cth1b, Cth2b는, 각각 화상의 국소 영역이 어두운 경우와 밝은 경우를 나타내고 있다.

이들 파라미터 Cth1a, Cth2a 및 Cth1b, Cth2b는, 도 7에서, 평균 화소치 산출부(52)의 산출치, 즉 n×n 화소 내의 화소치의 평균치 Pav에 의해 결정된다.

즉, 도 6의 (A) 및 도 6의 (B)의 파라미터 Cth1a, Cth2a 및 Cth1b, Cth2b는, 도 7에서의 평균치 Pav가 작은 경우의 Pava와, 큰 경우의 Pavb의 경우에 각각 대응하여 결정된다.

그리고, 가중치 부여부(53)는, 필터 처리 결과의 출력이 제1 소정치로서의 파라미터 Cth1보다도 큰 경우에는, 필터 Ax의 출력에 상관없이 제1 소정의 가중치 계수(구체적으로는 1)를 설정하고, 이에 대하여 필터 처리 결과의 출력이 제1 소정치보다도 작은 경우에는, 필터 Ax의 출력에 따라서 가중치 계수를 보다 작은 값으로 변경한다. 또한, 상기 제1 소정치는, 상기 밝기 산출 수단의 출력에 따라서 변경하고 있다.

구체적으로는, 평균치 Pav가 작은(어두운) 경우에는, 제1 소정의 가중치 계수(구체적으로는 1)로 되는 파라미터 Cth1을 큰 값으로 하고, 평균치 Pav가 큰(밝은) 경우에는, 파라미터 Cth1을 작은 값으로 변경하도록, 평균 화소치 산출부(52)의 출력에 따라서, 파라미터 Cth1을 변경하고 있다.

또한, 본 실시예에서는, 제2 소정치로서의 파라미터 Cth2도 평균 화소치 산출부(52)의 출력에 따라서 변경하고 있다. 이 파라미터 Cth2는, 필터 처리 결과의 출력에 대하여 가중치 부여 계수를 0으로 설정하는 것이며, 필터 처리 결과의 출력에 포함되는 노이즈를 유효하게 제거하는 레벨로 설정한다.

그리고, 파라미터 Cth2와 Cth1 사이는, 가중치 부여 계수가 0부터 1까지 변화되게 된다.

이와 같이 평균 화소치 산출부(52)의 출력에 따라서 Cth1, Cth2가 변화되는 가중치 부여 함수에 기초하여, 필터 처리 결과의 절대치 │Coef│에 따른 가중치 계수가 필터 Ax에 의한 필터 처리 결과마다 설정된다.

또한, 도 7에 도시하는 바와 같이, 평균치 Pav가 충분히 큰 값일 때에는, Cth1=Cth2=0.0으로 되고, 가중치 계수 W는, 필터 처리 결과에 상관없이, 값 1로 되 기 때문에, 후술하는 역 필터 처리에 의해 원래의 화상 데이터를 출력할 수 있어, 선예도(鮮銳度) 열화가 없는 화상 데이터가 얻어진다.

가중치 부여부(53)의 출력에 대하여 역 필터 처리를 행하는 역 필터부(55)는, 가중치 부여부(53)로부터 출력되는 p개의 처리 결과에 대하여, 필터 Ax의 마스크(n×n 사이즈) 중심의 필터 계수와의 곱의 합(내적)을 행하는 곱의 합 연산을 행함으로써, 필터 처리 후의 출력 결과를 원래의 주목 화소에서의 화상 데이터로 복귀하는 처리, 즉 역 필터 처리(보다 구체적으로는 역 KL 변환 처리)를 행한다.

구체적으로는, 필터 Ax의 출력을 각각 가중치 부여 회로 Wx에 의해 가중치 부여한 처리 결과를 Dx(x=1,2, …, p)로 하고, 필터 Ax의 중심의 필터 계수를 Ax, m(여기에서, Ax, m은, Ax의 m번째의 계수(m은, p를 홀수로서 p/2를 사사오입한 정수치, 환언하면 (p+1)/2)))으로 하면,

으로 된다. 여기에서, 총합 기호 Σ는, Dx 및 Ax, m의 곱 Dx·Ax, m을, x=1부터 p까지 가산하는 것을 나타내고 있다.

그리고, 상기 수학식 2에 의한 곱의 합 연산에 의한 역 필터 처리 결과를, n×n 화소의 소영역에서의 중심 화소에 대한 노이즈 억제 회로(36)에 의한 처리 결과의 화소치로서 후단의 회로(도 1의 동시화 회로(37))측에 출력한다.

상기한 바와 같이 본 실시예에서는, 2개의 파라미터 Cth1, Cth2 및 필터 처 리 결과의 출력에 의해 가중치 부여 계수 W가 결정됨과 함께, 가중치 부여 함수는, 도 7에 도시하는 바와 같이 평균 화소치 산출부(52)의 산출치로서의 평균치 Pav를 변수로 한 함수 f, g에 의해 2개의 파라미터 Cth1, Cth2를 통하여 결정되게 되어 있다.

이 경우, 도 7에 도시하는 양 함수 f, g는, 단조 감소의 특성을 갖는다. 또한, 함수 f의 기울기는, 다른 하나의 함수 g보다도 완만하게 되어 있다.

이와 같이 양 함수 f, g가 설정되어 있기 때문에, 예를 들면 평균 화소치 산출부(52)의 평균치 Pav가 낮은 값 Pava인 경우와 높은 값 Pavb인 경우에서는, 도 6의 (A)와 도 6의 (B)에 도시하는 가중치 부여 함수가 서로 달라, 가중치 부여부(53)에 의해 가중치 부여되는 가중치 부여 계수 W가 서로 다르게 된다.

도 7과 도 6의 (A) 및 도 6의 (B)의 비교로부터 알 수 있는 바와 같이, 평균 화소치 산출부(52)의 평균치 Pav가 낮은(작은) Pava이면, 필터 처리 결과 Coef에 대하여 가중치 부여 계수 W가 낮은 값으로 되도록 설정되고, 반대로 평균 화소치 산출부(52)의 평균치 Pav가 높은(큰) Pavb이면, 필터 처리 결과 Coef에 대하여 가중치 부여 계수 W가 큰 값으로 되도록 설정되게 된다.

즉, 도 6의 (A)의 경우의 가중치 부여 계수 W의 경우에는, 필터 처리 결과 Coef가 상당히 큰 임계치 Cth1a 이상으로 된 경우에, 처음으로 가중치 부여 계수 W가 1로 되고, 그 값보다 조금 작은 임계치 Cth2a 이하이면, 가중치 부여 계수 W가 0으로 된다. 따라서, 이 경우에는, 필터 처리 결과 Coef가 가중치 부여 계수 W에 의해 억압되어 출력되게 된다.

이에 대하여, 도 6의 (B)의 경우의 가중치 부여 계수 W에서는, 필터 처리 결과 Coef가 0보다 크면, 그 경우에서의 가중치 부여 계수 W는 0보다 크고, 상당히 낮은 임계치 Cth1b 이상으로 되면, 가중치 부여 계수 W가 1로 되어, 필터 처리 결과 Coef의 값이 그대로 출력된다.

본 실시예에서의 노이즈 억제 회로(36)는, 이와 같이 국소 영역에서의 밝기에 따라서, 그 밝기가 어두울수록, 동일한 필터 처리 결과의 값에 대한 가중치 부여를 작게 함으로써, 어두운 화상 영역에서의 노이즈를 유효하게 억제하고, 또한 밝기가 밝을수록, 그에 대한 가중치 부여를 크게 함으로써, 밝은 화상 영역의 화상 정보의 콘트라스트를 유지하도록 하고 있다.

또한, 필터 A1의 필터 처리 결과에 대한 가중치 계수 W는, 항상 1.0으로 한다. 이에 의해, DC 성분을 유지한다.

다음으로, 이와 같이 구성된 본 실시예의 내시경 장치의 작용에 대해서 설명한다.

도 1에 도시하는 바와 같이 전자 내시경(2)을 광원 장치(3)나 비디오 프로세서(4)에 접속하여, 전원을 투입한다. 초기 상태에서는, 예를 들면 통상 관찰 상태로 설정된다.

통상 관찰 시에는, 조명광의 광로 상에 회전 필터(14)의 제1 필터 세트인 R1 필터(14r1), G1 필터(14g1), B1 필터(14b1)에 위치하도록 비디오 프로세서(4) 내의 모드 절환 회로(21)가 제어 신호에 의해 이동 모터(18)를 제어한다.

체강 내 조직의 통상 관찰 시에서의 R1 필터(14r1), G1 필터(14g1), B1 필 터(14b1)는, 도 3에 도시한 바와 같이 각 파장 영역이 오버랩하고 있고, B1 필터(14b1)에 의한 CCD(25)로 촬상되는 촬상 신호는, 생체 조직의 얕은 층에서의 조직 정보를 많이 포함하는 얕은 층 및 중층 조직 정보를 갖는 밴드 화상이 촬상된다. 또한, G1 필터(14g1)에 의한 CCD(25)로 촬상되는 촬상 신호에는, 생체 조직의 중층에서의 조직 정보를 많이 포함하는 얕은 층 및 중층 조직 정보를 갖는 밴드 화상이 촬상되고, 또한 R1 필터(14r1)에 의한 CCD(25)로 촬상되는 촬상 신호에는, 심층에서의 조직 정보를 많이 포함하는 중층 및 심층 조직 정보를 갖는 밴드 화상이 촬상된다.

그리고 비디오 프로세서(4)에 의해, 이들 RGB 촬상 신호를 동시화하여 신호 처리함으로써, 내시경 화상으로서는 원하는 혹은 자연스러운 색 재현의 내시경 화상을 얻는 것이 가능하게 된다.

또한, 이 통상 관찰의 경우에는, 비디오 프로세서(4)는, AGC 회로(35)를 통한 화상 데이터는, 노이즈 억제 회로(36) 등의 처리를 행하지 않고, 절환 스위치(40)를 거쳐 γ 보정 회로(41)에 입력된다. 그리고, γ 보정 처리, 확대 처리, 구조 강조 처리 등이 행하여진 후, 셀렉터(44)를 통하여 동시화 회로(45)에 입력되고, 동시화된 후, 또한 동화상 색차의 보정 등이 행하여진 후, 아날로그의 색 신호로 변환되어 관찰 모니터(5)의 표시면에 내시경 화상이 표시된다.

한편, 전자 내시경(2)의 모드 절환 스위치(20)가 눌려지면, 그 신호가 비디오 프로세서(4)의 모드 절환 회로(21)에 입력된다. 모드 절환 회로(21)는, 광원 장치(3)의 이동 모터(18)에 제어 신호를 출력함으로써, 통상 관찰 시에 광로 상에 있었던 회전 필터(14)의 제1 필터 세트를 이동시키고, 제2 필터 세트를 광로 상에 배치하도록 회전 필터(14)를 이동하여, NBI 모드로 한다.

제2 필터 세트에 의한 NBI 모드 시에서의 R2 필터(14r2), G2 필터(14g2), B2 필터(14b2)는, 도 4에 도시한 바와 같이 이산적으로 협대역의 분광 특성을 갖기 때문에, 회전 필터(14)의 회전에 의해, 협대역의 면 순차 광으로 된다.

이 경우, B2 필터(14b2)에 의한 CCD(25)로 촬상되는 촬상 신호에는, 얕은 층에서의 조직 정보를 갖는 밴드 화상이 촬상되고, 또한, G2 필터(14g2)에 의한 CCD(25)로 촬상되는 촬상 신호에는 중층에서의 조직 정보를 갖는 밴드 화상이 촬상되고, 또한 R2 필터(14r2)에 의한 CCD(25)로 촬상되는 촬상 신호에는 심층에서의 조직 정보를 갖는 밴드 화상이 촬상된다.

이때, 도 3 및 도 4로부터 분명한 바와 같이, 제1 필터 세트에 의한 투과 광량에 대하여 제2 필터 세트에 의한 투과 광량은, 그 대역이 좁아져 감소하기 때문에, 조광 제어 파라미터 절환 회로(50)는, 회전 필터(14)의 제2 필터 세트에 따른 조광 제어 파라미터를 조광 회로(33)에 출력함으로써, 조광 회로(33)는 조리개 장치(13)를 제어한다.

이와 같이 NBI 모드 시에는, 조명 광량이 통상 모드 시보다도 대폭 감소하기 때문에, 조리개 장치(13)는 개방 상태로 설정되는 경우가 많다.

또한, 조리개 장치(13)가 개방 상태로 설정되어도, 통상 모드 시에 비교하면, 조명 광량이 작은 상태로 되는 경우가 있다. 그 경우에는, 조명 광량이 작음에 따른 밝기의 부족분을 촬상된 화상을 증폭함으로써 전기적으로 보정하지만, 단 순히 AGC 회로(35)에 의한 증폭율의 업 등으로는 어두운 화상 부분에서의 노이즈가 눈에 띄는 화상으로 되므로, 본 실시예에서는 도 5에 도시한 노이즈 억제 회로(36)를 통과시킴으로써, 이하에 설명하는 바와 같이 암부 영역에서의 노이즈를 억제하면서, 명부 영역의 콘트라스트 저하를 경감한다.

A/D 변환 회로(32)에 의해 디지털 신호로 변환되고, AGC 회로(35)에 의해 증폭된 R, G, B의 화상 데이터는, 도 5에 도시하는 바와 같이 노이즈 억제 회로(36)를 구성하는 필터부(51)에 입력되고, 필터부(51)를 구성하는 사이즈 n×n의 p개의 필터 A1, A2, …Ap에 입력됨과 함께, 평균 화소치 산출부(52)에 입력된다.

필터부(51)는, 입력 화상 데이터에 대하여, 샘플의 화상 데이터에 의해 미리 구해진 KL 변환 행렬에 기초하는 필터 계수를 이용하여, 필터 처리된다. 그리고, 필터 처리 결과는, 가중치 부여부(53)에 출력된다.

또한, 평균 화소치 산출부(52)는, 필터부(51)에서 공간 필터 처리에 이용하는 것과 동일한 입력 화상 데이터의 n×n 화소의 소영역(국소 영역)의 화소치에 대하여 평균치 Pav를 산출한다. 그 평균치 Pav 및 필터 처리 결과의 값에 따라서LUT(56)를 통하여 가중치 부여부(53)의 가중치 부여 회로 W1, W2, …, Wp의 가중치 부여 계수 W를 설정한다.

본 실시예에서는, 가중치 부여 계수 W는, 도 7에 도시하는 바와 같이 평균치 Pav의 값에 따라서 그 특성을 결정하는 2개의 파라미터 Cth1, Cth2가 설정된 후, 필터 처리 결과 Coef의 절대치에 따라서 결정된다. 이들 파라미터 Cth1, Cth2에 의해, 예를 들면 어두운 화상 부분의 경우에는, 도 6의 (A)와 같이 설정되고, 반대 로 밝은 화상 부분의 경우에는 도 6의 (B)와 같이 설정된다. 도 6의 (A) 및 도 6의 (B)에서는, 어두운 경우에서의 Cth1a, Cth2a와, 밝은 경우에서의 Cth1b, Cth2b의 경우로 나타내고 있다.

도 6의 (A) 및 도 6의 (B)와 같이 가중치 부여 계수가 설정되기 때문에, 필터 Ax에 의한 필터 처리 결과 Coefx(도 6에서는 Coef)의 절대치가 작은 경우, 즉, S/N이 낮다고 생각되는 부분에서는 가중치 부여 계수 W의 값이 작고, 필터 처리 결과 Coefx의 절대치가 큰 경우에는 가중치 부여 계수가 크게 된다.

따라서, 이 가중치 부여부(53)에 의해 가중치 부여 처리에 의해, 평균치 Pav가 작은 경우에는 도 8의 (A)의 입력 데이터에 대하여 도 8의 (B)와 같은 처리 결과로 된다. 또한, 도 8은, 필터 처리한 각 주파수 성분으로 나타내고 있다.

도 8의 (A)에 도시하는 바와 같이 파라미터 Cth2의 값을 랜덤 노이즈의 정도로 설정함으로써, 그 노이즈를 유효하게 억제하고, 또한 고 S/N의 화상 정보에 기초하는 주파수 성분의 저하를 경감한 도 8의 (B)의 처리 결과를 얻을 수 있다. 즉, 노이즈에 대해서는, 그 억제 효과가 크고, 또한 상대적으로 고 S/N의 주파수 성분이 동시에 저감되는 것을 파라미터 Cth1의 값에 의해 회피하도록 하고 있다. 따라서, 어두운 화상 영역에서의 점막에 기초하는 화상 정보의 콘트라스트의 저하를 경감할 수 있게 된다.

한편, 평균치 Pav가 큰 경우에는, 파라미터 Cth2는, 0으로 되고, 또한 또 하나의 파라미터 Cth1도 낮은 값으로 설정되기 때문에, 가중치 부여부(53)에 입력되는 필터 처리 결과 Coef는, 거의 그대로 출력되는 처리로 된다.

따라서, 가중치 부여부(53)에 의해 가중치 부여 처리에 의해, 평균치 Pav가 큰 경우에는 도 9의 (A)의 입력 데이터에 대하여 도 9의 (B)와 같은 처리 결과로 된다. 이 경우에는, 가중치 부여부(53)에 입력되는 입력 데이터가 거의 그대로 출력되게 되기 때문에, 밝은 화상 영역에서는 콘트라스트 저하를 회피할 수 있게 된다.

가중치 부여부(53)의 각 가중치 부여 회로 Wx에 의해 가중치 부여 처리된 처리 결과의 출력은, 역 필터부(55)에 입력되고, 상기한 바와 같이 필터부(51)의 각 필터 Ax에서의 중심의 필터 계수 Ax, m과의 곱의 합 연산에 의한 역 필터 처리(보다 구체적으로는, 역 KL 변환)가 행하여져 노이즈 억제된 화소치의 화상 데이터가 다음단의 동시화 회로(37)에 출력된다.

상기 노이즈 억제 회로(36)는, 예를 들면 R의 화상 데이터의 1프레임 분의 처리가 종료하면, 동시화 회로(37)의 R용 프레임 메모리에 저장된다. 그리고, 노이즈 억제 회로(36)는, 다음 G의 화상 데이터의 1프레임 분의 처리를 개시하고, 그 처리가 종료하면, 처리된 G의 화상 데이터는, 동시화 회로(37)의 G용 프레임 메모리에 저장된다.

이 경우, 타이밍 제너레이터(49)는, 노이즈 억제 회로(36)의 필터 계수 저장부(54)의 필터 계수 및 LUT(56)의 가중치 계수의 테이블을 절환하고, G의 화상 데이터에 대응한 필터 계수로, 마찬가지로 필터 처리 등을 행한다. 또한, G의 화상 데이터의 1프레임 분의 처리가 종료하면, B의 화상 데이터의 1프레임 분의 처리를 개시하고, 그 처리가 종료하면, 처리된 B의 화상 데이터는, 동시화 회로(37)의 B용 프레임 메모리에 저장된다. 이 경우에도, 노이즈 억제 회로(36)는, B의 화상 데이터에 대응한 필터 계수로 마찬가지로 필터 처리 등을 행하게 된다.

동시화 회로(37)에 저장된 R, G, B의 화상 데이터는, 동시에 판독되어, 색 변환 회로(38)에 입력되고, 이 색 변환 회로(38)는, 컬러 표시한 경우의 시인 특성을 양호한 것으로 하기 위해서 표시색을 변환하는 처리를 행한다. 이 색 변환 회로(38)에 의해 색 변환된 RGB의 화상 데이터는, 면 순차 회로(39)에 의해 면 순차적으로 신호로 변환된다.

면 순차 신호는, 절환 스위치(40)를 거쳐 γ 보정 회로(41)측에 입력되고, 이후는 통상 모드의 경우와 마찬가지의 처리가 행하여진 후, 관찰 모니터(5)에 NBI 모드의 NBI 화상이 표시된다.

상기 노이즈 억제 회로(36)에 의한 전체적인 처리 수순은, 도 10에 도시하는 바와 같이 된다. 노이즈 억제 회로(36)의 동작이 개시하면, 스텝 S1에서 처리 대상 화상 데이터의 유무가 판정된다.

구체적으로는, RGB 화상 데이터 중 어느 하나가 노이즈 억제 회로(36)에 입력되고, 중심 화소를 1화소씩 어긋나게 하면서, 화상의 선두로부터 후미를 향해서 순차적으로 n×n 화소의 화상 데이터를 추출하여 처리 대상의 화상 데이터로 하지만, 추출할 n×n 화소의 화상 데이터가 있는지의 여부가 판정되고, 없는 경우에는 이 처리를 종료하고, 있다고 판정되면 다음 스텝 S2의 처리로 진행한다.

스텝 S2에서, 처리 대상 화상 데이터로부터 n×n 화소의 화상 데이터가 추출되고, 다음 스텝 S3에 의해 n×n 화소의 화상 데이터에 필터부(51)의 필터 A1∼Ap 에 의해 필터 처리가 행하여짐과 함께, 스텝 S4에 나타내는 바와 같이 평균 화소치 산출부(52)에 의해 평균치 Pav가 산출된다.

평균치 Pav가 산출되면, 스텝 S5에 나타내는 바와 같이 그 평균치 Pav에 의해, 필터 출력에 대한 가중치 부여 함수의 설정이 행하여진다.

또한 스텝 S6에서, 후술하는 실시예2에서 설명하는 AGC 게인치, 노이즈 억제부(NR 레벨 조정부)에 의한 노이즈 억제 레벨, 강조 회로(43)에 의한 강조 레벨, CCD 종별에 따라 가중치 부여 함수의 보정을 행한 후, 스텝 S7로 진행한다.

이 스텝 S7에서, 스텝 S3에 의한 필터 처리의 필터 출력마다, 가중치 부여 함수, 즉 LUT(56)를 참조하여, 필터 처리 결과의 값에 따른 가중치 부여 계수 W를 구하고, 필터 처리 결과와 승산하여 가중치 부여를 행한다.

이 가중치 부여의 처리에 의해, 특히 암부 영역에서의 노이즈를 유효하게 억압하고, 또한 명부 영역에서의 콘트라스트 저하를 회피하고, 다음 스텝 S8로 진행한다.

이 스텝 S8에서, 각 주파수 성분에서의 가중치 부여의 처리 결과에 대하여 각 필터 Ax의 소정 계수와의 곱의 합 연산을 행하여 역 필터 처리를 행하고, n×n화소의 중심 화소의 화소치를 구한 후, 스텝 S1로 복귀한다. 스텝 S1은 다시 처리 대상의 화소 데이터의 유무를 판정하고, 있으면 또한 다음 스텝 S2에서, 전술한 n×n 화소의 중심 화소에 인접하는 n×n 화소의 화상 데이터가 추출되어, 마찬가지의 처리가 반복된다.

이와 같이 하여, 처리 대상으로 되는 화상 데이터 모두에 대하여 전술한 처 리가 반복되고, 화상 데이터 모두에 대하여 처리가 행해지면, 이 처리를 종료한다.

본 실시예에 따르면, 전술한 바와 같이, 화상에서의 국소적인 밝기와 필터 처리 결과 Coef의 값에 따라서, 필터 처리 결과 Coef에 대한 가중치 부여를 바꿈으로써, 암부에서 특히 눈에 띄는 인상을 주는 노이즈를 유효하게 억제하고, 또한 노이즈 이외의 화상의 콘트라스트 저하를 경감하고, 또한 명부에서의 콘트라스트 저하를 회피할 수 있다.

따라서, 본 실시예에 따르면, 특히 어두운 화상 부분이 존재하는 경우에도, 진단에 알맞은 내시경 화상을 얻을 수 있다.

또한, 본 실시예에서는, 필터 계수, 가중치 부여 계수 W를 R, G, B의 화상마다 절환하도록 하고 있었지만, R, G, B의 화상으로 절환하지 않고 공통화하여 노이즈 억제 회로(36)의 회로 규모를 저감화하도록 변형한 구성으로 하여도 된다.

또한, 전술한 설명에서는, 샘플의 화상 데이터에 대하여 KL 변환 기저를 필터 계수에 이용하여 노이즈 억제를 행하고 있었지만, 다른 변형예로서, 이산 코사인 변환(DCT) 기저를 채용하여, R, G, B의 화상에 공통의 필터 처리를 행하도록 하여도 된다.

이 DCT를 이용한 경우, 필터 계수에 대칭성을 갖게 할 수 있게 되므로, 회로 규모를 저감화할 수 있음과 함께, 노이즈 억제를 위해서 필요로 되는 연산수도 삭감할 수 있기 때문에, 고속 처리가 가능하게 된다.

또한, 전술한 설명에서는, 필터부(51) 전체에 대하여, 가중치 부여부(53)의 가중치 부여 계수 W를 설정하는, 공통의 LUT(56)를 이용하였지만, 각 필터 Ax의 출 력마다 전용의 LUT(56)를 설치하도록 하여도 된다.

이와 같이 하면, 가중치 부여의 자유도가 높아지기 때문에, 특히 어두운 화상 정보의 콘트라스트 저하를 억제하면서, 노이즈 억제 효과를 향상시키는 것이 가능하게 된다. 예를 들면, 랜덤 노이즈 이외에 내시경 시스템이나 촬상 소자, 임의의 협대역 광에 의해 얻어지는 화상 정보 등에서 특이적으로 되는 등의 노이즈가 존재하는 경우, 그 주파수 성분에 대응하는 필터 처리 결과에 대한 가중치 부여 계수를 적절하게 설정함으로써, 그 노이즈를 유효하게 억제할 수 있다. 그리고, 진단에 알맞은 화상이 얻어지게 된다.

(실시예2)

다음으로 본 발명의 실시예2를 도 11 등을 참조하여 설명한다. 본 실시예는, 실시예1을 변형한 구성으로 한 것이다. 본 실시예는, 서로 다른 종별의 촬상 수단을 구비한 전자 내시경이 접속되는 등의 경우나, 윤곽 혹은 구조 강조의 레벨을 변경하거나 한 경우에도, 노이즈 억제를 유효하게 행할 수 있도록 하는 것을 목적으로 한다.

실시예1에서는, 노이즈 억제 회로(36)는, CCD(25)의 종별 등에 의존하지 않고 공통으로 사용하고 있었지만, 본 실시예에서는, CCD(25)의 종별, 동작 상태(AGC ON)로 설정된 경우의 AGC 회로(35)의 게인치, 강조 회로(43)의 강조 레벨에 따라서, 그 가중치 부여부에 의한 가중치 부여 계수를 변경하는 구성으로 하고 있다. 그 밖의 구성은, 실시예1과 마찬가지이다.

도 11은 본 발명의 실시예2에서의 노이즈 억제 회로(36)의 주변부의 회로 구 성을 도시한다. 본 실시예에서도, 실시예1에서 설명한 바와 같이, AGC 회로(35)의 출력 신호는 노이즈 억제 회로(36)에 입력되고, 노이즈 억제가 된 후, 도 1에서는 도시하고 있는 동시화 회로(37) 등을 거쳐 강조 회로(43)에 입력된다.

또한, 본 실시예에서는, AGC 회로(35)의 AGC 게인의 정보와, 강조 회로(43)에 의한 강조 레벨의 정보와, 전자 내시경(2)에 설치된 CCD 종별 검지 회로(28B)에 의해 검지된 CCD(25)의 종별의 정보가 노이즈 억제 회로(36)에 입력되게 되어 있다. 또한, 도 11에 도시하는 CCD 종별 검지 회로(28B)에 의한 CCD 종별 검지를, 도 1의 스코프 ID 발생 회로(28)에 의한 스코프 ID로부터 행하도록 하여도 되고, 비디오 프로세서(4)에 착탈 가능하게 접속되는 도시하지 않은 커넥터의 접속 핀에 의해 CCD(25)의 종별을 검지할 수 있도록 하여도 된다.

보다 구체적으로는, 도 12에 도시하는 바와 같이 노이즈 억제 회로(36)에서의 LUT(56')에, 필터부(51)의 출력, 평균 화소치 산출부(52)의 출력으로 되는 평균치(출력치), CCD(25)의 종별, AGC 회로(35)의 AGC 게인치, 강조 회로(43)의 강조 레벨의 각 정보가 입력되고, 이들의 정보에 따라, (파라미터 Cth1, Cth2를 변경하여) 가중치 부여부(53)의 가중치 부여 계수 W가 적절하게 변경 설정된다.

예를 들면, CCD(25)는, 그 CCD(25)의 종별에 따라 노이즈 레벨이 서로 다른 경우가 있고, 본 실시예에서는, CCD(25)의 종별에 따라 서로 다른 노이즈 레벨에 따라서 그 노이즈 레벨에 대응한 가중치 부여 계수로 변경하도록 하고 있다.

구체적으로는 CCD(25)로서, 예를 들면 종별이 서로 다르고, 노이즈가 적은 쪽부터 4종의 CCD(25A, 25B, 25C, 25D)가 있는 것으로 한 경우, 대응하는 가중치 부여 계수도 노이즈의 값에 비례시켜서 설정한다. 예를 들면, CCD(25I)(I=A 내지D)의 종별을 검지한 경우, 그 종별에 대응한 보정 계수 CI를 파라미터 Cth(여기에서, Cth는 Cth1, Cth2를 총칭한 것)에 승산한다. 여기에서, CA<CB<CC<CD이다.

이와 같이 설정함으로써, 노이즈 레벨이 큰 CCD에 대해서는, 작은 가중치 부여 계수를 부여할 수 있기 때문에, CCD의 종별에 상관없이, 적절한 억제 효과를 얻는 것이 가능하게 된다.

또한, AGC 회로(25)에 의한 게인치에 의해, 노이즈 억제의 효과가 변동하지 않도록, 그 게인치에 따라서 가중치 부여 계수의 값을 보정한다.

구체적으로는, 게인치가 증대되면 밝기의 평균치 Pav가 외관상, 게인치에 비례하여 커지기 때문에, 도 7의 함수 f(Pav), g(Pav)를 변경할 필요가 있어, 예를 들면 도 7의 횡축의 Pav나 종축의 Cth의 스케일을 게인배한다.

도 13은, 예를 들면 점선으로 나타내는 특성은, 게인이 1인 경우의 파라미터 Cth1, Cth2의 값에 의해 설정되는 가중치 부여 계수 W에 대하여, 게인치를 a배로 증대(도 13에서는 a=2)로 한 경우에서의 가중치 부여 계수 W(실선)를 나타낸다. 여기에서, 실선으로 나타내는 경우의 파라미터 Cthl', Cth2'의 값은,

Cthl'=Cth1×a

Cth2'=Cth2×a

로 되어 있다.

이와 같이 보정함으로써, 게인에 의해 변화되는 필터 처리 결과 Coef에 따라서 가중치 계수 W를 변경하므로, 게인에 의존하지 않는 노이즈 억제를 행할 수 있 다.

게인의 값으로 가중치 부여 계수를 보정하는 대신에, 밝기 산출 수단으로 되는 평균 화소치 산출부(52)의 출력부에, 이 평균 화소치 산출부(52)의 출력을 게인치로 제산하는 제산기를 설치하고, 또한 각 필터 Ax의 출력부에 각각의 필터 처리 결과를 게인치로 제산하는 제산기를 설치하고, 또한 각 가중치 부여 회로 Wx의 출력부에 각각의 가중치 부여 결과를 게인치로 승산하는 승산기를 설치하도록 하여도 되고, 이 경우에는 가중치 부여 계수를 보정하지 않아도 된다.

또한, 강조 회로(43)에 의해 구조 강조를 행하는 경우에는, 그 강조 레벨에 의해 강조량이 증대함에 따라 가중치 부여 계수 W의 값이 작아지도록 강조 레벨에 대응한 보정 계수 Cj를 파라미터 Cth에 승산한다.

이와 같이 함으로써, 구조 강조를 증가시킨 경우, 통상은 노이즈도 눈에 띄게 되지만, 본 실시예에서는 어두운 화상 영역에서, 노이즈가 눈에 띄는 것을 경감할 수 있게 된다.

또한, 구조 강조를 행하는 경우, 특정한 주파수 성분을 강조하는 경우에는, 그 주파수에 해당하는 필터 출력 결과에 대한 가중치 부여 계수 W의 값을 작게 하도록 하여도 된다.

그 밖에는, 실시예1과 거의 마찬가지의 구성이다.

이와 같은 구성에 의한 본 실시예에 따르면, 실시예1의 경우와 마찬가지의 효과를 가짐과 함께, 또한 CCD(25)의 종별, AGC 회로(35)의 게인치, 강조 회로(43)의 강조 레벨이 변경된 경우에 대해서도 적절하게 노이즈 억제를 할 수 있다.

즉, CCD(25)의 종별 등이 변경된 경우에도, 그것들에 대응하여, 특히 어두운 화상 부분에서 눈에 띄게 되는 노이즈를 유효하게 억제하고, 또한 노이즈 이외의 화상 부분의 콘트라스트가 저하하는 것을 경감하여, 진단하기 쉬운 화상을 얻을 수 있다.

본 실시예의 제1 변형예로서, 예를 들면 비디오 프로세서(4)에서의 프론트 패널 등에, 노이즈 억제 레벨(NR 레벨이라고 약기)을 조정하는 NR 레벨 조정부를 설치하고, 이 NR 레벨 조정부에서의 NR 레벨을 가변 설정하는 손잡이(혹은 스위치)를 조작하여, NR 레벨을 변화되면, 그 변화에 따라서 가중치 부여부(53)의 가중치 부여 계수도 변경하도록 하여도 된다.

구체적으로는, 이 손잡이를 작은 NR 레벨로부터 큰 NR 레벨로 변경한 경우, 도 14에 도시하는 바와 같이 가중치 부여부(53)의 가중치 부여 계수 W를 결정하는 파라미터 Cth(즉 Cthl, Cth2)를 점선으로 나타내는 특성으로부터 실선으로 나타내는 특성과 같이 시프트시킨다. 또한, 도 14에서는 전술한 파라미터 Cthl, Cth2를 통합한 Cth로 나타내고 있다.

도 14에 도시하는 바와 같이, 밝기의 평균치 Pav에 대하여, 파라미터 Cth의 값을 크게 한다. 예를 들면 NR 레벨에 대응하는 보정 계수를 Cth의 값에 승산한다.

이와 같이 함으로써, 예를 들면 작은 NR 레벨로부터 큰 NR 레벨로 변경한 경우, 그 변경에 수반하여 필터 처리 결과 Coef에 대한 가중치 부여 계수 W의 값은 작게 설정되어, 노이즈 억제의 기능이 증대한다.

또한, NR 레벨을 변화시킨 경우, 노이즈 억제 기능이 나타나기 시작하는 화상의 밝기는 변화시키지 않도록 하기 위해서, 도 14에 도시하는 바와 같이 횡축과 크로스하는 위치는 변경하지 않도록 한다.

따라서, 유저는, NR 레벨을 변화시킴으로써, 노이즈 억제 기능이 개시하는 밝기를 바꾸지 않고, 노이즈 억제 효과를 유저의 기호, 예를 들면 유저가 적절하다고 생각하는 화질이 얻어지는 상태로 자유롭게 설정할 수 있다.

또한, 제1 변형예에서는, 노이즈 억제 기능이 개시하는 밝기를 변경하지 않도록 하고 있었지만, 제2 변형예로서 NR 레벨을 변화시킨 경우, 그것에 연동하여 이 밝기도 변경하도록 하여도 된다.

이 제2 변형예에서는, 예를 들면 작은 NR 레벨로부터 큰 NR 레벨로 변경한 경우, 그 변경에 수반하여 도 15의 점선의 특성으로부터 실선으로 나타내는 특성과 같이 파라미터 Cth를 변경한다.

즉, 평균치 Pav에 대한 파라미터 Cth를 결정하는 특성도에서, Pav축, Cth축의 절편의 값을 NR 레벨에 대응한 보정 계수로 변경하고, NR 레벨을 크게 한 경우, 양 절편의 값을 동시에 크게 한다.

이와 같이 함으로써, 노이즈 억제 효과가 개시되는 밝기를 변경할 수 있고, 또한 밝기에 대한 노이즈 억제 효과를 유저의 기호에 따라서 변경할 수 있다.

또한, 도 15에서의 특성을 더 복수 준비해 두고, 그 중의 값에서 선택할 수 있도록 하여도 된다.

또한, 본 실시예에서는, AGC 회로(35)의 게인, CCD(25)의 종별, 강조 레벨, NR 레벨에 각각 따라서 가중치 부여 계수를 변경하고 있지만, 이들 중 적어도 하나로 가중치 부여 계수를 변경하도록 하여도 된다.

또한, 상기 AGC 회로(35)의 게인에 의해 가중치 부여 계수를 변경한다고 설명한 것은, 노이즈 억제 회로(36)에 입력될 때까지 증폭하는 증폭기의 게인으로 치환한 것이어도 된다.

(실시예3)

다음으로 본 발명의 실시예3을 도 16 내지 도 19를 참조하여 설명한다. 본 실시예는, 노이즈 억제의 기능을 향상하면서, 회로 규모를 억제하는 것을 목적으로 한다.

본 실시예는, 실시예1 혹은 실시예2에서, 또한 역 필터 처리한 출력과 원 화소치에 대하여, 밝기의 출력치를 이용하여 가중 평균을 행하도록 한 것이다.

도 16은, 실시예3에서의 노이즈 억제 회로 주변부의 회로 구성을 도시한다. 본 실시예는, 예를 들면 실시예1에서의 노이즈 억제 회로(36)에서, 필터부(51)에서의 필터 사이즈를 크게 한 필터부(51')에 의한 노이즈 억제 회로(36')를 채용하고 있다.

필터 사이즈를 크게 하면, 주파수 분해능이 높아져, 노이즈 억제 효과를 높일 수 있지만, 회로 규모가 커지게 된다.

예를 들면, 5×5의 필터 사이즈에서는, 충분히 밝은 화상 영역에서 필터 처리-역 필터 처리에 의해, 처리전의 화소치를 얻기 위해서는 전부 (5×5)의 25개의 필터가 필요하게 되고, 또한 7×7의 필터 사이즈에서는 전부 49개의 필터가 필요하 게 되어, 회로 규모가 커지게 된다.

이 때문에, 본 실시예에서는, n×n의 필터 사이즈를 크게 하여 노이즈 억제의 기능을 향상하고, 또한 그 때문에 회로 규모가 커지는 것을 방지하기 위해서, 필터수 r을 풀 차원, 즉 (n×n)보다 적은 m(m<(n×n))으로 한 정수)으로 하고 있다. 이 경우, 고유치가 큰 것에 대응하는 필터일수록 우선하여 이용함으로써, 필터수를 삭감한 영향을 경감한다.

즉, 고유치가 작은 필터 계수로 구해지는 필터 처리 결과(주파수 성분)는, 높은 주파수에 상당하고, 저 S/N의 경우로 되는 경우가 있어, 이와 같은 주파수 성분은 저감해야 하지만, 고유치가 작은 필터 계수의 필터를 이용하지 않는 경우에는, 항상 억제되기 때문에, 필터수 삭감에 의한 노이즈 억제 효과에의 영향을 경감할 수 있다.

또한, 역 필터부(55)의 출력과 원 화소치에 대하여, 평균 화소치 산출부(52)에 의한 출력치를 이용하여, 가중 평균을 행하도록 함으로써, 필터수의 삭감에 의한 영향을 더욱 경감하고 있다.

가중 평균부(61)는, 예를 들면, 도 17의 (A)에 도시하는 바와 같이 평균 화소치 산출부(52)로부터 출력되는 평균치 Pav에 따라서 변화되는 가중치 부여 계수 s에 의해, 아래의 수학식 3으로 산출되는 값을 필터 마스크 중심 화소 ((n+1)/2, (n+1)/2)에서의 화소치 Pout으로서 출력한다. 즉,

여기에서, Pnr: 노이즈 억제 회로(36')로부터 입력치, s: 가중 평균부(61)에서의 가중치 부여 계수(≤1), Porg: 필터 마스크 중심에서의 입력 화소치(원 화소치)이다. 이에 의해, 평균 화소치가 크고 밝은 경우에는, 입력 화상치를 출력하고, 어두워짐에 따라서, 노이즈 억제 처리한 화소치가 지배적으로 되도록 출력함으로써, 밝은 영역에서의 불선명감을 억제하고, 어두운 영역에서 눈에 띄기 쉬워지는 노이즈감을 억제한다.

도 18은, 본 실시예에 의한 동작의 플로우차트를 나타낸다. 도 18에 나타내는 동작 내용은, 도 10에 나타내는 플로우차트에서, 스텝 S8 이후에, 스텝 S10의 처리를 행한다.

즉, 스텝 S8에서, 역 필터 처리 후에, 스텝 S10에 나타내는 바와 같이 이 역 필터 처리의 출력과 주목 화소치(필터 마스크 중심에서의 입력 화소치)를 밝기의 평균치 Pav를 이용하여 가중 평균하는 처리를 행하고, 이 처리 후, 스텝 S1의 처리로 이행한다. 그 밖에는, 도 10과 마찬가지의 처리 동작이며, 그 설명을 생략한다. 또한, 도 18에서는, 도 10의 경우와 마찬가지로 스텝 S6에서, AGC 게인치 등에 의해 가중치 부여부(53)에 의한 가중치 부여를 보정하는 실시예2의 내용에서 나타내고 있다.

본 실시예의 구성에 따르면, 필터 사이즈 n×n의 필터수 r을, 보다 적은 m개 로 줄여도 원신호 출력이 가능하고, 또한 노이즈 억제 처리도 실현할 수 있기 때문에, 하드 규모의 축소화가 가능하게 된다. 또한 고속 처리도 가능하게 된다.

이와 같이 하여, 본 실시예는, 필터 개수를 삭감한 노이즈 억제 회로의 출력 데이터와, 주목 화소의 화상 데이터와의 가중 평균을 국소적인 밝기에 따라 행함으로써, 회로 규모를 저감하여, 노이즈 억제의 기능을 향상하면서, 특히 밝은 영역에서의 선예도 저하를 회피할 수 있다.

또한, 도 17의 (A)에서는 가중 평균하는 가중치 부여 계수 s를 밝기의 평균치 Pav가 0인 값부터 리니어로 증대시키고 있지만, 본 실시예의 변형예로서, 예를 들면 도 17의 (B), 도 17의 (C)에 도시하는 바와 같이 가중치 부여 계수 s의 기울기나, 횡축 Pav와의 절편을, 내시경 조작자가 설정 변경 가능한 노이즈 억제 레벨에 의해 변경할 수 있도록 하여도 된다.

또한, 도 19는, 가중 평균부(61)에서의 가중치 계수 s의 함수(A)와, 가중치 부여 함수의 특성을 결정하는 파라미터 Cth1의 함수(B)의 관계를 나타내고, 가중치 부여부(53)에서의 가중치 계수 W가 1로 되는 파라미터 Cth1이 값 0으로 되는 평균치 Pav_cs 이상의 밝기로, 가중 평균부(61)의 가중치 계수 s가 1.0으로 하고 있다. 이에 의해, 밝기 변화에 대하여 노이즈 억제의 효과가 급격하게 변화하는 것을 경감하는 것이 가능하다.

또한, 전술한 각 실시예 등을 부분적으로 조합하는 등하여 다른 실시예 등을 구성하여도 된다.

또한, 전술한 각 실시예에서, NBI 모드에서는, 광원 장치(3)는 도 4에 도시 하는 바와 같이 R2, G2, B2의 협대역의 파장의 광으로 조명을 행한다고 설명했지만, 예를 들면 G2, B2의 2개의 협대역의 파장의 광으로 조명을 행하도록 하여도 된다.

이 경우에는, G2, B2의 조명광 아래에서 얻은 G, B의 화상 데이터를 노이즈 억제 회로(36)에서 화상 처리한 후, 색 변환 회로(38)에서, 수학식 1에 의해 G, B의 화상 데이터로부터 R, G, B 채널의 화상 데이터를 생성하면 된다.

또한, 도 1의 화이트 밸런스 회로(34)에서 이용하는 R의 화상 데이터는, B의 화상 데이터를 이용하는 것으로 한다. 즉, 도시하고 있지 않은 프레임 메모리를 A/D 변환 회로(32)와 화이트 밸런스 회로(34) 사이에 설치되고, 타이밍 제너레이터(49)의 타이밍 신호에 동기하여, 프레임 메모리에 기억시킨 B의 화상 데이터를 R의 화상 데이터 대신에 화이트 밸런스 회로(34)에 출력한다.

NBI 모드에서는, 점막 조직의 표층 부근의 혈관 주행 상태 등, 단파장측의 광에 의해 얻어지는 생체 정보가 유용하기 때문에, 이와 같이 단파장측의 2개의 협대역 광을 이용한 경우에는, 표층 부근의 혈관 주행 상태 등을 선명하게 나타내는 화상을 색 변환 처리에 의해 구성하는 것이 가능하게 되어, 진단하는 경우에 유효하게 된다.

또한 전술한 설명에서는, 노이즈 억제 회로(36, 36')를 적용하는 경우, NBI 모드의 경우에 대하여 유효하다고 설명했지만, 이하의 실시예4에서 설명하는 형광 관찰 화상을 얻는 내시경 장치의 경우에도 노이즈 억제 회로(36, 36')는 유효하다.

또한, 이 경우에는, 미리 대표적인 형광 화상 및 반사광에 의한 반사 화상을 촬상하고, 표본으로 되는 화상 데이터를 작성하여, 그 화상 데이터에 대하여 고유치 및 고유 벡터를 구하여 KL 변환 기저의 필터 계수를 준비해 두고, 이 필터 계수를 이용하여 필터 처리 등의 노이즈 억제 처리를 행한다.

또한, 통상 모드와 NBI 모드의 외에, 형광 관찰을 행하는 형광 모드를 구비한 내시경 장치를 형성하고, NBI 모드를 선택한 경우에는 전술한 실시예1 내지 실시예3과 같이 노이즈 억제의 화상 처리를 행하고, 형광 모드를 선택한 경우에는, 형광 모드에 대응한 필터 계수 등을 이용하여 노이즈 억제의 화상 처리를 행하도록 하여도 된다.

또한, 전술한 각 실시예에서는, 면 순차식의 내시경 장치(1)인 경우로 설명했지만, 동시식의 내시경 장치인 경우에도, A/D 변환한 R, G, B의 화상 데이터를 메모리에 일단 저장하고, 이들 R, G, B의 화상 데이터를 R, G, B의 색 성분 화상으로서 순차적으로 판독하여 면 순차의 화상 데이터로 변환함으로써, 전술한 경우와 마찬가지로 노이즈 억제를 행할 수 있는 것은 분명하다. 또한, 색 분리한 경우에는, 휘도와 색차 신호가 얻어지는 경우에도, 매트릭스 회로 등에 의해 R, G, B의 화상 데이터로 변환하면 된다.

즉, 전술한 각 실시예는 동시식의 전자 내시경이나 동시식의 광원 장치 및 동시식의 비디오 프로세서인 경우에도 적용할 수 있다.

또한, 전술한 설명에서는, 밝기 산출 수단으로서의 평균 화소치 산출부(52)는, 필터 처리하는 n×n의 화소 사이즈에서의 평균치 Pav를 산출하고 있지만, 필터 처리하는 소영역과 동일한 국소 영역에서 평균치 Pav 등의 밝기를 산출하는 것에 한정되는 것은 아니며, 예를 들면 n×n의 화소 사이즈를 포함하는 국소 영역, 구체적으로는 a를 2, 4 등의 짝수로서, (n+a)×(n+a)의 화소 사이즈의 국소 영역에서 평균치를 산출하도록 설정한 경우도 포함한다.

전술한 실시예1 내지 실시예3에 따르면, 콘트라스트 저하를 경감하면서 노이즈를 유효하게 억제할 수 있는 효과를 갖는다.

(실시예4)

다음으로 도 20 내지 도 22를 참조하여, 본 발명의 실시예4를 설명한다. 우선, 본 실시예의 배경을 설명한다. 또한, 후술하는 실시예5도 기본적으로는 동일한 배경이다.

예를 들면 일본 특개평 1-181168호 공보에서는, 대상 화소치와, 주변 화소의 평균치를 비교하여, 그 차분이 소정의 임계치 이상이면, 대상 화소치를 주변 화소의 평균치로 치환하고 있었다.

그러나, 이 방법으로는, 백상 노이즈가 인접 화소에 존재하는 경우에는, 평균치가 높아져, 노이즈 억제 효과가 충분히 얻어지지 않는다고 하는 문제가 있었다.

또한, 메디안 필터를 응용한 노이즈 억제 방법도 제안되어 있다(일본 특개 2004-313413호). 이 경우에도, 마찬가지의 결점이 있다.

형광 관찰 등과 같이, 촬상 소자에의 입사광량이 적은 환경 하에서 밝은 화상을 얻기 위해서, 촬상 소자 자체에 전하 증배 기구가 설치된 고감도 촬상 소자가 사용되는 경우가 있는데, 화상 정보뿐만 아니라, 화소 결함에 기인하는 백상 노이 즈도 증폭하게 된다. 이 때문에, 고감도 촬상 소자의 경우에는, 특히 백상 노이즈에 의한 영향을 경감할 수 있는 것이 바람직하다.

이 때문에, 본 실시예는, 촬상 소자의 화소 결함으로서 알려지는 백상 노이즈가 주목하는 화소에 인접하여 존재하는 경우에도, 백상 노이즈 억제를 적절하게,혹은 백상 노이즈 경감을 할 수 있는(내시경용) 화상 처리 장치 혹은 내시경 장치를 제공하는 것을 목적으로 한다.

그리고, 상기 목적을 달성하기 위해서, 화상 처리 장치는, 이하의 (a), (b)의 구성으로 하고 있다.

(a) 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 장치에서, 주변 화소를 화소치가 큰 순으로 배열하는 재배열 수단과, 상기 재배열 수단에 의해 설정된 최대의 화소치측의 것(단수 혹은 복수)을 제외하고 상기 평균치를 산출하는 평균치 산출 수단을 설치한 것을 특징으로 한다.

(b) 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 장치에서, 주변 화소를 화소치가 큰 순부터 단수 혹은 복수 제외하고, 상기 평균치를 산출하는 평균치 산출 수단을 설치한 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위해서, 내시경 장치는, 이하의 (c), (d)의 구 성으로 하고 있다.

(c) 촬상 소자를 내장한 내시경과, 상기 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 장치를 가지며, 상기 화상 처리 장치는, 주변 화소를 화소치가 큰 순으로 배열하는 재배열 수단과, 상기 재배열 수단에 의해 설정된 최대의 화소치측의 것(단수 혹은 복수)을 제외하고 상기 평균치를 산출하는 평균치 산출 수단을 갖는 내시경 장치.

(d) 촬상 소자를 내장한 내시경과, 상기 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 장치를 가지며, 상기 화상 처리 장치는, 주변 화소를 화소치가 큰 순부터 단수 혹은 복수 제외하고, 상기 평균치를 산출하는 평균치 산출 수단을 갖는 내시경 장치.

다음에 본 실시예를 구체적으로 설명한다. 도 20은, 본 실시예를 구비한 내시경 장치(101)의 전체 구성을 도시한다. 이 내시경 장치(101)는, 전자 내시경(102)과, 광원 장치(103)와, 비디오 프로세서(104)와, 관찰 모니터(5)로 구성된다.

본 내시경 장치(101)는, 통상 관찰과 형광 관찰을 행하는 모드를 구비하고 있다. 이 때문에, 전자 내시경(102)은, 예를 들면 도 1의 전자 내시경(2)에서의 CCD(25) 대신에 CCD 소자 내부에 증폭 기능(전하 증배 기능)을 구비한 고감도 촬상 소자로서의 고감도 CCD(25E)를 채용하고 있다. 또한, 이 고감도 CCD(25E)의 촬상면의 앞에는 여기광을 컷하는 여기광 컷 필터(106)가 배치되어 있고, 여기광 컷 필터(106)는, 형광 관찰의 경우에 관찰 대상 부위에 조사된 여기광의 반사광을 컷하여, 형광 파장을 투과한다.

또한, 광원 장치(103)는, 도 1의 광원 장치(3)에서, 회전 필터(14)에서의 통상 광 관찰용의 제1 필터 세트의 내측에 배치되어 있는 제2 필터 세트 대신에 형광 관찰용의 제3 필터 세트를 설치한 회전 필터(14B)가 채용되어 있다.

또한, 비디오 프로세서(104)는, CCD 드라이버(29)로부터 고감도 CCD(25E)에 CCD 구동 신호를 인가함과 함께, 제어 전압 발생 회로(107)로부터 고감도 CCD(25E)의 증폭율의 값을 결정하는 제어 전압을 인가한다.

또한, 고감도 CCD(25E)의 출력 신호는, 프로세스 회로(31), A/D 변환 회로(32)를 거쳐 조광 회로(33)와, 제어 전압 발생 회로(107)와, 백상 노이즈를 억제하는 백상 노이즈 억제 회로(111)에 입력된다. 이 백상 노이즈 억제 회로(111)의 주요부는, 도 21에 도시하는 바와 같은 구성으로 되어 있다.

조광 회로(33)와, 제어 전압 발생 회로(107)는, 관찰 모니터(5) 상에서의 화상이 적당한 밝기로 되도록 협조하여 동작한다. 조광 회로(33)는 광원 장치(103)의 조리개 장치(13)를 제어하고, 또한 제어 전압 발생 회로(107)는, 전자 내시경(102)의 고감도 CCD(25E)에 대하여 그 증폭율을 제어하는 제어 전압을 인가한다. 고감도 CCD(25E)는, 제어 전압의 값에 의해, 그 증폭율이 결정되게 된다.

A/D 변환 회로(32)로부터 출력되는 화상 데이터는, 백상 노이즈 억제 회로(111)를 구성하는 감산기(112) 및 셀렉터(113)에 도시하지 않은 지연 회로를 통하여 입력된다.

또한, 이 화상 데이터의 각 화소가 입력되는 타이밍에서, 재배열부(114)를 기동하고, 이 재배열부(114)는, 도 22에 도시하는 바와 같이 3×3 화소의 마스크(115)에서의 9개의 화소의 화소 M11 내지 M33에서의 처리의 대상으로 되는 대상 화소 M22를 중앙으로 하고, 이것을 제외하는 8개의 주변 화소의 화소의 값을 최대의 것부터 최소의 것까지 재배열의 처리를 행한다.

또한, 이 재배열은, 실제로는, 적어도 최대의 것을 산출하는 기능을 가지면 된다. 그리고, 최대 화소치의 화소 Mmax를 제외한 7개의 화소치(도 21에서는 이것을 M1 내지 M7)를 평균치 산출부(116)에 출력하고, 평균치 산출부(116)는, 산출한 평균치 <M>을 감산기(112)에 출력함과 함께, 셀렉터(113)에 출력한다.

감산기(112)는, 대상 화소 M22로부터 (최대 화소의 것을 제외한) 주변 화소의 평균치 <M>을 감산한 감산치를 비교기(117)에 출력한다. 비교기(117)는, 이 감산치와, 다른 쪽의 입력단에 인가되는 임계치를 비교한다. 그리고, 비교기(117)에 의한 비교 결과를 셀렉트 신호로서 셀렉터(113)의 절환을 제어한다.

셀렉터(113)는, 셀렉트 신호에 의해, 대상 화소 M22의 값 혹은 평균치 <M>을 셀렉트하고, 이 백상 노이즈 억제 회로(111)의 출력 신호로서, 다음단의 동시화 회로(45)측에 출력한다.

구체적으로는, 감산기(112)의 출력의 값이 임계치보다 작으면, 대상 화소 M22는, 백상 노이즈가 아니라고 판정하고 셀렉터(113)는 대상 화소 M22를 출력한다.

한편, 감산기(112)의 출력의 값이 임계치 이상이면, 대상 화소 M22는, 백상 노이즈라고 판정하고, 셀렉터(113)는 평균치 <M>을 출력하고, 백상 노이즈를 이 평균치 <M>으로 치환함으로써 백상 노이즈를 억제한다.

상기 비교기(117)에 출력되는 임계치는, 도 20에 도시하는 바와 같이 임계치를 저장한 임계치 메모리(118)로부터 출력된다.

이 임계치 메모리(118)에는, 서로 다른 어드레스에 대응하여 서로 다른 임계치가 저장되어 있다.

그리고, 제어 전압 발생 회로(107)로부터 출력되는 제어 전압의 레벨에 따라서 서로 다른 어드레스 값을 발생하는 어드레스 발생 회로(119)의 출력에 의해, 제어 전압의 레벨, 환언하면 고감도 CCD(25E)의 증폭율에 대응한 임계치가 비교기(117)에 출력된다.

고감도 CCD(25E)는, 제어 전압의 레벨에 따라서 대략 지수 함수적으로 증폭율이 증대하기 때문에, 백상 노이즈가 없는 화소와, 백상 노이즈가 있는 화소와의 차, 즉 백상 노이즈 값은, 증폭율이 커질수록 커진다.

이와 같이 고감도 CCD(25E)는, 제어 전압의 레벨에 따라서 서로 다른 증폭율로 설정되기 때문에, 본 실시예에서는 복수의 증폭율에 대응한 복수의 임계치를 미리 준비하고, 설정되는 증폭율에 대응한 임계치를 출력할 수 있도록 어드레스 발생 회로(119)와 임계치 메모리(118)를 설치하고, 증폭율이 변화된 경우에도, 적절한 임계치가 선택되도록 하고 있다.

또한, 백상 노이즈 억제 회로(111)는, 형광 관찰을 행하는 형광 모드 시에 동작하고, 통상 모드 시에는 동작하지 않고, A/D 변환 회로(32)의 출력 신호는, 셀렉터(113)를 거쳐 동시화 회로(45)에 입력된다.

또한, 모드 절환 스위치(20)에 의해, 통상 모드로 한 경우에는, 실시예1의 경우와 마찬가지로 조명 광로 상에는 제1 필터 세트가 배치되고, 도 3에 도시하는 R1, G1, B1의 조명광으로 조명을 행한다. 한편, 형광 모드 시에는, 도 26에 도시하는 바와 같이 조명 광로 상에 제3 필터 세트가 배치된다. 제3 필터 세트 R3, G3, B3은, 예를 들면 도 4에 도시하는 R2, G2, B2의 투과 특성을 갖는 필터를 이용할 수도 있고, B2를 여기광으로 하여 그 형광을 수광한다. 다른 R2, G2는, 그 반사광상을 형광화상과 중첩하여 표시하는 데에 이용한다. 따라서, 형광 화상만을 표시하여도 된다.

그 밖의 구성은, 실시예1에서 설명한 것과 동일한 구성 요소에는, 동일한 부호를 붙이고, 그 설명을 생략한다.

본 실시예에서는, 백상 노이즈가, 고감도 CCD(25E)의 증폭율이 크게 설정된 경우에, 특히 현저해지지 때문에, 형광 모드 시에 백상 노이즈 억제 회로(111)가 기능하는 구성으로 하고 있다.

다음에 본 실시예에서의 형광 모드 시에서의 백상 노이즈 억제 회로(111)의 동작을 설명한다. 또한, 통상 모드 시의 동작은, 실시예1에서의 확대 등의 일부의 기능을 삭제한 동작과 마찬가지이다.

형광 모드 시에는, 제3 필터 세트가 조명 광로 상에 배치되고, 이 경우에는 여기광이 관찰 대상 부위에 조사된다. 그리고, 관찰 대상 부위에서의 여기광에 의해 여기되어 발생한 형광은, 고감도 CCD(25E)에 의해 수광된다. 이 경우, 관찰 대상 부위에서 반사된 여기광은 여기광 컷 필터(106)에 의해 컷되고, 고감도 CCD(25E)에는 입사되지 않는다.

고감도 CCD(25E)에 의해 촬상되고, A/D 변환 회로(32)에 의해 A/D 변환된 화상 데이터는, 도 21에 도시하는 바와 같이 백상 노이즈 억제 회로(111)에 입력된다. 백상 노이즈 억제 회로(111)에 순차적으로 입력되는 대상 화소 M22의 화상 데이터는, 감산기(112)와 셀렉터(113)에 입력된다.

또한, 재배열부(114)는, 대상 화소 M22의 주위 화소를 화소치가 큰 순으로 재배열하고, 최대 화소치의 화소 Mmax의 것을 제외한 나머지 화소 M1 내지 M7을 평균치 산출부(116)에 출력하여, 평균치 <M>이 산출된다.

그리고, 감산기(112)는, 대상 화소 M22로부터 평균치 <M>을 감산한 출력치를 비교기(117)에 출력하고, 이 비교기(117)는, 그 출력치를 임계치와 비교한다.

평균치 <M>은, 이미 최대 화소치의 화소 Mmax를 제외한 평균치이기 때문에, 만약 주변 화소에 백상 노이즈가 있는 화소가 존재하여도 그 영향이 제외된 것으로 되어 있다. 따라서, 감산기(112)의 출력치를 비교기(117)에 의해, 임계치와 비교함으로써, 대상 화소 M22가 백상 노이즈가 있는 화소인지의 여부를 적절하게 판정할 수 있다.

즉, 본 실시예에 의하면, 대상 화소의 주변에 인접하여 백상 노이즈가 있는 화소가 존재한 경우에도, 그 백상 노이즈의 영향을 거의 받지않고, 대상 화소 M22가 백상 노이즈를 포함하는지의 여부를 판정할 수 있고, 또한 백상 노이즈를 포함하는 경우에도 적절한 값으로 치환하여 백상 노이즈를 유효하게 억제할 수 있다.

이상의 동작으로부터 알 수 있는 바와 같이 상기 재배열부(114)는, 화소치를 재배열하지 않고 주변 화소에서의 최대 화소치의 화소 Mmax를 검출하여, 그 최대 화소치의 화소 Mmax를 제외하고, 그 나머지의 화소로부터 그 평균치 산출부(116)에 출력하는 것이어도 된다. 또한, 대상 화소 M22에 인접하여 예를 들면 2개의 백상 노이즈가 있는 화소가 존재할 가능성이 있는 경우에는, 최대 화소치의 화소 Mmax의 외에 2번째로 큰 화소치의 것을 제외하고, 그 나머지의 화소를 평균치 산출부(116)에 출력하여 평균치 <M>을 산출하는 것이어도 된다.

이와 같이 본 실시예에 따르면, 백상 노이즈가 인접하여 존재하는 화소인 경우에도, 주변 화소의 평균치 <M> 내에 백상 노이즈의 영향이 포함되지 않게 되기 때문에, 적정하게 백상 노이즈를 보정할 수 있다.

또한, 본 실시예는, 통상의 화소에 비하여, 결손 화소나 이것과 유사한 극단적으로 작은 화소치로 되는 화소(이하, 흑상 노이즈의 화소)가 존재할 가능성이 있는 경우에도 마찬가지로 적용할 수 있다.

이 경우에는, 주변 화소에서의 최소 화소치의 것을 제외하고 평균치를 산출하고, 평균치로부터 대상 화소의 값을 감산한 것을 임계치와 비교하여, 흑상 노이즈의 판정을 행하고, 그 판정 결과에 따라서 대상 화소를 치환해서 출력할지의 여부를 결정하도록 하여도 된다.

또한, 본 실시예에서는, 소자 내부에 증폭 기능을 구비한 고감도 촬상 소자인 경우로 설명했지만, 소자 내부에 증폭 기능을 갖지 않는 CCD(25) 등의 촬상 소자에서도, 예를 들면 AGC 회로(35)를 설치하여 증폭한 경우에 대해서도 마찬가지로 적용할 수 있다.

다음으로 본 실시예의 제1 변형예를 설명한다. 종래의 면 순차식 내시경 장치에서는, RGB 각 색에서, 대상 화소치와, 주변 화소치와, 주변 화소 평균치를 비교하여, 그 차분이 소정의 임계치 이상인 화소를 백상 노이즈로 판단하고, 대상 화소치를 주변 화소 평균치로 치환하고 있었다.

그러나, 구조의 경계 정보나, 랜덤 노이즈와 같이, RGB 3색 중, 임의의 색만이 주변 화소보다도 돌출해서 밝으면, 그 색의 그 화소는 백상으로 판단되어 보정되기 때문에, 백상 노이즈는 보정되지만, 백상 노이즈 이외의 화소도 다수 보정되게 되어, 화상의 불선명감이 증가한다고 하는 문제가 있었다.

이 때문에, 본 변형예에서는 RGB 각 색에서, 대상 화소치와 주변 화소 평균치와의 차분을 도출하고, 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소치를 주변 화소 평균치로 치환하는 내시경 장치에서, RGB 전체 색의 차분이 임계치 이상인 경우만, 백상 노이즈라고 판단하고, 그 화소만 주변 화소 평균치로 치환하도록 한다.

또한, 컬러 밸런스치와 같이, RGB 각각에 소정의 게인이 곱해져 있는 경우에는, 각각의 게인치를 고려한 임계치가 색마다 설정되는 형식을 추가하여도 된다. 또한, 임계치는, 고감도 촬상 소자의 증폭율에 따라서, 변화시키는 구성을 추가하 여도 된다.

본 변형예는, 도 20의 구성에서, A/D 변환 회로(32)의 화상 데이터를 그대로 동시화 회로(45)에 일시 저장하고, 동시화 회로(45)로부터 판독한 R 화상 데이터, G 화상 데이터, B 화상 데이터에 대하여 도 23에 도시하는 바와 같은 백상 노이즈 억제 회로(121)를 통해서, 백상 노이즈를 억제한다.

도 23에 도시하는 바와 같이 동시화 회로(45)로부터 백상 노이즈 억제 회로(121)에 입력되는 R 화상 데이터 Ri, G 화상 데이터 Gi, B 화상 데이터 Bi는, 각각 R 성분용 판정 회로(122R), G 성분용 판정 회로(122G), B 성분용 판정 회로(122B)에 입력된다.

이들 R 성분용 판정 회로(122R), G 성분용 판정 회로(122G), B 성분용 판정 회로(122B)의 출력 신호는, 셀렉터(123)에 입력됨과 함께, 3색 모두 임계치 이상인지의 여부를 판정하는 판정 회로(124)에 입력된다.

또한, 이 판정 회로(124)의 출력 신호는, 셀렉트 신호로서, 셀렉터(123)의 절환을 제어한다. 그리고, 셀렉터(123)로부터 각각 R출력 화상 데이터 Ro, G출력 화상 데이터 Go, B출력 화상 데이터 Bo가 백상 노이즈 억제 회로(121)의 출력 신호로서 출력된다.

R 화상 데이터 Ri의 대상 화소 M22r은, R 성분용 판정 회로(122R)를 구성하는 딜레이 회로(125)를 거쳐 감산기(126)에 입력됨과 함께, 셀렉터(123)에 입력된다.

또한, 이 대상 화소 M22r의 주변 화소 Mijr(i, j는 각각 1 내지 3까지의 임 의인 정수이지만, 단 i=j=2인 대상 화소 M22의 경우만을 제외함. 또한, 첨자 r은, R 성분의 화소인 것을 나타냄)은, 평균치 산출부(127)에 입력되어, 평균치 <Mr>이 산출된다.

산출된 이 평균치 <Mr>은, 감산기(126)에 입력됨과 함께, 셀렉터(123)에 입력된다. 감산기(126)는, 대상 화소 M22r의 값으로부터 평균치 <Mr>을 감산하고, 감산 출력은, 비교기(128)에 입력되고, 이 비교기(128)에 의해, R 성분용 임계치 Thr과 비교된다.

이 비교기(128)의 비교 결과 Dr은, 판정 회로(124)에 입력된다.

G 화상 데이터 Gi가 입력되는 G 성분용 판정 회로(122G), B 화상 데이터 Bi가 입력되는 B 성분용 판정 회로(122B)는, R 성분용 판정 회로(122R)와 기본적으로 동일한 구성이며, 단지 임계치 Thr이 각각 임계치 Thg, Thb으로 변경되어 있다.

그리고, G 성분용 판정 회로(122G)는, 셀렉터(123)에 대상 화소 M22g의 출력과, 평균치 <Mg>를 출력하고, 판정 회로(124)에는 비교 결과 Dg를 출력한다.

또한, B 성분용 판정 회로(122B)는, 셀렉터(123)에 대상 화소 M22b의 출력과, 평균치 <Mb>를 출력하고, 판정 회로(124)에는 비교 결과 Db을 출력한다.

판정 회로(124)는, 비교 결과 Dr, Dg, Db 모두가 임계치 Thr, Thg, Thb 이상이라고 판정한 경우만, 셀렉터(123)를 절환하여 평균치 <Mr>, <Mg>, <Mb>를 출력시키고, 그 이외의 경우에는, 대상 화소 M22r, M22g, M22b를 출력시킨다.

즉, 판정 회로(124)는,

│M22r-<Mr>│≥Thr

│M22g-<Mg>│≥Thg

│M22b-<Mb>|≥Thb

를 동시에 만족하는 경우만, 대상 화소 M22는, 백상 노이즈의 화소라고 판정하고, 각각 평균치로 치환하여 출력시키도록 한다. 그 밖의 경우에는, 이와 같은 치환을 행하지 않는다.

본 변형예의 효과로서, 전체 색이 소정의 임계치인 개소만 추출할 수 있기 때문에, 백상 노이즈와 같이 전체 색으로 돌출한 화소치로 되는 것의 검출에 의해 확실하게 판정할 수 있고, 또한 구조의 경계 정보나 랜덤 노이즈와 같이 단색으로 돌출하고 있는 화소의 보정을 제한하여, 과잉의 보정에 의한 화상의 불선명감을 억제할 수 있어, 결과적으로, 백상 노이즈의 검출 및 그 보정 기능을 향상할 수 있다.

다음으로 제2 변형예를 설명한다. 형광 관찰 등과 같이, 촬상 소자에의 입사광량이 적은 환경 하에서 밝은 화상을 얻기 위해서, 촬상 소자 자체에 전하 증배 기구가 설치된 고감도 촬상 소자가 사용되고 있는데, 화상 정보뿐만 아니라, 화소 결함에 기인하는 백상 노이즈도 증폭하게 된다.

이 때문에, 백상 노이즈 보정 수단으로서, 종래예에서는, 면 순차 내시경의 RGB 각 색에서, 대상 화소치와, 주변 화소치를 비교하여, 그 차분이 소정의 임계치 이상인 화소를 백상 노이즈라고 판단하고, 대상 화소치를 주변 화소치로 변환하고 있었다. 그러나, 이 방식으로는 할레이션의 경계 영역도 백상 노이즈로서 검출하여 보정되게 되고, 이 보정에 의해 불필요한 화소를 보정하여 화상을 바림하게 되 는 결점이 있었다.

이 때문에, 본 변형예는, 할레이션 영역을 인식(판정)함으로써, 할레이션 영역으로 판정된 그 영역에서는, 백상 노이즈의 보정 처리의 대상 외로 한다. 이 할레이션 영역인지의 여부의 판정 방법으로서는,

A. 대상 화소의 화소치에 의해 판정한다. 구체적으로는, 할레이션인지의 여부를, 최대 화소치인지의 여부에 의해 판정한다. 이 경우, 백상 노이즈는, 주위보다도 약간, 그 값이 커지지만, 최대 화소치가 아니라고 하는 특성을 이용한다.

B. 대상 화소를 포함하는, 인접한 복수의 영역에 걸쳐, 최대 화소치로 되는 화소가 존재하는 경우에는, 할레이션 영역으로 판정한다.

C. 증폭율이 큰 경우, 백상 화소가 최대치(포화 화소와 동일)로 되는 경우가 있고, A의 방식으로는 노이즈 보정되지 않을 가능성이 있다. 그것을 방지하기 위해서, 단일 화소만으로 할레이션 화소로 판정한 경우에는, 백상(노이즈)으로 판정하여(고침), 노이즈 보정 대상으로 한다. 도 24는, 이와 같이 할레이션 판정하는 수단을 구비한 경우의 백상 노이즈 억제 회로(131)의 구성을 도시한다.

전술한 도 22와 같이 대상 화소 M22에 대하여 이것을 둘러싸는 주변 화소를 M11 내지 M33(M22를 제외함)으로 한 마스크를 설정한 경우, 대상 화소 M22의 신호는, 셀렉터(113)에 입력됨과 함께, 비교기(132)에 입력되어, 임계치 Th와 비교된다.

또한, 대상 화소 M22의 주변 화소 Mij(i, j는 1 내지 3의 임의의 정수로, i=j=2를 제외함)의 신호는, (주변 화소) 평균치 산출부(133)에 입력되고, 주변 화 소 Mij의 평균치 <M>이 산출되고, 이 평균치 <M>은, 셀렉터(113)에 입력된다.

또한, 본 변형예에서는, 대상 화소 M22의 주변 화소 M11 내지 M33(M22를 제외함)에서의 경사 방향으로 인접하는 것을 제외한 특정한 주변 화소 M12, M21, M23, M32의 신호는, 할레이션 유무 판정 회로(134)에 입력되어, 할레이션 영역의 화소인지의 여부가 판정된다.

이 할레이션 유무 판정 회로(134)에 의한 판정 결과 Dh는, 비교기(132)의 비교 결과 Dm과 함께 판정 회로(135)에 입력되고, 양 비교 결과에 따른 판정 출력이 셀렉트 신호로서 셀렉터(113)의 절환을 제어한다.

할레이션 유무 판정 회로(134)는, 이하의 D 내지 F 중 어느 하나에 의한 판정을 한다. 또한, 이하에서는 각 화소의 화상 데이터가 8비트(0∼255)인 경우로 설명한다.

D. 중심 화소 M22가 최대 화소치의 255이면, 할레이션으로 판정한다.

E. 중심 화소 M22가 최대 화소치 255이고, 또한 중심 화소 M22의 인접 화소(횡, 종방향만, 경사는 제외)에, 최대 화소치의 255로 되는 화소가 1화소 이상 있으면, 중심 화소 M22는 할레이션으로 한다.

F. 중심 화소 M22가 최대 화소치의 255이고, 주변 화소치는 최대 화소치의 255가 아닌 경우에는, 할레이션이 아니라고 판정한다.

판정 회로(135)는, 할레이션 유무 판정 회로(134)에 의한 판정 결과 Dh가 할레이션으로 판정되면, 비교기(132)의 비교 결과 Dm에 상관없이, 셀렉터(113)가 중심 화소 M22를 출력하기 위한 셀렉트 신호를 셀렉터(113)에 출력한다. 할레이션 유무 판정 회로(134)에 의한 판정 결과 Dh가 할레이션이 아니라고 판정하고, 또한 비교기(132)의 비교 결과 Dm이 임계치 이상이면, 셀렉터(113)는, 평균치 <M>을 출력하기 위한 셀렉트 신호를 셀렉터(113)에 출력하고, 또한 판정 결과 Dh가 할레이션이 아니라고 판정하고, 또한 비교 결과 Dm이 임계치 이하이면, 셀렉터(113)는, 중심 화소 M22를 출력하기 위한 셀렉트 신호를 셀렉터(113)에 출력한다.

예를 들면, 도 25는 백상 노이즈 억제 회로(131)에 입력되는 주목 화소 및 그 주변 화소의 화소치의 일례를 도시한다. 이 경우에는, D 혹은 E에 해당하므로, 중심 화소는, 할레이션으로 판정하고, 셀렉트 신호는 셀렉터(113)의 절환을 행하지 않고, 중심 화소 M22의 데이터(255)가 그대로 출력되게 된다.

또한, 고감도 CCD(25E)에 대한 증폭율에 따라서 판정 방법을 변경하는 구성으로 하여도 된다. 즉, 증폭율이 소정의 임계치 이하인 경우, 판정 회로(135)는 상기 D 혹은 E에 의해 할레이션 화소를 판정하고, 임계치 이상인 경우에는 상기 F에 의해 판정한다.

본 변형예에 따르면, 백상 노이즈 보정 시에, 할레이션 영역은 제외하기 때문에, 불필요한 화소를 바림하는 것이 없어져, 화상을 선명화할 수 있다.

(제5 실시예)

다음에 도 27 내지 도 31을 참조하여, 본 발명의 제5 실시예를 설명한다. 본 실시예는, 한 세트의 광원 장치 및 화상 처리 장치(구체적으로는 비디오 프로세서)에 대하여, 특성이 서로 다른 복수의, 형광 관찰 가능한 내시경이 접속된 경우에도, 형광 관찰 화상의 S/N 저하를 회피하면서, 촬상 소자에서의 화소 결함을 보 정하는 것이 가능한 화상 처리 장치 및 내시경 장치를 제공하는 것을 목적으로 한다.

그리고, 상기 목적을 달성하기 위해서, 화상 처리 장치는, 이하의 (e), (f)의 구성으로 하고 있다.

(e) 형광 관찰에 이용되는 투과 파장 특성이 서로 다른 필터를 각각 가지며, 전하를 축적함으로써 피사체상을 촬상하는 제1 및 제2 촬상 소자를 각각 내장함과 함께, 축적 시간에 관한 정보를 각각 기억하는 제1 및 제2 기억 수단을 내장한 제1 및 제2 내시경이 선택적으로 접속되고, 상기 제1 및 제2 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 수단과,

주변 화소를 화소치가 큰 순으로 배열하는 재배열 수단과, 상기 재배열 수단에 의해 설정된 최대의 화소치측의 것(단수 혹은 복수)을 제외하고 상기 평균치를 산출하는 평균치 산출 수단과,

상기 기억 수단에서의 축적 시간에 관한 정보에 기초하여, 상기 화상 처리에 관한 처리 파라미터를 변경하는 수단을 구비한 것을 특징으로 하는 화상 처리 장치.

(f) 형광 관찰에 이용되는 투과 파장 특성이 서로 다른 필터를 각각 가지며, 전하를 축적함으로써 피사체상을 촬상하는 제1 및 제2 촬상 소자를 각각 내장함과 함께, 축적 시간에 관한 정보를 각각 기억하는 제1 및 제2 기억 수단을 내장한 제1 및 제2 내시경이 선택적으로 접속되고, 상기 제1 및 제2 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 수단과,

주변 화소를 화소치가 큰 순부터 단수 혹은 복수 제외하고, 상기 평균치를 산출하는 평균치 산출 수단과,

또한, 상기 목적을 달성하기 위해서, 내시경 장치는, 이하의 (g) 내지 (k)의 구성으로 하고 있다.

(g) 형광 관찰에 이용되는 투과 파장 특성이 서로 다른 필터를 각각 가지며, 전하를 축적함으로써 피사체상을 촬상하는 제1 및 제2 촬상 소자를 각각 내장한 제1 및 제2 내시경과,

상기 제1 및 제2 내시경에 각각 설치되어, 축적 시간에 관한 정보를 각각 기억하는 제1 및 제2 기억 수단과,

상기 제1 또는 제2 내시경을 거쳐서 피사체를 조명광으로 조명 하는 조명 수단과,

상기 제1 및 제2 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하 여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 장치를 가지며,

상기 화상 처리 장치는, 주변 화소를 화소치가 큰 순으로 배열하는 재배열 수단과, 상기 재배열 수단에 의해 설정된 최대의 화소치측의 것(단수 혹은 복수)을 제외하고 상기 평균치를 산출하는 평균치 산출 수단과, 상기 기억 수단에서의 축적 시간에 관한 정보에 기초하여, 상기 화상 처리에 관한 처리 파라미터를 변경하는 수단을 구비한 것을 특징으로 하는 내시경 장치.

(h) 형광 관찰에 이용되는 투과 파장 특성이 서로 다른 필터를 각각 가지며, 전하를 축적함으로써 피사체상을 촬상하는 제1 및 제2 촬상 소자를 각각 내장한 제1 및 제2 내시경과,

상기 제1 또는 제2 내시경을 거쳐 피사체를 조명광으로 조명 하는 조명 수단과,

상기 제1 및 제2 촬상 소자에 의해 촬상된 화상 데이터에서의 대상 화소치와 주변 화소치의 평균치와의 차분을 도출하고, 상기 차분을 소정의 임계치와 비교하여, 임계치 이상이면 대상 화소를 주변 화소 평균치로 치환하는 화상 처리 장치를 가지며,

상기 화상 처리 장치는, 주변 화소를 화소치가 큰 순부터 단수 혹은 복수 제외하고, 상기 평균치를 산출하는 평균치 산출 수단과, 상기 기억 수단에서의 축적 시간에 관한 정보에 기초하여, 상기 화상 처리에 관한 처리 파라미터를 변경하는 수단을 구비한 것을 특징으로 하는 내시경 장치.

(i) h에서, 상기 처리 파라미터는, 상기 노이즈 억제 수단에서의 상기 임계치이다.

(j) h에서, 상기 제1 및 제2 기억 수단은, 상기 조명 수단이 조명 하는 적어도 하나의 조명광을 조명한 때에 상기 제1 또는 제2 촬상 소자가 축적하는 축적 시간을 각각 기억한다.

(k) h에서, 상기 제1 및 제2 기억 수단은, 상기 조명 수단이 조명 하는, 반사광상을 취득하기 위한 조명광을 조명한 때의, 상기 제1 및 제2 촬상 소자가 축적하는 축적 시간을 각각 기억한다.

도 27은, 실시예5의 화상 처리 장치를 구비한 내시경 장치(101B)의 구성을 도시한다. 이 내시경 장치(101B)는, 제1 전자 내시경으로서의 전자 내시경(102A)과, 도 28에 도시하는 제2 전자 내시경으로서의 전자 내시경(102B)과, 광원 장치(103B)와, 본 실시예의 화상 처리 장치로서의 비디오 프로세서(104B)와, 관찰 모니터(5)로 구성된다. 또한, 본 실시예에서의 구성은, 실시예4의 구성과 유사하기 때문에, 실시예4에서 설명한 구성 요소와 동일한 구성 요소에는 동일한 부호를 붙이고, 그 설명을 생략한다.

전자 내시경(102A)는, 도 20에 도시한 실시예4에 이용한 전자 내시경(102)에서, 그 전자 내시경(102A)의 고유한 식별 정보를 발생하는 스코프 ID 발생 회로(150)를 설치한 구성이다.

또한, 도 28에 도시하는 제2 전자 내시경(102B)은, 도 27에 도시하는 전자 내시경(102A)에서, 또한 통상 관찰용의 촬상 수단을 구비한 전자 내시경이다.

즉, 도 27에 도시하는 전자 내시경(102A)은, 1개의 CCD(25E)에 의해, 통상 관찰과 형광 관찰을 겸용하여 사용되는 것에 대하여, 도 28에 도시하는 전자 내시경(102B)은, 통상 관찰은 CCD(25F), 형광 관찰은 CCD(25E)를 사용한다.

이 CCD(25F)는, 통상 관찰용이기 때문에, 대물 렌즈(24F)의 결상 위치에, 여기광 컷 필터(106)가 개재되지 않는 상태로 배치되어 있다. 또한, 대물 렌즈(24F)는, 대물 렌즈(24)와 동일한 특성의 것을 채용할 수 있다.

또한, CCD(25E)와 CCD(25F)의 출력 신호는, 모드 절환 스위치(20)에 의해 접점이 절환되는 절환 스위치(151)를 통하여 비디오 프로세서(104B)의 프로세스 회로(31)에 입력된다. 또한, 본 실시예에서는 공통의 CCD 드라이버(29)에 의해 CCD(25E)와 CCD(25F)가 구동되는 구성으로 하고 있다.

또한, 전자 내시경(102A)의 CCD(25E)의 촬상면의 앞에 배치되어 있는 여기광 컷 필터(106)와 전자 내시경(102B)의 CCD(25E)의 촬상면의 앞에 배치되어 있는 여기광 컷 필터(106B)는, 도 29의 (A) 및 도 29의 (B)에 도시하는 바와 같이 그 투과 범위가 서로 다른 특성으로 설정되어 있다.

즉, 전자 내시경(102B)에서는, CCD(25E)는, 형광 관찰 전용으로 이용되기 때문에, 여기광 컷 필터(106B)는, 도 29의 (B)에 도시하는 바와 같이 여기광 Ex의 파장대와는 달리, 반사광상을 얻기 위해서 사용되는 G2 및 R2의 파장 범위를 투과하는 특성으로 설정되어 있다. 구체적으로는 파장 λ2 내지 파장 R2보다 장파장의 λ0까지의 파장대를 투과한다. 이 λ2의 파장은, G2의 파장대보다도 조금 단파장으로 설정되어 있다.

이에 대하여, 전자 내시경(102A)은, 통상 관찰과 형광 관찰을 1개의 CCD(25E)로 겸용하고 있으므로, 이 CCD(25E)의 촬상면의 앞에 배치되어 있는 여기광 컷 필터(106)는, 도 29의 (A)에 도시하는 바와 같이 파장 λ1 내지 λ0의 파장대를 투과한다. 이 λ1의 파장은, G2의 파장대보다도 더욱 단파장으로 되어, λ1<λ2로 설정되어 있다.

또한, 도 29에 도시하는 여기광 Ex, 조명광 G2, R2는, 형광 관찰 모드 시에 광원 장치(103B)로부터 출사되는 면 순차 조명광의 파장대를 나타내고 있다.

또한, 본 실시예에서는, 형광 관찰을 행하는 경우, 제1 전자 내시경(102A)에 의한 제1 형광상 lu1은, 협대역으로 하여 그 조명광 강도를 약하게 한 R2 및 G2의 조명광 하에서 촬상된 제1 반사광상 r1, g1과 비디오 프로세서(104B) 내에서 합성되어 관찰 모니터(5)에 표시된다. 마찬가지로, 형광 관찰을 행하는 경우, 제2 전자 내시경(102B)에 의한 제2 형광상 lu2는, 협대역으로 하여 그 조명광 강도를 약하게 한 R2 및 G2의 조명광 하에서 촬상된 제2 반사광상 r2, g2와 비디오 프로세서(104B) 내에서 합성되어 형광 관찰 화상으로서 관찰 모니터(5)로 표시된다.

이 경우, 제1 반사광상 r1과 r2는, 조명광 R2의 파장대에서의 여기광 컷 필터의 투과율이 제1과 제2 전자 내시경에서 동일하기 때문에, 동일 피사체를 촬상한 경우의 신호 레벨이 동등하게 되고, 또한 마찬가지로 제1 반사광상 g1과 g2는, 조명광 G2의 파장대에서의 여기광 컷 필터의 투과율이 제1과 제2 전자 내시경에서 동 일하기 때문에, 동일 피사체를 촬상한 경우의 신호 레벨이 동등하게 된다.

또한, 상기 여기광 컷 필터(106)는, 통상 관찰인 경우에는, 도 30의 (A)에 도시하는 바와 같이 광대역의 B1의 조명광의 일부를 투과하도록 설정되어 있고, 이 광대역의 B1의 조명광 하에서 촬상한 색 신호가 얻어지도록 하고 있다. 이에 대하여, 상기 여기광 컷 필터(106B)는, 통상 관찰인 경우에는, 도 30의 (B)에 도시하는 바와 같이 B1의 조명광을 투과하지 않도록 설정되어 있다. 즉, 여기광 컷 필터(106)는, 투과하는 파장 범위가 여기광 컷 필터(106B)보다도 광대역으로 설정되어 있다.

따라서, 공통의 광원 장치(103B)를 이용하여, 동일 피사체를 형광 관찰 모드에서 형광 관찰을 행하면, 여기광 컷 필터(106)를 이용한 CCD(25E)에 의해 촬상되는 제1 형광상 lu1인 경우 쪽이, 여기광 컷 필터(106B)를 이용한 CCD(25E)에 의해 촬상되는 제2 형광상 lu2인 경우에서의 신호 레벨보다 높아진다. 즉, 공통의 광원 장치(103B)를 이용하여 형광 관찰 모드에서 형광 관찰을 행하면, 전자 내시경(102A)의 경우와 전자 내시경(102B)의 경우에서, CCD(25E)의 출력 레벨에 차가 생긴다.

이 때문에, 본 실시예에서는, 후술하는 바와 같이 비디오 프로세서(104B)측에서, 형광상의 신호 레벨에 반사광상의 신호 레벨을 맞추기 위한 처리 파라미터의 변경 수단(구체적으로는, 촬상 시간 혹은 축적 시간의 변경 수단)을 설치한 구성으로 하고, 여기광 컷 필터의 특성이 서로 다른 경우에도, S/N 저하를 회피한 양호한 형광 관찰 화상을 생성할 수 있도록 하고 있다.

본 내시경 장치(101B)에 사용되는 광원 장치(103B)는, 예를 들면 실시예1에서의 광원 장치(3)에서, 회전 필터(14)에서의 B2 필터(14b2) 대신에 도 29의 (A) 등에 나타낸 여기광 Ex를 발생하는 여기광 필터를 설치한 회전 필터(14C)가 채용된 것이다. 즉, 형광 관찰 모드 시에는, 광원 장치(103B)는, R2, G2, 여기광 Ex의 조명광을 순차적으로 출사하고, 통상 관찰 모드 시에는 R1, G1, B1의 조명광을 순차적으로 출사한다.

또한, 본 내시경 장치(101B)에 사용되는 비디오 프로세서(104B)는, 도 20에 도시한 실시예4의 비디오 프로세서(104)의 일부를 변경한 구성이다.

본 실시예에서의 비디오 프로세서(104B)는, 통상 관찰과 형광 관찰을 1개의CCD(25E)로 겸용하고 있는 전자 내시경(102A)인 경우에도, 통상 관찰과 형광 관찰을 각각 전용의 CCD(25F), CCD(25E)를 이용하는 전자 내시경(102B)인 경우에도, 백상 노이즈 등의 화소 결함을 적절하게 보정하여, 노이즈가 적은 양호한 화상을 생성하는 화상 처리를 행한다. 이 때문에, 본 실시예의 비디오 프로세서(104B)는, 도 20의 비디오 프로세서(104)에서, 제어부(152)를 더 설치하고, 이 제어부(152)는, 스코프 ID 발생 회로(150)에 기입되어 있는 반사광 및 형광의 축적 시간에 관한 정보에 따라서, CCD 드라이버(29)와 어드레스 발생 회로(119)를 제어한다.

예를 들면, 제어부(152)는, 예를 들면 형광 관찰 모드에의 최초의 절환 시 (이 밖에 기동시이어도 됨)에, 스코프 ID 발생 회로(150)로부터 반사광 및 형광의 축적 시간에 관한 정보를 판독하여, 제어부(152) 내의 메모리(152a)에 저장한다.

그리고 유저에 의해, 형광 관찰 모드가 선택된 경우, 제어부(152)는, 메모 리(152a)로부터 반사광상 및 형광상의 촬상 시간(보다 엄밀히는 축적 시간)에 관한 정보를 판독하여, CCD 드라이버(29)에 대하여, 처리 파라미터로서의 축적 시간의 제어, 즉 CCD(25E)에 의한 전자 셔터의 제어를 행한다.

도 27에 도시하는 바와 같이 전자 내시경(102A)이, 비디오 프로세서(104B)에 접속된 경우에는, 제어부(152)는, CCD 드라이버(29)에 대하여, R2의 조명광, G2의 조명광으로 각각 조명한 경우에서의(반사광상을 촬상할 때의) 각 촬상 시간을 tr1, tg1로 되도록 제어하고, 또한 여기광 Ex를 조사한 경우(형광상을 촬상할 때)의 촬상 시간을 tb1로 제어한다.

한편, 도 28에 도시하는 전자 내시경(102B)이, 비디오 프로세서(104B)에 접속된 경우에는, 제어부(152)는, CCD 드라이버(29)에 대하여 R2의 조명광, G2의 조명광으로 각각 조명한 경우에서의 각 촬상 시간을 tr2(<tr1), tg2(<tg1)로 되도록 제어하고, 또한 여기광 Ex를 조사한 경우(형광상을 촬상할 때)의 촬상 시간을 tb2(=tb1)로 제어한다.

전술한 바와 같이, 전자 내시경(102A, 102B) 사이에서는, 형광의 촬상에 이용되는 여기광 컷 필터(106, 106B)의 특성이 서로 다르기 때문에, 동일 피사체를 촬상한 경우에 얻어지는 형광상 lu1, 1u2의 신호 레벨(밝기)이 서로 다르지만, 적색대 등의 조사에 의한 반사광상 r1, g1;r2, g2의 신호 레벨(밝기)은 동등하다. 이 때문에, 형광상과 반사광상을 합성한 경우의 형광 관찰상에서의 각 상의 신호 레벨(밝기)의 밸런스가 서로 다르게 된다.

본 실시예에서는, 기준의 피사체를 촬상한 경우의 반사광상의 신호 레벨(밝 기)이 형광상의 신호 레벨(밝기)에 맞도록, 반사광 촬상시의 촬상 시간을, 내시경(여기광 컷 필터)의 특성에 맞춰서(스코프 ID 발생 회로(150)에 미리 기록한 축적 시간에 관한 정보에 기초하여) 조정함으로써, 각 상의 신호 레벨(밝기)을 적절하게 밸런스시키도록 하고 있다.

또한 미약한 형광의 촬상에서는, 촬상 시간을 단축하지 않도록 함으로써, 촬상 시간의 단축에 의한 형광상의 S/N 저하를 억제하고 있다.

이와 같이 전자 내시경(102A, 102B)의 사이에서는, 형광 촬상 수단에 이용되는 여기광 컷 필터(106, 106B)의 특성이 서로 다르기 때문에, 동일 피사체를 촬상한 경우에 얻어지는 형광상 lu1, lu2의 밝기가 서로 다르지만, 적색대 등의 조사에 의한 반사광상 r1, g1;r2, g2의 밝기는 동등하다. 이 때문에, 동일한 처리 상태에서, 형광상과 반사광상을 합성한 경우의 각 상의 밝기의 밸런스가 서로 다르게 된다.

본 실시예에서는, 형광상의 밝기에 반사광상을 맞추는 경우, 반사광상의 촬상에서는, 내시경(여기광 컷 필터)의 특성에 맞춰서 촬상 소자의 촬상 시간을 (스코프 ID 발생 회로(150)에 미리 기억한 전자 셔터의 정보에 기초하여) 조정하여, 상기 밝기를 적절하게 밸런스시키도록 하고 있다.

또한, 상기에서는, 스코프 ID 발생 회로(150)에는, 반사광 및 형광의 축적 시간에 관한 정보가 기입되어 있는 경우를 나타냈지만, 반사광의 축적 시간에 관한 정보만을 기입하도록 하여도 된다. 그리고, 제어부(152)는, 이 반사광의 축적 시간에 관한 정보를 메모리(152a)에 저장하고, 형광의 축적 시간에 관한 정보는, 비 디오 프로세서(104B)에 접속되는 전자 내시경에 상관없이, 소정의 축적 시간을 미리 메모리(152a)에 저장해 두는 구성으로 하여도 된다.

또한, 스코프 발생 회로(150)는, 여기광 컷 필터(106 혹은 106B)의 특성 정보를 발생하고, 제어부(152)는, 그 특성 정보에 따른 반사광 및 형광의 축적 시간에 관한 정보를 메모리(152a) 등에 저장하는 구성으로 하여도 된다.

또한, 스코프 ID 발생 회로(150)는, 간단히 스코프 ID 정보를 발생하고, 제어부(152)는, 비디오 프로세서(104B)측에서 그 스코프 ID의 경우에 사용되는 반사광 및 형광의 축적 시간에 관한 정보를 메모리(152a) 등에 저장하는 구성으로 하여도 된다.

또한, 종래의 화소 결함 보정의 화상 처리는, 촬상 시간에 따라서 변화되는 결함 화소의 화소치를 고려한 처리로 되어 있지 않았기 때문에, 적절하게 보정할 수 없었지만, 본 실시예에서는 이하와 같이 처리 파라미터로서의 임계치를 변경 설정하여 적절하게 보정할 수 있도록 하고 있다.

본 실시예에서는 형광 관찰 모드인 경우, 이 제어부(152)는, 어드레스 발생 회로(119)에 대하여, R2, G2에서의 반사광 촬상과 여기광 Ex 하에서 형광 촬상한 경우의 촬상 신호가 면 순차로 백상 노이즈 억제 회로(111)의 비교기(117)에 입력된 경우, 그 비교기(117)의 다른 쪽의 입력단에 임계치 메모리(118)로부터 판독되어 인가되는 3개의 임계치를 제어한다. 도 27에 도시하는 바와 같이 전자 내시경(102A)이, 비디오 프로세서(104B)에 접속된 경우에는, 비교기(117)의 한쪽에 제1 반사광상 r1, g1, 형광상 lu1에 기초하는 감산기(112)의 출력 신호가 순차적으로 입력되는 경우, 비교기(117)의 다른 쪽에 입력단에 인가되는 임계치를 Thr1, Thg1, Thb1로 한 경우, 예를 들면 Thb1>Thr1, Thb1>Thg1로 되도록 제어부(152)는 제어한다.

즉, 형광 촬상을 행하는 경우에는, CCD(25E)의 증폭율을 반사광 촬상인 경우보다도 높게 설정하기 때문에, 그 경우에 백상이 있으면 그 백상에 의한 신호 레벨도 높아진다. 이에 대응하여, 형광 촬상을 행한 경우의 신호가 비교기(117)에 입력된 경우에는, 그 경우에 대응하는 임계치 Thb1이 다른 신호인 경우의 임계치Thr1, Thg1보다도 높게 설정되도록 제어부(152)는 제어한다.

또한, 도 28에 도시하는 전자 내시경(102B)의 경우에는, 비교기(117)에 입력되는 상기 임계치로서, Thr2, Thg2, Thb2로 된다. 이 경우, 예를 들면 Thb2>Thr2, Thb2>Thg2로 되도록 제어부(152)는 제어한다. 이 경우도 상기 임계치 Thb1 등의 경우와 마찬가지로 설정된다.

또한, CCD(25E)에 백상이 있는 경우에는, CCD(25E)의 촬상 시간이 짧으면, 백상에 의한 신호 레벨이 보다 낮아진다. 따라서, 전술한 바와 같이 tr1>tr2의 설정에 대응하여, 제어부(152)는 Thr1>Thr2로 설정한다. 마찬가지로 tg1>tg2의 설정에 대응하여, 제어부(152)는 Thg1>Thg2로 설정한다.

또한, 제1 전자 내시경(102A)과 제2 전자 내시경(102B)에서는, 형광 촬상을 행하는 경우의 CCD(25E)의 증폭율 및 촬상 시간을 동일하게 설정하기 때문에, 제어부(152)는 Thb1=Thb2의 설정을 행하도록 하고 있다.

여기에서, 어드레스 발생 회로(119B)는, 제어부(152)로부터 입력되는 메모 리(152a)에 저장된 반사광 및 형광의 축적 시간에 관한 정보 및, 제어 전압 발생 회로(107)로부터 출력되는 제어 전압 레벨에 따라서, 어드레스치를 발생하고, 임계치 메모리(118)로부터 비교기(117)에 입력하는 임계치를 절환한다.

또한, 실시예4에서는, 모드 절환 스위치(20)를 조작한 경우, 그 출력 신호로 광원 장치(103)의 조명광의 절환을 제어하는 구성으로 하고 있었지만, 본 실시예에서는 모드 절환 스위치(20)에 의한 조작 신호는 제어부(152)에 입력된다.

그리고, 제어부(152)는, 모드 절환에 대응하여, 광원 장치(103B)의 제어 회로(16)에 모드 절환의 신호를 보내고, 제어 회로(16)는 이 신호에 대응한 제어를 행한다.

다음으로 본 실시예의 작용을 설명한다. 우선, 광원 장치(103B) 및 비디오 프로세서(104B)에 제2 전자 내시경(102B)이 접속된 것으로 한다. 그리고, 전원이 투입되면, 이 제어부(152)는 기동시에는 통상 관찰 모드에서 조명 및 신호 처리를 행하도록 제어한다. 이 통상 관찰 모드 시에는, 광원 장치(103B)는, R1, G1, B1의 조명광을 순차적으로 출사하고, 이 조명광의 상태에서 CCD(25F)는 촬상을 행한다. 이 경우에는, 제어부(152)는, 제어 전압 발생 회로(107)를 동작시키지 않는다. 또한, 백상 노이즈 억제 회로(111)도 동작시키지 않는다. 따라서, 이 경우에는, 비디오 프로세서(104B) 내의 A/D 변환 회로(32)의 출력 신호는, 백상 노이즈 억제 회로(111)를 스루하여 동시화 회로(45)에 입력된다.

이 경우의 동작은, 통상의 면 순차 방식의 전자 내시경에서의 통상 관찰 모드와 동일한 동작으로 된다. 한편, 모드 절환 스위치(20)가 조작되어 형광 관찰 모드로 절환되면, 제어부(152)는, 스코프 ID 발생 회로(150)로부터 판독한 축적 시간에 관한 정보를 메모리(152a)에 저장하고, 이 메모리(152a)에 저장한 축적 시간의 정보에 의해, CCD(25E)의 전자 셔터 시간, 즉 전술한 촬상 시간 tr2, tg2의 제어를 행한다.

또한, 이 형광 관찰 모드에서는, 제어부(152)는, 백상 노이즈 억제 회로(111)를 동작시킨다. 이 경우, 제어부(152)는 백상 노이즈 억제 회로(111) 내의 비교기(117)에 인가되는 임계치를, 이 비교기(117)의 한쪽의 입력단에 입력되는 제2 반사광상 r2, g2, 형광상 lu2에 기초하는 감산기(112)의 출력 신호가 순차적으로 입력되는 경우, 비교기(117)의 다른 쪽에 입력단에 인가되는 임계치를 Thr2, Thg2, Thb2로 하고, 이 경우 Thb2>Thr2, Thb2>Thg2로 되도록 제어부(152)는 제어한다.

또한, 이 제2 전자 내시경(102B) 대신에 제1 전자 내시경(102A)이 광원 장치(103B) 및 비디오 프로세서(104B)에 접속된 경우에도, 기본적으로 상기 부호 lu2등에서의 숫자 2를 1로 치환한 것과 마찬가지의 동작으로 된다.

이 경우, 전술한 바와 같이 제1 전자 내시경(102A)의 경우와 제2 전자 내시경(102B)의 경우에서, tr1>tr2 등으로 설정하도록 하고 있으므로, 관찰 모니터(5)에 제1 형광상 lu1 혹은 제2 형광상 lu2를 표시하는 경우, 각각 반사광상 r1, g1 혹은 r2, g2의 컬러 밸런스를 적절하게 유지하여 표시할 수 있다.

또한, 본 실시예에서는, 전자 내시경(102A 혹은 102B)에 대하여 설정되는 각 상의 촬상 시간에 따라서, 백상 노이즈 억제를 행할 때의 임계치를 적절하게 설정할 수 있어, 백상 노이즈를 유효하게 억제할 수 있다.

이와 같이 본 실시예에 따르면, 여기광 컷 필터의 특성이 서로 다른 경우에도, 적절하게 백상 노이즈를 억제하고, 또한 양호한 형광 관찰 화상을 얻을 수 있다.

전술한 설명에서는, 형광 촬상을 행할 때의 CCD(25E)의 증폭율을, 반사광 촬상을 행할 때보다도 높게 설정하는 경우로 설명했지만, 형광 촬상시와 반사광 촬상시에서 동일한 증폭율을 설정하는 경우이어도, 각 상의 촬상 시간에 따른 임계치를 이용함으로써, 백상 노이즈 억제를 행하도록 하여도 된다.

또한, 형광 촬상을 행할 때의 CCD(25E)의 증폭율이 제1 전자 내시경(102A)과 제2 전자 내시경(102B)에서 서로 다른 경우에는, 그 증폭율에 따른, 형광상에 대하여 설정되는 임계치를 이용하여, 백상 노이즈 억제를 행하도록 하여도 된다.

또한, 전술한 설명에서는, 통상 관찰 모드 시에서는, 백상 노이즈 억제 회로(111)의 기능을 이용하지 않는 경우로 설명했지만, 통상 관찰 모드 시에서도, 형광 관찰 모드 시보다는 작은 값으로 설정되는 임계치를 이용하여, 백상 노이즈 억제를 행하도록 하여도 된다. 이 경우에서의 임계치의 정보는, 예를 들면 스코프 ID 발생 회로(150)에 저장하면 된다. 또한, 본 실시예에서는, 면 순차로 입력되는 촬상 신호에 대하여, 백상 노이즈 억제 회로(111)에 의해 백상 노이즈의 억제를 행하고 있지만, 도 31에 도시하는 변형예와 같이 동시화 회로(45)로 동시화한 후에 백상 노이즈 억제 회로(121)로 백상 노이즈의 억제를 행하도록 하여도 된다.

도 31에 도시하는 변형예의 백상 노이즈 억제 회로(121)는, 실시예4에서의 도 20의 백상 노이즈 억제 회로(111)를 도 23에 도시한 변형예의 백상 노이즈 억제 회로(121)로 변형한 것과 기본적으로 동일한 구성이다.

도 31의 백상 노이즈 억제 회로(121)는, 비교기(128)에 인가되는 임계치를, 스코프 ID 발생 회로(150)의 스코프 ID에 의해 제어하는 점이 도 23의 백상 노이즈 억제 회로(121)와 서로 다르다. 도 31의 경우에는, 제1 전자 내시경(102A)이 접속된 상태로 나타내고 있고, 이 경우에는 R 성분용 판정 회로(122R)에서의 비교기(128)에는 임계치 Thr1이 인가된다.

또한, 명시하고 있지 않지만 G 성분용 판정 회로(122G)에서의 비교기(128)에는 임계치 Thg1이 인가되게 되고, 형광 성분용(B 성분용) 판정 회로(122B)에서의 비교기(128)에는 임계치 Thb1이 인가되게 된다.

본 변형예는, 실시예5의 경우와 거의 마찬가지의 효과가 있다.

또한, 전술한 각 실시예 등을 부분적으로 조합하는 등 하여 구성되는 실시예등도 본 발명에 속한다.

내시경의 촬상 수단에 의해 촬상된 체강 내의 화상에 대하여, 협대역 광 관찰 하와 같이 조명 광량이 충분하지 않은 등의 경우에도, 노이즈를 유효하게 억제하고, 또한 콘트라스트의 저하를 경감하는 화상 처리를 행하여, 진단에 알맞은 내시경 화상을 표시할 수 있도록 한다.

본 출원은, 2005년 3월 22일에 일본에 출원된 일본 특원 2005-82544호를 우선권 주장의 기초로서 출원하는 것이며, 상기의 개시 내용은, 본원 명세서, 청구의 범위, 도면에 인용되는 것으로 한다.

Claims

촬상 수단에 의해 촬상된 화상 데이터에 대하여 화상 처리를 행하는 화상 처리 장치로서,

상기 화상 데이터에 대하여, 복수의 공간 필터에 의한 필터 처리를 행하는 필터 처리 수단과,

상기 화상 데이터의 국소 영역에서의 밝기를 산출하는 밝기 산출 수단과,

상기 필터 처리 수단의 출력에 대하여, 상기 필터 처리 수단 및 상기 밝기 산출 수단 중 적어도 한쪽의 출력에 따른 가중치 부여를 행하는 가중치 부여 수단과,

상기 가중치 부여 수단의 출력에 대하여, 처리 화상 데이터를 생성하기 위한 역 필터 처리를 행하는 역 필터 처리 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 가중치 부여 수단은, 상기 필터 처리 수단의 출력이 상기 가중치 부여를 행하는 때의 가중치 부여 계수가 1이 되는 값을 결정하는 임계치보다도 큰 경우에는, 상기 필터 처리 수단의 출력에 상관없는 가중치 부여 계수를 이용하고, 상기 필터 처리 수단의 출력이 상기 임계치보다도 작은 경우에는, 상기 필터 처리 수단의 출력에 따라서 가중치 부여 계수를 변경하고, 상기 임계치는, 상기 밝기 산출 수단의 출력에 따라서 변경하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 밝기 산출 수단의 출력에 따라서, 상기 화상 데이터 및 상기 역 필터 처리 수단의 출력의 가중 평균을 산출하는 가중 평균 산출 수단을 더 갖는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 필터 처리 수단은, 직교 기저를 이용한 직교 변환 처리 수단이며, 상기 역 필터 처리 수단은, 역 직교 변환 처리 수단인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 필터 처리 수단은, 입력되는 화상 데이터의 색 성분마다 서로 다른 필터 계수를 이용하여 필터 처리하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 필터 처리 수단은, 입력되는 화상 데이터의 색 성분이 서로 다른 경우에도 공통의 필터 계수를 이용하여 필터 처리하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 가중치 부여 수단은, 상기 화상 데이터가 상기 밝기 산출 수단에 입력될 때까지 증폭하는 증폭기의 게인치, 촬상 수단의 종별, 선예도(鮮銳度) 보정 처리의 보정도 중 적어도 하나로 가중치 부여할 때의 가중치 부여 계수를 변경하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 직교 기저는, 화상 데이터에 대하여 산출한 Karhunen-Loeve 변환의 기저인 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 직교 기저는, 이산 코사인 변환의 기저인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 가중치 부여 수단은, 상기 필터 처리 수단의 출력이 상기 가중치 부여를 행하는 때의 가중치 부여 계수가 0이 되는 값을 결정하는 임계치보다 작은 경우에는, 상기 필터 처리 수단의 출력에 상관없이 0의 가중치 부여 계수를 부여하는 상기 임계치를, 상기 밝기 산출 수단의 출력에 따라서 변경하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 가중치 부여 수단은, 상기 필터 처리 수단의 출력이 제1 임계치보다도 큰 경우에는, 상기 필터 처리 수단의 출력에 상관없이 1의 가중치 부여 계수로 하고, 상기 필터 처리 수단의 출력이 제2 임계치보다도 작은 경우에는, 상기 필터 처리 수단의 출력에 상관없이 0의 가중치 부여 계수로 하고, 상기 필터 처리 수단의 출력이 상기 제1 및 제2 임계치 사이에서는, 0과 1 사이의 가중치 부여 계수로 하는 특성의 가중치 부여 계수로 하고, 상기 제1 임계치 및 상기 제2 임계치는, 상기 밝기 산출 수단의 출력에 따라서 변경하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 필터 처리 수단은, 홀수 n으로 한 n×n 화소의 소영역의 화상 데이터에 대하여, n×n개보다도 적은 필터수 r을 사용하여 상기 소영역의 중심 화소치를 얻기 위한 필터 처리를 행하는 것을 특징으로 하는 화상 처리 장치.
삭제
촬상 수단을 포함하는 내시경과,

상기 촬상 수단에 의해 촬상된 화상 데이터에 대하여, 복수의 필터를 적용한 필터 처리를 행하는 필터 처리 수단과,

상기 화상 데이터의 국소 영역에서의 밝기를 산출하는 밝기 산출 수단과,

상기 필터 처리 수단의 출력에 대하여, 상기 필터 처리 수단 및 상기 밝기 산출 수단 중 적어도 한쪽의 출력에 따른 가중치 부여를 행하는 가중치 부여 수단과,

상기 가중치 부여 수단의 출력에 대하여, 처리 화상 데이터를 얻기 위한 역 필터 처리를 행하는 역 필터 처리 수단

을 포함하는 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 가중치 부여 수단은, 상기 필터 처리 수단의 출력이 상기 가중치 부여를 행하는 때의 가중치 부여 계수가 1이 되는 값을 결정하는 임계치보다도 큰 경우에는, 상기 필터 처리 수단의 출력에 상관없는 가중치 부여 계수를 이용하고, 상기 필터 처리 수단의 출력이 상기 임계치보다도 작은 경우에는, 상기 필터 처리 수단의 출력에 따라서 가중치 부여 계수를 변경하고, 상기 임계치는, 상기 밝기 산출 수단의 출력에 따라서 변경하는 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 밝기 산출 수단의 출력에 따라서, 상기 화상 데이터 및 상기 역 필터 처리 수단의 출력의 가중 평균을 산출하는 가중 평균 산출 수단을 더 갖는 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 필터 처리 수단은, 직교 기저를 이용한 직교 변환 처리 수단이며, 상기 역 필터 처리 수단은, 역 직교 변환 처리 수단인 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 필터 처리 수단은, 입력되는 화상 데이터의 색 성분마다 서로 다른 필터 계수를 이용하여 필터 처리하는 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 필터 처리 수단은, 입력되는 화상 데이터의 색 성분이 서로 다른 경우에도 공통의 필터 계수를 이용하여 필터 처리하는 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 가중치 부여 수단은, 상기 화상 데이터가 상기 밝기 산출 수단에 입력될 때까지 증폭하는 증폭기의 게인치, 촬상 수단의 종별, 선예도 보정 처리의 보정도 중 적어도 하나로 가중치 부여할 때의 가중치 부여 계수를 변경하는 것을 특징으로 하는 내시경 장치.
제17항에 있어서,

상기 직교 기저는, 화상 데이터에 대하여 산출한 Karhunen-Loeve 변환의 기저인 것을 특징으로 하는 내시경 장치.
제17항에 있어서,

상기 직교 기저는, 이산 코사인 변환의 기저인 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 가중치 부여 수단은, 상기 필터 처리 수단의 출력이 상기 가중치 부여를 행하는 때의 가중치 부여 계수가 0이 되는 값을 결정하는 임계치보다 작은 경우에는, 상기 필터 처리 수단의 출력에 상관없이 0의 가중치 부여 계수를 부여하는 상기 임계치를, 상기 밝기 산출 수단의 출력에 따라서 변경하는 것을 특징으로 하는 내시경 장치.
제14항에 있어서,

상기 가중치 부여 수단은, 상기 필터 처리 수단의 출력이 제1 임계치보다도 큰 경우에는, 상기 필터 처리 수단의 출력에 상관없이 1의 가중치 부여 계수로 하고, 상기 필터 처리 수단의 출력이 제2 임계치보다도 작은 경우에는, 상기 필터 처리 수단의 출력에 상관없이 0의 가중치 부여 계수로 하고, 상기 필터 처리 수단의 출력이 상기 제1 및 제2 임계치 사이에서는, 0과 1 사이의 가중치 부여 계수로 하는 특성의 가중치 부여 계수로 하고, 상기 제1 임계치 및 상기 제2 임계치는, 상기 밝기 산출 수단의 출력에 따라서 변경하는 것을 특징으로 하는 내시경 장치.
제17항에 있어서,

상기 필터 처리 수단은, 홀수 n으로 한 n×n 화소의 소영역의 화상 데이터에 대하여, n×n개보다도 적은 필터수 r을 사용하여 상기 소영역의 중심 화소치를 얻기 위한 필터 처리를 행하는 것을 특징으로 하는 내시경 장치.
삭제