KR20080002893A - 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20080002893A
KR20080002893A KR1020077024775A KR20077024775A KR20080002893A KR 20080002893 A KR20080002893 A KR 20080002893A KR 1020077024775 A KR1020077024775 A KR 1020077024775A KR 20077024775 A KR20077024775 A KR 20077024775A KR 20080002893 A KR20080002893 A KR 20080002893A
Authority
KR
South Korea
Prior art keywords
region
hemorrhagic
edge
candidate
area
Prior art date
Application number
KR1020077024775A
Other languages
English (en)
Other versions
KR100943367B1 (ko
Inventor
료꼬 이노우에
데쯔오 노나미
Original Assignee
올림푸스 메디칼 시스템즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005130231A external-priority patent/JP4855709B2/ja
Priority claimed from JP2005130229A external-priority patent/JP4832794B2/ja
Application filed by 올림푸스 메디칼 시스템즈 가부시키가이샤 filed Critical 올림푸스 메디칼 시스템즈 가부시키가이샤
Publication of KR20080002893A publication Critical patent/KR20080002893A/ko
Application granted granted Critical
Publication of KR100943367B1 publication Critical patent/KR100943367B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/07—Endoradiosondes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

출혈성 엣지 후보 영역 추출부는, 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상의 화상 신호에 기초하여, 출혈성 영역의 윤곽부의 후보 영역을 추출한다. 특징량 산출부는, 의료용 화상을 분할한 복수의 소영역에서의 상기 후보 영역을 포함하는 소영역에서의 상기 화상 신호의 변동량의 산출에 기초하여, 상기 출혈성 영역이 갖는 특징량을 산출한다. 출혈성 엣지 판정부는, 특징량에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정한다.
의료용 화상, 출혈성 엣지 후보 영역, 화상 신호, 분할 영역, 특징량

Description

화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}
본 발명은, 내시경 장치 등에 의해 얻어지는 의료용 화상에 기초하여 출혈성 엣지를 추출하기 위한 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램에 관한 것이다.
의료 분야에서는, X선, CT, MRI, 초음파 관측 장치, 내시경 장치 등의 화상 촬상 기능을 갖는 의료 기기를 이용한 체강 내 장기의 관찰 및 진단이 널리 행해지고 있다.
예를 들면 내시경 장치는, 가늘고 긴 삽입부를 체강 내에 삽입하고, 그 삽입부의 선단부에 설치된 대물 광학계에 의해 취득한 체강 내 장기상을 고체 촬상 소자 등의 촬상 수단에 의해 촬상하고, 그 촬상 신호에 기초하여 모니터 화면에 체강 내 장기의 내시경 화상을 표시한다. 그리고, 시술자는, 그 모니터 화면에 표시된 내시경 화상으로부터 관찰 및 진단을 행하고 있다.
내시경 장치는, 소화관 점막상을 직접적으로 촬상하는 것이 가능하기 때문에, 시술자는 점막의 색조, 병변 형상, 점막 표면의 미세한 구조 등의 다양한 소견을 종합적으로 관찰하는 것이 가능하게 되어 있다.
근년, 이 내시경 장치와 마찬가지로 유용성을 기대할 수 있는 새로운 화상 촬상 기능을 갖는 의료 기기로서, 캡슐형 내시경 장치가 개발되어 있다. 캡슐형 내시경 장치는, 피검자가 캡슐형 내시경을 경구적으로 삼키고 나서 체외로 배출될 때까지의 동안, 체강 내를 촬상하고, 그 촬상한 촬상 신호를 체외에 설치된 리시버에 송신한다. 캡슐형 내시경을 피검자가 삼키고 나서, 캡슐형 내시경이 체강 내의 식도, 위, 십이지장, 소장, 및 대장의 각 소화관을 통과하여 체외로 배출될 때까지는 수시간을 필요로 한다.
캡슐형 내시경이, 예를 들면, 매초 2매(프레임)의 화상을 촬상하여 체외의 리시버에 송신하는 경우에는, 캡슐형 내시경을 삼키고 나서 체외로 배출될 때까지 6시간 걸렸다라고 하면, 캡슐형 내시경이 체강 내를 진행하는 동안에 촬상되는 화상 수는, 43200매로 방대한 양으로 된다.
이 방대한 수의 화상을 관찰 장치에 표시하여 관찰 및 진단하는 경우, 예를 들면, 매초 10매의 화상을 표시하였다고 하여도 전체 화상수를 표시하기 위해서는 72분간이라는 비교적 장시간이 필요로 된다. 이 장시간에 걸쳐 표시되는 촬상 화상을 시술자가 관찰하게 되는데, 시술자에게 있어서 시간적 부하가 다대하고 하는 것이 큰 문제로 되고 있다.
또한, 캡슐 내시경이나 통상의 내시경 장치를 이용한 내시경 검사에서의 최종적인 진단은, 의사의 주관에 의존하고 있는 부분이 다대하여, 진단의 품질이 변동된다고 하는 문제도 있었다. 이 때문에, 화상 진단의 품질의 향상과 내시경 화상의 독영 시간의 단축을 목적으로 하여, 출혈, 발적, 이상 혈관, 폴립 등의 병소 의 존재를, 내시경 화상으로부터 자동적으로 검출하는 컴퓨터 진단 지원(CAD)의 실현이 요망되었다.
컴퓨터 진단 지원(CAD)은, 내시경 진단 지원 장치에 의해 실현된다. 내시경 진단 지원 장치는, 화상 내에서의 관심 영역(ROI)으로부터 산출된 다양한 특징량을 이용하여, 임계값 처리 혹은 통계적·비통계적 식별기를 이용하여 진단 대상으로 하는 화상이 그와 같은 소견으로 분류되었는지를 의사에게 제시함으로써, 객관적·수치적인 진단의 지원을 행하는 것이다. 또한, 내시경 진단 지원 장치는, 병변이 의심되는 화상을 선택하여 제시함으로써, 의사의 독영 부담을 경감하는 것이다.
한편, 출혈에는 다양한 병리학적인 이유가 생각되기 때문에, 출혈의 검출에 대해서는 몇 가지의 어프로치가 이용되어 왔다. 그 중 하나의 어프로치로서, PCT WO 02/073507 A2호 공보에는, 전술한 내시경 진단 지원 장치를 이용하여, 내시경 화상에서의 관찰 대상 영역의 색상, 채도, 명도에 기초하여, 출혈을 자동적으로 검출하는 방법이 제안되어 있다.
그러나, 상기 공보에 기재된 방법은, 관찰 대상 영역의 색상, 채도, 명도의 값을, 미리 내시경 진단 지원 장치에 설정되어 있는, 통상 점막의 색상, 채도, 명도의 샘플값, 및 출혈부의 색상, 채도, 명도의 샘플값과 비교하여, 샘플값으로부터의 거리에 따라, 관찰 대상 영역이 통상 점막인지 출혈부인지를 판별한다.
이 때문에, 판별 결과가 내시경 진단 지원 장치에 설정된 샘플값에 의존하게 된다고 하는 문제가 있었다.
따라서, 본 발명에서는, 출혈성 영역의 윤곽부에서의 화상 신호 혹은 색 신 호의 변화량을 이용하여, 출혈성 영역을 검출하는 것이 가능한, 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 제공하는 것을 목적으로 한다.
<발명의 개시>
<과제를 해결하기 위한 수단>
본 발명의 제1 형태의 화상 처리 장치는, 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상의 화상 신호에 기초하여, 출혈성 영역의 윤곽부의 후보 영역을 추출하는 출혈성 엣지 후보 영역 추출부와,
상기 의료용 화상을 분할한 복수의 소영역에서의 상기 후보 영역을 포함하는 소영역에서의 상기 화상 신호의 변동량의 산출에 기초하여, 상기 출혈성 영역이 갖는 특징량을 산출하는 특징량 산출부와,
상기 특징량에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 출혈성 엣지 판정부
를 구비한 것을 특징으로 한다.
본 발명의 제2 형태의 화상 처리 장치는, 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상 신호에 대응하는 의료용 화상을 복수의 소영역으로 분할하고, 상기 복수의 소영역에 대하여 적어도 1개의 상기 색 신호로부터, 출혈성 영역의 윤곽부를 포함하는 소영역을 추출하고, 추출된 그 소영역을 출혈성 평가 영역으로서 설정하고, 또한 상기 출혈성 평가 영역의 주변에, 복수의 상기 소영역으로 이루어지는 평가 대상 영역을 설정하는 평가 영역 설정부와,
상기 평가 대상 영역에서의 상기 색 신호의 변동량에 기초하여, 상기 평가 대상 영역으로부터 출혈성 엣지 후보 영역을 추출하고, 상기 평가 대상 영역에 대한 상기 출혈성 엣지 후보 영역의 비율로부터 상기 출혈성 평가 영역이 출혈성 후보 영역인지의 여부를 판정하는 출혈성 후보 영역 판정부와,
상기 출혈성 엣지 후보 영역에서의 2개 이상의 상기 색 신호의 변동에 기초하여, 상기 출혈성 엣지 후보 영역으로부터 출혈성 영역의 윤곽부를 추출하고, 상기 출혈성 엣지 후보 영역에 대한 상기 출혈성 영역의 상기 윤곽부의 비율로부터 상기 출혈성 후보 영역이 상기 출혈성 영역인지의 여부를 판정하는 출혈성 영역 판정부
를 구비한 것을 특징으로 한다.
도 1은, 본 발명의 제1 실시 형태에 따른 화상 처리 장치와 관련 시스템의 네트워크 구성을 개략적으로 도시하는 도면.
도 2는, 화상 처리 장치의 전체 구성을 개략적으로 도시하는 도면.
도 3은, 화상 처리 프로그램에 의한 화상 해석 처리의 수순을 설명하는 플로우차트.
도 4는, 출혈부 엣지 후보 추출 처리의 수순을 설명하는 플로우차트.
도 5는, 해석 데이터를 설명하는 개략도로서, 도 5의 (a)는, 원화상을 설명하는 개략도, 도 5의 (b)는, 출혈부 엣지 후보 화상을 설명하는 개략도, 도 5의 (c)는, 형상 엣지 화상을 설명하는 개략도, 도 5의 (d)는, 출혈부 엣지 화상을 설명하는 개략도.
도 6은, 형상 엣지 추출 처리의 수순을 설명하는 플로우차트.
도 7은, R변동의 산출 방법을 설명하는 도면.
도 8은, 출혈부 엣지 결정 처리의 수순을 설명하는 플로우차트.
도 9는, 본 발명의 제2 실시 형태에서의 화상 처리 프로그램에 의한 화상 해석 처리의 수순을 설명하는 플로우차트.
도 10은, 컬러 엣지 특징량의 산출 수순을 설명하는 플로우차트.
도 11은, R변동 및 G변동의 산출 방법을 설명하는 도면.
도 12는, 본 발명의 제3 실시 형태에서의 화상 처리 프로그램에 의한 화상 해석 처리의 수순을 설명하는 플로우차트.
도 13은, 출혈부 엣지 후보 영역과 배경 영역의 관계를 설명하는 개략도.
도 14는, 도 13에서의 C-C'선상에 위치하는 화소의 R신호의 값을 개략적으로 도시하는 것으로서, 도 14의 (a)는, 출혈부 엣지 후보 영역이 출혈부 엣지인 경우의 R신호의 값의 변화를, 도 14의 (b)는, 출혈부 엣지 후보 영역이 출혈 이외의 요소로 이루어지는 엣지인 경우의 R신호의 값의 변화를 도시하는 도면.
도 15는, 본 발명의 제4 실시 형태에서의 화상 처리 프로그램에 의한 화상 해석 처리의 수순을 설명하는 플로우차트.
도 16은, 출혈부 엣지 후보 영역과 내부 영역의 관계를 설명하는 개략도.
도 17은, 본 발명의 제5 실시 형태의 화상 처리 장치의 전체 구성을 개략적으로 도시한 도면.
도 18은, 화상 처리 프로그램에 의한 화상 해석 처리의 수순을 설명하는 플 로우차트.
도 19는, 엣지 추출 처리의 수순을 설명하는 플로우차트.
도 20은, G변동의 산출 방법을 설명하는 도면.
도 21은, 출혈부 후보 추출 처리의 수순을 설명하는 플로우차트.
도 22는, 출혈부 후보 추출 처리를 설명하는 도면.
도 23은, 출혈부 후보의 판정 방법을 설명하는 도면.
도 24는, 출혈부 결정 처리의 수순을 설명하는 플로우차트.
도 25는, R변동 및 G변동의 산출 방법을 설명하는 도면.
도 26은, 제2 실시 형태에서의 출혈부 엣지 후보 판정 처리의 수순을 설명하는 플로우차트.
도 27은, 제5 실시 형태에서의 주변 영역의 설정 위치를 설명하는 도면.
도 28은, 제5 실시 형태에서의 출혈부 후보 판정 처리를 설명하는 도면.
도 29는, 제6 실시 형태에서의 주변 영역의 배치 패턴을 설명하는 도면.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하여 본 발명의 실시 형태를 설명한다.
(제1 실시 형태)
이하, 도 1 내지 도 8을 참조하여 본 발명의 제1 실시 형태를 설명한다. 본 실시 형태는, 출혈성 영역의 윤곽부(이하, 출혈성 엣지로 나타냄)에서의 색 신호의 변화량을 이용하여, 출혈성 엣지인지의 여부를 상대적으로 판단하여 검출하는 것이 가능한, 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 제공하는 것을 목적으로 한다.
출혈성 영역으로서는, 점막으로부터 실제로 출혈이 생겨 있는 영역인 출혈부 영역이나, 점막 표면이 충혈 등에 의해 빨갛게 되어 있는 영역인 발적부 영역 등을 들 수 있다. 본 실시 형태에서는, 예를 들면 출혈부 영역의 윤곽부(이하, 출혈부 엣지로 나타냄)를 검출하는 경우에 대해서 설명한다.
우선, 도 1에 기초하여, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1)의 관련 시스템과의 네트워크 구성에 대해서 설명한다. 도 1은, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1)와 관련 시스템의 네트워크 구성을 개략적으로 도시한 도면이다.
도 1에 도시하는 바와 같이, 각종 화상 처리나 정보 처리를 행하는 화상 처리 장치(1)는, TCP/IP를 통신 프로토콜로 하는 LAN(2)에 접속되어 있다. 한편, 생체 내의 점막 등을 촬상하여 의료용 화상의 화상 신호를 출력하는 내시경 관찰 장치(3)도, 내시경 파일링 장치(4)를 통해서 LAN(2)에 접속되어 있다.
내시경 파일링 장치(4)는, 내시경 관찰 장치(3)로부터 화상 신호를 수신 혹은 취득하여 화상 데이터를 생성함과 함께, 생성된 화상 데이터를 축적한다. 그리고, 화상 처리 장치(1)는, 내시경 파일링 장치(4)에 축적되어 있는 화상 데이터를, LAN(2) 경유로 취득한다.
다음으로, 화상 처리 장치(1)의 전체 구성에 대해서 설명한다. 화상 처리 장치(1)는, 도 2에 도시하는 바와 같이, 범용의 퍼스널 컴퓨터(11)를 중심으로 구성되어 있고, 키보드와 마우스로 이루어지는 조작 장치(12)와, 하드디스크로 이루 어지는 기억 장치(13)와, CRT로 이루어지는 표시 장치(14)를 구비하고 있다.
도 2는, 화상 처리 장치(1)의 전체 구성을 개략적으로 도시한 도면이다. 조작 장치(12), 기억 장치(13), 및 표시 장치(14)는, 각각 퍼스널 컴퓨터(11)와 전기적으로 접속되어 있다. 처리 대상으로 되는 화상 데이터의 지정, 지정된 화상 데이터의 취득 표시, 처리 실행의 지시는, 조작 장치(12)로부터 입력된다. 또한, 화상 처리 장치(1)에서 행해지는 각종 처리의 결과는 표시 장치(14)에 표시된다.
퍼스널 컴퓨터(11)는, 각종 프로그램의 실행 처리나 제어를 행하는 CPU(21)와, 각종 처리 프로그램이나 데이터를 기억하는 메모리(22)와, 기억 장치(13)에 대하여 정보의 읽기 쓰기를 행하는 외부 기억 I/F(23)와, 외부 기기와의 사이에서 정보의 통신을 행하는 네트워크 카드(24)와, 조작 장치(12)로부터 입력된 조작 신호를 수신하여 필요한 데이터 처리를 행하는 조작 I/F(25)와, 표시 장치(14)에 비디오 신호를 출력하는 그래픽 보드(26)를 갖는다. 퍼스널 컴퓨터(11)를 구성하는 이들 CPU(21), 메모리(22), 외부 기억 I/F(23), 네트워크 카드(24), 조작 I/F(25), 및 그래픽 보드(26)는, 각각 버스(27)를 통해서 전기적으로 접속되어 있다. 따라서, 퍼스널 컴퓨터(11)에서의 이들 각 구성 요소는, 버스(27)를 통해서 상호 정보의 송수신을 행할 수 있다.
네트워크 카드(24)는, LAN(2)과 전기적으로 접속되어 있고, 동일하게 LAN(2)에 접속되어 있는 내시경 파일링 장치(4)와의 사이에서 정보를 송수신한다.
외부 기억 I/F(23)는, 기억 장치(13)에 저장되어 있는 화상 처리 프로그램(28)을 읽어들여 메모리(22)에 기억시킨다. 또한, 화상 처리 프로그램(28)은, 화상 해석 처리를 실행하는 프로그램으로서, 복수의 실행 파일, 또는 동적 링크 라이브러리 파일, 또는 설정 파일로 구성된다. 메모리(22)에 기억된 화상 처리 프로그램(28)이 실행됨으로써, CPU(21)가 동작한다.
CPU(21)는, 내시경 파일링 장치(4)로부터 취득한 화상 데이터에 대하여, 후술하는 출혈성 영역의 윤곽부(엣지부)의 검출 혹은 판정 등의 화상 해석 처리를 행한다. CPU(21)에서의 각 처리에 의해 취득, 생성되는 해석 데이터(29)는, 메모리(22)에 기억된다. 이 해석 데이터(29)에는, 내시경 파일링 장치(4)로부터 취득한 화상 데이터인 원화상(31)이 포함된다.
또한, 해석 데이터(29)에는, 후술의 각종 처리에 의해 생성되는 출혈부 엣지 후보 화상(32)과, 형상 엣지 화상(33)과, 출혈부 엣지 화상(34)이 포함된다. 이들 각 화상(32 내지 34)에 대해서는, 후에 상술한다. 또한, CPU(21)는, 이하에 설명하는 도 3의 기능, 즉, 출혈부 엣지 후보 추출 기능, 특징량 산출의 기능, 출혈부 엣지 판정 기능을 갖는다.
전술한 바와 같이 구성된, 화상 처리 장치(1)의 작용에 대해서 설명한다. 본 실시 형태에서는, 예를 들면 출혈부 영역의 윤곽부(이하, 출혈부 엣지로 나타냄)를 검출하는 경우에 대해서, 도 3의 플로우차트를 이용하여 설명한다.
도 3은, 화상 처리 프로그램(28)에 의한 화상 해석 처리의 수순을 설명하는 플로우차트이다. 우선, 스텝 S1의 원화상 취득 스텝에서 CPU(21)는, 조작 장치(12)로부터 지정된 화상 데이터를, 화상 파일링 장치(4)로부터 취득하고, 원화상(31)으로서 메모리(22)에 기억시킨다. 원화상(31)은, 적(R), 녹(G), 청(B)의 3 플레인으로 이루어지는 컬러 화상이며, 각 플레인의 화소의 계조수는, 8bit, 즉 0 내지 255의 값을 취하는 것으로 한다.
다음으로, 스텝 S2의 화상 해석 처리 스텝에서 CPU(21)는, 스텝 S1에서 취득한 원화상(31)에 각종 처리를 실시하여, 출혈부 엣지 후보 화상(32)과, 형상 엣지 화상(33)과, 출혈부 엣지 화상(34)을 생성한다.
이 화상 해석 처리 스텝(스텝 S2)은, 원화상(31)으로부터 출혈부 엣지 후보 화상(32)을 생성하는 출혈부 엣지 후보 추출 처리(스텝 S10)와, 출혈부 엣지 후보 화상(32)으로부터 특징량 산출의 처리에 기초하여, 형상 엣지 화상(33)을 생성하는 형상 엣지 추출 처리(스텝 S20)와, 출혈부 엣지 후보 화상(32)과 형상 엣지 화상(33)으로부터 출혈부 엣지 화상(34)을 생성하는 출혈부 엣지 결정 처리(스텝 S40)로 구성된다.
또한, 상기 특징량 산출의 처리에 의해, 형상 엣지 화상(33)과 출혈부 엣지 후보 화상(32)이 섞인 상태에서 생성될 가능성이 있어, 출혈부 엣지 처리에 의해 출혈부 엣지 화상(34)이 생성된다.
상기 스텝 S10, S20, S40의 순번으로 각 처리가 실행된다. 화상 해석 처리 스텝(스텝 S2)에서의 전술한 각 처리에 대해서, 처리 순서에 따라서 설명한다.
처음에, 스텝 S10의 출혈부 엣지 후보 추출 처리에 대해서, 도 4를 이용하여 설명한다. 도 4는, 출혈부 엣지 후보 추출 처리의 수순을 설명하는 플로우차트이다. 우선, 스텝 S11에서 CPU(21)는, 원화상(31)을 N×N개의 소영역으로 분할한다. 본 실시 형태에서는, 예를 들면 N=36으로 설정하고 있다.
또한, 스텝 S11의 전처리로서, 원화상(31)에 대한 역감마 보정이나 셰이딩 보정을 추가하여도 된다. 이 경우, 이들 보정 처리가 행해진 보정 화상을 소영역으로 분할하여, 이후의 처리를 행한다.
다음으로, 스텝 S12에서 CPU(21)는, 해석 대상으로 되는 분할된 소영역(이하, 분할 영역으로 나타냄)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 분할 영역(43)을 특정하는 번호 i는, 1 이상, N×N 이하의 정수값이다.
다음으로, 스텝 S13에서 CPU(21)는, i번째의 분할 영역(43)에 포함되는 화소의 R신호, G신호, B신호의 값(휘도값)을 취득하고, i번째의 분할 영역(43)에서의 각 색 신호의 평균값 Rai, Gai, Bai를 산출한다.
계속해서, 스텝 S14에서 CPU(21)는, 미리 설정된 출혈부 영역 색조 공간과, 스텝 S13에서 산출한 각 색 신호의 평균값 Rai, Gai, Bai를 비교한다.
출혈부 영역 색조 공간이란, R신호, G신호, B신호의 각 휘도 레벨을 각각 x축, y축, z축으로 하는 3차원 공간에서, 출혈부가 존재할 수 있는 R신호의 휘도 레벨의 범위(Rmin≤x≤Rmax), G신호의 휘도 레벨의 범위(Gmin≤y≤Gmax), B신호의 휘도 레벨의 범위(Bmin≤z≤Bmax)로 구획된 내부 공간이다.
스텝 S14에서 CPU(21)는, 스텝 S13에서 산출된 각 색 신호의 평균값 Rai, Gai, Bai가 출혈부 영역 색조 공간 내에 존재하는지의 여부를 판정하고, 이에 해당하는 경우에는 스텝 S15로 이행한다.
즉 산출된 각 색 신호의 평균값 Rai, Gai, Bai가 출혈부 영역 색조 공간 내인 경우, 즉, Rmin≤Rai≤Rnax, 또한, Gmin≤Gai≤Gmax, 또한, Bmin≤Bai≤Bmax인 경우에는, 스텝 S15의 처리로 이행한다. 그리고 이 스텝 S15에서 CPU(21)는, i번째의 분할 영역(43)이 출혈부 엣지 후보라고 판정한다.
한편, 스텝 S13에서 산출된 각 색 신호의 평균값 Rai, Gai, Bai가 출혈부 영역 색조 공간 내에 존재하지 않는 경우, 즉, Rmin>Rai, Rai>Rmax, Gmin>Gai, Gai>Gmax, Bmin>Bai, Bai>Bmax 중 어느 하나에 해당하는 경우에는, 스텝 S16의 처리로 이행한다. 그리고 이 스텝 S16에서 CPU(21)는, i번째의 분할 영역(43)이 출혈부 엣지 후보가 아니라고 판정한다.
또한, 출혈부 엣지 후보를 판정하는 데에, G/R, B/G의 색조 공간을 이용하여도 된다. 즉, (G/R)min≤Gai/Rai≤(G/R)max 또한 (B/G)min≤Bai/Gai≤(B/G)max인 경우, CPU(21)는, i번째의 분할 영역(43)은 출혈부 엣지 후보라고 판정한다.
여기서, (G/R)min 및 (G/R)max는, 각각 G/R의 최소값 및 최대값을 나타낸다. 또한, (B/G)min 및 (B/G)max는, 각각 B/G의 최소값 및 최대값을 나타낸다.
스텝 S15, 또는 스텝 S16의 처리가 종료되면, 계속해서 스텝 S17에서 CPU(21)는, 모든 분할 영역(43)에 대해서 출혈부 엣지 후보 판정을 행하였는지의 여부를 판정한다.
구체적으로는, i<N×N인 경우, 스텝 S18에서 CPU(21)는, 분할 영역(43)을 특 정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S13으로 되돌아가서, 남은 분할 영역에 대하여 출혈부 엣지 후보 판정의 처리를 행한다. i=N×N인 경우, CPU(21)는, 도 4의 처리(즉 도 3의 스텝 S10의 출혈부 엣지 후보 추출 처리)를 종료하고, 계속되는 도 3의 스텝 S20의 형상 엣지 추출 처리로 이행한다.
출혈부 엣지 후보 추출 처리가 종료되면, 도 5의 (a)에 도시하는 바와 같은 원화상(31)으로부터, 도 5의 (b)에 도시하는 바와 같은 출혈부 엣지 후보 화상(32)이 생성된다. 도 5는, 해석 데이터(29)를 설명하는 개략도이다.
즉, 도 5의 (a)는, 원화상(31)을 설명하는 개략도, 도 5의 (b)는, 출혈부 엣지 후보 화상(32)을 설명하는 개략도, 도 5의 (c)는, 형상 엣지 화상(33)을 설명하는 개략도, 도 5의 (d)는, 출혈부 엣지 화상(34)을 설명하는 개략도이다.
도 5의 (a)의 원화상(31)에는, 점막 표면에 형성된 홈 등의 점막 형상 영역(41)과, 출혈부 영역(42)이 존재하고 있다. 이 원화상(31)을 기초로 하여 얻어진 도 5의 (b)에 도시하는 출혈부 엣지 후보 화상(32)에서는, 모든 분할 영역(43)이, 출혈부 엣지 후보 영역(44)(사선부), 또는 비출혈부 엣지 후보 영역(45) 중 어느 하나로 분류되고, 출혈부 엣지 후보 영역(44)에는, 점막 형상 영역(41)과 출혈부 영역(42)이 포함된다.
다음으로, 형상 엣지 추출 처리에 대해서, 도 6을 이용하여 설명한다. 도 6은, 도 3의 스텝 S20의 형상 엣지 추출 처리의 수순을 설명하는 플로우차트이다.
이 형상 엣지 추출 처리에서 CPU(21)는, 점막 형상 영역(41)의 윤곽부(이하, 형상 엣지로 나타냄)를, 복수의 분할 영역(43)이 연결된 대영역으로 형성되는 형상 엣지 영역으로서 추출하는 처리를 행하는 것이다. 우선, 스텝 S21에서 CPU(21)는, 해석 대상으로 되는 분할 영역(43)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 분할 영역(43)을 특정하는 번호 i는, 1 이상, N×N 이하의 정수값이다.
다음으로, 스텝 S22에서 CPU(21)는, i번째의 분할 영역(43)에서의 R신호의 값의 변동(이하, R변동으로 나타냄)을 산출한다. R변동은, i번째의 분할 영역(43)에서의 특정한 화소의 R신호의 값(R1)과, 동일한 분할 영역(43)에서의 별도의 특정한 화소의 R신호의 값(R2)으로부터 산출된다. 구체적으로는, CPU(21)는, R변동=loge(R2)-loge(R1)로 계산한다.
본 실시 형태에서는, 도 7에 도시하는 바와 같이, 분할 영역(43)에서의 상하, 좌우 방향 및 대각선 방향의 8개의 방향에 대해서, CPU(21)는 각각 R변동을 산출한다. 도 7의 (a) 내지 (h)는, R변동의 산출 방법을 설명하는 도면이다.
제1 R변동은, 도 7의 (a)에 도시하는 바와 같이 상방향으로의 R변동으로서, 중앙 하부의 화소의 R신호의 값을 R1, 중앙 상부의 화소의 R신호의 값을 R2로서 산출한다. 제2 R변동은, 도 7의 (b)에 도시하는 바와 같이 대각선 우측 상방향으로의 R변동으로서, 좌측 하부의 화소의 R신호의 값을 R1, 우측 상부의 화소의 R신호의 값을 R2로서 산출한다. 제3 R변동은, 도 7의 (c)에 도시하는 바와 같이 우측 방향으로의 R변동으로서, 좌측 중앙부의 화소의 R신호의 값을 R1, 우측 중앙부의 화소의 R신호의 값을 R2로서 산출한다.
제4 R변동은, 도 7의 (d)에 도시하는 바와 같이 대각선 우측 하방향으로의 R 변동으로서, 좌측 상부의 화소의 R신호의 값을 R1, 우측 하부의 화소의 R신호의 값을 R2로서 산출한다. 제5 R변동은, 도 7의 (e)에 도시하는 바와 같이 하방향으로의 R변동으로서, 중앙 상부의 화소의 R신호의 값을 R1, 중앙 하부의 화소의 R신호의 값을 R2로서 산출한다. 제6 R변동은, 도 7의 (f)에 도시하는 바와 같이 대각선 좌측 하방향으로의 R변동으로서, 우측 상부의 화소의 R신호의 값을 R1, 좌측 하부의 화소의 R신호의 값을 R2로서 산출한다.
제7 R변동은, 도 7의 (g)에 도시하는 바와 같이 좌측 방향으로의 R변동으로서, 우측 중앙부의 화소의 R신호의 값을 R1, 좌측 중앙부의 화소의 R신호의 값을 R2로서 산출된다. 제8 R변동은, 도 7의 (h)에 도시하는 바와 같이 대각선 좌측 상방향으로의 R변동으로서, 우측 하부의 화소의 R신호의 값을 R1, 좌측 상부의 화소의 R신호의 값을 R2로서 산출된다.
다음으로, 스텝 S23에서 CPU(21)는, 스텝 S22에서 산출한 제1 내지 제8 R변동에서의 최대값을, 엣지 특징량 Ai로서 취득한다. 다음으로, 스텝 S24에서 CPU(21)는, i번째의 분할 영역(43)이 엣지인지의 여부를 판정한다. 구체적으로는, 엣지 특징량 Ai가, Ai>Th1이면 i번째의 분할 영역(43)은 엣지라고 판정한다.
여기서, Th1은 엣지 판정을 행하기 위한 기준으로 하는 임계값이며, 본 실시 형태에서는, 예를 들면 Th1=0.14로 설정하고 있다. Ai>Th1의 경우, 스텝 S25에서 CPU(21)는, i번째의 분할 영역(43)은 엣지라고 판정하고, 스텝 S27의 처리로 진행한다. Ai≤Th1의 경우, 스텝 S26에서 CPU(21)는, i번째의 분할 영역(43)은 엣지가 아니라고 판정하고, 스텝 S27의 처리로 진행한다.
스텝 S27에서 CPU(21)는, 모든 분할 영역(43)에 대해서 엣지 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<N×N인 경우, 스텝 S28에서 CPU(21)는, 분할 영역(43)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S22로 되돌아가서, 남은 분할 영역(43)에 대하여 스텝 S22 내지 S26의 엣지 판정을 행한다. i=N×N인 경우, CPU(21)는, 엣지 판정의 처리를 종료하고, 스텝 S29의 처리로 진행한다.
스텝 S29에서 CPU(21)는, N×N개의 분할 영역(43) 중, 스텝 S25에서 엣지라고 판정된 영역에 대해서, 라벨링 처리를 행한다. 본 실시 형태에서의 라벨링 처리는 다음과 같이 행해진다.
CPU(21)는, 화상 데이터를 좌측 위로부터 우측 아래로 순차적으로 주사하고, 라벨이 붙여져 있지 않으며, 또한 엣지 영역이라고 판정된 분할 영역(43)을 찾아내어, 라벨값으로서 소정의 번호를 부여한다.
이 때, CPU(21)는, 다른 분할 영역(43)에 대하여 이미 부여되어 있는 라벨값은 사용하지 않고, 이미 부여되어 있는 라벨값의 최대값에 1을 가산한 값을, 그 분할 영역(43)에 부여한다.
또한, 어느 분할 영역(43)에도 라벨값이 부여되어 있지 않은 경우, CPU(21)는, 그 분할 영역(43)에는 라벨값으로서 예를 들면 1을 부여한다. 다음으로, 라벨값이 부여된 분할 영역(43)과 연결되어 있고, 또한 엣지 영역이라고 판정된 모든 분할 영역(43)에 대하여, CPU(21)는 동일한 라벨값을 부여한다.
엣지 영역이라고 판정된 모든 분할 영역(43)에 대하여 라벨값이 부여될 때까 지, CPU(21)는 상기의 주사와 라벨값 부여를 반복한다. 즉, 라벨링 처리에 의해, 동일한 연결 부분에 속해 있는 분할 영역(43)에는 동일한 라벨값이 부여되고, 또한, 연결 부분마다 서로 다른 라벨값이 부여된다.
다음으로, 스텝 S30에서 CPU(21)는, 스텝 S29에서 N×N개의 분할 영역(43)에 부여된 라벨값의 최대값을 L로서 취득한다. 계속해서, 스텝 S31에서 CPU(21)는, 해석 대상으로 되는, 연결된 분할 영역(43)을 특정하는 라벨값을 나타내는 j를 1로 초기화한다. 또한, 연결된 분할 영역(43)을 특정하는 라벨값 j는, 1 이상, L 이하의 정수값을 취한다. 다음으로, 스텝 S32에서 CPU(21)는, 라벨값 j를 갖는 분할 영역(43)의 수를 카운트하고, 카운트한 영역수 Mj를 취득한다.
계속해서, 스텝 S33에서 CPU(21)는, 라벨값 j가, 형상 엣지 라벨과 출혈부 엣지 라벨 중 어느 것인지를 판정하는, 라벨 분류 판정을 행한다. 구체적으로는, CPU(21)는, 영역수 Mj가, Mj>Th2이면 라벨값 j는 형상 엣지 라벨이라고 판정한다. 여기서, Th2는 형상 엣지 라벨과 출혈부 엣지 라벨을 판별할 때의 기준값으로 되는 임계값이며, 본 실시 형태에서는, 예를 들면 Th2=10으로 설정하고 있다. Mj>Th2인 경우, 스텝 S34에서 CPU(21)는, 라벨값 j는 형상 엣지 라벨이라고 판정하고, 스텝 S36의 처리로 진행한다. Mj≤Th2의 경우, 스텝 S35에서 CPU(21)는, 라벨값 j는 출혈부 엣지 라벨이라고 판정하고, 스텝 S36의 처리로 진행한다.
스텝 S36에서 CPU(21)는, 엣지라고 판정된 모든 분할 영역(43)에 대해서, 라벨 분류 판정을 행하였는지의 여부를 판정한다.
구체적으로는, j<L인 경우, 스텝 S37에서 CPU(21)는, 연결된 분할 영역을 특정하는 라벨값 j에 1을 가산(j=j+1)하고 스텝 S32로 되돌아가서, 남은 영역에 대하여 스텝 S32 내지 S35의 라벨 분류 판정을 행한다. j=L인 경우, 도 6의 처리를 종료하고, 계속해서 도 3의 스텝 S40의 출혈부 엣지 결정 처리로 이행한다.
도 6의 형상 엣지 추출 처리가 종료되면, 도 5의 (c)에 도시하는 바와 같은 형상 엣지 화상(33)이 생성된다. 도 5의 (c)에 도시하는 형상 엣지 화상(33)에서는, 형상 엣지 라벨로 분류되어 있는 라벨값이 부여되어 있는 분할 영역(43)이, 형상 엣지 영역(46)(사선부)으로서 도시되어 있다. 이 형상 엣지 영역(46)은, 도 5의 (b)에 도시하는 출혈부 엣지 후보 화상(32)의 출혈부 엣지 후보 영역(44) 중, 점막 형상 영역(41)의 윤곽부에 대응하는 분할 영역(43)과 일치한다.
다음으로, 도 3의 스텝 S40의 출혈부 엣지 결정 처리에 대해서, 도 8을 이용하여 설명한다. 도 8은, 출혈부 엣지 결정 처리의 수순을 설명하는 플로우차트이다.
출혈부 엣지 결정 처리에서 CPU(21)는, 출혈부 엣지 후보 추출 처리에서 추출된, 출혈부 엣지 후보 영역(44)으로부터, 출혈부 엣지 영역(47)을 결정하는 처리를 행한다. 우선, 스텝 S41에서 CPU(21)는, 해석 대상으로 되는 분할 영역(43)을 특정하는 번호를 나타내는 i를 1로 초기화한다.
또한, 분할 영역(43)을 특정하는 번호 i는, 1 이상, N×N 이하의 정수값이다. 다음으로, 스텝 S42에서 CPU(21)는, i번째의 분할 영역(43)이 출혈부 엣지 후보 영역(44)인지의 여부를 판정한다.
스텝 S42에서의 판정 처리는, 도 3의 스텝 S10의 출혈부 엣지 후보 추출 처리의 결과에 기초하여 행해진다. CPU(21)는, i번째의 분할 영역(43)이 출혈부 엣지 후보 영역(44)인 경우, 스텝 S43의 처리로 진행하여, i번째의 분할 영역(43)에 부여되어 있는 라벨값이 출혈부 엣지 라벨인지의 여부를 판정한다. i번째의 분할 영역(43)이 출혈부 엣지 후보 영역(44)이 아닌 경우, 스텝 S45에서 CPU(21)는, 해당 분할 영역은 출혈부 엣지 영역(47)이 아니라고 판정하고, 스텝 S46으로 진행한다.
스텝 S43에서의 판정은, 도 3의 스텝 S20의 형상 엣지 추출 처리의 결과에 기초하여 행해진다. i번째의 분할 영역(43)에 부여되어 있는 라벨값이 출혈부 엣지 라벨인 경우, 스텝 S44에서 CPU(21)는, i번째의 분할 영역(43)이 출혈부 엣지 영역(47)이라고 판정하고, 스텝 S46으로 진행한다.
i번째의 분할 영역(43)에 부여되어 있는 라벨값이 출혈부 엣지 라벨이 아닌 경우, 즉, i번째의 분할 영역(43)에 부여되어 있는 라벨값이 형상 엣지 라벨이거나, 라벨이 부여되어 있지 않은 경우, 스텝 S45에서 CPU(21)는, 해당 분할 영역은 출혈부 엣지 영역(47)이 아니라고 판정하고, 스텝 S46으로 진행한다.
스텝 S46에서 CPU(21)는, 모든 분할 영역(43)에 대해서, 출혈부 엣지 영역 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<N×N인 경우, 스텝 S47에서 CPU(21)는, 분할 영역(43)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S42로 되돌아가서, 남은 분할 영역(43)에 대하여 출혈부 엣지 영역 판정을 행한다. i=N×N인 경우, CPU(21)는 도 8의 출혈부 엣지 결정 처리를 종료한다.
출혈부 엣지 결정 처리가 종료되면, 도 5의 (d)에 도시하는 바와 같은 출혈부 엣지 화상(34)이 생성된다. 도 5의 (d)에 도시하는 출혈부 엣지 화상(34)에서는, 도 5의 (a)에 도시하는 원화상(31)의 출혈부 영역(42)의 윤곽부, 즉 출혈부 엣지가, 출혈부 엣지 영역(47)(사선부)으로서 표시되어 있다.
이상의 처리에 의해, 화상 처리 장치(1)는, 내시경 관찰 장치(3)에서 촬상된 원화상(31)을, 화상 파일링 장치(4)를 통해서 취득하고, 원화상(31)에서의 출혈부 엣지를 검출할 수 있다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, 출혈부 엣지에서의 특정한 색 신호의 변화량을 이용함으로써, 출혈부 엣지인지의 여부를 상대적으로 판단하여 검출할 수 있다. 또한, 본 실시 형태는, 엣지의 크기에 기초하여 형상 엣지인지 출혈부 엣지인지를 판별하기 때문에, 출혈부 엣지를 양호한 정밀도로 추출할 수 있다. 또한, 본 실시 형태에 따르면, 시술자는 출혈부 엣지 화상(34)을 관찰 대상으로 함으로써, 화상 진단의 품질이 향상하여, 내시경 화상의 독영 시간의 단축을 도모할 수 있다.
(제2 실시 형태)
다음으로, 본 발명의 제2 실시 형태를 설명한다. 전술한 제1 실시 형태에서는, R신호의 변동의 최대값인 엣지 특징량 Ai를 이용하여 엣지 영역을 추출하고, 엣지 영역의 크기로부터 출혈부 엣지인지의 여부를 판정했다. 이에 대하여, 본 실시 형태에서는, R신호, G신호, B신호 중 2개 이상의 색 신호의 변동에 기초하는 컬러 엣지 특징량 Bi를 산출하고, 컬러 엣지 특징량 Bi를 이용하여 출혈부 엣지인지의 여부를 판정한다.
본 실시 형태의 화상 처리 장치(1)는, 그 하드웨어 상의 구성은, 도 2의 화상 처리 장치(1)와 동일한 구성이다. 그리고, 도 2의 기억 장치(13)에 저장되어 있는 화상 처리 프로그램(28)과는 다른 화상 처리 프로그램(51)이 저장되어 있다. 또한, 메모리(22)에 기억되는 해석 데이터가 도 2의 경우와 달리, 원화상(31)과 출혈부 엣지 화상(34)의 2종류의 화상 데이터로 된다.
즉, 본 실시 형태의 화상 처리 장치(1)는, 화상 처리 프로그램(51)의 처리 내용이 상이한 점과, 화상 처리 프로그램(51)을 실행함으로써 취득, 생성되어, 메모리(22)에 기억되는 해석 데이터(52)가, 원화상(31)과 출혈부 엣지 화상(34)의 2종류의 화상 데이터이며, 출혈부 엣지 후보 화상(32)과 형상 엣지 화상(33)은 포함되어 있지 않은 점을 제외하고, 제1 실시 형태와 동일하다. 이 때문에, 본 실시 형태에서는, 특징으로 되는 작용에 대해서만 설명하고, 동일한 구성 요소에 대해서는 동일한 부호를 붙이고, 그 설명은 생략한다.
본 실시 형태에서는, 제1 실시 형태와 마찬가지로, 예를 들면 출혈부 엣지를 검출하는 처리에 대해서, 도 9의 플로우차트를 이용하여 설명한다. 도 9는, 화상 처리 프로그램(51)에 의한 화상 해석 처리의 수순을 설명하는 플로우차트이다.
우선, 스텝 S110에서 CPU(21)는, 조작 장치(12)로부터 지정된 화상 데이터를, 화상 파일링 장치(4)로부터 취득하고, 원화상(31)으로서 메모리(22)에 기억시 킨다. 다음으로, 스텝 S120에서 CPU(21)는, 스텝 S110에서 취득한 원화상(31)을 분할하여, N×N개의 분할 영역(43)을 생성한다. 다음으로, 스텝 S130에서 CPU(21)는, 해석 대상으로 되는 분할 영역(43)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 분할 영역(43)을 특정하는 번호 i는, 1 이상, N×N 이하의 정수값이다.
다음으로, 스텝 S140에서 CPU(21)는, i번째의 분할 영역(43)에서의 컬러 엣지 특징량 Bi를 산출한다. 스텝 S140에서의 컬러 엣지 특징량의 산출 수순을, 도 10의 플로우차트를 이용하여 설명한다. 도 10은, 컬러 엣지 특징량의 산출 수순을 설명하는 플로우차트이다.
우선, 스텝 S141에서 CPU(21)는, i번째의 분할 영역(43)에서의 R신호의 값의 변동(이하, R변동으로 나타냄)과, G신호의 값의 변동(이하, G변동으로 나타냄)을 산출한다. R변동은, 제1 실시 형태와 마찬가지로, 분할 영역(43)에서의 특정한 화소 P1의 R신호의 값(R1)과, 동일한 분할 영역(43)에서의 별도의 특정한 화소 P2의 R신호의 값(R2)으로부터 산출된다. 구체적으로는, CPU(21)는, R변동=loge(R2)-loge(R1)로 계산한다.
또한, G변동은, R변동을 산출할 때에 이용한 화소 P1의 G신호의 값(G1)과, 화소 P2의 G신호의 값(G2)으로부터 산출된다. 구체적으로는, G변동=loge(G2)-loge(G1)로 CPU(21)에 의해 계산된다. 본 실시 형태에서는, 도 11에 도시하는 바와 같이, 분할 영역(43)에서의 상하, 좌우 방향 및 대각선 방향의 8개의 방향에 대해서, CPU(21)는 각각 R변동과 G변동을 산출한다. 도 11의 (a) 내지 (h)는, R변동 및 G변동의 산출 방법을 설명하는 도면이다. 도 11의 (a) 내지 (h)에 도시하는, 제1 내지 제8 R변동의 산출 방법은, 도 7의 (a) 내지 (h)에 도시하는 제1 내지 제8 R변동의 산출 방법과 마찬가지이기 때문에, 그 설명을 생략한다.
도 11의 (a) 내지 (h)에 도시하는, 제1 내지 제8 G변동의 산출 방법은, 제1 내지 제8 R변동을 산출할 때에 이용한 화소와 동일한 화소를 이용하고 있고, R신호의 값인 R1, R2를, 각각 G신호의 값인 G1, G2로 치환하면, 제1 내지 제8 R변동의 산출 방법과 마찬가지이기 때문에, 그 설명을 생략한다.
다음으로, 스텝 S142에서 CPU(21)는, 제1 내지 제8 G변동을 각각 제1 내지 제8 R변동으로 나누어, 제1 내지 제8 변동비를 구한다. 계속되는 스텝 S143에서 CPU(21)는, 스텝 S142에서 구한 제1 내지 제8 변동비 중 최대값을, 컬러 엣지 특징량 Bi로서 취득한다.
주변 점막과 출혈부의 경계 영역 부근, 즉, 출혈부 엣지 부근은, 일반적으로, R신호나 B신호의 변화에 비해서 G신호의 변화가 크다. 따라서, 본 실시 형태에서는, G변동/R변동의 최대값을 컬러 엣지 특징량 Bi로 한다. 또한, 컬러 엣지 특징량 Bi로서, CPU(21)는, B변동/G변동의 최대값을 이용하도록 하여도 된다.
다음으로, 도 9의 스텝 S150에서 CPU(21)는, i번째의 분할 영역(43)이 출혈부 엣지인지의 여부를 판정한다. 구체적으로 CPU(21)는, 컬러 엣지 특징량 Bi가, Bi>Th3이면 i번째의 분할 영역(43)은 출혈부 엣지라고 판정한다.
여기서, Th3은 출혈부 엣지라고 판정할 때의 기준값으로 되는 임계값이며, 본 실시 형태에서는, 예를 들면 Th3=0.1로 설정하고 있다. Bi>Th3의 경우, 스텝 S160에서 CPU(21)는, i번째의 분할 영역(43)은 출혈부 엣지라고 판정하고, 스텝 S180의 처리로 진행한다.
Bi≤Th3의 경우, 스텝 S170에서 CPU(21)는, i번째의 분할 영역(43)은 출혈부 엣지가 아니라고 판정하고, 스텝 S180으로 진행한다.
스텝 S180에서 CPU(21)는, 모든 분할 영역(43)에 대해서 출혈부 엣지 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<N×N인 경우, 스텝 S190에서 CPU(21)는, 분할 영역(43)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S140으로 되돌아가서, 남은 분할 영역에 대하여 출혈부 엣지 판정을 행한다. i=N×N인 경우, CPU(21)는, 도 9의 처리를 종료한다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, R신호, G신호, B신호 중 2개 이상의 색 신호의 변동에 기초하여 산출된 컬러 엣지 특징량 Bi를 이용하여 출혈부 엣지인지의 여부를 판정하기 때문에, 출혈부 엣지인지의 여부를 상대적으로 판단하여 검출할 수 있다. 또한, 본 실시 형태는, 면적이 넓은 출혈부나, 엣지가 분할되어 추출된 출혈부 등, 다양한 크기의 출혈부 엣지를 추출할 수 있기 때문에, 출혈부 엣지의 검출 정밀도가 더욱 향상된다.
(제3 실시 형태)
다음으로, 본 발명의 제3 실시 형태를 설명한다. 전술한 제1 실시 형태에서는, 출혈부 엣지에서의 색 신호의 변화량을 반영한 엣지 특징량을 이용하여 출혈부 엣지인지의 여부를 판정한 것에 대해서, 본 실시 형태는, 주변 영역에서도 엣지 특징량을 산출하고, 주변 영역으로부터 출혈부 엣지에 걸친 엣지 특징량의 연속성을 평가함으로써, 출혈부 엣지인지의 여부를 판정한다.
본 실시 형태의 화상 처리 장치(1)는, 도 2의 화상 처리 장치(1)의 화상 처리 프로그램과는 처리 내용이 상이한 화상 처리 프로그램(61)이 이용된다. 또한, 본 실시 형태의 화상 처리 장치(1)는, 화상 처리 프로그램(61)을 실행함으로써 취득, 생성되어, 메모리(22)에 기억되는 해석 데이터(62)가, 원화상(31)과 출혈부 엣지 화상(34)의 2종류의 화상 데이터이며, 출혈부 엣지 후보 화상(32)과 형상 엣지 화상(33)은 포함되어 있지 않은 점을 제외하고, 제1 실시 형태와 동일하다. 이 때문에, 여기서는, 특징으로 되는 작용에 대해서만 설명하고, 동일한 구성 요소에 대해서는 동일한 부호를 붙이고 그 설명을 생략한다.
본 실시 형태에서는, 제1 실시 형태와 마찬가지로, 예를 들면 출혈부 엣지를 검출하는 처리에 대해서, 도 12의 플로우차트를 이용하여 설명한다. 도 12는, 화상 처리 프로그램(61)에 의한 화상 해석 처리의 수순을 설명하는 플로우차트이다.
우선, 스텝 S201에서 CPU(21)는, 조작 장치(12)로부터 지정된 화상 데이터를, 화상 파일링 장치(4)로부터 취득하고, 원화상(31)으로서 메모리(22)에 기억시킨다. 다음의 스텝 S202에서 CPU(21)는, 스텝 S201에서 취득한 원화상(31)으로부터 N×N개의 분할 영역(43)을 생성하고, 출혈부 엣지 후보 영역(44)을 추출한다. 스텝 S202에서의 처리는, 제1 실시 형태에서, 도 4를 이용하여 설명한 출혈부 엣지 후보 추출 처리와 마찬가지의 처리이기 때문에, 그 설명을 생략한다.
다음의 스텝 S203에서 CPU(21)는, 해석 대상으로 되는 출혈부 엣지 후보 영역(44)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 출혈부 엣지 후보 영역(44)을 특정하는 번호 i는, 1 이상, M 이하의 정수값이다. 여기서, M은, 스텝 S202에서, 출혈부 엣지 후보 영역(44)으로서 추출된 분할 영역(43)의 수이다.
계속되는 스텝 S204에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)에서의, 제1 내지 제8 R변동을 산출한다. 스텝 S204에서의 R변동의 산출 방법은, 제1 실시 형태에서, 도 7을 이용하여 설명한 방법과 마찬가지이기 때문에, 그 설명을 생략한다.
다음의 스텝 S205에서 CPU(21)는, 스텝 S204에서 산출한, 제1 내지 제8 R변동에서의 최대값을 엣지 특징량 A1i로 하고, 그 R변동이 최대로 되는 방향을 Di로서 산출한다. 예를 들면, 제4 R변동이 최대인 경우, 방향 Di는 도 7의 (d)에 도시한 바와 같이 대각선 우측 하방향으로 된다. 또한, 엣지 특징량 A1i와 방향 Di의 2개의 특징량을 포괄하여, 후보 영역 연속성 특징량이라고 부른다.
계속해서, 스텝 S206에서 CPU(21)는, 도 13에 도시하는 바와 같이, i번째의 출혈부 엣지 후보 영역(44)에 관한 배경 영역(63)을 설정한다. 도 13은, 출혈부 엣지 후보 영역(44)과 배경 영역(63)의 관계를 설명하는 개략도이다.
배경 영역(63)이란, 엣지 특징량의 연속성을 평가하기 위해서 필요한 영역으 로서, i번째의 출혈부 엣지 후보 영역(44)의 중심으로부터 보아, 스텝 S205에서 구한 방향 Di와 반대의 방향에 인접해서 위치한다. 또한, 배경 영역(63)은, 출혈부 엣지 후보 영역(44)과 1:k의 상사 관계에 있으며, 본 실시 형태에서는, 도 13에 도시하는 바와 같이, 예를 들면 k=2로 설정하고 있다.
다음의 스텝 S207에서 CPU(21)는, 배경 영역(63)에서의 방향 Di의 R변동을 산출하고, 배경 영역 연속성 특징량 A2i로서 산출한다. R변동의 산출 방법은, 출혈부 엣지 후보 영역(44)에서의 R변동의 산출 방법과 마찬가지이기 때문에, 그 설명을 생략한다.
다음의 스텝 S208에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)이 출혈부 엣지인지의 여부를 판정한다. 구체적으로는, 배경 영역 연속성 특징량 A2i를 엣지 특징량 A1i로 나눈 값을 연속성 평가 특징량 Ci로 하고, Ci≤Th4이면 i번째의 출혈부 엣지 후보 영역(44)은 출혈부 엣지라고 판정한다. 여기서, Th4는 출혈부 엣지인 것을 판정할 때의 기준값으로 되는 임계값이며, 본 실시 형태에서는, 예를 들면 Th4=0.2로 설정하고 있다.
도 14의 (a)에 도시하는 바와 같이, Ci≤Th4의 경우, 스텝 S209에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)은 출혈부 엣지라고 판정하고, 스텝 S211로 진행한다. 도 14의 (b)에 도시하는 바와 같이, Ci>Th4의 경우, 스텝 S210에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)은 출혈 이외의 요소로 이루어지는 엣지로서, 출혈부 엣지가 아니라고 판정하고, 스텝 S211의 처리로 진행한다.
또한, 도 14는, 연속성 평가 특징량 Ci에 의한 출혈부 엣지 판정을 설명하는 개략도이다. 도 14는, 도 13에서의 C-C'선 상에 위치하는 화소의 R신호의 값을 개략적으로 도시한 것이다.
도 14의 (a)는, 출혈부 엣지 후보 영역(44)이 출혈부 엣지인 경우의 R신호의 값의 변화를, 도 14의 (b)는, 출혈부 엣지 후보 영역(44)이 출혈 이외의 요소로 이루어지는 엣지인 경우의 R신호의 값의 변화를, 각각 도시하고 있다.
도 14의 (a)에 도시하는 바와 같이, 출혈부 엣지 후보 영역(44)이 출혈부 엣지인 경우, 배경 영역(63)에서는 R신호의 값이 거의 일정한 것에 대해서, 출혈부 엣지 후보 영역(44)에서는 R신호의 값이 크게 변화된다.
한편, 도 14의 (b)에 도시하는 바와 같이, 출혈부 엣지 후보 영역(44)이 출혈 이외의 요소로 이루어지는 엣지인 경우, 배경 영역(63)으로부터 출혈부 엣지 후보 영역(44)에 걸쳐서, R신호의 값은 완만하게 변화되어 간다.
이 배경 영역(63)으로부터 출혈부 엣지 후보 영역(44)에 걸친 R신호의 값의 변화의 차이를, 쌍방의 R변동비인 연속성 평가 특징량 Ci로서 파악함으로써, 연속성 평가 특징량 Ci를 이용하여 출혈부 엣지인지의 여부를 판정할 수 있다.
스텝 S211에서 CPU(21)는, 모든 출혈부 엣지 후보 영역(44)에 대해서 엣지 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<M인 경우, 스텝 S212에서 CPU(21)는, 출혈부 엣지 후보 영역(44)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S204로 되돌아가서, 남은 출혈부 엣지 후보 영역(44)에 대하여 출혈부 엣지 판정을 행한다. 한편, i=M인 경우, CPU(21)는, 도 12의 처리를 종료한다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, 출혈부 엣지에서의 색 신호의 변화량인 엣지 특징량을 이용함으로써, 출혈부 엣지인지의 여부를 상대적으로 판단하여 검출할 수 있다.
또한, 본 실시 형태는, 출혈부 엣지의 주변 영역에서도 엣지 특징량을 산출하고, 주변부 영역으로부터 출혈부 엣지에 걸친 엣지 특징량의 연속성을 평가하여 출혈부 엣지인지의 여부를 판정하기 때문에, 출혈부 엣지와 유사한 엣지 특징량을 갖는 형상 변화나 장액 등을, 출혈부 엣지인 것으로서 오검출하는 것을 방지할 수 있다. 따라서, 본 실시 형태에 따르면, 출혈부 엣지의 검출 정밀도가 더욱 향상된다.
또한, 엣지 특징량 대신에, 제2 실시 형태에서 설명한, 컬러 엣지 특징량을 이용하여 출혈부 엣지 후보 영역(44)을 추출하여도 된다.
구체적으로는, CPU(21)는, 도 12의 스텝 S202에서의 출혈부 엣지 후보 영역(44)의 추출 처리(즉 제1 실시 형태에서의 도 4를 이용하여 설명한 출혈부 엣지 후보 추출 처리)를 행하는 대신에, 제2 실시 형태에서의 도 9를 이용하여 설명한 출혈부 엣지 추출 처리와 마찬가지의 처리를 행한다. 이 경우, 제2 실시 형태에서 출혈부 엣지로서 추출된 영역이, 본 실시 형태에서는 출혈부 엣지 후보 영역(44)으로 된다.
(제4 실시 형태)
다음으로, 본 발명의 제4 실시 형태를 설명한다. 전술한 제3 실시 형태에서는, 출혈부 엣지 후보 영역의 주변 영역에서도 엣지 특징량을 산출하고, 주변 영역으로부터 출혈부 엣지 후보 영역에 걸친 엣지 특징량의 연속성을 평가함으로써, 출혈부 엣지인지의 여부를 판정한 것에 대해서, 본 실시 형태에서는, 출혈부 엣지 후보 영역의 내부 영역의 액면 색조에 기초하여, 출혈부 엣지인지의 여부를 판정한다.
화상 처리 장치(1)의 전체 구성은, 화상 처리 프로그램(71)의 처리 내용이 상이한 점을 제외하고, 제3 실시 형태와 동일하기 때문에, 여기서는, 특징으로 되는 작용에 대해서만 설명하고, 동일한 구성 요소에 대해서는 동일한 부호를 붙이고, 그 설명을 생략한다.
본 실시 형태에서는, 제3 실시 형태와 마찬가지로, 예를 들면 출혈부 엣지를 검출하는 처리에 대해서, 도 15의 플로우차트를 이용하여 설명한다. 도 15는, 화상 처리 프로그램(71)에 의한 화상 해석 처리의 수순을 설명하는 플로우차트이다.
우선, 스텝 S301에서 CPU(21)는, 조작 장치(12)로부터 지정된 화상 데이터를, 화상 파일링 장치(4)로부터 취득하고, 원화상(31)으로서 메모리(22)에 기억시킨다. 다음의 스텝 S302에서 CPU(21)는, 스텝 S301에서 취득한 원화상(31)으로부터 N×N개의 분할 영역(43)을 생성하고, 출혈부 엣지 후보 영역(44)을 추출한다.
다음의 스텝 S303에서 CPU(21)는, 해석 대상으로 되는 출혈부 엣지 후보 영역(44)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 출혈부 엣지 후보 영역(44)을 특정하는 번호 i는, 1 이상, M 이하의 정수값이다. 여기서, M은, 스텝 S302에서, 출혈부 엣지 후보 영역(44)으로서 추출된 분할 영역(43)의 수이다.
계속되는 스텝 S304에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)에서의, 제1 내지 제8 R변동을 산출한다. 또한, 전술한 스텝 S301 내지 스텝 S304의 각 처리는, 도 12에서의 스텝 S201 내지 스텝 S204의 각 처리와 마찬가지의 처리이다.
다음의 스텝 S305에서 CPU(21)는, 스텝 S304에서 산출한, 제1 내지 제8 R변동이 최대로 되는 방향을, 후보 영역 특징량 Di'로 한다. 예를 들면, 제4 R변동이 최대인 경우, 후보 영역 특징량 Di'는 도 7의 (d)에 도시하는 바와 같이 대각선 우측 하방향으로 된다.
계속되는 스텝 S306에서 CPU(21)는, 도 16에 도시하는 바와 같이, i번째의 출혈부 엣지 후보 영역(44)에 관한 내부 영역(72)을 설정한다. 도 16은, 출혈부 엣지 후보 영역(44)과 내부 영역(72)의 관계를 설명하는 개략도이다.
내부 영역(72)이란, 엣지 내측의 액면 색조를 평가하는 영역으로서, i번째의 출혈부 엣지 후보 영역(44)의 중심으로부터 보아, 스텝 S305에서 구한 후보 영역 특징량 Di'의 방향에 인접해서 위치한다. 또한, 내부 영역(72)은, 출혈부 엣지 후보 영역(44)과 동일한 형상·면적을 갖는다.
다음으로, 스텝 S307에서 CPU(21)는, 내부 영역(72)에 포함되는 화소의 R신호, G신호, B신호의 값을 취득하고, 내부 영역(72)에서의 각 색 신호의 평균값 Rai', Gai', Bai'를 산출한다. 계속되는 스텝 S308에서 CPU(21)는, 미리 설정된, 출혈부 영역 색조 공간과, 스텝 S307에서 산출한 각 색 신호의 평균값 Rai', Gai', Bai'를 비교한다.
또한, 스텝 S307, S308의 처리는, 도 3에서의 스텝 S13, S14의 처리와 마찬가지의 처리이다. 스텝 S307에서 산출된 각 색 신호의 평균값 Rai', Gai', Bai'가 출혈부 영역 색조 공간 내에 존재하는 경우, 스텝 S309에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)은 출혈부 엣지라고 판정하고, 스텝 S311의 처리로 진행한다.
한편, 스텝 S307에서 산출한 각 색 신호의 평균값 Rai', Gai', Bai'가 출혈부 영역 색조 공간 내에 존재하지 않는 경우, 스텝 S310에서 CPU(21)는, i번째의 출혈부 엣지 후보 영역(44)은 출혈부 엣지가 아니라고 판정하고, 스텝 S311의 처리로 진행한다.
또한, 출혈부 엣지를 판정하는 데에, G/R, B/G 색조 공간을 이용하여도 된다. 즉, (G/R)min≤Gai/Rai≤(G/R)max 또한 (B/G)min≤Bai/Gai≤(B/G)max인 경우, CPU(21)는, i번째의 분할 영역(43)은 출혈부 엣지 후보라고 판정한다.
스텝 S311에서 CPU(21)는, 모든 출혈부 엣지 후보 영역(44)에 대해서 엣지 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<M인 경우, 스텝 S311에서 CPU(21)는, 출혈부 엣지 후보 영역(44)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S304로 되돌아가서, 남은 출혈부 엣지 후보 영역(44)에 대하여 출혈부 엣지 판정을 행한다. 한편, i=M인 경우에는 CPU(21)는, 도 15의 처리를 종료한다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, 출혈부 엣지에서의 색 신호의 변화량인 엣지 특징량을 이용함으로써, 출혈부 엣지인지의 여부를 상대적으로 판단하여 검출할 수 있다.
또한, 본 실시 형태는, 출혈부 엣지의 내부 영역에서 액면 색조를 평가하여 출혈부 엣지인지의 여부를 판정하기 때문에, 주변 점막으로부터 출혈부에 걸쳐서, 출혈부 엣지와 유사한 엣지 특징량 변화를 갖는 이물이나 장액 등을, 출혈부 엣지인 것으로서 오검출하는 것을 방지할 수 있다. 따라서, 본 실시 형태에 따르면, 출혈부 엣지의 검출 정밀도가 더욱 향상된다.
또한, 본 실시 형태에서도 제3 실시 형태와 마찬가지로, 엣지 특징량 대신에, 제2 실시 형태에서 설명한, 컬러 엣지 특징량을 이용하여 출혈부 엣지 후보 영역(44)을 추출하여도 된다.
이상과 같이, 상기 4개의 실시 형태에서는, 출혈부 엣지를 추출하는 경우를 예로 들어 설명했지만, 본 발명은, 전술한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 바꾸지 않는 범위에서, 다양한 변경, 개변 등이 가능하다. 예를 들면 점막 표면의 발적부의 윤곽부를 추출하는 경우에도 적용 가능하다.
(제5 실시 형태)
다음으로 도 1, 도 17 내지 도 25를 참조하여 본 발명의 제5 실시 형태를 설명한다.
본 실시 형태는, 출혈성 영역의 윤곽부(이하, 출혈성 엣지로 나타냄)에서의 색 신호의 변화량을 이용하여 출혈성 엣지인지의 여부를 상대적으로 판단하고, 출혈성 엣지로 둘러싸여진 출혈성 영역을 검출하는 것이 가능한, 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 제공하는 것을 목적으로 한다.
제1 실시 형태에서 설명한 바와 같이, 출혈성 영역으로서는, 점막으로부터 실제로 출혈이 생겨 있는 영역인 출혈부나, 점막 표면이 충혈 등에 의해 빨갛게 되어 있는 영역인 발적부 등을 들 수 있다.
본 실시 형태에서는, 예를 들면 출혈부를 검출하는 경우에 대해서 설명한다. 본 발명의 제5 실시 형태에 따른 화상 처리 장치(1)의 관련 시스템과의 네트워크 구성은, 도 1과 동일한 구성이다.
도 1에 도시하는 바와 같이, 각종 화상 처리나 정보 처리를 행하는 화상 처리 장치(1)는, TCP/IP를 통신 프로토콜로 하는 LAN(2)에 접속되어 있다. 한편, 생체 내를 촬상하여 화상 신호를 출력하는 내시경 관찰 장치(3)도, 내시경 파일링 장치(4)를 통해서 LAN(2)에 접속되어 있다.
내시경 파일링 장치(4)는, 내시경 관찰 장치(3)로부터 화상 신호를 수신하여 화상 데이터를 생성함과 함께, 생성된 화상 데이터를 축적한다. 즉, 화상 처리 장치(1)는, 내시경 파일링 장치(4)에 축적되어 있는 화상 데이터를, LAN(2) 경유로 취득한다.
또한, 본 실시 형태의 화상 처리 장치(1)는, 도 17에 도시하는 구성으로 되어 있다. 이 화상 처리 장치(1)는, 도 2의 화상 처리 장치(1)와 하드웨어 상의 구성은 동일하다. 이 때문에, 도 2와 동일한 구성 요소에는, 동일한 부호가 붙여져 있다. 본 실시 형태의 화상 처리 장치(1)는, 도 2의 화상 처리 프로그램(28)과는 상이한 화상 처리 프로그램(128)이 채용되어 있다. 또한, 본 실시 형태에서는, 메모리(22)에 저장되는 해석 데이터(29)는, 도 2의 메모리(22)에 저장되는 해석 데이터(29)와 상이한 화상이 저장된다.
도 17에 도시하는 바와 같이, 본 실시 형태의 화상 처리 장치(1)는, 범용의 퍼스널 컴퓨터(11)를 중심으로 구성되어 있고, 키보드와 마우스로 이루어지는 조작 장치(12)와, 하드디스크로 이루어지는 기억 장치(13)와, CRT로 이루어지는 표시 장치(14)를 구비하고 있다.
조작 장치(12), 기억 장치(13), 및 표시 장치(14)는, 각각 퍼스널 컴퓨터(11)와 전기적으로 접속되어 있다. 처리 대상으로 되는 화상 데이터의 지정, 지정된 화상 데이터의 취득 표시, 처리 실행의 지시는, 조작 장치(12)로부터 입력된다. 또한, 화상 처리 장치(1)에서 행해지는 각종 처리의 결과는 표시 장치(14)에 표시된다.
퍼스널 컴퓨터(11)는, 각종 프로그램의 실행 처리나 제어를 행하는 CPU(21)와, 각종 처리 프로그램이나 데이터를 기억하는 메모리(22)와, 기억 장치(13)와의 사이에서 정보의 읽기 쓰기를 행하는 외부 기억 I/F(23)와, 외부 기기와의 사이에서 정보의 통신을 행하는 네트워크 카드(24)와, 조작 장치(12)로부터 입력된 조작 신호를 수신하여 필요한 데이터 처리를 행하는 조작 I/F(25)와, 표시 장치(14)에 비디오 신호를 출력하는 그래픽 보드(26)를 갖고 있고, 각각 버스(27)와 전기적으로 접속되어 있다. 따라서, 퍼스널 컴퓨터(11)의 각 구성 요소는, 버스(27)를 통 해서 상호 정보의 송수신을 행할 수 있다.
네트워크 카드(24)는, LAN(2)과 전기적으로 접속되어 있고, 동일하게 LAN(2)에 접속되어 있는 내시경 파일링 장치(4)와의 사이에서 정보를 송수신한다.
외부 기억 I/F(23)는, 기억 장치(13)에 저장되어 있는 화상 처리 프로그램(128)을 읽어들여 메모리(22)에 기억시킨다. 또한, 화상 처리 프로그램(128)은, 화상 해석 처리를 실행하는 프로그램으로서, 복수의 실행 파일, 또는 동적 링크 라이브러리 파일, 또는 설정 파일로 구성된다.
메모리(22)에 기억된 화상 처리 프로그램(128)이 실행됨으로써, CPU(21)가 동작한다. CPU(21)는, 내시경 파일링 장치(4)로부터 취득한 화상 데이터에 대하여, 화상 해석 처리를 행한다. CPU(21)에서의 각 처리에 의해 취득, 생성되는 해석 데이터(29)는, 메모리(22)에 기억된다.
이 해석 데이터(29)에는, 내시경 파일링 장치(4)로부터 취득한 화상 데이터인 원화상(31)이 포함된다. 또한, 해석 데이터(29)에는, 후술하는 각종 처리에 의해 생성되는 엣지 화상(132)과, 출혈부 후보 화상(133)과, 출혈부 화상(134)이 포함된다.
이 경우, CPU(21)는, 이하에 설명한 바와 같이 원화상(31)을 복수의 소영역으로 분할하고, 각 소영역에서의 색 신호로부터 출혈성 영역의 윤곽부를 포함하는 영역을 추출하고, 추출된 소영역을 출혈성 평가 영역으로 설정하는 처리를 행하는 평가 영역 설정의 처리 기능을 갖는다.
또한, CPU(21)는, 평가 영역 설정의 처리 시에, 이 출혈성 평가 영역의 근방 혹은 주변의 복수의 소영역을 평가 대상 영역으로서 설정한다. 그리고, CPU(21)는, 복수의 평가 대상 영역에서의 색 신호의 변동량을 산출하고, 이 변동량에 기초하여, 출혈성 엣지 후보 영역을 추출하고, 설정된 평가 대상 영역과 추출된 출혈성 엣지 후보 영역의 비율로부터 출혈성 평가 영역이 출혈성 후보 영역인지의 여부의 판정을 행하는 출혈성 후보 영역 판정의 처리 기능을 갖는다.
또한, 이 CPU(21)는, 출혈성 엣지 후보 영역에서의 2개 이상의 색 신호의 변동량에 기초하여, 출혈성 후보 영역이 출혈성 영역인지의 여부를 판정하는 출혈성 영역 판정의 처리 기능을 갖는다.
전술한 바와 같이 구성된, 화상 처리 장치(1)의 작용에 대해서 설명한다. 본 실시 형태에서는, 예를 들면 출혈부 영역을 검출하는 경우에 대해서, 도 18의 플로우차트를 이용하여 설명한다.
도 18은, 화상 처리 프로그램(128)에 의한 화상 해석 처리의 수순을 설명하는 플로우차트이다. 우선, 스텝 S401의 원화상 취득 스텝에서 CPU(21)는, 조작 장치(12)로부터 지정된 화상 데이터를, 화상 파일링 장치(4)로부터 취득하고, 원화상(31)으로서 메모리(22)에 기억시킨다.
원화상(31)은, 적(R), 녹(G), 청(B)의 3플레인으로 이루어지는 컬러 화상이며, 각 플레인의 화소의 계조수는, 8bit, 즉 0 내지 255의 값을 취하는 것으로 한다. 다음으로, 스텝 S402의 화상 해석 처리 스텝에서 CPU(21)는, 스텝 S401에서 취득한 원화상(31)에 각종 처리를 실시하여, 출혈부 후보 화상(133)과, 엣지 화상(132)과, 출혈부 화상(134)을 생성한다.
이 화상 해석 처리 스텝(스텝 S402)은, 원화상(31)으로부터 엣지 화상(132)을 생성하는, 엣지 추출 처리(스텝 S410)와, 원화상(31)으로부터 출혈부 후보 화상(133)을 생성하는 출혈부 후보 추출 처리(스텝 S420)와, 엣지 화상(132)과 출혈부 후보 화상(133)으로부터 출혈부 화상(134)을 생성하는 출혈부 결정 처리(스텝 S440)로 구성되는, 이 순번으로 각 처리가 실행된다. 화상 해석 처리 스텝(스텝 S402)에서의 전술한 각 처리에 대해서, 처리 순서에 따라서 설명한다.
처음에, 엣지 추출 처리에 대해서, 도 19를 이용하여 설명한다. 도 19는, 엣지 추출 처리의 수순을 설명하는 플로우차트이다.
우선, 스텝 S411에서 CPU(21)는, 원화상(31)을 N×N개의 소영역으로 분할한다. 본 발명의 실시 형태에서는, 예를 들면 N=36으로 설정하고 있다. 또한, 스텝 S411의 전처리로서, 원화상(31)에 대한 역감마 보정이나 셰이딩 보정을 추가하여도 된다. 이 경우, 이들 보정 처리가 행해진 보정 화상을 소영역으로 분할하고, 이후의 처리를 행한다.
다음으로, 스텝 S412에서 CPU(21)는, 해석 대상으로 되는 분할된 소영역(이하, 분할 영역으로 나타냄)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 분할 영역(141)을 특정하는 번호 i는, 1 이상, N×N 이하의 정수값을 취한다.
다음으로, 스텝 S413에서 CPU(21)는, i번째의 분할 영역(141)에서의 G신호의 값의 변동(이하, G변동으로 나타냄)을 산출한다. G변동은, 분할 영역(141)에서의 특정한 화소의 G신호의 값(G1)과, 동일한 분할 영역(43)에서의 별도의 특정한 화소 의 G신호의 값(G2)으로부터 산출된다. 구체적으로는, CPU(21)는, G변동=loge(G2)-loge(G1)로 계산한다.
본 실시 형태에서는, 도 20에 도시하는 바와 같이, CPU(21)는 분할 영역(141)에서의 상하, 좌우 방향 및 대각선 방향의 8개의 방향에 대해서, 각각 G변동을 산출한다. 도 20의 (a) 내지 (h)는, G변동의 산출 방법을 설명하는 도면이다.
제1 G변동은, 도 20의 (a)에 도시하는 바와 같이 상방향으로의 G변동으로서, 중앙 하부의 화소의 G신호의 값을 G1, 중앙 상부의 화소의 G신호의 값을 G2로서 산출한다. 제2 G변동은, 도 20의 (b)에 도시하는 바와 같이 대각선 우측 상방향으로의 G변동으로서, 좌측 하부의 화소의 G신호의 값을 G1, 우측 상부의 화소의 G신호의 값을 G2로서 산출한다. 제3 G변동은, 도 20의 (c)에 도시하는 바와 같이 우측 방향으로의 G변동으로서, 좌측 중앙부의 화소의 G신호의 값을 G1, 우측 중앙부의 화소의 G신호의 값을 G2로서 산출한다.
제4 G변동은, 도 20의 (d)에 도시하는 바와 같이 대각선 우측 하방향으로의 G변동으로서, 좌측 상부의 화소의 G신호의 값을 G1, 우측 하부의 화소의 G신호의 값을 G2로서 산출한다. 제5 G변동은, 도 20의 (e)에 도시하는 바와 같이 하방향으로의 G변동으로서, 중앙 상부의 화소의 G신호의 값을 G1, 중앙 하부의 화소의 G신호의 값을 G2로서 산출한다. 제6 G변동은, 도 20의 (f)에 도시하는 바와 같이 대각선 좌측 하방향으로의 G변동으로서, 우측 상부의 화소의 G신호의 값을 G1, 좌측 하부의 화소의 G신호의 값을 G2로서 산출한다.
제7 G변동은, 도 20의 (g)에 도시하는 바와 같이 좌측 방향으로의 G변동으로서, 우측 중앙부의 화소의 G신호의 값을 G1, 좌측 중앙부의 화소의 G신호의 값을 G2로서 산출한다. 제8 G변동은, 도 20의 (h)에 도시하는 바와 같이 대각선 좌측 상방향으로의 G변동으로서, 우측 하부의 화소의 G신호의 값을 G1, 좌측 상부의 화소의 G신호의 값을 G2로서 산출한다.
다음으로, 스텝 S414에서 CPU(21)는, 스텝 S413에서 산출한 제1 내지 제8 G변동에서의 최대값을 E1i로 하고, G변동이 최대로 되는 방향을 D1i로서 산출한다. 예를 들면, 제4 G변동이 최대인 경우, 방향 D1i는 도 20의 (d)에 도시하는 바와 같이 대각선 우측 하방향으로 된다. 또한, G변동의 최대값 E1i와 방향 D1i의 2개의 특징량을 포괄하여, 엣지 특징량이라고 부른다.
다음으로, 스텝 S415에서 CPU(21)는, i번째의 분할 영역(141)이 엣지인지의 여부를 판정한다. 구체적으로는, G변동의 최대값 E1i가, E1i>Thr1이면, CPU(21)는 i번째의 분할 영역(141)은 엣지라고 판정한다. 여기서, Thr1은 임계값이며, 본 발명의 실시 형태에서는, 예를 들면 Thr1=0.3으로 설정하고 있다.
E1i>Thr1의 경우, 스텝 S416에서 CPU(21)는, i번째의 분할 영역(141)은 엣지라고 판정하고, 스텝 S418로 진행한다. E1i≤Thr1의 경우, 스텝 S417에서 CPU(21)는, i번째의 분할 영역(141)은 엣지가 아니라고 판정하고, 스텝 S418로 진행한다.
스텝 S418에서 CPU(21)는, 모든 분할 영역(141)에 대해서 엣지 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<N×N인 경우, 스텝 S419에서 CPU(21)는, 분할 영역(141)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S413으로 되돌아가서, 남은 분할 영역(141)에 대하여 엣지 판정을 행한다. i=N×N인 경우, CPU(21)는, 도 19의 처리를 종료하고 계속되는 출혈부 후보 추출 처리로 이행한다.
다음으로, 출혈부 후보 추출 처리에 대해서, 도 21을 이용하여 설명한다. 도 21은, 출혈부 후보 추출 처리의 수순을 설명하는 플로우차트이다. 출혈부 후보 추출 처리에서, CPU(21)는 엣지 추출 처리에서 추출된 엣지의 배치에 기초하여 출혈부 후보와 출혈부 엣지 후보를 추출한다.
우선, CPU(21)는 평가 영역 설정 수단으로서의 스텝 S421 내지 스텝 S423의 처리를 실행하고, 출혈성 평가 영역으로서의 i번째의 분할 영역(141)에 관하여, 평가 대상 영역으로서의 주변 영역(143)을 설정한다.
여기서, 주변 영역(143)은, i번째의 분할 영역(141)의 외주를 둘러싸는 폐 곡선 상에 설정된다. 스텝 S421에서 CPU(21)는, 해석 대상으로 되는 분할 영역(141)을 특정하는 번호를 나타내는 i를 1로 초기화한다. 또한, 분할 영역(141)을 특정하는 번호 i는, 1 이상, N×N 이하의 정수값을 취한다.
다음으로, 스텝 S422에서 CPU(21)는, 도 22의 (a)에 도시하는 바와 같이, i번째의 분할 영역(141)을 중심으로 하는 M×M개의 분할 영역(141)을, i번째의 분할 영역(141)에서의 배치 평가 영역(142)으로서 취득한다.
도 22는 출혈부 후보 추출 처리를 설명하는 도면이다. 본 실시 형태에서 CPU(21)는, 예를 들면 M=5로 했다. 계속해서, 스텝 S423에서 CPU(21)는, 스텝 S422에서 취득한 배치 평가 영역(142)에서, 해당 영역의 외곽에 접하는 분할 영역(141)을 주변 영역(143)(사선부)으로서 취득한다.
본 실시 형태에서는, 도 22의 (a)에 도시하는 바와 같이, i번째의 분할 영역(141)에 관한 주변 영역(143)의 개수 C1i는 16개로 된다.
다음으로, CPU(21)는 출혈성 후보 영역 판정 수단으로서의 스텝 S424 내지 스텝 S432의 처리를 실행한다. 우선, 스텝 S424에서 CPU(21)는, 해석 대상으로 되는 주변 영역(143)을 특정하는 번호를 나타내는 j를 1로, 주변 영역(143)에서의 출혈부 엣지 후보 영역수를 카운트하는 카운터 Cnt1을 0으로, 각각 초기화한다.
또한, 주변 영역(143)을 특정하는 번호 j와 카운터 Cnt1은, 1 이상, C1i 이하의 정수값을 취한다. 계속해서, 스텝 S425에서 CPU(21)는, j번째의 주변 영역(143)으로부터 i번째의 분할 영역(141)을 향하는 방향을 D2ij로 한다. 다음으로, 스텝 S26에서 CPU(21)는, j번째의 주변 영역(43)에서 8방향의 G변동을 산출하고, G변동이 최대로 되는 방향을 D3ij로 한다. 스텝 S426에서의 G변동의 산출 방법은, 스텝 S413에서의 G변동의 산출 방법과 마찬가지이다.
계속해서, 스텝 S427에서 CPU(21)는, 스텝 S425에서 취득한 방향 D2ij와, 스텝 S426에서 취득한 방향 D3ij가 이루는 각도 θij를 구한다(도 22의 (b) 참조). 다음으로, 스텝 S428에서 CPU(21)는, j번째의 주변 영역(143)이 출혈부 엣지 후보인 지의 여부를 판정한다. 구체적으로는, CPU(21)는 스텝 S427에서 산출한 각도 θij가, θij≤Thr2인지의 여부를 판정한다. 여기서, Thr2는 임계값이며, 본 발명의 실시 형태에서는, 예를 들면 Thr2=45(도)로 설정하고 있다. 또한, 스텝 S428에서의 출혈부 엣지 후보 판정은 임시의(잠정적인) 판정으로서, 후술하는 처리에 의해 i번째의 분할 영역(141)이 출혈부 후보 영역이라고 판정된 경우에, 비로소 본 스텝에서의 판정 결과가 채용된다.
θij≤Thr2의 경우, CPU(21)는 j번째의 주변 영역(143)은 출혈부 엣지 후보라고 판정하고, 스텝 S429에서 Cnt1에 1을 더하고, 스텝 S430으로 진행한다. θij>Thr2의 경우, 스텝 S428에서 CPU(21)는, j번째의 주변 영역(143)은 출혈부 엣지 후보가 아니라고 판정하고, 스텝 S430으로 진행한다.
스텝 S430에서 CPU(21)는, i번째의 분할 영역(141)에 관한 모든 주변 영역(143)에 대해서 출혈부 엣지 후보 판정을 행하였는지의 여부를 판정한다. 구체적으로는, j<C1i인 경우, 스텝 S431에서 CPU(21)는, 주변 영역(143)을 특정하는 번호 j에 1을 가산(j=j+1)하고 스텝 S425로 되돌아가서, 남은 주변 영역(143)에 대하여 출혈부 엣지 후보 판정을 행한다. j=C1i인 경우, CPU(21)는, 스텝 S432로 진행한다.
스텝 S432에서 CPU(21)는, i번째의 분할 영역(41)이 출혈부 후보인지의 여부를 판정한다. 구체적으로는, 주변 영역(143)의 개수 C1i에 대한 출혈부 엣지 후보 영역수 Cnt1의 비율을 산출하고, Cnt1/C1i>Thr3인지의 여부를 판정한다. 여기서, Thr3은 임계값이며, 본 발명의 실시 형태에서는, 예를 들면 Thr3=0.7로 설정하고 있다.
도 23에 도시한 바와 같이, Cnt1/C1i>Thr3의 경우, 스텝 S433에서 CPU(21)는 i번째의 분할 영역(141)은 출혈부 후보라고 판정한다. 또한, 스텝 S428에서 CPU(21)는, 출혈부 엣지 후보라고 가판정된 주변 영역(143), 즉, i번째의 분할 영역(141)에 관한 주변 영역(143)으로서, θij≤Thr2인 주변 영역(143)을, 출혈부 엣지 후보라고 정식으로 판정한다. 도 23은, 출혈부 후보의 판정 방법을 설명하는 도면이다.
도 23에서는, 예를 들면 i번째의 분할 영역(141)에 관한 16개의 주변 영역(143) 중, 주변 영역(143) 내에 엣지 특징량인 방향 D1i를 화살표로 기재한 14개의 주변 영역(143)이 엣지라고 판정되어 있다. 또한, 엣지로 판정된 14개의 주변 영역 중 12개가, θij≤Thr2를 만족하고 있기 때문에, Cnt1/C1i는 0.75로 된다.
Cnt1/C1i의 값이 Thr3으로서 설정되어 있는 0.7 이상이기 때문에, i번째의 분할 영역(141)은 출혈부 후보로 판정되고, θij≤Thr2를 만족하는 12개의 주변 영역(143)은 출혈부 엣지 후보로 판정된다(도 23에서 해칭되어 있는 주변 영역(143)이, 출혈부 엣지 후보라고 판정된 영역임).
CPU(21)는 스텝 S433이 종료되면, 스텝 S434로 진행한다. Cnt1/C1i≤Thr3 의 경우, CPU(21)는 i번째의 분할 영역(141)은 출혈부 후보가 아니라고 판정하고, 스텝 S434로 진행한다.
스텝 S434에서 CPU(21)는, 모든 분할 영역(141)에 대해서, 출혈부 후보 판정을 행하였는지의 여부를 판정한다. 구체적으로는, i<N×N인 경우, 스텝 S435에서 CPU(21)는, 분할 영역(141)을 특정하는 번호 i에 1을 가산(i=i+1)하고 스텝 S422로 되돌아가서, 남은 분할 영역(141)에 대하여 출혈부 후보 판정을 행한다. i=N×N인 경우, CPU(21)는 도 21의 처리를 종료하고, 계속되는 출혈부 결정 처리로 이행한다.
다음으로, 출혈성 영역 판정 수단으로서의 출혈부 결정 처리에 대해서, 도 24를 이용하여 설명한다. 도 24는, 출혈부 결정 처리의 수순을 설명하는 플로우차트이다. 출혈부 결정 처리에서는, CPU(21)는 출혈부 후보 추출 처리에 의해 추출된 출혈부 엣지 후보의 주변 영역(143)에 대해서, R신호, G신호, B신호 중 2개 이상의 색 신호의 변동의 비에 기초하는 컬러 엣지 특징량을 산출하고, 컬러 엣지 특징량에 기초하여 출혈부 엣지인지의 여부를 판정한다. 또한, CPU(21)는 추출된 출혈부 엣지 영역에 기초하여, 출혈부 영역을 결정한다.
우선, 스텝 S441에서 CPU(21)는, 출혈부 후보 추출 처리에서 출혈부 후보라고 판정된 분할 영역(141)을 취득한다. 또한, 출혈부 후보인 분할 영역(141)의 개수를 H로 한다. 다음으로, 스텝 S442에서 CPU(21)는, 해석 대상으로 되는 분할 영역(141)을 특정하는 번호를 나타내는 k를 1로 초기화한다. 또한, 해석 대상으로 되는 분할 영역(141)은, 스텝 S441에서 취득한 출혈부 후보인 H개의 분할 영 역(141)이다. 따라서, 분할 영역(141)을 특정하는 번호 k는, 1 이상, H 이하의 정수값을 취한다.
계속해서, 스텝 S443에서 CPU(21)는, 출혈부 후보 추출 처리에서, k번째의 분할 영역(141)에서의 출혈부 엣지 후보라고 판정된 주변 영역(143)을 취득한다. 또한, 출혈부 엣지 후보인 주변 영역(143)의 개수를 C2k로 한다. 다음으로, 스텝 S444에서 CPU(21)는, 해석 대상으로 되는 주변 영역(143)을 특정하는 번호를 나타내는 l를 1로, 주변 영역(143)에서의 출혈부 엣지 영역수를 카운트하는 카운터 Cnt2를 0으로, 각각 초기화한다. 또한, 주변 영역(143)을 특정하는 번호 l과 카운터 Cnt2는, 1 이상, C2k 이하의 정수값을 취한다.
다음으로, 스텝 S445에서 CPU(21)는, l번째의 주변 영역(143)에서의 R신호의 값의 변동(이하, R변동으로 나타냄)과, G신호의 값의 변동(이하, G변동으로 나타냄)을 산출한다. R변동은, 주변 영역(143)에서의 특정한 화소 P1의 R신호의 값(R1)과, 동일한 주변 영역(143)에서의 별도의 특정한 화소 P2의 R신호의 값(R2)으로부터 산출되고, 구체적으로는, R변동=loge(R2)-loge(R1)로 계산된다.
또한, G변동은, R변동을 산출할 때에 이용한 화소 P1의 G신호의 값(G1)과, 화소 P2의 G신호의 값(G2)으로부터 산출되고, 구체적으로는, G변동=loge(G2)-loge(G1)로 계산된다. 본 실시 형태에서는, 도 25에 도시하는 바와 같이, 주변 영역(143)에서의 상하 좌우 방향 및 대각선 방향의 8개의 방향에 대해서, 각각 R변동 과 G변동을 산출하고 있다.
도 25의 (a) 내지 (h)는, R변동 및 G변동의 산출 방법을 설명하는 도면이다. 도 25의 (a) 내지 (h)에 도시하는, 제1 내지 제8 G변동의 산출 방법은, 스텝 S413에서 산출한, 도 20의 (a) 내지 (h)에 도시하는 제1 내지 제8 G변동의 산출 방법과 마찬가지이기 때문에, 상세한 설명은 생략한다.
도 25의 (a) 내지 (h)에 도시하는, 제1 내지 제8 R변동의 산출 방법은, 제1 내지 제8 G변동을 산출할 때에 이용한 화소와 동일한 화소를 이용하고 있고, G신호의 값인 G1, G2를, 각각 R신호의 값인 R1, R2로 치환하면, 제1 내지 제8 G변동의 산출 방법과 마찬가지이기 때문에, 상세한 설명은 생략한다.
다음으로, 스텝 S446에서 CPU(21)는, 제1 내지 제8 G변동을 각각 제1 내지 제8 R변동으로 나누어, 제1 내지 제8 변동비를 구한다. 또한, CPU(21)는 스텝 S426에서 산출한, l번째의 주변 영역(143)에서 G변동이 최대로 되는 방향 D3kl에서의, R변동에 대한 G변동의 변동비의 값을 컬러 엣지 특징량 B1l로 한다.
주변 점막과 출혈부의 경계 영역 부근, 즉, 출혈부 엣지 부근은, 일반적으로, R신호나 B신호의 변화에 비해서 G신호의 변화가 크다. 따라서, G변동/R변동의 최대값을 컬러 엣지 특징량으로 한다. 또한, 컬러 엣지 특징량은, G변동/B변동의 최대값을 이용하여도 된다.
다음으로, 스텝 S447에서 CPU(21)는, l번째의 주변 영역(143)이 출혈부 엣지인지의 여부를 판정한다. 구체적으로는, 컬러 엣지 특징량 B1l이, B1l/Thr4이면, CPU(21)는 l번째의 주변 영역(143)은 출혈부 엣지라고 판정한다. 또한, 스텝 S447에서의 출혈부 엣지 판정은 임시의 판정으로서, 후술하는 처리에 의해 k번째의 분할 영역(141)이 출혈부 영역이라고 판정된 경우에, 비로소 본 스텝에서의 판정 결과가 채용된다.
여기서, Thr4은 임계값이며, 본 발명의 실시 형태에서는, 예를 들면 Thr4=1.0으로 설정되어 있다. B1l>Thr4의 경우, CPU(21)는 l번째의 주변 영역(143)은 출혈부 엣지라고 판정하고, 스텝 S448에서 Cnt2에 1을 더하고, 스텝 S449로 진행한다.
B1l≤Thr4의 경우, CPU(21)는 l번째의 주변 영역(143)은 출혈부 엣지가 아니라고 판정하고, 스텝 S449로 진행한다.
스텝 S449에서 CPU(21)는, k번째의 분할 영역(141)에 관한 모든 주변 영역(143)에 대해서 출혈부 엣지 판정을 행하였는지의 여부를 판정한다. 구체적으로는, l<C2k인 경우, 스텝 S450에서 CPU(21)는, 주변 영역(143)을 특정하는 번호 l에 1을 가산(l=l+1)하고 스텝 S445로 되돌아가서, 남은 주변 영역(143)에 대하여 출혈부 엣지 판정을 행한다.
j=C2k인 경우, CPU(21)는 출혈부 엣지 판정의 처리를 종료하고, 스텝 S451로 진행한다.
스텝 S451에서 CPU(21)는, k번째의 분할 영역(141)이 출혈부인지의 여부를 판정한다. 구체적으로는, CPU(21)는 주변 영역(143)의 개수 C2k에 대한 출혈부 엣지 영역수 Cnt2의 비율을 산출하고, Cnt2/C2k>Thr5인지의 여부를 판정한다.
여기서, Thr5는 임계값이며, 본 발명의 실시 형태에서는, 예를 들면 Thr5=0.7로 설정하고 있다. Cnt2/C2k>Th5의 경우, 스텝 S452에서 CPU(21)는, k번째의 분할 영역(141)은 출혈부라고 판정한다.
또한, 스텝 S447에서 CPU(21)는, 출혈부 엣지라고 가판정된 주변 영역(143), 즉, k번째의 분할 영역(141)에 관한 주변 영역(143)으로서, B1l>Th4인 주변 영역(143)을, 출혈부 엣지라고 정식으로 판정한다.
스텝 S452가 종료되면, CPU(21)는 스텝 S453으로 진행한다. Cnt2/C2k≤Th5의 경우, CPU(21)는 k번째의 분할 영역(141)은 출혈부가 아니라고 판정하고, 스텝 S453으로 진행한다.
스텝 S453에서 CPU(21)는, 출혈부 후보인 모든 분할 영역(141)에 대해서, 출혈부 판정을 행하였는지의 여부를 판정한다. 구체적으로는, k<H인 경우, 스텝 S454에서 CPU(21)는, 분할 영역(141)을 특정하는 번호 k에 1을 가산(k=k+1)하고 스텝 S443으로 되돌아가서, 남은 출혈부 후보인 분할 영역(141)에 대하여 출혈부 판정을 행한다. k=H인 경우, CPU(21)는 처리를 종료한다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, 출혈부 엣지 후보의 배치에 기초하여 출혈부 후보를 추출하고, 또한, 출혈부 엣지 후보에서 상이한 색 신호의 변화량 비(컬러 엣지 특징량)에 기초하여 출혈부 엣지인지의 여부를 상대적으로 판단하여, 출혈부 엣지에 둘러싸여진 영역을 출혈부로서 검출하기 때문에, 소면적의 출혈부도 양호한 정밀도로 검출할 수 있다.
(제6 실시 형태)
다음으로, 본 발명의 제6 실시 형태를 설명한다. 전술한 제5 실시 형태에서는, 배치 평가 영역(142)의 외곽에 접하는 분할 영역(141)을 주변 영역(143)으로 했지만, 본 실시 형태에서는, 배치 평가 영역(142)의 내부에도 주변 영역(143)을 형성하여, 출혈성 엣지 후보의 평가 대상 영역에 폭을 갖게 하고 있다. 이에 의해, 보다 다양한 형상의 출혈부를 검출하는 것이 가능하게 된다.
화상 처리 장치(1)의 전체 구성은, 화상 처리 프로그램(81)의 처리 내용이 제5 실시 형태에서의 화상 처리 프로그램(128)과 상이한 점을 제외하고, 제5 실시 형태와 동일하다. 이 때문에, 여기서는, 특징으로 되는 작용에 대해서만 설명하고, 동일한 구성 요소에 대해서는 동일한 부호를 붙이고 설명은 생략한다. 또한, 본 실시 형태에서는, 제5 실시 형태와 마찬가지로, 예를 들면 출혈부를 검출하는 경우에 대해서 설명한다.
본 실시 형태에서의 화상 해석 처리는, 출혈부 후보 추출 처리의 스텝 S423내지 스텝 S431, 즉 출혈부 엣지 후보 판정의 처리 내용이 상이한 점을 제외하고, 제5 실시 형태와 동일하다. 본 실시 형태에서의 출혈부 엣지 후보 판정 처리를, 도 26의 플로우차트를 이용하여 설명한다.
도 26은, 제6 실시 형태에서의 출혈부 엣지 후보 판정 처리의 수순을 설명하 는 플로우차트이다.
도 18의 스텝 S401에서 CPU(21)는 원화상(31)을 취득하고, 스텝 S410에서의 엣지 추출 처리를 종료한 후, 도 21의 스텝 S421 내지 S422에서 i번째의 분할 영역(141)에서의 배치 평가 영역(142)을 취득한다. 계속해서, 도 26에 도시하는 출혈부 엣지 후보 판정 처리가 실행된다.
출혈부 엣지 후보 판정 처리에서는, 우선, 스텝 S523에서 CPU(21)는, 스텝 S22에서 취득한 배치 평가 영역(142)에서, 외곽부로부터 Z개 내측의 분할 영역(141)의 개수를 주변 영역(143)의 개수 C3i로 한다. 본 실시 형태에서는, 예를 들면 배치 평가 영역(142)으로서 5×5=25개의 분할 영역(141)을 취득하고, 주변 영역(143)의 폭에 상당하는 Z를 Z=2로 설정했다. 이 경우, 도 27에 도시하는 바와 같이, 주변 영역(143)의 개수 C3i는 8개로 된다. 도 12는, 제2 실시 형태에서의 주변 영역(143)의 설정 위치를 설명하는 도면이다.
다음으로, 스텝 S524에서 CPU(21)는, 해석 대상으로 되는 주변 영역(143)을 특정하는 번호를 나타내는 m을 1로, 주변 영역(143)에서의 출혈부 엣지 후보 영역수를 카운트하는 카운터 Cnt3을 0으로, 각각 초기화한다.
또한, 주변 영역(143)을 특정하는 번호 m과 카운터 Cnt3은, 1 이상, C3i 이하의 정수값을 취한다. 계속해서, 스텝 S525에서 CPU(21)는, m번째의 주변 영역(143)에 포함되는 분할 영역(141)을 취득한다.
구체적으로는, 배치 평가 영역(142)의 중심에 위치하는 i번째의 분할 영 역(141)으로부터, 배치 평가 영역(142)의 외곽으로부터 Z개수분 내측에 위치하는 분할 영역(141)을 지나서 배치 평가 영역(142)의 외곽까지 도달하는 반직선을 그어, 반직선 상에 위치하는 분할 영역(141)을 주변 영역(143)으로서 취득한다(도 27 참조).
본 실시 형태의 경우, Z=2로 설정하고 있기 때문에, 1개의 주변 영역(143)에 포함되는 분할 영역(141)은 2개로 된다. 즉, 도 27에서, 선분으로 연결되어 있는 2개의 분할 영역(141)은, 동일한 주변 영역(143)에 속한다.
계속해서, 스텝 S526에서 CPU(21)는, m번째의 주변 영역(143)에서의 분할 영역(141)을 특정하는 번호를 나타내는 n을 1로 초기화한다. 또한, 분할 영역(141)을 특정하는 번호 n은, 1 이상, Z 이하의 정수값을 취한다.
다음으로, 스텝 S527에서 CPU(21)는, m번째의 주변 영역(143)에서의 n번째의 분할 영역(141)으로부터 i번째의 분할 영역(141)을 향하는 방향을 D4imn으로 한다. 계속해서, 스텝 S528에서 CPU(21)는, 스텝 S14에서 취득한, m번째의 주변 영역(143)에서의 n번째의 분할 영역(141)의 엣지 특징량의 방향 D1imn과, 스텝 S527에서 취득한 방향을 D4imn이 이루는 각도 θimn을 구한다.
계속해서, 스텝 S529에서 CPU(21)는, m번째의 주변 영역(143)이 출혈부 엣지 후보인지의 여부를 판정한다. 구체적으로는, CPU(21)는 스텝 S528에서 산출한 각도 θimn이, θimn≤Thr6인지의 여부를 판정한다.
여기서, Thr6은 임계값이며, 본 발명의 실시 형태에서는, 예를 들면 Thr6=45(도)로 설정하고 있다. 또한, 제5 실시 형태에서의 스텝 S428과 마찬가지로, 스텝 S529에서의 출혈부 엣지 후보 판정은 임시의 판정으로서, 후술하는 처리에 의해 i번째의 분할 영역(141)이 출혈부 후보 영역이라고 판정된 경우에, 비로소 본 스텝에서의 판정 결과가 채용된다. θimn≤Thr6의 경우, CPU(21)는 m번째의 주변 영역(143)은 출혈부 엣지 후보라고 판정하고, 스텝 S530에서 Cnt3에 1을 더하고, 스텝 S533으로 진행한다.
θimn>Thr6의 경우, 스텝 S531에서 CPU(21)는, m번째의 주변 영역(143)에 포함되는 모든 분할 영역(141)에 대해서 출혈부 엣지 후보 판정을 행하였는지의 여부를 판정한다. 구체적으로는, n<Z인 경우, 스텝 S532에서 CPU(21)는, m번째의 주변 영역(143)에서의 분할 영역(141)을 특정하는 번호 n에 1을 가산하고(n=n+1) 스텝 S527로 되돌아가서, 남은 분할 영역(141)에 대하여 출혈부 엣지 후보 판정을 행한다.
n=Z인 경우, CPU(21)는 m번째의 주변 영역(143)은 출혈부 엣지 후보가 아니라고 판정하고, 스텝 S533으로 진행한다. 즉, m번째의 주변 영역에 포함되는 Z개의 분할 영역(141) 중, 1개이어도 출혈부 엣지 후보의 판정 조건인 θimn≤Th6을 만족하는 영역이 있으면, CPU(21)는 m번째의 주변 영역은 출혈부 엣지 후보라고 판정한다.
스텝 S533에서 CPU(21)는, i번째의 분할 영역(141)에 관한 모든 주변 영역(143)에 대해서 출혈부 엣지 후보 판정을 행하였는지의 여부를 판정한다. 구체 적으로는, m<C3i인 경우, 스텝 S534에서 CPU(21)는, 주변 영역(143)을 특정하는 번호 m에 1을 가산(m=m+1)하고 스텝 S525로 되돌아가서, 남은 주변 영역(143)에 대하여 출혈부 엣지 후보 판정을 행한다.
m=C3i인 경우, CPU(21)는 처리를 종료하고, 스텝 S32로 진행한다. 스텝 S32이후의 처리는, 제5 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.
스텝 S34에서 출혈부 후보 판정 처리가 종료되면, 예를 들면 도 28에 도시하는 바와 같이 출혈부 후보가 추출된다. 도 28은, 출혈부 후보 판정 처리를 설명하는 도면이다. 도 28에서는, 예를 들면 i번째의 분할 영역(141)에 관한 8개의 주변 영역(143) 중, 분할 영역(141) 내에 엣지 특징량인 방향 D1imn을 화살표로 기재한 8개의 주변 영역(143)이 엣지라고 판정되어 있다.
또한, 엣지로 판정된 8개의 주변 영역(143) 모두가, θimn≤Thr6을 만족하고 있기 때문에, Cnt3/C3i는 1로 된다. Cnt3/C3i의 값이 Thr3으로서 설정되어 있는 0.7 이상이기 때문에, i번째의 분할 영역(141)은 출혈부 후보로 판정되어, θimn≤Thr6을 만족하는 8개의 주변 영역(143)은 출혈부 엣지 후보로 판정된다.
이상과 같이 하여 추출한 출혈부 후보에 관한 출혈부 결정 처리에서는, 제5 실시 형태와 마찬가지로, 출혈부 엣지 후보의 컬러 엣지 특징량에 기초하여 출혈부의 판정이 행해진다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, 출혈부 엣지 후보의 평가 대상으로 되는 주변 영역(143)에 폭을 갖게 하고 있기 때문에, 소면적의 출혈부 외에 타원형이나 아메바 형상 등 다양한 형상을 갖는 출혈부도 검출할 수 있어, 출혈부의 검출 정밀도가 더욱 향상된다.
(제7 실시 형태)
다음으로, 본 발명의 제7 실시 형태를 설명한다. 전술한 제5 실시 형태에서는, 배치 평가 영역(142)의 외곽의 전체 둘레 방향에 접하는 분할 영역(141)을 주변 영역(143)으로 했다. 이에 대하여, 본 실시 형태에서는, 배치 평가 영역(142)의 외곽의 대향하는 2변, 및, 대각선을 사이에 두고 대향하는 2직선 상에 배치되는 분할 영역(141)을 주변 영역(143)으로 하고 있다.
이에 의해, 출혈부가 띠 형상으로서, 내시경 화상에 출혈부의 일부만이 투영되어 있는 경우에도, 본 실시 형태에 따르면 출혈부를 검출하는 것이 가능하게 된다.
화상 처리 장치(1)의 전체 구성은, 화상 처리 프로그램(91)의 처리 내용이 제5 실시 형태에서의 화상 처리 프로그램(128)과 상이한 점을 제외하고, 제5 실시 형태와 동일하다. 이 때문에, 여기서는, 특징으로 되는 작용에 대해서만 설명하고, 동일한 구성 요소에 대해서는 동일한 부호를 붙이고 설명은 생략한다. 또한, 본 실시 형태에서는, 제5 실시 형태와 마찬가지로, 예를 들면 출혈부를 검출하는 경우에 대해서 설명한다.
본 실시 형태에서의 화상 해석 처리는, 출혈부 후보 추출 처리의 스텝 S423에서 설정하는 주변 영역(143)의 위치가 상이한 것과, 1개의 분할 영역(141)에 대 하여 설정하는 주변 영역(143)의 배치 패턴이, 도 29의 (a) 내지 (d)에 도시하는 바와 같이, 복수 설정되어 있는 점을 제외하면 제5 실시 형태와 동일하다.
즉, 스텝 S423에서 CPU(21)는, 도 29의 (a)에 도시하는 바와 같이, 스텝 S422에서 취득한 배치 평가 영역(142)에서, 상하 방향으로 대향하는 외곽의 2변에 접하는 분할 영역(141)을 주변 영역(143)으로서 취득하고, 스텝 S424 내지 스텝 S433의 출혈부 엣지 후보 판정 및 출혈부 후보 판정 처리를 행한다.
스텝 S433이 종료되면 CPU(21)는 스텝 S423으로 되돌아가서, 도 29의 (b)에 도시하는 바와 같이, 배치 평가 영역(142)에서, 좌우 방향으로 대향하는 외곽의 2변에 접하는 분할 영역(141)을 주변 영역(143)으로서 취득하고, 출혈부 엣지 후보 판정 및 출혈부 후보 판정 처리를 행한다.
마찬가지로, 도 29의 (c)에 도시하는 바와 같이, 좌측 위로부터 우측 하방향의 대각선을 사이에 두는 2직선 상에 위치하는 분할 영역(141)을 주변 영역(143)으로 하는 패턴, 도 29의 (d)에 도시하는 바와 같이, 우측 위로부터 좌측 하방향 대각선을 사이에 두는 2직선 상에 위치하는 분할 영역(141)을 주변 영역(143)으로 하는 패턴에 대해서도, CPU(21)는 출혈부 엣지 후보 판정 및 출혈부 후보 판정 처리를 행한다.
CPU(21)는 모든 주변 영역(143) 배치 패턴에 대해서 출혈부 엣지 후보 판정 및 출혈부 후보 판정 처리를 행한 후, 스텝 S434로 진행하여, 이 스텝 S434 이후의 처리를 행한다.
이상과 같이 하여 추출한 출혈부 후보에 관한 출혈부 결정 처리에서는, 제5 실시 형태와 마찬가지로, 출혈부 엣지 후보의 컬러 엣지 특징량에 기초하여 출혈부의 판정이 행해진다.
이와 같이, 본 실시 형태의 화상 처리 장치(1)에서는, 출혈부 후보의 평가 대상으로 되는 분할 영역(141)을 사이에 두고 대향하는 2직선 상에 배치된 분할 영역(141)을, 출혈부 엣지 후보의 평가 대상으로 되는 주변 영역(143)으로서 이용하도록 하고 있기 때문에, 출혈부가 띠 형상으로서, 내시경 화상에 출혈부의 일부만이 투영되어 있는 경우에도, 출혈부를 검출할 수 있어, 출혈부의 검출 정밀도가 더욱 향상된다.
이상과 같이, 상기 제5 내지 제7의 3개의 실시 형태에서는, 출혈성 영역으로서 출혈부를 추출하는 경우를 예로 들어서 설명했지만, 본 발명은, 전술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 변화시키지 않는 범위에서, 다양한 변경, 개변 등이 가능하다. 예를 들면 점막 표면의 발적부를 추출하는 경우에도 적용 가능하다.
생체 점막을 내시경 등에 의해 촬상한 의료용 화상에 대하여, 화상 처리에 의해, 그 복수의 색 정보를 이용하여 출혈성 영역을 객관적으로 검출할 수 있어, 시술자에 의한 진단을 지원할 수 있다.
본 출원은, 2005년 4월 27일에 일본에 출원된 특원 2005-130229호, 2005년 4월 27일에 일본에 출원된 특원 2005-130231호를 우선권 주장의 기초로서 출원하는 것이며, 상기의 개시 내용은, 본원 명세서, 청구의 범위, 도면에 인용된 것으로 한 다.

Claims (31)

  1. 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상의 화상 신호에 기초하여, 출혈성 영역의 윤곽부의 후보 영역을 추출하는 출혈성 엣지 후보 영역 추출부와,
    상기 의료용 화상을 분할한 복수의 소영역에서의 상기 후보 영역을 포함하는 소영역에서의 상기 화상 신호의 변동량의 산출에 기초하여, 상기 출혈성 영역이 갖는 특징량을 산출하는 특징량 산출부와,
    상기 특징량에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 출혈성 엣지 판정부
    를 구비한 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 출혈성 엣지 후보 영역 추출부는, 상기 의료용 화상을 분할한 복수의 소영역에서의 상기 화상 신호를 구성하는 복수의 색 신호의 평균값이 각각 소정의 범위 내에 존재하는지의 여부, 혹은 2개의 색 신호의 평균값의 비의 값이 소정의 범위 내에 존재하는지의 여부의 판정을 행하는 판정부를 갖고, 상기 판정부의 결과에 기초하여 상기 출혈성 영역의 윤곽부의 후보 영역을 추출하는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 특징량 산출부는, 상기 소영역 내에서의 적어도 1개의 색 신호의 휘도값이 최대로 변동하는 변동량의 값에 기초하여, 상기 특징량을 산출하는 것을 특징으로 하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 출혈성 엣지 판정부는, 상기 특징량에 기초하여 상기 후보 영역이, 상기 출혈성 영역 이외의 형상 영역의 윤곽부인지의 여부를 판정하는 형상 엣지 판정부와, 상기 특징량에 기초하여 상기 후보 영역이, 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 엣지 판정부를 포함하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 출혈성 엣지 판정부는, 상기 후보 영역에 인접하는 인접 영역에서의 상기 특징량을 산출하는 인접 영역 특징량 산출부를 더 포함하고, 상기 후보 영역의 상기 특징량과 상기 인접 영역의 상기 특징량의 비에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 출혈성 엣지 판정부는, 상기 후보 영역에 인접하는 인접 영역에서의 상 기 화상 신호에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 장치.
  7. 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상의 화상 신호에 기초하여, 출혈성 영역의 윤곽부의 후보 영역을 추출하는 출혈성 엣지 후보 영역 추출 스텝과,
    상기 의료용 화상을 분할한 복수의 소영역에서의 상기 후보 영역을 포함하는 소영역에서의 상기 화상 신호의 변동량의 산출에 기초하여, 상기 출혈성 영역이 갖는 특징량을 산출하는 특징량 산출 스텝과,
    상기 특징량에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 출혈성 엣지 판정 스텝
    을 구비한 것을 특징으로 하는 화상 처리 방법.
  8. 제7항에 있어서,
    상기 출혈성 엣지 후보 영역 추출 스텝은, 상기 의료용 화상을 분할한 복수의 소영역에서의 상기 화상 신호를 구성하는 복수의 색 신호의 평균값이, 각각 소정의 범위 내에 존재하는지의 여부, 혹은 2개의 색 신호의 평균값의 비의 값이 소정의 범위 내에 존재하는지의 여부의 판정을 행하는 판정 스텝을 갖고, 상기 판정 스텝의 결과에 기초하여 상기 출혈성 영역의 윤곽부의 후보 영역을 추출하는 것을 특징으로 하는 화상 처리 방법.
  9. 제7항에 있어서,
    상기 특징량 산출 스텝은, 상기 소영역 내에서의 1개의 색 신호의 휘도값이 최대로 변동되는 변동량에 기초하여, 상기 특징량을 산출하는 것을 특징으로 하는 화상 처리 방법.
  10. 제7항에 있어서,
    상기 특징량 산출부는, 상기 소영역에서의 2개의 색 신호의 변동량의 비율이 최대로 변동되는 변동량의 산출의 결과에 기초하여, 상기 특징량을 산출하는 것을 특징으로 하는 화상 처리 방법.
  11. 제10항에 있어서,
    상기 변동량의 산출에 이용되는 2개의 색 신호는, 적어도 G의 색 신호를 이용하는 변동량인 것을 특징으로 하는 화상 처리 방법.
  12. 제7항에 있어서,
    상기 출혈성 엣지 판정 스텝은, 상기 출혈성 영역 이외의 형상 영역의 윤곽부를 판정하는 형상 엣지 판정 스텝을 갖고, 상기 형상 엣지 판정 스텝에 의해 판정된 상기 형상 영역의 윤곽부를 제외하고 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 방법.
  13. 제7항에 있어서,
    상기 출혈성 엣지 판정 스텝은, 상기 출혈성 영역의 윤곽부를 판정하기 위한 사이즈의 임계값을 이용하여 상기 출혈성 영역의 윤곽부에 대한 판정을 행하는 것을 특징으로 하는 화상 처리 방법.
  14. 제7항에 있어서,
    상기 출혈성 엣지 판정 스텝은, 추출된 상기 후보 영역의 주변 영역에서 산출된 주변 영역 정보에 기초하여, 추출된 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 방법.
  15. 제7항에 있어서,
    상기 출혈성 엣지 판정 스텝은, 추출된 상기 후보 영역의 주변 영역에서 산출된 주변 영역 특징량과, 상기 후보 영역에서 산출된 특징량의 연속성의 평가 결과에 기초하여, 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 방법.
  16. 제7항에 있어서,
    상기 출혈성 엣지 판정 스텝은, 추출된 상기 후보 영역의 내측에서 산출된 내측 영역의 색조 평가 결과에 기초하여, 추출된 상기 후보 영역이 상기 출혈성 영 역의 윤곽부인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 방법.
  17. 제1항에 있어서,
    상기 출혈성 엣지는, 발적부의 엣지의 경우를 포함하는 것을 특징으로 하는 화상 처리 방법.
  18. 컴퓨터에,
    생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상의 화상 신호에 기초하여, 출혈성 영역의 윤곽부의 후보 영역을 추출하는 출혈성 엣지 후보 영역 추출 수순과,
    상기 의료용 화상을 분할한 복수의 소영역에서의 상기 후보 영역을 포함하는 소영역에서의 상기 화상 신호의 변동량의 산출에 기초하여, 출혈성 영역이 갖는 특징량을 산출하는 특징량 산출 수순과,
    상기 특징량에 기초하여, 상기 후보 영역이 상기 출혈성 영역의 윤곽부인지의 여부를 판정하는 출혈성 엣지 판정 수순
    을 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  19. 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상 신호에 대응하는 의료용 화상을 복수의 소영역으로 분할하고, 상기 복수의 소영역에 대하여 적어도 1개의 상기 색 신호로부터, 출혈성 영역의 윤곽부를 포함하는 소영역을 추출하고, 추출된 그 소영역을 출혈성 평가 영역으로서 설정하고, 또한 상기 출혈성 평가 영역의 주변에, 복수의 상기 소영역으로 이루어지는 평가 대상 영역을 설정하는 평가 영역 설정부와,
    상기 평가 대상 영역에서의 상기 색 신호의 변동량에 기초하여, 상기 평가 대상 영역으로부터 출혈성 엣지 후보 영역을 추출하고, 상기 평가 대상 영역에 대한 상기 출혈성 엣지 후보 영역의 비율로부터 상기 출혈성 평가 영역이 출혈성 후보 영역인지의 여부를 판정하는 출혈성 후보 영역 판정부와,
    상기 출혈성 엣지 후보 영역에서의 2개 이상의 상기 색 신호의 변동에 기초하여, 상기 출혈성 엣지 후보 영역으로부터 출혈성 영역의 윤곽부를 추출하고, 상기 출혈성 엣지 후보 영역에 대한 상기 출혈성 영역의 상기 윤곽부의 비율로부터 상기 출혈성 후보 영역이 상기 출혈성 영역인지의 여부를 판정하는 출혈성 영역 판정부
    를 구비한 것을 특징으로 하는 화상 처리 장치.
  20. 제19항에 있어서,
    상기 평가 영역 설정부는, 상기 소영역 내에서의 상기 색 신호의 휘도값의 변동량의 최대값을 산출하고, 그 최대값이 소정값을 초과하는 경우의 소영역을 상기 출혈성 평가 영역으로서 설정하는 것을 특징으로 하는 화상 처리 장치.
  21. 제19항에 있어서,
    상기 평가 영역 설정부는, 상기 평가 대상 영역을 상기 출혈성 평가 영역의 외주를 둘러싸는 폐곡선 상에 설정하는 것을 특징으로 하는 화상 처리 장치.
  22. 제21항에 있어서,
    상기 평가 영역 설정부는, 상기 출혈성 평가 영역의 외주를 둘러싸는 상기 폐곡선으로서, 상기 소영역 복수개분의 폭을 갖도록 설정하는 것을 특징으로 하는 화상 처리 장치.
  23. 제19항에 있어서,
    상기 평가 영역 설정부는, 상기 평가 대상 영역을 상기 출혈성 평가 영역을 사이에 두도록 대향하는 2개의 직선 상에 설정하는 것을 특징으로 하는 화상 처리 장치.
  24. 제19항에 있어서,
    상기 출혈성 후보 영역 판정부는, 상기 평가 대상 영역에서의 상기 색 신호의 휘도값이 최대로 변화되는 제1 방향을 산출하고, 그 제1 방향과 그 평가 대상 영역으로부터 상기 출혈성 평가 대상 영역을 향하는 제2 방향이 이루는 각도가 소정값 이하로 되는 그 평가 대상 영역을 상기 출혈성 엣지 후보 영역으로서 산출하는 것을 특징으로 하는 화상 처리 장치.
  25. 제24항에 있어서,
    상기 출혈성 후보 영역 판정부는, 상기 평가 대상 영역으로서 설정된 소영역의 수에 대하여, 상기 출혈성 엣지 후보 영역으로서 산출된 소영역의 수의 비율이 소정값을 초과하였는지의 여부에 의해 상기 출혈성 평가 영역이 출혈성 후보 영역인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 장치.
  26. 제19항에 있어서,
    상기 출혈성 영역 판정부는, 상기 출혈성 엣지 후보 영역에서의 적어도 G의 색 신호를 포함하는 2개의 색 신호의 휘도값의 변동량을 산출하고, 상기 2개의 색 신호의 변동량의 비율이 최대로 되는 최대값을 산출하고, 상기 최대값이 소정값을 초과했는지의 여부에 기초하여, 상기 출혈성 후보 영역이 상기 출혈성 영역인지의 여부를 판정하기 위해서 사용하는 잠정 영역을 산출하는 것을 특징으로 하는 화상 처리 장치.
  27. 제26항에 있어서,
    상기 출혈성 영역 판정부는, 상기 잠정 영역의 수가 출혈성 엣지 후보 영역의 수에 대하여 소정값을 초과하는 비율로 되는지의 여부에 의해, 상기 출혈성 후보 영역이 상기 출혈성 영역인지의 여부를 판정하는 것을 특징으로 하는 화상 처리 장치.
  28. 생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상 신호에 대응하는 의료용 화상을 복수의 소영역으로 분할하고, 상기 복수의 소영역에 대하여 적어도 1개의 상기 색 신호로부터, 출혈성 영역의 윤곽부를 포함하는 소영역을 추출하고, 추출된 그 소영역을 출혈성 평가 영역으로서 설정하고, 또한 상기 출혈성 평가 영역의 주변에, 복수의 소영역으로 이루어지는 평가 대상 영역을 설정하는 평가 영역 설정 스텝과,
    상기 평가 대상 영역에서의 상기 색 신호의 변동량에 기초하여, 상기 평가 대상 영역으로부터 출혈성 엣지 후보 영역을 추출하고, 상기 평가 대상 영역에 대한 상기 출혈성 엣지 후보 영역의 비율로부터 상기 출혈성 평가 영역이 출혈성 후보 영역인지의 여부를 판정하는 출혈성 후보 영역 판정 스텝과,
    상기 출혈성 엣지 후보 영역에서의 2개 이상의 상기 색 신호의 변동에 기초하여, 상기 출혈성 엣지 후보 영역으로부터 출혈성 영역의 윤곽부를 추출하고, 상기 출혈성 엣지 후보 영역에 대한 상기 출혈성 영역의 상기 윤곽부의 비율로부터 상기 출혈성 후보 영역이 상기 출혈성 영역인지의 여부를 판정하는 출혈성 영역 판정 스텝
    을 포함한 것을 특징으로 하는 화상 처리 방법.
  29. 제28항에 있어서,
    상기 평가 영역 설정 스텝은, 상기 소영역 내에서의 상기 색 신호의 휘도값의 변동량의 최대값을 산출하고, 그 최대값이 소정값을 초과하는 경우의 소영역을 상기 출혈성 평가 영역으로서 설정하는 것을 특징으로 하는 화상 처리 방법.
  30. 제28항에 있어서,
    상기 평가 영역 설정부는, 상기 평가 대상 영역을 상기 출혈성 평가 영역의 외주를 둘러싸는 폐곡선 상에 설정하는 것을 특징으로 하는 화상 처리 방법.
  31. 컴퓨터에,
    생체를 촬상한 복수의 색 신호로 이루어지는 의료용 화상 신호에 대응하는 의료용 화상을 복수의 소영역으로 분할하고, 상기 복수의 소영역에 대하여 적어도 1개의 상기 색 신호로부터, 출혈성 영역의 윤곽부를 포함하는 소영역을 추출하고, 추출된 그 소영역을 출혈성 평가 영역으로서 설정하고, 또한 상기 출혈성 평가 영역의 주변에, 복수의 상기 소영역으로 이루어지는 평가 대상 영역을 설정하는 평가 영역 설정 수순과,
    상기 평가 대상 영역에서의 상기 색 신호의 변동량에 기초하여, 상기 평가 대상 영역으로부터 출혈성 엣지 후보 영역을 추출하고, 상기 평가 대상 영역에 대한 상기 출혈성 엣지 후보 영역의 비율로부터 상기 출혈성 평가 영역이 출혈성 후보 영역인지의 여부를 판정하는 출혈성 후보 영역 판정 수순과,
    상기 출혈성 엣지 후보 영역에서의 2개 이상의 상기 색 신호의 변동에 기초하여, 상기 출혈성 엣지 후보 영역으로부터 출혈성 영역의 윤곽부를 추출하고, 상기 출혈성 엣지 후보 영역에 대한 상기 출혈성 영역의 상기 윤곽부의 비율로부터 상기 출혈성 후보 영역이 상기 출혈성 영역인지의 여부를 판정하는 출혈성 영역 판정 수순
    을 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
KR1020077024775A 2005-04-27 2006-03-14 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 기록 매체 KR100943367B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005130231A JP4855709B2 (ja) 2005-04-27 2005-04-27 画像処理装置、画像処理方法、及び画像処理プログラム
JPJP-P-2005-00130231 2005-04-27
JP2005130229A JP4832794B2 (ja) 2005-04-27 2005-04-27 画像処理装置及び画像処理プログラム
JPJP-P-2005-00130229 2005-04-27

Publications (2)

Publication Number Publication Date
KR20080002893A true KR20080002893A (ko) 2008-01-04
KR100943367B1 KR100943367B1 (ko) 2010-02-18

Family

ID=37307737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077024775A KR100943367B1 (ko) 2005-04-27 2006-03-14 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 기록 매체

Country Status (4)

Country Link
US (2) US7907775B2 (ko)
EP (2) EP1875855B1 (ko)
KR (1) KR100943367B1 (ko)
WO (1) WO2006117932A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5106928B2 (ja) * 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
CN101971210A (zh) * 2008-03-12 2011-02-09 皇家飞利浦电子股份有限公司 实时数字图像处理体系结构
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5336939B2 (ja) * 2009-06-15 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5290915B2 (ja) * 2009-09-03 2013-09-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460506B2 (ja) 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5747913B2 (ja) * 2010-05-17 2015-07-15 コニカミノルタ株式会社 放射線画像処理装置
JP5269921B2 (ja) * 2011-01-24 2013-08-21 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN103747718B (zh) * 2012-03-21 2016-03-30 奥林巴斯株式会社 图像处理装置
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210736A (ja) * 1992-01-31 1993-08-20 Olympus Optical Co Ltd 画像輪郭抽出方法
JPH0660182A (ja) * 1992-08-04 1994-03-04 Komatsu Ltd テクスチャ解析を用いた領域分割方法及び装置
JPH0737056A (ja) 1993-07-19 1995-02-07 Toshiba Corp 医用診断支援装置
US6621924B1 (en) * 1999-02-26 2003-09-16 Sony Corporation Contour extraction apparatus, a method thereof, and a program recording medium
EP1339017A4 (en) * 2000-12-01 2007-08-29 Japan Science & Tech Corp METHOD FOR DETERMINING NUCLEAR ZONES AND METHOD FOR ESTABLISHING NUCLEAR GENEALOGY
US20020177779A1 (en) * 2001-03-14 2002-11-28 Doron Adler Method and system for detecting colorimetric abnormalities in vivo
CN101264001B (zh) * 2003-04-25 2010-11-10 奥林巴斯株式会社 图像显示装置
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US20040240716A1 (en) * 2003-05-22 2004-12-02 De Josselin De Jong Elbert Analysis and display of fluorescence images
JP4287240B2 (ja) 2003-10-24 2009-07-01 日本無線株式会社 ベースバンド信号復調装置
JP2005130229A (ja) 2003-10-24 2005-05-19 Fuji Photo Film Co Ltd 撮像装置

Also Published As

Publication number Publication date
US20100316273A1 (en) 2010-12-16
EP1875855B1 (en) 2012-05-02
EP2224400A2 (en) 2010-09-01
EP2224400B1 (en) 2012-03-07
EP1875855A4 (en) 2010-10-13
US20090196495A1 (en) 2009-08-06
US7907775B2 (en) 2011-03-15
EP1875855A1 (en) 2008-01-09
US8204287B2 (en) 2012-06-19
KR100943367B1 (ko) 2010-02-18
WO2006117932A1 (ja) 2006-11-09
EP2224400A3 (en) 2010-10-13

Similar Documents

Publication Publication Date Title
KR100943367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 기록 매체
JP4767591B2 (ja) 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
US8743189B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP5106928B2 (ja) 画像処理装置および画像処理プログラム
EP1994878B1 (en) Medical image processing device and medical image processing method
US8705818B2 (en) Image processing device, computer readable storage medium storing image processing program, and image processing method
EP2305091B1 (en) Image processing apparatus, image processing program, and image processing method
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
CN101166456B (zh) 图像处理装置
EP2474949A1 (en) Image processing device, image processing method, and image processing program
US20130064436A1 (en) Medical image processing apparatus and method of operating medical image processing apparatus
JP4855709B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4855673B2 (ja) 医用画像処理装置
JP5622903B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
KR20220007667A (ko) 화상 해석 장치 및 화상 해석 방법
JP4856275B2 (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150119

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee