KR100991915B1 - 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체 - Google Patents

내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR100991915B1
KR100991915B1 KR1020077030955A KR20077030955A KR100991915B1 KR 100991915 B1 KR100991915 B1 KR 100991915B1 KR 1020077030955 A KR1020077030955 A KR 1020077030955A KR 20077030955 A KR20077030955 A KR 20077030955A KR 100991915 B1 KR100991915 B1 KR 100991915B1
Authority
KR
South Korea
Prior art keywords
endoscope
image
color tone
delete delete
bleeding
Prior art date
Application number
KR1020077030955A
Other languages
English (en)
Other versions
KR20080020652A (ko
Inventor
료꼬 이노우에
데쯔오 노나미
Original Assignee
올림푸스 메디칼 시스템즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올림푸스 메디칼 시스템즈 가부시키가이샤 filed Critical 올림푸스 메디칼 시스템즈 가부시키가이샤
Publication of KR20080020652A publication Critical patent/KR20080020652A/ko
Application granted granted Critical
Publication of KR100991915B1 publication Critical patent/KR100991915B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

내시경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 장치에서, 상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하고, 상기 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별함으로써, 대량으로 촬상된 내시경 관찰 장치에 의한 내시경 화상 중으로부터, 출혈 부위가 촬상된 화상을 용이하게, 또한 정확하게 추출하는 것이 가능한 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 제공한다.
내시경 관찰 장치, 네트워크 카드, 메모리, 기억 장치, 표시 장치, 조작 장치

Description

내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체{ENDOSCOPE DIAGNOSIS SUPPORTING METHOD, ENDOSCOPE DIAGNOSIS SUPPORTING DEVICE, AND RECORDING MEDIUM RECORDING ENDOSCOPE DIAGNOSIS SUPPORTING PROGRAM}
본 발명은, 관강 내를 자주(自走)하여 관찰 부위를 촬상하는 내시경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램에 관한 것으로, 특히 내시경 화상에 기초하여 출혈 부위를 특정함으로써 내시경 진단을 지원하는 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램에 관한 것이다.
종래, 내시경은 의료용 분야 및 공업용 분야에서 널리 채용되고 있다. 최근 의료용 내시경에는, 그 형상을 캡슐 형상으로 하여 삽입부를 불필요로 하고 있는, 소위 캡슐 내시경인 것이 있다. 이 캡슐 내시경은, 촬상 기능과 무선 통신 기능을 갖고 있고, 관찰(검사)을 위해 환자의 입으로부터 삼켜진 후, 인체로부터 자연 배출될 때까지의 관찰 기간 동안에, 위, 소장 등의 장기를 순차적으로 촬상하고, 촬상에 의한 화상 정보(화상을 표현하는 전자 데이터)를 순차적으로 외부에 무선 송신하는 것이다.
이와 같이 하여 무선 송신된 화상 정보는, 환자의 체외에 설치된 수신기에 의해 수신되어 소정의 메모리에 축적되게 되어 있고, 그 후 필요에 따라서 읽어내어 표시 장치에 표시하거나 함으로써, 의사의 진단 등에 이용할 수 있게 되어 있다.
그러나, 이와 같은 캡슐 내시경은, 통상의 내시경과 달리, 환자의 입으로부터 삼켜지고 나서 자연 배출될 때까지의 기간이 관찰 기간으로 되므로, 그 관찰 기간이 예를 들면 8시간 내지 10시간 이상이라고 한 상태로 장시간에 달하게 되어, 그 동안의 촬상에 의해 얻어진 화상 정보의 수는 방대하다.
이 점으로부터, 진단 등의 단계에서, 이와 같은 방대한 수의 화상 정보를 단시간에 파악하는 것은 용이하지 않고, 또한 방대한 수의 화상 정보 중으로부터 원하는 화상 정보, 예를 들면 질환 부위 등이 촬영된 화상에 관련하는 화상 정보를 찾아내는 것도 용이하지 않다.
또한, 캡슐 내시경에 한하지 않고, 통상의 내시경을 포함하는 내시경 검사에서의 진단은, 의사의 주관에 의존하고 있는 부분이 다대하며, 화상 진단의 품질의 향상 및 독영(讀影) 시간의 단축을 목적으로 한 출병(出病) 개소의 존재를 화상 데이터로부터 검출하는 컴퓨터 진단 지원(CAD:Computer Aided Diagnosis)의 실현이 요구되고 있다. 이 CAD를 이용한 내시경 진단 지원 장치는, 화상 내에서의 관심 영역(ROI:Region Of Interest)으로부터 산출된 다양한 특징량을 이용하고, 임계값 처리 혹은 통계적ㆍ비통계적 식별기를 이용하여 진단 대상으로 하는 화상이 어떠한 소견이나 병변으로 분류되는 것인지를 의사에게 제시함으로써, 객관적ㆍ정량적인 진단의 지원을 행하고, 또한 병변이 의심되는 화상을 선택함으로써 의사의 독영 부담을 경감하는 것이다.
이와 같은 내시경 화상을 이용한 진단에서, 출혈의 존재에는 다양한 병리학적인 이유가 고려되고, 출혈의 검출에서 몇 가지의 어프로치가 이용되어 왔다.
그 중 하나로, 출혈부의 색상, 채도, 명도의 샘플값과, 그 화상에서의 통상 점막의 색상, 채도, 명도의 샘플값을 미리 설정해 두고, 대상 영역의 값이 어느 쪽에 가까운 것인지를 판정함으로써, 통상 점막인 것인지 출혈부인 것인지를 판별하는 방법이 개시되어 있다(예를 들면, 특허 문헌 1 참조).
특허 문헌 1 : 국제 공개 제02/073507호 팜플렛
<발명의 개시>
그러나, 출혈부의 색상, 채도, 명도의 샘플값과, 그 화상에서의 통상 점막의 색상, 채도, 명도의 샘플값을 미리 설정해 두고, 대상 영역의 값이 어느 쪽에 가까운 것인지를 판정함으로써, 통상 점막인 것인지 출혈부인 것인지를 판별하는 방법은, 그 판별 결과가 샘플값에 의존하게 된다고 하는 문제점이 있었다.
본 발명은, 상기 사정을 감안하여 이루어진 것으로, 대량으로 촬상된 내시경 관찰 장치에 의한 내시경 화상 중으로부터, 출혈 부위가 촬상된 화상을 용이하게, 또한 정확하게 추출하는 것이 가능한 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 제공하는 것을 목적으로 하고 있다.
본 발명은, 상기 과제를 해결하기 위해, 하기와 같은 구성을 채용하였다.
즉, 본 발명의 일 양태에 따르면, 본 발명의 내시경 진단 지원 방법은, 내시 경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 장치에서 실행하는 내시경 진단 지원 방법으로서, 상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하고, 상기 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별하는 것을 특징으로 한다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 판별된 화상 영역을 포함하는 내시경 화상을 더 선택하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 출혈 부위를 판별할 때에, 상기 산출된 상기 내시경 화상을 구성하는 전체 화상 영역의 색조의 평균값과 각 화상 영역의 색조의 값을 비교함으로써, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 색조를 산출할 때에, 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 색조의 평균값을 산출하고, 상기 출혈 부위를 판별할 때에, 상기 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 산출된 평균값과 각 화상 영역의 색조의 값을 비교함으로써, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 출혈 부위를 판별할 때에, 상기 복수의 화상 영역간의 상위를 판단할 때, 상기 산출된 평균값과 각 화상 영역의 색조의 값에 소정 마진을 가한 값과 비교하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 소정 마진이, 변동 파라미터에 의해 동적으로 변동하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 변동 파라미터가, 표준 편차, 색도 변동 계수, 변동값 또는 그라디언트인 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 변동 파라미터가, 상기 산출한 평균 색도인 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 출혈 부위를 판별할 때에, 상기 산출된 상기 내시경 화상을 구성하는 전체 화상 영역의 색조의 평균값으로부터의 색도 편차에 기초하여, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 색조를 산출할 때에, 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 색조의 평균값으로부터의 색도 편차를 산출하고, 상기 출혈 부위를 판별할 때에, 상기 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 산출된 색도 편차에 기초하여, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 색조를 산출할 때에, 상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역 중 소정의 화상 영역의 색 신호로부터 색조를 산출하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 방법은, 상기 색조를 산출할 때에, 상기 내시경 화상을 구성하는 전체 화상 영역의 색조 분포 중 중심 부분을 이용하여 평 균값을 산출하는 것이 바람직하다.
또한, 본 발명의 일 양태에 따르면, 본 발명의 내시경 진단 지원 장치는, 내시경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 장치로서, 상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하는 색조 산출 수단과, 상기 색조 산출 수단에 의해 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별하는 출혈 부위 판별 수단과를 구비하는 것을 특징으로 한다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 출혈부 판별 수단에 의해 판별된 화상 영역을 포함하는 내시경 화상을 선택하는 출혈 내시경 화상 선택 수단을 더 구비하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 출혈 부위 판별 수단이, 상기 색조 산출 수단에 의해 산출된 상기 내시경 화상을 구성하는 전체 화상 영역의 색조의 평균값과 각 화상 영역의 색조의 값을 비교함으로써, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 색조 산출 수단이, 상기 출혈 내시경 화상 선택 수단에 의해 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 색조의 평균값을 산출하고, 상기 출혈 부위 판별 수단이, 상기 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 산출된 평균값과 각 화상 영역의 색조의 값을 비교함으로써, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 출혈 부위 판별 수단이, 상기 복수의 화상 영역간의 상위를 판단할 때, 상기 산출된 평균값과 각 화상 영역의 색조의 값에 소정 마진을 가한 값과 비교하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 소정 마진이, 변동 파라미터에 의해 동적으로 변동하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 변동 파라미터가, 표준 편차, 색도 변동 계수, 변동값 또는 그라디언트인 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 변동 파라미터가, 상기 산출한 평균 색도인 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 출혈 부위 판별 수단이, 상기 색조 산출 수단에 의해 산출된 상기 내시경 화상을 구성하는 전체 화상 영역의 색조의 평균값으로부터의 색도 편차에 기초하여, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 색조 산출 수단이, 상기 출혈 내시경 화상 선택 수단에 의해 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 색조의 평균값으로부터의 색도 편차를 산출하고, 상기 출혈 부위 판별 수단이, 상기 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 산출된 색도 편차에 기초하여, 상기 복수의 화상 영역간의 상위를 판단하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 색조 산출 수단이, 상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역 중 소정의 화상 영역의 색 신호로부터 색조를 산출하는 것이 바람직하다.
또한, 본 발명의 내시경 진단 지원 장치는, 상기 색조 산출 수단이, 상기 내시경 화상을 구성하는 전체 화상 영역의 색조 분포 중 중심 부분을 이용하여 평균값을 산출하는 것이 바람직하다.
또한, 본 발명의 일 양태에 따르면, 본 발명의 내시경 진단 지원 프로그램은, 내시경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 장치에서 실행시키기 위한 내시경 진단 지원 프로그램으로서, 상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하는 수순과, 상기 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별하는 수순을 실행시키기 위한 내시경 진단 지원 프로그램 또는 내시경 진단 지원 프로그램 제품이다.
도 1은 본 발명을 적용한 내시경 진단 지원 장치를 포함하는 캡슐 내시경 시스템의 전체 구성도.
도 2는 내시경 진단 지원 장치(7)의 시스템 구성을 설명하기 위한 도면.
도 3은 본 발명을 적용한 내시경 진단 지원 장치(7)가 실행하는 내시경 진단 지원 처리의 흐름(그 1)을 도시하는 플로우차트.
도 4는 출혈 부위를 포함하지 않는 화상의 색도 분포도.
도 5는 출혈 부위를 포함하는 화상의 색도 분포도.
도 6은 본 발명을 적용한 내시경 진단 지원 장치(7)가 실행하는 내시경 진단 지원 처리의 흐름(그 2)을 도시하는 플로우차트.
도 7은 통상 점막의 영역에만 기초하여 평균값을 산출하는 처리의 흐름을 설명하는 플로우차트.
도 8은 색도 분포의 중심 부근에 대한 영역에 기초하여 평균값을 산출하는 처리의 흐름을 설명하는 플로우차트.
도 9는 적색 성분에 대한 녹색 성분의 비g/r(i)의 분포를 나타내는 도면.
도 10은 영역의 위치 관계를 도시하는 도면.
도 11은 황색의 색도를 갖는 점막 영역에 존재하는 출혈 부위를 식별하는 내시경 진단 지원 처리의 흐름을 설명하는 플로우차트.
도 12는 복수의 카테고리에 의해 출혈 부위의 추출 조건이 서로 다른 예의 내시경 진단 지원 처리의 흐름을 설명하는 플로우차트.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하면서 본 발명의 실시 형태에 대해 설명한다.
도 1은, 본 발명을 적용한 내시경 진단 지원 장치를 포함하는 캡슐 내시경 시스템의 전체 구성도이다.
도 1에서, 캡슐 내시경 시스템(1)은, 패키지(3)에 패키지화된 캡슐형의 내시경 관찰 장치(2), 환자(4)에 착용시키는 재킷(5), 그 재킷(5)에 착탈 가능한 수신 기(6), 본 발명을 적용한 내시경 진단 지원 장치(7), CF(컴팩트 플래시(등록 상표)) 메모리 리더/라이터(8), 라벨 프린터(9), 내시경 파일링 장치(10), 및 LAN 등의 네트워크(11)에 의해 구성되어 있다.
내시경 관찰 장치(2)에는, 도시하지 않은 촬상부와 무선 통신부 등이 설치되고, 촬상부에 의해 촬상된 화상 정보(촬상 화상에 관련하는 화상 정보)가 무선 통신부에 의해 외부에 무선 송신 가능하게 설치되어 있다.
재킷(5)에는, 내시경 관찰 장치(2)의 무선 통신부로부터 송신되는 촬상 화상에 관련하는 화상 정보의 전파를 포착하는 안테나(5a, 5b, 5c, 5d)가 설치되고, 수신기(6) 사이에서 무선 혹은 케이블에 의한 유선으로 통신 가능하게 설치되어 있다.
수신기(6)에는, 재킷(5)으로부터 직접 전파로 화상 정보를 수신하는 경우에 이용되는 안테나(6a), 관찰(검사)에 필요한 정보를 표시하는 표시부(6b), 및 관찰(검사)에 필요한 정보를 입력하는 입력부(6c)가 설치되어 있다. 또한, 수신기(6)는, 수신한 화상 정보가 기억되는 CF 메모리(12)를 착탈 가능하게 장착할 수 있다.
내시경 진단 지원 장치(7)는, 본체(7a), 표시 장치(7b), 키보드(7c), 마우스(7d) 등으로 구성되고, 의사 등이 내시경 관찰 장치(2)에 의해 촬영된 환자몸 내의 장기 등의 화상에 기초하여 진단을 행하기 위한 처리 기능을 갖고 있다. 내시경 진단 지원 장치(7)는, 수신기(6), CF 메모리 리더/라이터(8), 라벨 프린터(9)와 각각 통신 가능하게 접속되는 인터페이스를 갖고 있고, CF 메모리(12)의 리드/라이트, 카르테 인쇄 등을 행한다. 또한, 내시경 진단 지원 장치(7)는, 예를 들면 수 신기(6)로부터 전송된 환자몸 내의 촬상 화상에 관련하는 화상 정보에 기초하여 표시부(7b)에 장기 등의 화상을 표시한다. 또한, 내시경 진단 지원 장치(7)는, 네트워크(11)에 접속하기 위한 통신 기능을 갖고 있고, 네트워크(11)를 통하여 내시경 파일링 장치(10)에 환자의 진찰 결과 등을 축적한다. 또한, 내시경 파일링 장치(10)는, 내시경 진단 지원 장치(7)에 내장되어 있어도 된다.
도 1에 도시한 바와 같이, 검사를 개시하기 전에서, 패키지(3)로부터 내시경 관찰 장치(2)가 취출되고, 환자(4)의 입으로부터 해당 내시경 관찰 장치(2)가 삼켜지면, 해당 내시경 관찰 장치(2)는 식도를 통과하여, 소화 관강의 연동에 의해 체강 내를 진행하여, 축차적으로 체강 내의 상을 촬상한다.
그리고, 필요에 따라서 또는 수시 촬상 결과에 대해 내시경 관찰 장치(2)로부터 촬상 화상에 관련하는 화상 정보의 전파가 출력되고, 재킷(5)의 각 안테나(5a, 5b, 5c, 5d)에서 그 전파가 포착된다. 수신 전파 강도가 높은 안테나(5a, 5b, 5c, 5d)로부터의 신호가 체외의 수신기(6)에 송신된다.
수신기(6)에서는, 축차적으로 수신되는 촬상 화상에 관련하는 화상 정보가 CF 메모리(12)에 저장된다. 또한, 이 수신기(6)는 내시경 관찰 장치(2)의 촬상 개시와는 동기하고 있지 않고, 입력부(6c)의 조작에 의해 수신 개시와 수신 종료가 제어된다. 또한, 촬상 화상에 관련하는 화상 정보로서는, 동화상적으로 표시하기 위해 복수 코마/초로 촬상한 정지 화상에 관련하는 화상 정보이어도 되고, 통상의 동화상에 관련하는 화상 정보이어도 되지만, 여기서는 정지 화상에 관련하는 화상 정보라고 한다.
내시경 관찰 장치(2)에 의한 환자(4)의 관찰(검사)이 종료되면, CF 메모리(12)에 저장되어 있는 촬상 화상에 관련하는 화상 정보가 케이블을 통하여 내시경 진단 지원 장치(7)에 전송된다. 혹은, 그 촬상 화상에 관련하는 화상 정보가 저장되어 있는 CF 메모리(12)가 CF 메모리 리더/라이터(8)에 장착되고, 촬상 화상에 관련하는 화상 정보가 CF 메모리 카드/라이터(8)를 통하여 내시경 진단 지원 장치(7)에 전송되도록 하는 것도 가능하다.
내시경 진단 지원 장치(7)에서는, 전송되어 온 촬상 화상에 관련하는 화상 정보가 환자별로 기억되고, 필요에 따라서 특정한 환자의 촬상 화상에 관련하는 화상 정보가 읽어내어져, 표시부(7b)에 의해 화상 표시된다. 이에 의해, 초음파 프로브, 통상의 내시경 등으로는 도달할 수 없는 체심부(소장 등)도 포함하고, 인체의 소화관의 전부에 걸쳐, 생리학적 연구의 유용한 데이터 획득이나 병변의 진단을 행할 수 있다.
그런데, 내시경 관찰 장치(2)는, 전술한 바와 같이 소화 관강의 연동에 맡겨 이동하는 것이므로, 이동과 정지를 반복하면서 촬상을 행한다. 따라서, 그 동안에 촬상된 화상 정보에 관련하는 화상의 총수는 방대하게 되지만, 시계열로 연속하는 화상은, 동일 혹은 대략 동일한 화상으로 되는 경우가 많아진다고 하는 특징을 갖고 있다.
내시경 진단 지원 장치(7)에서는, 이와 같은 시계열로 연속하는 화상이 동일 혹은 대략 동일한 화상으로 되는 다수의 화상을 표시할 때에, 그 다수의 화상을 용이하게 파악하는 데에 적합한 표시이며, 그 다수의 화상 중으로부터 원하는 화상, 예를 들면 질환 부위가 촬영된 화상을 용이하게 찾아내는 데에 적합한 표시를 행할 수 있게 되어 있다.
다음으로, 본 내시경 진단 지원 장치(7)의 구성 및 동작에 대해, 더욱 상세하게 설명한다.
도 2는, 내시경 진단 지원 장치(7)의 시스템 구성을 설명하기 위한 도면이다.
도 2에서, 화상 처리 및 정보 처리를 실행하는 내시경 진단 지원 장치의 본체(7a)는, 일반적으로 퍼스널 컴퓨터가 이용되고 있고, 생체 내를 촬상하여 화상 신호를 출력하는 내시경 관찰 장치(2)가 출력하는 화상 신호로부터 화상 데이터를 생성함과 함께 생성된 화상 데이터를 축적하는 내시경 파일링 장치(10)에 축적되어 있는 화상 데이터를 네트워크(11) 경유로 취득하고, 화상 데이터에 대해 각종 처리를 실행하고, 처리 결과를 표시 장치(7b)에 표시한다. 처리를 실행하는 화상 데이터의 지정, 지정된 화상 데이터의 취득 표시, 처리 실행의 지시는 키보드(7c) 및 마우스(7d)로 이루어지는 조작 장치를 이용한 조작에 의해 행해진다.
또한, 본체(7a)는, 제어ㆍ처리를 실행하는 CPU(21)와, 처리 프로그램ㆍ데이터를 기억하는 메모리(24)와, 하드디스크로 이루어지는 기억 장치(7e) 사이에서 정보의 읽기 쓰기를 실행하는 외부 기억 I/F(25)와, 외부 기기와의 통신을 실행하는 네트워크 카드(21)와, 조작 장치와의 입출력을 실행하는 조작 I/F(22)와, 표시 장치(7b)에 비디오 신호를 출력하는 그래픽 보드(26)가, 버스(27)에 접속되어 있고, 버스(27)를 통하여 상호 통신을 행한다.
네트워크 카드(21)는, LAN 상에 접속되어 있는 내시경 파일링 장치(10)와 데이터의 송수신을 행한다. 조작 I/F(22)는, 조작 장치인 키보드(7c) 및 마우스(7d)에 의해 입력된 입력 신호를 수취하여, 필요한 데이터 처리를 실행한다.
기억 장치(7e)는, 본체(7a)에 접속되어 있고, 해석 처리를 실행하는 내시경 진단 지원 프로그램을 저장하고 있다. 내시경 진단 지원 프로그램은, 복수의 실행 파일 또는 동적 링크 라이브러리 파일 또는 설정 파일로 구성되고, 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하고, 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별한다.
외부 기억 I/F(25), 기억 장치(7e)에 기억되어 있는 내시경 진단 지원 프로그램을 읽어들여, 메모리(24)에 기억시킨다.
CPU(23)는, 메모리(24)에 기억된 내시경 진단 지원 프로그램을 실행함으로써, 내시경 화상의 취득 및 내시경 진단 지원 처리를 포함하는 화상 해석 처리를 행한다.
다음으로, 도 3 내지 도 12를 이용하여 내시경 진단 지원 장치(7)가 실행하는 내시경 진단 지원의 동작에 대해 설명한다. 또한, 본 내시경 진단 지원의 동작은, 전술한 바와 같이 CPU(13)가 ROM(14)에 미리 저장되어 있는 제어 프로그램을 읽어내어 실행함으로써 행해지는 동작이다.
도 3은, 본 발명을 적용한 내시경 진단 지원 장치(7)가 실행하는 내시경 진단 지원 처리의 흐름(그 1)을 도시하는 플로우차트이다.
도 3에 도시한 내시경 진단 지원 처리는, 화상 정보에서의 평균 색도를 산출하고, 이 산출한 평균 색도로부터의 색도 편차에 기초하여, 혹은 절대 색도에 기초하여, 출혈 부위를 식별하는 것이다.
우선, 스텝 S31에서, 내시경 진단 지원 장치(7)는 내시경 파일링 장치(10)로부터, 또는 내시경 파일링 장치(10)로부터 데이터를 수신한 기억 장치(7e)로부터, 내시경 관찰 장치(2)가 촬상한 화상 정보를 취득한다.
스텝 S32에서, 스텝 S31에서 취득한 화상 데이터를 복수(예를 들면, M×N개)의 영역으로 분할한다. 여기서, 복수의 영역으로 분할한다라고 함은, 예를 들면 세로 288 화소×가로 288 화소의 화상 데이터를 분할하여 세로 8 화소×가로 8 화소의 영역을 세로 36×가로 36개로 분할하는 것을 말하며, 그 경우 M=36, N=36으로 된다.
스텝 S33 내지 S36에서, 스텝 S32에서 분할한 각 영역의 색도를 산출한다. 즉, 스텝 S33에서 변수 i에 1을 대입하여 처리를 개시하고, 스텝 S34 및 스텝 S35에서，i번째의 영역(i=1 내지 M×N)에서의 색도로서, 3원색 성분의 적색 성분에 대한 녹색 성분의 비(g/r(i)=G(i)/R(i))와 녹색 성분에 대한 청색 성분의 비(b/g(i)=B(i)/G(i))를 산출한다.
그리고, 스텝 S37에서, 스텝 S35에서 산출한 1번째부터 M×N번째까지의g/r(i)의 평균값 Mg/r 및 b/g(i)의 평균값 Mb/g를 산출한다.
다음으로, 스텝 S38 내지 S42에서, 스텝 S32에서 분할한 각 영역이 출혈 부위를 포함하고 있는지의 여부를 판단한다. 즉, 스텝 S38에서 변수 i에 1을 대입하 여 처리를 개시하고, 스텝 S39에서，g/r(i)이 Mg/r에 소정 마진을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진을 가한 값보다 큰지의 여부를 판단한다. g/r(i)이 Mg/r에 소정 마진(예를 들면, -0.1)을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진(예를 들면, -0.01)을 가한 값보다 크다고 판단한 경우(스텝 S39:"예")는, 스텝 S40에서，i번째의 영역은 출혈 부위를 포함하고 있다고 판단한다.
여기서, Mg/r에 소정 마진을 가하거나, Mb/g(i)에 소정 마진을 가하거나 한 것은, 도 4에 나타낸 출혈 부위를 포함하지 않는 화상의 색도 분포도와 도 5에 나타낸 출혈 부위를 포함하는 화상의 색도 분포도로부터 명백한 바와 같이, 적색 성분에 대한 녹색 성분의 비가 평균값 Mg/r에 소정 마진을 가한 값보다 작고, 또한 녹색 성분에 대한 청색 성분의 비가 평균값 Mb/g에 소정 마진을 가한 값보다 큰 영역이, 출혈 부위를 나타내기 때문이다. 또한，g/r(i)이 소정의 절대 출혈 임계값 Zg/r보다 작고, 또한 b/g(i)가 소정의 절대 출혈 임계값 Zb/g보다 크면, 평균값 Mg/r, Mb/g에 따르지 않고 i번째의 영역은 출혈 부위를 포함하고 있다고 판단하여도 된다. 이에 의해，대출혈 영역이 포함되기 때문에 평균값 Mg/r 및 Mb/g가 출혈 부위의 영역에 크게 치우치게 되는 경우에도 출혈 부위의 존재를 판단하는 것이 가능하게 된다.
이상이, 화상 정보에서의 평균 색도를 산출하고, 이 산출한 평균 색도로부터의 색도 편차에 기초하여, 혹은 절대 색도에 기초하여, 출혈 부위를 식별하는 내시경 진단 지원 처리에 대한 설명이다.
그런데, 출혈 부위가 존재하는 화상 데이터에서는, 화상 점막 평균값이 출혈 부위 쪽에 치우치게 되어, 이 평균값으로부터의 색도 편차를 이용함으로써 잘못된 출혈 부위의 식별을 하게 되는 가능성이 있다.
따라서, 이물이나 출혈 부위의 영향이 작은 통상 점막만의 화상 데이터로부터 화상 점막 평균값을 산출하는 것이 가능한 내시경 진단 지원 처리에 대해 설명한다.
도 6은, 본 발명을 적용한 내시경 진단 지원 장치(7)가 실행하는 내시경 진단 지원 처리의 흐름(그 2)을 도시하는 플로우차트이다.
우선, 스텝 S61 내지 S63에서, 시계열로 취득된 과거의 화상 데이터의 정보를 이용하여 점막 평균값을 산출한다. 구체적으로는, 스텝 S61에서, 과거에 취득한 화상 데이터를 시계열로 모두 취득하고, 스텝 S62에서, 취득한 화상 데이터 중 임의의 화상 데이터 Pj를 취득하고, 스텝 S63에서, 화상 데이터 Pj로부터 시계열적으로 1개 전부터 n개 전까지의 화상 데이터 Pj-1부터 Pj-n까지의 화상 데이터 중, 이미 내시경 진단 지원 처리에 의해 출혈 부위를 포함한다고 판단된 영역 이외의 영역(비출혈 부위인 영역)의 데이터를 이용하여, 평균 색도 Mg/r 및 Mb/g를 산출한다.
다음으로, 스텝 S64에서, 스텝 S62에서 취득한 화상 데이터 Pj를 복수(예를 들면, M×N개)의 영역, 예를 들면 세로 288 화소×가로 288 화소의 화상 데이터를 분할하여 세로 8 화소×가로 8 화소의 영역을 세로 36×가로 36개로 분할한다.
스텝 S65 내지 S70에서, 스텝 S62에서 분할한 각 영역의 색도를 산출하고, 그 각 영역이 출혈 부위를 포함하고 있는지의 여부를 판단한다. 즉, 스텝 S65에서 변수 i에 1을 대입하여 처리를 개시하고, 스텝 S66에서，i번째의 영역(i=1 내지 M×N)에서의 색도로서, 3원색 성분의 적색 성분에 대한 녹색 성분의 비(g/r(i)=G(i)/R(i))와 녹색 성분에 대한 청색 성분의 비(b/g(i)=B(i)/G(i))를 산출한다. 그리고, 스텝 S67에서，g/r(i)이 Mg/r에 소정 마진을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진을 가한 값보다 큰지의 여부를 판단한다. g/r(i)이 Mg/r에 소정 마진(예를 들면, -0.1)을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진(예를 들면, -0.01)을 가한 값보다 크다고 판단한 경우(스텝 S67:"예")는, 스텝 S68에서，i번째의 영역은 출혈 부위를 포함하고 있다고 판단한다.
이와 같이, 시계열로 취득되고, 이미 출혈 부위를 포함하고 있는지의 여부의 판단이 이루어진 과거의 화상 데이터에 기초하여 평균 색도 Mg/r 및 Mb/g를 산출함으로써, 관찰 대상의 부위에서의 통상 점막의 평균 색도에 기초한 내시경 진단 지원 처리를 실행할 수 있다.
또한, 분할된 영역 중 통상 점막에 속하는 영역에만 한정하고, 그들 영역의 평균값을 산출하는 것도 가능하다.
도 7은, 통상 점막의 영역에만 기초하여 평균값을 산출하는 처리의 흐름을 설명하는 플로우차트이다.
우선, 스텝 S71에서, 내시경 진단 지원 장치(7)는 내시경 파일링 장치(10)로부터, 또는 내시경 파일링 장치(10)로부터 데이터를 수신한 기억 장치(7e)로부터, 내시경 관찰 장치(2)가 촬상한 화상 정보를 취득한다.
그리고, 스텝 S72에서, 스텝 S71에서 취득한 화상 데이터를 복수(예를 들면, M×N개)의 영역, 예를 들면 세로 288 화소×가로 288 화소의 화상 데이터를 분할하여 세로 8 화소×가로 8 화소의 영역을 세로 36×가로 36개로 분할한다.
다음으로, 스텝 S73 내지 S78에서, 스텝 S72에서 분할한 각 영역의 색도를 산출하고, 그 각 영역이 통상 점막인지의 여부를 판단한다. 즉, 스텝 S73에서 변수 i에 1을 대입하여 처리를 개시하고, 스텝 S74에서，i번째의 영역(i=1 내지 M×N)에서의 색도로서, 3원색 성분의 적색 성분에 대한 녹색 성분의 비(g/r(i)=G(i)/R(i))와 녹색 성분에 대한 청색 성분의 비(b/g(i)=B(i)/G(i))를 산출한다. 그리고, 스텝 S75에서，g/r(i)이 소정값(thre11)보다 크고 또한 b/g(i)가 소정값(thre12)보다 큰지의 여부를 판단한다. g/r(i)이 소정값(thre11)보다 크고 또한 b/g(i)가 소정값(thre12)보다 크다고 판단한 경우(스텝 S75":"예")는, 스텝 S76에서，i번째의 영역은 통상 점막이라고 판단하여, 플래그를 세운다(변수 플래그에 값 NEN을 대입한다).
그리고, 스텝 S79에서, 스텝 S76에서 통상 점막이라고 판단된 영역, 즉 변수 flag에 값 NEN이 대입되어 있는 영역에 대한 평균 색도 Mg/r 및 Mb/g를 산출한다.
또한, 분할된 영역의 색도 분포를 참조하여, 이물이나 출혈 부위 등의 영향이 적을 것 같은 분포 중심 부근에 대한 평균값을 산출하는 것도 가능하다.
도 8은, 색도 분포의 중심 부근에 대한 영역에 기초하여 평균값을 산출하는 처리의 흐름을 설명하는 플로우차트이다.
우선, 스텝 S81에서, 내시경 진단 지원 장치(7)는 내시경 파일링 장치(10)로 부터, 또는 내시경 파일링 장치(10)로부터 데이터를 수신한 기억 장치(7e)로부터, 내시경 관찰 장치(2)가 촬상한 화상 정보를 취득한다.
스텝 S82에서, 스텝 S81에서 취득한 화상 데이터를 복수(예를 들면, M×N개)의 영역, 예를 들면 세로 288 화소×가로 288 화소의 화상 데이터를 분할하여 세로 8 화소×가로 8 화소의 영역을 세로 36×가로 36개로 분할한다.
스텝 S83 내지 S86에서, 스텝 S82에서 분할한 각 영역의 색도를 산출한다. 즉, 스텝 S83에서 변수 i에 1을 대입하여 처리를 개시하고, 스텝 S84 및 스텝 S85에서，i번째의 영역(i=1 내지 M×N)에서의 색도로서, 3원색 성분의 적색 성분에 대한 녹색 성분의 비(g/r(i)=G(i)/R(i))와 녹색 성분에 대한 청색 성분의 비(b/g(i)=B(i)/G(i))를 산출한다.
그리고, 스텝 S87에서, 스텝 S84에서 산출한 각 영역의 색도 중, 적색 성분에 대한 녹색 성분의 비g/r(i)을 오름차순으로 배열하고(도 9 참조), 스텝 S88에서, 아래로부터 소정 비율(x％) 이하의 부분 및 위로부터 소정 비율(y％) 이상의 부분을 제외하는 영역을 통상 점막으로서 정하고(도 9 참조), 스텝 S89에서, 스텝 S88에서 통상 점막이라고 정한 영역에 대한 평균값 Mg/r 및 b/g(i)의 평균값 Mb/g를 산출한다.
다음으로, 섬모 영역이나 위염 등의 만성 질환 영역에 의한, 점막의 색도 변동에 대한 출혈 부위의 오추출을 삭감하는 것이 가능한 내시경 진단 지원 처리에 대해 설명한다.
처리의 흐름은, 출혈 부위를 포함하는 영역의 추출 조건이 상이한 것 이외 는, 도 3 또는 도 6과 마찬가지이다. 즉, 도 3의 스텝 S39 또는 도 6의 스텝 S67에서 기재한 조건 「g/r(i)이 Mg/r에 소정 마진을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진을 가한 값보다 큰지의 여부」에서의 각 소정 마진이 상이하다.
도 3 또는 도 6에 도시한 예에서는，Mg/r에 가한 소정 마진을 『-0.1』, Mb/g(i)에 가한 소정 마진을 『-0.01』로 하였지만, 여기서는 Mg/r에 가하는 소정 마진을 『-0.1-A』, Mb/g(i)에 가하는 소정 마진을 『-0.01+B』로 한다.
변수 A는, 분할된 영역 i의 주변 영역에서의 g/r(i)의 값의 표준 편차×k이며, 변수 B는, 분할된 영역 i의 주변 영역에서의 b/g(i)의 값의 표준 편차×k이다. 즉, 편차가 큰 영역에서 출혈 부위의 추출 조건이 더 엄격해져, 섬모 영역이나 위염 등의 만성 질환 영역에 의한, 점막의 색도 변동에 대한 출혈 부위의 오검출을 삭감하는 것이 가능하게 된다.
또한, 변수 A를, 분할된 영역 i의 주변 영역에서의 g/r(i)의 값의 변동 계수×k로 하고, 변수 B를, 분할된 영역 i의 주변 영역에서의 b/g(i)의 값의 변동 계수×k로 하여도 된다.
또한, 변수 A는, 도 10에 도시한 바와 같은 분할 영역 i 내의 8 방향(도 10의 방향(1) 내지 방향(8))에서의 G 변동/R 변동의 최대값×k, 변수 B는, 분할 영역 i 내의 (8) 방향(도 10의 방향(1) 내지 방향(8))에서의 B 변동/G 변동의 최대값×k로 하여도 된다. 또한, 여기서 G 변동=loge(G')―loge(G), R 변동=loge(R')―loge(R)로 한다.
또한, 변수 A 및 변수 B는, 분할 영역 i에서의 그라디언트×k를 이용하여도 된다.
다음으로, 장액 등에 덮여진 황색의 색도를 갖는 점막 영역에 존재하는 출혈 부위를 식별하는 예를 설명한다. 장액 등으로 덮여진 황색의 색도를 갖는 점막 영역에 존재하는 출혈 부위의 색도 편차는, 통상의 점막 영역에 존재하는 출혈 부위의 색도 편차는 서로 다른 특징을 갖기 때문에, 출혈 부위를 식별하기 위한 조건을 변경할 필요가 있다.
도 11은, 황색의 색도를 갖는 점막 영역에 존재하는 출혈 부위를 식별하는 내시경 진단 지원 처리의 흐름을 설명하는 플로우차트이다.
우선, 스텝 S111에서, 내시경 진단 지원 장치(7)는 내시경 파일링 장치(10)로부터, 또는 내시경 파일링 장치(10)로부터 데이터를 수신한 기억 장치(7e)로부터, 내시경 관찰 장치(2)가 촬상한 화상 정보를 취득한다.
스텝 S112에서, 스텝 S111에서 취득한 화상 데이터를 복수(예를 들면, M×N개)의 영역, 예를 들면 세로 288 화소×가로 288 화소의 화상 데이터를 분할하여 세로 8 화소×가로 8 화소의 영역을 세로 36×가로 36개로 분할한다.
스텝 S113 내지 S116에서, 스텝 S112에서 분할한 각 영역의 색도를 산출한다. 즉, 스텝 S113에서 변수 i에 1을 대입하여 처리를 개시하고, 스텝 S114 및 스텝 S115에서，i번째의 영역(i=1 내지 M×N)에서의 색도로서, 3원색 성분의 적색 성분에 대한 녹색 성분의 비(g/r(i)=G(i)/R(i))와 녹색 성분에 대한 청색 성분의 비(b/g(i)=B(i)/G(i))를 산출한다.
그리고, 스텝 S117에서, 스텝 S115에서 산출한 1번째부터 M×N번째까지의 g/r(i)의 평균값 Mg/r 및 b/g(i)의 평균값 Mb/g를 산출한다.
다음으로, 스텝 S118에서, 스텝 S117에서 산출한 평균값 Mb/g가 소정값(α)보다 작은지의 여부를 판단하고, 작다고 판단된 경우(스텝 S118:"예")는, 스텝 S119에서, 그 화상 데이터는 장액 등에 덮여진 황색의 색도를 갖는 점막의 화상이라고 판단한다.
마지막으로, 스텝 S120 내지 S124에서, 스텝 S112에서 분할한 각 영역이 출혈 부위를 포함하고 있는지의 여부를 판단한다. 즉, 스텝 S120에서 변수 i에 1을 대입하여 처리를 개시하고, 스텝 S121에서，g/r(i)이 Mg/r에 소정 마진을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진을 가한 값보다 큰지의 여부를 판단한다. g/r(i)이 Mg/r에 소정 마진(예를 들면, -0.1)을 가한 값보다 작고 또한 b/g(i)가 Mb/g에 소정 마진(예를 들면, 0.03)을 가한 값보다 크다고 판단한 경우(스텝 S121:"예")는, 스텝 S122에서，i번째의 영역은 출혈 부위를 포함하고 있다고 판단한다.
다음으로, 화상에서의 분할 영역을 복수의 카테고리로 분류하고, 카테고리 마다의 점막 평균 색도를 산출하고, 각각의 카테고리에 의해 출혈 부위의 추출 조건이 서로 다른 예에 대해 설명한다. 이 예는, 1개의 화상에 복수의 카테고리에 속하는 영역이 혼재하는 경우에 최적의 추출 조건을 선택할 수 있어, 출혈 부위의 검출 정밀도를 올리는 것이 가능하게 된다.
도 12는, 복수의 카테고리에 의해 출혈 부위의 추출 조건이 서로 다른 예의 내시경 진단 지원 처리의 흐름을 설명하는 플로우차트이다.
우선, 스텝 S131에서, 내시경 진단 지원 장치(7)는 내시경 파일링 장치(10)로부터, 또는 내시경 파일링 장치(10)로부터 데이터를 수신한 기억 장치(7e)로부터, 내시경 관찰 장치(2)가 촬상한 화상 정보를 취득한다.
스텝 S132에서, 스텝 S131에서 취득한 화상 데이터를 복수(예를 들면, M×N개)의 영역으로 분할한다. 여기서, 복수의 영역으로 분할한다고 함은, 예를 들면 세로 288 화소×가로 288 화소의 화상 데이터를 분할하여 세로 8 화소×가로 8 화소의 영역을 세로 36×가로 36개로 분할하는 것을 말하며, 그 경우 M=36, N=36으로 된다.
그리고, 스텝 S133에서, 각 영역에서의 영역 특징량을 산출한다. 예를 들면 영역 특징량으로서, i번째의 영역(i=1 내지 M×N)에서의 3원색 성분의 녹색 성분에 대한 청색 성분의 비(b/g(i)=B(i)/G(i))를 산출한다.
다음으로, 스텝 S134에서, 스텝 S133에서 산출한 영역 특징량에 기초하여, 각 영역이 속하는 카테고리를 식별한다. 예를 들면, 녹색 성분에 대한 청색 성분의 비b/g(i)가, 소정값보다 크면 통상 점막의 영역의 카테고리인 것으로서 분류하여 플래그를 세우고(변수 클래스(i)=1을 대입함), 녹색 성분에 대한 청색 성분의 비b/g(i)가, 소정값 이하이면 황색 점막의 영역의 카테고리인 것으로서 분류하여 플래그를 세운다(변수 클래스(i)=2를 대입한다. 카테고리의 수를 나타내는 K=2). 또한, 영역 특징량으로서 복수의 특징량을 산출하고, 식별기를 이용하여 복수의 카테고리로 분류하여도 된다.
그리고, 스텝 S135에서, 분할된 영역 i의 영역 색도를 산출한다. 예를 들 면, 영역 색도로서, i번째의 영역(i=1 내지 M×N)에서의 g/r(i), b/g(i)를 산출한다.
다음으로, 스텝 S136 내지 S141에서, 스텝 S132에서 분할하여 스텝 S134에서 카테고리로 분류한, 각 카테고리의 각 영역이 출혈 부위를 포함하고 있는지의 여부를 판단한다. 즉, 스텝 S136에서 변수 j에 1을 대입하여 처리를 개시하고, 스텝 S137에서 우선 제1번째의 카테고리에서의 평균 색도로서, 분할 영역 i의 1번째부터 M×N번째까지의 영역 중 제1번째의 카테고리에 속하는 영역(변수 class(i)=1)의g/r(i)의 평균값 Mg/r(1) 및 g/r(i)의 평균값 Mg/r(1)을 산출한다. 그리고, 스텝 S138 내지 S139에서, 제1번째의 카테고리에 속하는 영역(변수 class(i)=1)에서, 제1번째의 카테고리의 출혈부 검출 조건식을 적용한다. 즉 제1번째의 카테고리는 통상 점막이므로, 제1번째의 카테고리에 속하는 ⅰ번째의 영역(ⅰ=1 내지 M×N, 변수 class(i)=1)에서，g/r(i)이 Mg/r(1)에 소정 마진을 가한 값보다 작고 또한 b/g(i)가 Mb/g(1)에 소정 마진을 가한 값보다 큰지의 여부를 판단한다. g/r(i)이 Mg/r(1)에 소정 마진(예를 들면, -0.1)을 가한 값보다 작고 또한 b/g(i)가 Mb/g(1)에 소정 마진(예를 들면, -0.01)을 가한 값보다 크다고 판단한 i번째의 영역은 출혈 부위를 포함하고 있다고 판단한다. 그리고, 분할 영역 i의 1번째부터 M×N번째까지의 영역 중 제1번째의 카테고리에 속하는 모든 영역에 대해 제1번째의 카테고리의 출혈부 검출 조건식을 적용하고, 출혈 부위를 포함하고 있는지의 여부를 판단한다. 스텝 S141에서 변수 j를 인크리먼트하고, 스텝 S137 내지 S139의 처리를 2번째 이후의 카테고리에도 적용하고, 모든 카테고리에 대한 처리를 실행하여 종료 한다.
이상, 본 발명을 적용한 실시 형태를 설명하여 왔지만, 본 발명이 적용되는 내시경 진단 지원 장치는, 그 기능이 실행되는 것이라면, 상술한 실시 형태에 한정되지 않고, 단체의 장치이어도, 복수의 장치로 이루어지는 시스템 혹은 통합 장치이어도, LAN, WAN 등의 네트워크를 통하여 처리가 행해지는 시스템이어도 되는 것은 물론이다.
즉, 본 발명은, 이상으로 설명한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위 내에서 여러 가지의 구성 또는 형상을 취할 수 있다.
본 발명에 따르면, 대량으로 촬상된 내시경 관찰 장치에 의한 내시경 화상 중으로부터, 출혈 부위가 촬상된 화상을 용이하게, 또한 정확하게 추출하는 것이 가능하게 된다.

Claims (26)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 내시경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 장치로서,
    상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하는 색조 산출 수단과,
    상기 색조 산출 수단에 의해 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별하는 출혈 부위 판별 수단
    을 구비하고,
    상기 출혈 부위 판별 수단은, 상기 색조 산출 수단에 의해 산출된 상기 내시경 화상을 구성하는 전체 화상 영역의 색조의 평균값과 각 화상 영역의 색조의 값을 비교함으로써, 상기 복수의 화상 영역간의 상위를 판단하고,
    상기 색조 산출 수단은, 상기 출혈 내시경 화상 선택 수단에 의해 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 색조의 평균값을 산출하고, 상기 출혈 부위 판별 수단은, 상기 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 산출된 평균값과 각 화상 영역의 색조의 값을 비교함으로써, 상기 복수의 화상 영역간의 상위를 판단하는 것을 특징으로 하는 내시경 진단 지원 장치.
  17. 제16항에 있어서,
    상기 출혈 부위 판별 수단은, 상기 복수의 화상 영역간의 상위를 판단할 때, 상기 산출된 평균값과 각 화상 영역의 색조의 값에 소정 마진을 가한 값과 비교하는 것을 특징으로 하는 내시경 진단 지원 장치.
  18. 제17항에 있어서,
    상기 소정 마진은, 변동 파라미터에 의해 동적으로 변동하는 것을 특징으로 하는 내시경 진단 지원 장치.
  19. 제18항에 있어서,
    상기 변동 파라미터는, 표준 편차, 색도 변동 계수, 변동값 또는 그라디언트인 것을 특징으로 하는 내시경 진단 지원 장치.
  20. 제18항에 있어서,
    상기 변동 파라미터는, 상기 산출한 평균 색도인 것을 특징으로 하는 내시경 진단 지원 장치.
  21. 삭제
  22. 내시경 관찰 장치가 촬상한 내시경 화상에 기초하여 행해지는 내시경 진단을 지원하기 위한 내시경 진단 지원 장치로서,
    상기 내시경 화상을 분할함으로써 얻어진 복수의 각 화상 영역의 색 신호로부터 색조를 산출하는 색조 산출 수단과,
    상기 색조 산출 수단에 의해 산출된 각 화상 영역의 색조에 기초하여 상기 복수의 화상 영역간의 상위를 판단함으로써 출혈 부위를 포함하는 화상 영역을 판별하는 출혈 부위 판별 수단
    을 구비하고,
    상기 출혈 부위 판별 수단은, 상기 색조 산출 수단에 의해 산출된 상기 내시경 화상을 구성하는 전체 화상 영역의 색조의 평균값으로부터의 색도 편차에 기초하여, 상기 복수의 화상 영역간의 상위를 판단하고,
    상기 색조 산출 수단은, 상기 출혈 내시경 화상 선택 수단에 의해 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 색조의 평균값으로부터의 색도 편차를 산출하고, 상기 출혈 부위 판별 수단은, 상기 과거에 선택된 내시경 화상 이외의 내시경 화상에 기초하여 산출된 색도 편차에 기초하여, 상기 복수의 화상 영역간의 상위를 판단하는 것을 특징으로 하는 내시경 진단 지원 장치.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR1020077030955A 2005-06-01 2006-04-20 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체 KR100991915B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00162023 2005-06-01
JP2005162023A JP4767591B2 (ja) 2005-06-01 2005-06-01 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム

Publications (2)

Publication Number Publication Date
KR20080020652A KR20080020652A (ko) 2008-03-05
KR100991915B1 true KR100991915B1 (ko) 2010-11-04

Family

ID=37481363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077030955A KR100991915B1 (ko) 2005-06-01 2006-04-20 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체

Country Status (6)

Country Link
US (1) US8581973B2 (ko)
EP (1) EP1897483A4 (ko)
JP (1) JP4767591B2 (ko)
KR (1) KR100991915B1 (ko)
CN (1) CN100558289C (ko)
WO (1) WO2006129430A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1643906A2 (en) * 2003-06-12 2006-04-12 University of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
EP2412300B1 (en) * 2005-12-28 2014-03-26 Olympus Medical Systems Corp. Image processing device and image processing method in image processing device
CN101621956B (zh) * 2007-02-22 2013-08-14 奥林巴斯医疗株式会社 被检体内导入系统
JP5312807B2 (ja) 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4760883B2 (ja) * 2008-09-25 2011-08-31 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5305850B2 (ja) 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
DE102010006741A1 (de) * 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
JP5452300B2 (ja) * 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5011452B2 (ja) * 2010-04-12 2012-08-29 オリンパスメディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の制御方法
US8768024B1 (en) * 2010-06-01 2014-07-01 Given Imaging Ltd. System and method for real time detection of villi texture in an image stream of the gastrointestinal tract
US8922633B1 (en) 2010-09-27 2014-12-30 Given Imaging Ltd. Detection of gastrointestinal sections and transition of an in-vivo device there between
US8965079B1 (en) 2010-09-28 2015-02-24 Given Imaging Ltd. Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween
KR102201603B1 (ko) 2012-07-25 2021-01-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템
JP5622903B2 (ja) * 2013-08-05 2014-11-12 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
CN108289599B (zh) * 2015-11-25 2020-08-11 奥林巴斯株式会社 内窥镜系统和拍摄方法
JP6669539B2 (ja) * 2016-03-11 2020-03-18 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
TWI616180B (zh) * 2016-06-29 2018-03-01 國立成功大學 上消化道出血偵測裝置及方法
KR102014355B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술도구의 위치 정보 산출 방법 및 장치
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
CN109117890B (zh) * 2018-08-24 2020-04-21 腾讯科技（深圳）有限公司 一种图像分类方法、装置和存储介质
WO2020100630A1 (ja) 2018-11-14 2020-05-22 富士フイルム株式会社 医療画像処理システム
CN110689014B (zh) * 2019-10-14 2022-02-11 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
KR102360615B1 (ko) * 2019-11-05 2022-02-09 주식회사 인피니트헬스케어 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
JP6855610B2 (ja) * 2020-02-27 2021-04-07 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521693A (ja) 2001-03-14 2004-07-22 ギブン・イメージング・リミテッド 生体内での比色分析の異常を検出するための方法およびシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5932824A (ja) * 1982-08-18 1984-02-22 Sanyo Electric Co Ltd 色度差検出装置
JPH01101962A (ja) * 1987-10-15 1989-04-19 Olympus Optical Co Ltd 経内視鏡分光診断装置
JP2918162B2 (ja) * 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2001037718A (ja) * 1999-05-26 2001-02-13 Olympus Optical Co Ltd 画像診断装置及び内視鏡装置
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
US7356190B2 (en) * 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US7282723B2 (en) * 2002-07-09 2007-10-16 Medispectra, Inc. Methods and apparatus for processing spectral data for use in tissue characterization
US7200252B2 (en) * 2002-10-28 2007-04-03 Ventana Medical Systems, Inc. Color space transformations for use in identifying objects of interest in biological specimens
US7071689B2 (en) 2002-12-04 2006-07-04 The Johns Hopkins University Methods for multiple acquisitions with global inversion cycling for vascular-space-occupancy dependant and apparatuses and devices related thereto
US7538761B2 (en) * 2002-12-12 2009-05-26 Olympus Corporation Information processor
JP2004188026A (ja) * 2002-12-12 2004-07-08 Olympus Corp 情報処理装置
CN100431475C (zh) * 2003-04-25 2008-11-12 奥林巴斯株式会社 图像显示装置、图像显示方法以及图像显示程序
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
EP2412300B1 (en) * 2005-12-28 2014-03-26 Olympus Medical Systems Corp. Image processing device and image processing method in image processing device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521693A (ja) 2001-03-14 2004-07-22 ギブン・イメージング・リミテッド 生体内での比色分析の異常を検出するための方法およびシステム

Also Published As

Publication number Publication date
WO2006129430A1 (ja) 2006-12-07
US8581973B2 (en) 2013-11-12
US20070135715A1 (en) 2007-06-14
JP4767591B2 (ja) 2011-09-07
EP1897483A1 (en) 2008-03-12
KR20080020652A (ko) 2008-03-05
JP2006334115A (ja) 2006-12-14
EP1897483A4 (en) 2011-02-23
CN100558289C (zh) 2009-11-11
CN101184430A (zh) 2008-05-21

Similar Documents

Publication Publication Date Title
KR100991915B1 (ko) 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체
US7907775B2 (en) Image processing apparatus, image processing method and image processing program
JP4493386B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
EP1994878B1 (en) Medical image processing device and medical image processing method
EP1849402B1 (en) Medical image processing device, lumen image processing device, lumen image processing method, and programs for them
US8900124B2 (en) Image display device
JP4914680B2 (ja) 画像表示装置
EP2163183A1 (en) Image processing device, image processing program and image processing method
JP2010115413A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP4749732B2 (ja) 医用画像処理装置
JP4554647B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP3984230B2 (ja) 画像情報の表示処理装置、その表示処理方法及び表示処理プログラム
JP4855709B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4547401B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2006166990A (ja) 医用画像処理方法
JP4547402B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
WO2022180786A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
AU2008200088A1 (en) Image Display Apparatus, Image Display Method and Image Display Program
Kho et al. Gastrointestinal endoscopy colour-based image processing technique for bleeding, lesion and reflux
JP2007075154A (ja) 画像表示装置
JP2011072811A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee