KR102521889B1 - 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체 - Google Patents

화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR102521889B1
KR102521889B1 KR1020207011068A KR20207011068A KR102521889B1 KR 102521889 B1 KR102521889 B1 KR 102521889B1 KR 1020207011068 A KR1020207011068 A KR 1020207011068A KR 20207011068 A KR20207011068 A KR 20207011068A KR 102521889 B1 KR102521889 B1 KR 102521889B1
Authority
KR
South Korea
Prior art keywords
luminance
image
interest
image processing
rgb
Prior art date
Application number
KR1020207011068A
Other languages
English (en)
Other versions
KR20200053591A (ko
Inventor
사토미 키도구치
타카시 나카마에
레오 아오키
Original Assignee
에이조 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이조 가부시키가이샤 filed Critical 에이조 가부시키가이샤
Priority to KR1020237000895A priority Critical patent/KR20230010842A/ko
Publication of KR20200053591A publication Critical patent/KR20200053591A/ko
Application granted granted Critical
Publication of KR102521889B1 publication Critical patent/KR102521889B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

[과제] 의사 등의 사용자에게 위화감 없이 그리고 시인성이 높은 화상을 생성함에 있어서 유익한 화상처리를 실행 가능한 화상처리장치, 화상처리방법 및 화상처리 프로그램을 제공하는 것.
[해결 수단] 화상처리장치로서, 가중치 부여 결정부와, 휘도 산출부를 포함하되, 해당 화상처리장치에 입력된 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서, 상기 가중치 부여 결정부는, 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고, 상기 휘도 산출부는, 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도를 산출하는, 화상처리장치가 제공된다.

Description

화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체
본 발명은 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체에 관한 것이다.
표시장치에 소망의 화상을 표시하고, 이것을 무엇인가의 검사 등에 사용하는 경우는 많이 존재한다. 예를 들면, 의료분야에 있어서의 내시경의 이용을 들 수 있다. 내시경 분야에서는 혈관 시인성 향상 기술이 많이 개발되고 있다. 예를 들면, 특허문헌 1에 개시된 바와 같은 혈관 시인성 향상에 따른 종래 기술에서는, 혈관을 눈으로 인식하기 쉽도록 굳이 본래의 색과는 다른 색(가짜색)으로 변환시킴으로써, 시인성을 향상시키고 있다. 구체적으로는, 내시경 화상에서는 가장 많은 경향이 있는 R성분(적색성분)을 제거, 혹은 감쇠시키고, G성분(녹색성분) 및 B성분(청색성분)을 상대적으로 두드러지게 해서 표시함으로써, 화상을 시인하는 의사 등의 사용자에 있어서의 시인성을 향상시키고 있다.
일본국 공개특허 특개2012-055412호 공보
그러나, 전술한 바와 같은 종래 기술에서는, 본래의 색과는 다른 색으로 표시하고 있으므로, 의사 등의 사용자에게 위화감을 일으키는 등의 문제점도 있다. 보다 자연스럽고 그리고 시인성이 높은 화상의 제시가 요구되고 있다고 할 수 있다.
본 발명은, 이러한 사정을 감안해서 이루어진 것으로, 의사 등의 사용자에게 위화감 없이 그리고 시인성이 높은 화상을 생성함에 있어서 유익한 화상처리를 실행할 수 있는 화상처리장치, 화상처리방법 및 화상처리 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 관점에 따르면, 화상처리장치로서, 가중치 부여 결정부와, 휘도 산출부를 포함하되, 해당 화상처리장치에 입력된 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서, 상기 가중치 부여 결정부는 상기 주목 영역 내에서의 각 RGB 성분의 다소(多少)에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고, 상기 휘도 산출부는 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도를 산출하는, 화상처리장치가 제공된다.
이 관점에 따른 화상처리장치에서는, 가중치 부여 결정부가 입력 화상에 있어서의 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고, 휘도 산출부가 각 가중치 부여 계수에 의거하여 주목 영역에 포함되는 각 픽셀의 휘도를 산출하는 것을 특징으로 한다. 이와 같이 산출된 휘도를 이용함으로써, 의사 등의 사용자에게 보다 위화감 없이 그리고 시인성이 높은 화상을 생성할 수 있다는 효과를 발휘한다.
이하, 본 발명의 각종 실시형태를 예시한다. 이하에 나타내는 실시형태는 서로 조합 가능하다.
바람직하게는, 상기 주목 영역 내에서의 상기 각 RGB 성분의 비율을 순서 무관하게 a, b, c(단, a≥b≥c를 충족시킴)라 하고, 이들에 대응하는 각 가중치 부여 계수를 W_a, W_b, W_c라 하면, W_a≤W_b≤W_c인 것을 특징으로 한다.
바람직하게는, 상기 입력 화상은 시계열에 복수의 프레임을 갖는 동화상이며, 상기 가중치 부여 결정부는 상기 입력 화상의 현재 또는 과거의 프레임에 있어서의 상기 주목 영역을 이용하여 상기 가중치 부여 계수를 결정하고, 상기 휘도 산출부는 현재의 프레임에 있어서의 상기 각 픽셀의 휘도를 산출한다.
바람직하게는, 제1 변환부와, 제2 변환부를 더 포함하되, 상기 제1 변환부는 상기 RGB 색공간에서 표현되는 입력 화상을 명도 또는 휘도를 파라미터에 포함하는 별도의 색공간에서 표현되는 화상으로 변환하고, 상기 제2 변환부는 상기 휘도 산출부에 의해 산출된 상기 휘도를 보정된 명도 또는 보정된 휘도로 하여, 이것과 상기 제1 변환부에 의해서 변환된 화상에 있어서의 명도 또는 휘도 이외의 파라미터에 의거하여 상기 별도의 색공간에서 표현되는 화상을 상기 RGB 색공간에서 표현되는 출력 화상으로 역변환한다.
바람직하게는, 제1 변환부와, 블렌드 연산부와, 제2 변환부를 더 포함하되, 상기 제1 변환부는 상기 RGB 색공간에서 표현되는 입력 화상을, 명도 또는 휘도를 파라미터에 포함하는 별도의 색공간에서 표현되는 화상으로 변환하고, 상기 블렌드 연산부는 상기 제1 변환부에 있어서 변환된 화상에 있어서의 명도 또는 휘도와, 상기 휘도 산출부에 의해 산출된 상기 휘도를 소정의 블렌드율로 블렌딩함으로써 보정된 명도 또는 보정된 휘도인 보정 명도 또는 보정 휘도를 산출하고, 상기 제2 변환부는 상기 보정 명도 또는 보정 휘도와 상기 제1 변환부에 의해서 변환된 화상에 있어서의 명도 또는 휘도 이외의 파라미터에 의거하여 상기 RGB 색공간에서 표현되는 출력 화상으로 역변환한다.
바람직하게는, 상기 블렌드율은 상기 제1 변환부에 의해서 변환된 화상에 있어서의 상기 주목 영역 내에서의 상기 명도 또는 휘도와 상기 휘도 산출부에 의해 산출된 상기 휘도의 비율에 의거하여 결정된다.
바람직하게는, 상기 가중치 부여 결정부는 상기 주목 영역 내에서의 상기 RGB 성분에 관련되는 전체의 평균치와 상기 각 RGB 성분의 평균치와의 각 차분(差分)에 의거하여 상기 가중치 부여 계수를 각각 결정한다.
바람직하게는, 상기 가중치 부여 결정부는 상기 각 차분의 표시에 의거하여 상기 가중치 부여 계수를 각각 결정하고, 상기 표시에 관계되는 함수는 n차 함수(n≥1), 대수 함수, 지수 함수를 포함한다.
본 발명의 다른 관점에 따르면, 화상처리방법으로서, 가중치 부여 결정 단계와, 휘도 산출 단계를 포함하되, 해당 화상처리방법에서 취급하는 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서, 상기 가중치 부여 결정 단계에서는, 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고, 상기 휘도 산출 단계에서는, 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도를 산출하는, 화상처리방법이 제공된다.
이 관점에 따른 화상처리방법에서는, 가중치 부여 결정 단계에서 입력 화상에 있어서의 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고, 휘도 산출 단계에서 각 가중치 부여 계수에 의거하여 주목 영역에 포함되는 각 픽셀의 휘도를 산출하는 것을 특징으로 한다. 이와 같이 산출된 휘도를 이용함으로써, 의사 등의 사용자에게 보다 위화감 없이 그리고 시인성이 높은 화상을 생성할 수 있다는 효과를 발휘한다.
본 발명의 다른 관점에 따르면, 컴퓨터에, 소정의 기능을 실현시키는 화상처리 프로그램으로서, 상기 소정의 기능은, 가중치 부여 결정 기능과, 휘도 산출 기능을 포함하고, 상기 컴퓨터에 입력된 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서, 상기 가중치 부여 결정 기능에 따르면, 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수가 각각 결정되고, 상기 휘도 산출 기능에 따르면, 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도가 산출되는, 화상처리 프로그램이 제공된다.
이 관점에 따른 화상처리 프로그램에서는, 가중치 부여 결정 기능에 따르면 입력 화상에 있어서의 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 각 RGB 성분에 대응하는 가중치 부여 계수가 각각 결정되고, 휘도 산출 기능에 따르면 각 가중치 부여 계수에 의거하여 주목 영역에 포함되는 각 픽셀의 휘도가 산출되는 것을 특징으로 한다. 이와 같이 산출된 휘도를 이용함으로써, 의사 등의 사용자에게 보다 위화감 없이 그리고 시인성이 높은 화상을 생성할 수 있다는 효과를 발휘한다.
도 1은 본 발명의 제1 및 제2 실시형태 공통에 따른 화상처리장치(3)를 이용한 시스템(1)의 구성 개요를 도시하는 도면이다.
도 2는 본 발명의 제1 및 제2 실시형태 공통에 따른 적응 처리부(35), 색상채도 산출부(36), 변환 출력부(37)에 의한 처리 흐름을 도시하는 블록선도이다.
도 3은 본 발명의 제1 실시형태에 따른 적응 처리부(35)의 처리 흐름을 도시하는 블록선도이다.
도 4는 가중치 부여 결정부(35a)의 처리 흐름을 도시하는 블록선도이다.
도 5는 입력 화상(I)의 RGB 성분의 일례를 도시하는 개요도이다.
도 6은 휘도 산출부(35b)의 처리 흐름을 도시하는 블록선도이다.
도 7은 제1 실시형태에 따른 적응 처리부(35)에 있어서 확인되는 과제를 나타내는 도면이고, 특히 도 7A는 입력 화상(I), 도 7B는 출력 화상(O)을 나타내고 있다.
도 8은 본 발명의 제2 실시형태에 따른 적응 처리부(35)의 처리 흐름을 도시하는 블록선도이다.
도 9는 블렌드율 결정부(35d)의 처리 흐름을 도시하는 블록선도이다.
도 10은 블렌드율(α)의 결정에 사용되는 규칙의 일례를 나타내는 그래프이다.
도 11은 블렌드 연산부(35e)의 처리 흐름을 도시하는 블록선도이다.
도 12는 도 7A 및 도 7B와의 비교 화상이며, 특히 도 12A는 입력 화상(I), 도 12B는 출력 화상(O)을 나타내고 있다.
도 13은 R성분을 많이 포함하는 풍경화상에 제2 실시형태에 따른 화상처리장치(3)를 이용하여 화상처리를 실행했을 경우를 나타내고 있고, 특히 도 13A는 입력 화상(I), 도 13B는 V성분을 추출한 중간화상, 도 13C는 출력 화상(O)을 나타내고 있다.
이하, 본 발명의 실시형태에 대해서 도면을 참조하면서 상세히 설명한다. 특히, 본 명세서에 있어서 "부"란, 예를 들어, 광의의 회로에 의해서 실시되는 하드웨어 자원과, 이들 하드웨어 자원에 의해서 구체적으로 실현될 수 있는 소프트웨어의 정보처리를 합한 것을 가리킬 수 있다.
또, 광의의 회로란, 회로(circuit), 회로류(circuitry), 프로세서(Processor) 및 메모리(Memory) 등을 적어도 적당히 조합시키는 것에 의해서 실현되는 회로이다. 즉, 특정 용도용 집적 회로(Application Specific Integrated Circuit: ASIC), 프로그래머블 논리 디바이스(예를 들어, 단순 프로그래머블 논리 디바이스(Simple Programmable Logic Device: SPLD), 복합 프로그래머블 논리 디바이스(Complex Programmable Logic Device: CLPD) 및 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array: FPGA)) 등을 포함하는 것에 유의하기 바란다.
또한, 본 명세서에서는, 화상처리장치 등에 입력된 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 해당 입력 화상은, RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의하는 것으로 한다. 또한, 화상이란, 정지화상/동화상을 모두 포함하는 것으로 하고, 동화상의 경우에 있어서는 특별히 지정이 없는 한 그 중의 1 프레임을 가리키는 것으로 한다.
또한, 하기에 상세히 기술하는 실시형태에 있어서는, 여러 가지 정보나 이것을 포함하는 개념을 취급하지만, 이들은, 0 또는 1로 구성되는 2진수의 비트 집합체로서 신호값의 고저에 의해서 표시되고, 광의의 회로상에서 통신·연산이 실행될 수 있는 것이다. 구체적으로는, "주목 영역", "가중치 부여 계수", "휘도 Y", "RGB 성분", "색상 H", "채도 S", "명도 V", "블렌드율" 등이, 이러한 정보/개념에 포함될 수 있다. 이들에 대해서는, 재차 필요에 따라서 상세하게 설명하는 것으로 한다.
1. 시스템(1)(전체 구성)
도 1은 본 발명의 실시형태(제1 및 제2 실시형태 공통)에 따른 화상처리장치(3)를 이용한 시스템(1)의 구성 개요를 도시하는 도면이다. 시스템(1)은 내시경 시스템(2)과, 화상처리장치(3)와, 표시부(4)를 구비한다.
1.1 내시경 시스템(2)
내시경 시스템(2)은 내시경(21)과, 화상처리부(22)를 구비한다. 내시경(21)은 도시하지 않은 비전 센서(카메라)를 구비하고, 예를 들면, 이것을 피검체의 구강부에서부터 복부를 향해서 삽입함으로써, 피검체의 복부 등을 촬상 가능하게 구성된다. 또, 정보처리라는 관점에 있어서, 촬상된 화상 데이터는 2차원의 화소의 집합체(픽셀 배열)이다. 또한, 화상처리부(22)는 내시경(21)에 의해서 촬상된 화상 데이터에 소정의 화상 처리를 실시한다. 예를 들면, 내시경(21)에 의해 촬상된 화상 데이터 중 특히 시계열에 있어서 인접하는 2프레임을 이용하여, 화상에 중첩하고 있는 잡음을 저감하는 3D 잡음 저감(noise reduction) 처리 등이 포함될 수 있다.
1.2 화상처리장치(3)
화상처리장치(3)는 내시경 시스템(2)으로부터 송신된 화상 데이터에 대해서 소정의 화상처리를 실행하는 장치이다. 화상처리장치(3)는, 제어부(31)와, 기억부(32)와, 입력부(33)와, 송수신부(34)와, 적응 처리부(35)와, 색상채도 산출부(36)와, 변환 출력부(37)를 구비하고, 이들이 통신 버스(3B)를 통해 접속되어 있다. 이하, 구성 요소(31 내지 37)를 각각 상세히 기술한다.
<제어부(31)>
제어부(31)는 화상처리장치(3)에 관련되는 전체 동작의 처리·제어를 행한다. 제어부(31)는, 예를 들어, 도시하지 않은 중앙처리장치(Central Processing Unit: CPU)이다. 제어부(31)는, 기억부(32)에 기억된 소정의 프로그램을 독출함으로써, 화상처리장치(3) 내지는 시스템(1)에 관련되는 각종 기능을 실현한다. 예를 들면, 소정의 프로그램을 독출해서, 내시경(21)의 실시간의 표시 화상을 포함하는 그래픽 유저 인터페이스(Graphical User Interface: GUI)의 화면을 표시부(4)에 표시시키는 것이 포함된다.
또, 도 1에 있어서는, 단일의 제어부(31)로서 표기되어 있지만, 실제로는 이것으로 한정되는 것은 아니고, 기능마다 복수의 제어부(31)를 구비하도록 실시해도 된다. 또한 이들의 조합이어도 된다.
<기억부(32)>
기억부(32)는, 전술한 바와 같이, 제어부(31)에 의해 실현시키기 위한 각종 프로그램 등을 기억한다. 이것은, 예를 들어, 하드 디스크 드라이브(Hard Disk Drive: HDD) 또는 솔리드 스테이트 드라이브(Solid State Drive: SSD) 등의 저장 디바이스로서 실시될 수 있다. 또 기억부(32)는, 프로그램의 연산에 관계되는 일시적으로 필요한 정보(인수, 배열 등)를 기억하는 랜덤 액세스 메모리(Random Access Memory: RAM) 등의 메모리로서도 실시될 수 있다. 또한, 이들의 조합이어도 된다.
<입력부(33)>
입력부(33)는, 예를 들어, 화상처리장치(3) 자체에 포함되는 것이어도 되고, 외부 부착되는 것이어도 된다. 예를 들면, 입력부(33)는 터치패널로서 실시될 수 있다. 혹은, 스위치 버튼, 마우스, 키보드 등의 사용자 인터페이스를 채용해도 된다. 입력부(33)를 통해, 조작자(예를 들어, 의사)의 지시(커맨드)를 수신한다. 해당 지시는, 통신 버스(3B)를 통해 제어부(31)에 전송되고, 제어부(31)가 필요에 따라서 소정의 제어나 연산을 실행할 수 있다. 해당 지시의 일례로서, 조작자는, 입력부(33)를 통해, 표시부(4)에 표시되어 있는 내시경(21)이 촬상 중인 화상을 일시정지시킬 수 있다. 즉, 내시경 시스템(2)에 있어서, 내시경(21)이 화상의 촬상을 일시정지(중단)시킬 수 있고, 한편으로 화상처리부(22)가 3D 잡음 저감을 실시할 수 있다. 이 결과, 일시정지된 경우, 3D 잡음 저감이 되어 있지 않은 화상이, 시스템(1)의 송수신부(34)에 송신되는 것으로 된다.
<송수신부(34)>
송수신부(34)는, 화상처리장치(3)와, 화상처리장치(3) 이외의 외부기기의 통신을 위한 유닛이다. 즉, 송수신부(34)를 통해, 내시경 시스템(2)으로부터 입력 화상이 되는 화상 데이터를 수신하고, 이것을 화상처리(상세는 후술)한 후, 출력 화상으로서 표시부(4)에 송신할 수 있다. 또, 송수신부(34)에 의한 통신은, 화상 데이터로 한정되는 것은 아니다. 예를 들면, 유선 LAN 네트워크 통신, 블루투스(Bluetooth) 통신, 무선 LAN 네트워크 통신 등을 포함하는 복수의 통신 수단의 집합체로서 통신 대상에 대해서 적절한 통신 규격을 포함하도록 실시하는 것이 바람직하다.
<적응 처리부(35)>
도 2는, 본 발명의 제1 및 제2 실시형태 공통에 따른 적응 처리부(35), 색상채도 산출부(36), 변환 출력부(37)에 의한 처리 흐름을 도시하는 블록선도이다. 적응 처리부(35)는, 송수신부(34)를 통해 내시경 시스템(2)으로부터 수신한 입력 화상(RGB 공간에서 표현된 것: 별도의 색공간으로부터 변환되어 처리 직전에 있어서 RGB 공간에서 표현되어 있는 것을 포함함)에 소정의 적응 처리를 실행해서, 보정된 명도 V(Value)인 보정 명도 V1을 산출한다. 적응 처리부(35)의 구성에 관한 더 한층의 상세나, 보정 명도 V1에 대해서는, 제2절에 있어서 다시 설명한다.
<색상채도 산출부(36)>
색상채도 산출부(36)(청구범위에 있어서의 "제1 변환부"의 일례)는, 송수신부(34)를 통해 내시경 시스템(2)으로부터 수신한 입력 화상(RGB 공간에서 표현된 것)으로부터, 해당 입력 화상의 색상 H(Hue)와 채도 S(Saturation)를 산출한다. 또한, 색상 H, 채도 S, 명도 V를 파라미터로 하는 색공간은, 일반적으로 HSV 색공간(청구범위에 있어서의 "별도의 색공간"의 일례)이라 지칭되고 있다.
<변환 출력부(37)>
변환 출력부(37)(청구범위에 있어서의 "제2 변환부"의 일례)는, 도 2에 나타낸 바와 같이, 적응 처리부(35)에 있어서 산출된 보정 명도 V1과, 색상채도 산출부(36)에 있어서 산출된 색상 H, 채도 S로 이루어진 중간화상(HSV 색공간에서 표현된 것)으로부터, RGB 성분을 각각 산출함으로써, RGB 색공간에서 표현된 소망의 출력 화상으로 역변환한다. 또, 이러한 출력 화상이 통신 버스(3B) 및 송수신부(34)를 통해 표시부(4)에 송신되고, 표시부(4)가 해당 출력 화상을 표시한다.
1.3 표시부(4)
표시부(4)는, 화상처리장치(3)에 의해 화상처리된 화상 데이터가 입력되면, 각 픽셀 데이터(각 픽셀이 지니는 휘도 등의 정보)에 의거하여 이것을 영상으로서 표시하는 매체이며, 예를 들면 LCD 모니터, CRT 모니터, 유기EL 모니터 등이어도 된다. 또, 화상처리장치(3)가 표시부(4)를 포함해도 된다.
2. 적응 처리부(35)
적응 처리부(35)는 하기와 같이 제1 및 제2 실시형태를 포함할 수 있다. 각각의 실시형태에 따른 적응 처리부(35)에 대해서 이하 상세히 기술하는 것으로 한다.
2.1 제1 실시형태
도 3은 본 발명의 제1 실시형태에 따른 적응 처리부(35)의 처리 흐름을 도시하는 블록선도이다. 도 3에 나타낸 바와 같이, 적응 처리부(35)는 가중치 부여 결정부(35a)와 휘도 산출부(35b)를 구비한다.
<가중치 부여 결정부(35a)>
도 4는 가중치 부여 결정부(35a)의 처리 흐름을 도시하는 블록선도이다. 또한, 도 5는 입력 화상(I)의 RGB 성분의 일례를 도시하는 개요도이다. 가중치 부여 결정부(35a)는 휘도 Y의 산출에 이용되고, 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정한다. 구체적으로는, 이하와 같은 처리가 실행되는 것으로 된다.
[시작]
(단계 S1-1)
입력 화상(I)의 주목 영역(여기서는 입력 화상(I)의 전체 픽셀: 동화상이면 1프레임 분량) 내에 있어서의 전체 픽셀의 각 RGB 성분 및 전체 성분의 평균치를 각각 산출한다. 예를 들면, 각 RGB 성분은, 8비트(0 내지 255)의 정수값을 취하는 것으로서, 도 5에 나타낸 4×4 픽셀의 입력 화상(I)에서는, R성분의 평균치 R_avg = 172.5, G성분의 평균치 G_avg = 95.0, B성분의 평균치 B_avg = 50.0, 및 전체 성분의 평균치 A_avg ≒ 105.8이 산출되는 것으로 된다. 물론 실제로 취급하는 입력 화상(I)은, 이것보다도 훨씬 해상도가 높은 화상인 것은 말할 필요도 없다. 다음 단계인 단계 S1-2로 진행된다.
(단계 S1-2)
계속해서, 각 RGB 성분 R_avg, G_avg, B_avg와 전체의 평균치 A_avg의 차분R_sub, G_sub, B_sub를 계산한다. 즉, 도 5에 나타낸 예에 있어서는, R_sub = 66.7, G_sub = -10.8, B_sub = -55.8이 된다. 다음 단계인 단계 S1-3으로 진행된다.
(단계 S1-3)
계속해서, 단계 S1-2에 있어서 산출된 차분 R_sub, G_sub, B_sub에 선형 사상(寫像) 변환(1차 함수에의 대입)을 함으로써, 각 RGB 성분에 대응하는 가중치 부여 계수 W_r, W_g, W_b가 결정될 수 있다(식 (1) 내지 식 (3)).
W_r = m×R_sub+n (1)
W_g = m×G_sub+n (2)
W_b = m×B_sub+n (3)
[종료]
특히 여기에서는, 가중치 부여 결정부(35a)는, 주목 영역(여기서는 입력 화상(I)의 전체 픽셀: 동화상이면 1프레임 분량) 내에서의 각 RGB 성분의 다소에 의거하여 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고 있는 것을 특징으로 하는 것에 유의하기 바란다.
또, 단계 S1-3에 있어서의 선형 사상 변환의 기울기 m은, 음의 값을 취하도록 설정된다. 즉, 각 RGB 성분 R_avg, G_avg, B_avg의 대소관계와, 이들에 대응하는 각 가중치 부여 계수 W_r, W_g, W_b의 대소관계는 역순에 대응하는 것에 유의하기 바란다. 도 5에 나타낸 예이면, R_avg > G_avg > B_avg(청구범위에 있어서의 a, b, c의 일례)이기 때문에, W_r < W_g < W_b(청구범위에 있어서의 W_a, W_b, W_c의 일례)를 충족시키는 것이 된다. 또, m, n(절편)은 미리 실시된 시험·연구 결과 등에 의거하여 적당히 결정되는 것이 바람직하다.
<휘도 산출부(35b)>
도 6은 휘도 산출부(35b)의 처리 흐름을 도시하는 블록선도이다. 휘도 산출부(35b)는, 도 6에 나타낸 바와 같이, 가중치 부여 결정부(35a)에 의해서 결정된 가중치 부여 계수 W_r, W_g, W_b를 이용하여, 입력 화상(I)의 각 픽셀의 휘도 Y를 산출한다. 여기서 휘도 Y는 식 (4)와 같이 정의된다.
Y = W_r×R, W_g×G, W_b×B (4)
여기서, R, G, B는 각 픽셀에 있어서의 RGB 성분 각각의 값(예를 들면 0 내지 255의 정수값)이다.
또, 제1 실시형태에서는 각 픽셀의 휘도 Y를 보정 명도 V1로서 취급한다. 즉, 변환 출력부(37)에 있어서, 휘도 Y(보정 명도 V1)와, 색상채도 산출부(36)에 있어서 산출된 색상 H, 채도 S로 이루어진 중간화상(HSV 색공간에서 표현된 것)으로부터, RGB 성분을 각각 산출함으로써, RGB 색공간에서 표현된 소망의 출력 화상(O)이 생성된다.
이러한 출력 화상(O)은 색상 H나 채도 S에 대해서 원래의 입력 화상(I)의 정보를 유지하고 있다. 즉, 제1 실시형태에 따른 화상처리장치(3)를 포함하는 시스템(1)에 따르면, 본래의 색을 유지한 후에 보다 시인성이 높은 화상을 생성하고, 이것을 표시부(4)에 표시시킬 수 있다는 효과를 발휘한다.
도 7A 및 도 7B는 제1 실시형태에 따른 적응 처리부(35)에 있어서 확인되는 과제를 나타내는 도면이며, 특히 도 7A는 입력 화상(I), 도 7B는 출력 화상(O)을 나타내고 있다. 제1 실시형태에 있어서는 각 RGB 성분의 다소가 휘도 Y의 산출에 영향을 미치는 것으로 되지만, 화상에 따라서는, 노출부족(blocked-up shadows)이 일어나는 등의 폐해도 확인되어 있다. 예를 들면, 도 7A와 같이, 1색(여기에서는 R성분이라 함)으로 이루어진 그라데이션(gradation) 화상(좌측에서 우측을 향해서 서서히 색성분이 커지는 예)을 입력 화상(I)이라 하면, 제1 실시형태에 따른 적응 처리부(35)를 포함하는 화상처리장치(3)에 있어서 출력되는 출력 화상(O)은, W_r이 매우 작아지고, 또한 단색화상(G성분, B성분이 모두 0)이기 때문에, 도 7B에 나타낸 바와 같이, 노출부족이 발생되어 버린다. 이러한 문제를 해결하기 위해서는, 제2.2절에 있어서 설명하는 제2 실시형태가 바람직하다.
2.2 제2 실시형태
도 8은 본 발명의 제2 실시형태에 따른 적응 처리부(35)의 처리 흐름을 도시하는 블록선도이다. 도 8에 나타낸 바와 같이, 적응 처리부(35)는 가중치 부여 결정부(35a)와, 휘도 산출부(35b)와, 명도 산출부(35c)와, 블렌드율 결정부(35d)와, 블렌드 연산부(35e)를 구비한다. 또, 가중치 부여 결정부(35a) 및 휘도 산출부(35b)의 구성이나 동작은, 제1 실시형태와 거의 마찬가지이기 때문에, 필요에 따라서 제2.1절에 있어서의 설명을 다시 참조하기 바란다.
<명도 산출부(35c)>
명도 산출부(35c)(청구범위에 있어서의 "제1 변환부"의 일례)는 입력 화상(I)의 각 픽셀의 명도 V를 산출한다. 여기서 명도 V는 식 (5)와 같이 정의된다.
V=Max [R, G, B] (5)
여기서, R, G, B는 각 픽셀에 있어서의 RGB 성분 각각의 값(예를 들면 0 내지 255의 정수값)이다.
<블렌드율 결정부(35d)>
도 9는 블렌드율 결정부(35d)의 처리 흐름을 도시하는 블록선도이다. 블렌드율 결정부(35d)는, 휘도 산출부(35b)에서 산출된 휘도 Y와, 명도 산출부(35c)에서 산출된 명도 V를 블렌딩(상세한 것은, 블렌드 연산부(35e)의 동작을 참조)함에 있어서 사용할 수 있는 블렌드율을 결정한다. 구체적으로는, 이하와 같은 처리가 실행되는 것으로 된다.
[시작]
(단계 S2-1)
입력 화상(I)의 주목 영역(여기서는 입력 화상(I)의 전체 픽셀: 동화상이면 1프레임 분량) 내에 있어서의 전체 픽셀의 휘도 Y 및 명도 V의 평균치(Y_avg, V_avg)를 각각 산출한다. 다음 단계인 단계 S2-2로 진행된다.
(단계 S2-2)
계속해서, 단계 S2-1에 있어서 산출된 Y_avg와 V_avg의 비율(여기에서는 Y_avg/V_avg)에 의거하여, 블렌드율(여기서는 Y의 블렌드율(α)이라 함)을 결정한다. 예를 들면, 도 10에 나타낸 블렌드율의 결정 규칙에 의거하여 블렌드율(α)이 결정될 수 있다. 특히, 블렌드율(α)은, 주목 영역 내에서의 명도 V와 휘도 Y의 비율에 의거하여 결정되는 것에 유의하기 바란다. 또, 도 10에 나타내는 것은 어디까지나 예시이며, 본 규칙은 미리 실시된 시험·연구 결과 등에 의거하여 적당히 결정되는 것이 바람직하다.
[종료]
<블렌드 연산부(35e)>
도 11은 블렌드 연산부(35e)의 처리 흐름을 도시하는 블록선도이다. 블렌드율 결정부(35d)에 의해 결정된 블렌드율(α)을 이용하여, 주목 영역 내에 있어서의 각 픽셀의 명도 V와 휘도 Y를 블렌딩하고, 이것을 보정 명도 V1이라 한다(식 (6) 참조).
V1= (1-α)V+αY (6)
그 후, 변환 출력부(37)에 있어서, 보정 명도 V1과, 색상채도 산출부(36)에 있어서 산출된 색상 H, 채도 S로 이루어진 중간화상(HSV 색공간에서 표현된 것)으로부터, RGB 성분을 각각 산출함으로써, RGB 색공간에서 표현된 소망의 출력 화상(O)이 생성된다.
이러한 출력 화상(O)은, 색상 H나 채도 S에 대해서 원래의 입력 화상(I)의 정보를 유지하고 있다. 즉, 제2 실시형태에 따른 화상처리장치(3)를 포함하는 시스템(1)에 따르면, 본래의 색을 유지한 후에 보다 시인성이 높은 화상을 생성하고, 이것을 표시부(4)에 표시시킬 수 있다는 효과를 발휘한다.
도 12A 및 도 12B는, 도 7A 및 도 7B와의 비교 화상이며, 특히 도 12A는 입력 화상(I), 도 12B는 출력 화상(O)을 나타내고 있다. 전술한 바와 같이, 제1 실시형태에 있어서, 화상에 따라서는 노출부족이 일어나는 등의 폐해도 확인되어 있었다. 한편, 제2 실시형태에서는, 휘도 Y와 명도 V를 적당히 블렌딩함으로써, 도 12A(도 7A의 재게재)와 같이, 1색(여기에서는 R성분이라 함)으로 이루어진 그라데이션 화상(좌측에서부터 우측을 향해서 서서히 색성분이 커지는 예)을 입력 화상(I)으로 해도, 제2 실시형태에 따른 적응 처리부(35)를 포함하는 화상처리장치(3)에 있어서 출력되는 출력 화상(O)은, 도 12B에 나타낸 바와 같이, 그라데이션을 유지하는 것과 같은 결과로 되어 있다.
또한, 도 13A 내지 도 13C는, R성분을 많이 포함하는 풍경화상에 제2 실시형태에 따른 화상처리장치(3)를 이용하여 화상처리를 실행한 경우를 나타내고 있고, 특히 도 13A는 입력 화상(I), 도 13B는 V성분을 추출한 중간화상, 도 13C는 출력 화상(O)을 나타내고 있다. 이러한 실제 화상에 있어서도, 도 12A 및 도 12B의 결과와 마찬가지로, 자연스러운 그라데이션을 유지하고, 시인성이 높은 출력 화상(O)이 얻어지는 것을 확인할 수 있다(도 13C 참조). 도 13B(V성분을 추출한 중간화상)와 도 13C(출력 화상(O))를 비교하면, 중간화상에 있어서는 그라데이션의 유지가 가능하지 않아, 출력 화상(O)의 차이는 명백하다.
3. 변형예
본 실시형태는 이하의 양태에 의해서도 실시할 수 있다.
첫 번째로, 본 실시형태에 있어서는, 휘도산출 등에 관련되는 범위(주목 영역)를 입력 화상(I)(동화상이면 1프레임)의 전체 픽셀로서 설명하고 있지만, 사용하는 픽셀을 부분적으로 선택해도 된다. 예를 들면, 주목 영역을 일부의 직사각형 영역으로 해도 되고, 소정 크기의 직사각형 소영역마다 대표 픽셀(예를 들어, 좌측 위라는 특정 위치나 소영역에 있어서의 중앙치)을 적당히 선택함으로써 축소 화상을 생성하고, 이것을 주목 영역으로 해서 실시해도 된다.
두 번째로, 전술한 각종 처리에서는 2차원 배열을 상정하고 있지만, 최종적으로 소망의 화상이 표시부(4)에 표시될 수 있는 것이라면, 연산 도중 시에 1차원 배열로서 기억되어 있어도 된다. 또한, 1차원 배열 또는 2차원 배열을 이용하여 연산하는 대신에, 순차 연산을 해도 된다.
세 번째로, 본 실시형태에 있어서는, RGB 색공간에서부터 명도 V를 포함하는 HSV 색공간에의 변환을 포함하는 것이지만, 이것으로 한정되는 것은 아니다. 제1 실시형태에 있어서의 휘도 Y를 보정 명도 V1로 간주할 수 있는 것과 마찬가지로, 명도 이외에 휘도를 파라미터에 포함하는 색공간으로 변환시켜도 된다. 예를 들면, YUV 색공간, YCrCb, YPrPb 또는 HSL 색공간 등을 채용해도 된다. 이들 색공간에 있어서의 휘도 Y나 L에 보정 명도 V1을 대입해서 역변환함으로써, 본 실시형태에 나타내는 효과가 마찬가지로 기대될 수 있다.
네 번째로, 본 실시형태에 따른 시스템(1)은 내시경 시스템(2)을 채용하고 있지만, 이것으로 한정되지 않고, 특정한 RGB 성분 중 특정 성분을 많이 포함할 수 있는 입력 화상을 송신하는 신호원이면, 효과적인 응용이 가능하다고 생각된다. 즉, 내시경 시스템(2) 이외에 응용한 경우이더라도, 시인성이 높은 화상을 출력할 수 있다는 효과를 발휘한다.
다섯 번째로, 본 실시형태에 있어서는, (입력 화상(I)이 동화상인 것으로 해서,) 가중치 부여 결정부(35a)가 입력 화상(I)에 있어서의 어느 시각에서의 (현재의) 프레임을 이용하여 상기 가중치 부여 계수를 결정하고, 휘도 산출부(35b)도 같은 프레임에 있어서의 각 픽셀의 휘도를 산출하도록 기재하고 있지만, 이것으로 한정되는 것은 아니다. 예를 들면, 가중치 부여 결정부(35a)가 입력 화상(I)에 있어서의 어느 시각에서의 (과거의) 프레임을 이용하여 상기 가중치 부여 계수를 결정하고, 휘도 산출부(35b)는 그 시각보다도 나중의(현재의) 프레임에 있어서의 각 픽셀의 휘도를 산출하도록 실시해도 된다. 과거의 프레임이 어느 정도 과거의 것인지는, 특별히 한정되는 것은 아니고, 예를 들어, 1프레임 전, 2프레임 전, 3프레임 전 등이 생각된다.
여섯 번째로, 본 실시형태에 있어서, 가중치 부여 결정부(35a)는 선형 사상 변환(1차 함수에의 대입)을 함으로써, 각 RGB 성분에 대응하는 가중치 부여 계수 W_r, W_g, W_b를 결정하고 있지만, 어디까지나 예이며, 이것으로 한정되는 것은 아니다. 표시에 관계되는 함수는, 예를 들어, n차 함수(n≥2)이어도 되고, 대수 함수, 지수함수이어도 된다.
일곱 번째로, 컴퓨터에, 소정의 기능을 실현시키는 화상처리 프로그램으로서, 상기 소정의 기능은, 가중치 부여 결정 기능과, 휘도 산출 기능을 포함하고, 상기 컴퓨터에 입력된 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서, 상기 가중치 부여 결정 기능에 따르면, 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수가 각각 결정되고, 상기 휘도 산출 기능에 따르면, 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도가 산출되는, 화상처리 프로그램을 제공할 수도 있다. 또한, 이러한 프로그램의 기능을 실장한 컴퓨터 판독 가능한 비일시적인 기록 매체로서 제공할 수도 있다. 또한, 이러한 프로그램을, 인터넷 등을 통해 송신할 수도 있다. 또, 시스템(1)을 구성하는 각 부는, 같은 하우징체에 포함되어도 되고, 복수의 하우징체에 분산 배치되어도 된다.
4. 맺음말
이상과 같이, 본 실시형태에 따르면, 의사 등의 사용자에게 위화감 없이 그리고 시인성이 높은 화상을 생성함에 있어서 유익한 화상처리를 실행 가능한 화상처리장치, 화상처리방법 및 화상처리 프로그램을 제공할 수 있다.
본 발명에 따른 각종 실시형태를 설명했지만, 이들은, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 해당 신규한 실시형태는, 그 밖의 여러 가지 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 각종 생략, 치환, 변경을 행할 수 있다. 해당 실시형태나 그 변형은, 발명의 범위나 요지에 포함되는 동시에, 청구범위에 기재된 발명과 그 균등한 범위에 포함되는 것이다.
1: 시스템
2: 내시경 시스템
21: 내시경
22: 화상처리부
3: 화상처리장치
3B: 통신 버스
31: 제어부
32: 기억부
33: 입력부
34: 송수신부
35: 적응 처리부
35a: 가중치 부여 결정부
35b: 휘도 산출부
35c: 명도 산출부
35d: 블렌드율 결정부
35e: 블렌드 연산부
36: 색상채도 산출부
37: 변환 출력부
4: 표시부
A_avg: 평균치
R_avg: 평균치
B_avg: 평균치
G_avg: 평균치
R_sub: 차분
G_sub: 차분
B_sub: 차분
H: 색상
S: 채도
V: 명도
V1: 보정 명도
Y: 휘도
W_r: 가중치 부여 계수
W_g: 가중치 부여 계수
W_b: 가중치 부여 계수
I: 입력 화상
O: 출력 화상
m: 기울기
n: 절편
α: 블렌드율

Claims (10)

  1. 화상처리장치로서, 가중치 부여 결정부와, 휘도 산출부를 포함하되,
    상기 화상처리장치에 입력된 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서,
    상기 가중치 부여 결정부는 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고,
    상기 휘도 산출부는 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도를 산출하고,
    상기 주목 영역 내에서의 상기 각 RGB 성분의 비율을 순서 무관하게 a, b, c(단, a≥b≥c를 충족시킴)라 하고, 이들에 대응하는 각 가중치 부여 계수를 W_a, W_b, W_c라 하면,
    W_a≤W_b≤W_c이고, W_a, W_b, W_c의 대소관계는 a, b, c의 대소관계의 역순으로 되어 있는,
    것을 특징으로 하는, 화상처리장치.
  2. 제1항에 있어서,
    상기 입력 화상은 시계열에 복수의 프레임을 갖는 동화상이고,
    상기 가중치 부여 결정부는 상기 입력 화상의 현재 또는 과거의 프레임에 있어서의 상기 주목 영역을 이용하여 상기 가중치 부여 계수를 결정하며,
    상기 휘도 산출부는 현재의 프레임에 있어서의 상기 각 픽셀의 휘도를 산출하는, 화상처리장치.
  3. 제1항 또는 제2항에 있어서,
    제1 변환부와, 제2 변환부를 더 포함하되,
    상기 제1 변환부는, 상기 RGB 색공간에서 표현되는 입력 화상을, 명도 또는 휘도를 파라미터에 포함하는 별도의 색공간에서 표현되는 화상으로 변환하고,
    상기 제2 변환부는, 상기 휘도 산출부에 의해 산출된 상기 휘도를 보정된 명도 또는 보정된 휘도로 하여, 이것과 상기 제1 변환부에 의해서 변환된 화상에 있어서의 명도 또는 휘도 이외의 파라미터에 의거하여 상기 별도의 색공간에서 표현되는 화상을 상기 RGB 색공간에서 표현되는 출력 화상으로 역변환하는, 화상처리장치.
  4. 제1항 또는 제2항에 있어서,
    제1 변환부와, 블렌드 연산부와, 제2 변환부를 더 포함하되,
    상기 제1 변환부는, 상기 RGB 색공간에서 표현되는 입력 화상을, 명도 또는 휘도를 파라미터에 포함하는 별도의 색공간에서 표현되는 화상으로 변환하고,
    상기 블렌드 연산부는 상기 제1 변환부에 있어서 변환된 화상에 있어서의 명도 또는 휘도와, 상기 휘도 산출부에 의해 산출된 상기 휘도를 소정의 블렌드율로 블렌딩함으로써 보정된 명도 또는 보정된 휘도인 보정 명도 또는 보정 휘도를 산출하며,
    상기 제2 변환부는 상기 보정 명도 또는 보정 휘도와 상기 제1 변환부에 의해서 변환된 화상에 있어서의 명도 또는 휘도 이외의 파라미터에 의거하여 상기 RGB 색공간에서 표현되는 출력 화상으로 역변환하는, 화상처리장치.
  5. 제4항에 있어서,
    상기 블렌드율은 상기 제1 변환부에 의해서 변환된 화상에 있어서의 상기 주목 영역 내에서의 상기 명도 또는 휘도와 상기 휘도 산출부에 의해 산출된 상기 휘도와의 비율에 의거하여 결정되는, 화상처리장치.
  6. 제1항 또는 제2항에 있어서,
    상기 가중치 부여 결정부는 상기 주목 영역 내에서의 상기 RGB 성분에 관련되는 전체의 평균치와 상기 각 RGB 성분의 평균치의 각 차분에 의거하여 상기 가중치 부여 계수를 각각 결정하는, 화상처리장치.
  7. 제6항에 있어서,
    상기 가중치 부여 결정부는 상기 각 차분의 사상(寫像)에 의거하여 상기 가중치 부여 계수를 각각 결정하고,
    상기 사상에 관계되는 함수는 n차 함수(n≥1), 대수 함수, 지수함수를 포함하는, 화상처리장치.
  8. 화상처리방법으로서, 가중치 부여 결정 단계와 휘도 산출 단계를 포함하되,
    해당 화상처리방법에서 취급하는 입력 화상의 적어도 일부로서 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서,
    상기 가중치 부여 결정 단계에서는, 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수를 각각 결정하고,
    상기 휘도 산출 단계에서는, 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도를 산출하고,
    상기 주목 영역 내에서의 상기 각 RGB 성분의 비율을 순서 무관하게 a, b, c(단, a≥b≥c를 충족시킴)라 하고, 이들에 대응하는 각 가중치 부여 계수를 W_a, W_b, W_c라 하면,
    W_a≤W_b≤W_c이고, W_a, W_b, W_c의 대소관계는 a, b, c의 대소관계의 역순으로 되어 있는,
    것을 특징으로 하는, 화상처리방법.
  9. 컴퓨터에, 소정의 기능을 실현시키는 화상처리 프로그램을 기록한 기록 매체로서,
    상기 소정의 기능은 가중치 부여 결정 기능과 휘도 산출 기능을 포함하고,
    상기 컴퓨터에 입력된 입력 화상의 적어도 일부이며 복수의 픽셀로 이루어진 영역을 주목 영역이라 정의하고, 상기 입력 화상은, 당초부터 또는 입력후 연산의 결과 RGB 색공간에서 표현되는 화상이고, 즉, 각 픽셀이 적색을 구성하는 R성분과, 녹색을 구성하는 G성분과, 청색을 구성하는 B성분으로 이루어지는 것이며, 또한 이들을 통합해서 RGB 성분이라 정의한 경우에 있어서,
    상기 가중치 부여 결정 기능에 따르면, 상기 주목 영역 내에서의 각 RGB 성분의 다소에 의거하여 상기 각 RGB 성분에 대응하는 가중치 부여 계수가 각각 결정되고,
    상기 휘도 산출 기능에 따르면, 상기 각 가중치 부여 계수에 의거하여 상기 주목 영역에 포함되는 각 픽셀의 휘도가 산출되고,
    상기 주목 영역 내에서의 상기 각 RGB 성분의 비율을 순서 무관하게 a, b, c(단, a≥b≥c를 충족시킴)라 하고, 이들에 대응하는 각 가중치 부여 계수를 W_a, W_b, W_c라 하면,
    W_a≤W_b≤W_c이고, W_a, W_b, W_c의 대소관계는 a, b, c의 대소관계의 역순으로 되어 있는,
    것을 특징으로 하는, 화상처리 프로그램을 기록한 기록 매체.
  10. 삭제
KR1020207011068A 2017-11-06 2017-11-06 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체 KR102521889B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237000895A KR20230010842A (ko) 2017-11-06 2017-11-06 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/039989 WO2019087403A1 (ja) 2017-11-06 2017-11-06 画像処理装置、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237000895A Division KR20230010842A (ko) 2017-11-06 2017-11-06 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체

Publications (2)

Publication Number Publication Date
KR20200053591A KR20200053591A (ko) 2020-05-18
KR102521889B1 true KR102521889B1 (ko) 2023-04-13

Family

ID=66332953

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237000895A KR20230010842A (ko) 2017-11-06 2017-11-06 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체
KR1020207011068A KR102521889B1 (ko) 2017-11-06 2017-11-06 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237000895A KR20230010842A (ko) 2017-11-06 2017-11-06 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체

Country Status (6)

Country Link
US (1) US11363245B2 (ko)
EP (1) EP3709254A4 (ko)
JP (1) JP6749504B2 (ko)
KR (2) KR20230010842A (ko)
CN (1) CN111247554B (ko)
WO (1) WO2019087403A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3429197B1 (en) * 2016-03-09 2020-05-06 Sony Corporation Image processing apparatus, imaging apparatus, image processing method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017528A (ja) * 2002-09-12 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置
JP2012244355A (ja) * 2011-05-18 2012-12-10 Oki Data Corp 画像処理装置及びプログラム、並びに、画像形成装置
JP2017060093A (ja) * 2015-09-18 2017-03-23 株式会社Jvcケンウッド 色域変換装置、色域変換方法及び色域変換プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994018801A1 (en) 1993-02-08 1994-08-18 I Sight, Inc. Color wide dynamic range camera using a charge coupled device with mosaic filter
JPH06315463A (ja) 1993-05-10 1994-11-15 Olympus Optical Co Ltd 電子内視鏡装置
US5523786A (en) 1993-12-22 1996-06-04 Eastman Kodak Company Color sequential camera in which chrominance components are captured at a lower temporal rate than luminance components
JP2003050999A (ja) * 1996-11-18 2003-02-21 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
AUPP128498A0 (en) * 1998-01-12 1998-02-05 Canon Kabushiki Kaisha A method for smoothing jagged edges in digital images
JP3947956B2 (ja) * 2001-08-06 2007-07-25 セイコーエプソン株式会社 モノクロ画像データ生成装置、モノクロ画像データ生成方法およびモノクロ画像データ生成プログラム
EP1538848A4 (en) * 2002-09-12 2009-04-15 Panasonic Corp IMAGE PROCESSING DEVICE
KR100943274B1 (ko) * 2002-12-20 2010-02-23 삼성전자주식회사 색신호 보정장치 및 그 방법, 및 그것을 이용한영상신호처리 시스템 및 그 방법
JP2004288046A (ja) * 2003-03-24 2004-10-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP3952301B2 (ja) * 2003-08-29 2007-08-01 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP2005217984A (ja) * 2004-01-30 2005-08-11 Fuji Xerox Co Ltd 画像処理装置
CN101822525B (zh) 2004-08-30 2012-02-22 奥林巴斯株式会社 内窥镜装置
JP4009626B2 (ja) 2004-08-30 2007-11-21 オリンパス株式会社 内視鏡用映像信号処理装置
US7627189B2 (en) * 2004-10-20 2009-12-01 Fujinon Corporation Sharpness adjustment method and program and electronic endoscope apparatus
JP2006262382A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Corp 画像処理装置
KR100707270B1 (ko) 2005-08-17 2007-04-16 삼성전자주식회사 Rgb값을 이용한 영상 콘트라스트 개선 방법 및 장치
JP4422122B2 (ja) * 2006-06-22 2010-02-24 Necアクセステクニカ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
JP5157678B2 (ja) * 2008-06-25 2013-03-06 Nkワークス株式会社 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置
CN101493892B (zh) * 2009-02-27 2012-03-28 中国农业大学 图像特征提取方法及装置
JP5235759B2 (ja) * 2009-04-07 2013-07-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101609255B1 (ko) * 2010-05-25 2016-04-05 삼성전자주식회사 명도 조절 방법 및 명도 조절 신호 처리 장치와 이를 적용한 영상 표시 시스템
JP2012055412A (ja) 2010-09-07 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及びプログラム
JP5771442B2 (ja) * 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US8896641B2 (en) * 2011-06-01 2014-11-25 Lg Display Co., Ltd. Organic light emitting diode display device and method of driving the same
US9449578B2 (en) * 2011-09-21 2016-09-20 Stmicroelectronics (Grenoble 2) Sas Circuitry for image processing
US9412155B2 (en) * 2012-12-31 2016-08-09 Karl Storz Imaging, Inc. Video system with dynamic contrast and detail enhancement
CN103473756B (zh) * 2013-09-11 2016-01-20 中国人民解放军第三军医大学第三附属医院 自动配准融合航拍图像和近景图像的方法
CN103886553B (zh) * 2014-03-10 2017-02-01 广东威创视讯科技股份有限公司 图像非局部均值去噪方法和系统
KR102170692B1 (ko) * 2014-03-12 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
CN105069131B (zh) 2015-08-14 2018-10-09 北京工业大学 基于视觉词汇和局部描述符的胶囊内镜图像检索方法
JP6700712B2 (ja) * 2015-10-21 2020-05-27 キヤノン株式会社 畳み込み演算装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017528A (ja) * 2002-09-12 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置
JP2012244355A (ja) * 2011-05-18 2012-12-10 Oki Data Corp 画像処理装置及びプログラム、並びに、画像形成装置
JP2017060093A (ja) * 2015-09-18 2017-03-23 株式会社Jvcケンウッド 色域変換装置、色域変換方法及び色域変換プログラム

Also Published As

Publication number Publication date
JP6749504B2 (ja) 2020-09-02
WO2019087403A1 (ja) 2019-05-09
KR20230010842A (ko) 2023-01-19
CN111247554B (zh) 2023-05-23
JPWO2019087403A1 (ja) 2020-09-10
EP3709254A1 (en) 2020-09-16
KR20200053591A (ko) 2020-05-18
EP3709254A4 (en) 2020-10-21
US11363245B2 (en) 2022-06-14
US20200296343A1 (en) 2020-09-17
CN111247554A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111292236B (zh) 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统
JP2007515857A (ja) モバイルディスプレイ用のスマートクリッパ
JP2017187994A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
ES2900490T3 (es) Método y sistema de mapeo de gamas de colores
WO2012015020A1 (en) Method and device for image enhancement
CN108846871B (zh) 一种图像处理方法及装置
WO2019090580A1 (en) System and method for image dynamic range adjusting
KR102521889B1 (ko) 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체
US11132776B2 (en) Image processing device, image processing method, and image processing program for maintaining sharpness of image
JP6583008B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
CN116489377A (zh) 图像处理方法和电子设备
US9721328B2 (en) Method to enhance contrast with reduced visual artifacts
KR102287622B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
JP7414496B2 (ja) 画像処理方法
KR102453070B1 (ko) 화상 처리 장치 및 화상 처리 프로그램
JPWO2010073553A1 (ja) 画像処理装置、画像処理方法および記憶媒体
Kim et al. Real-time advanced contrast enhancement algorithm
JP2017208705A (ja) 映像処理装置、映像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
A107 Divisional application of patent
J301 Trial decision

Free format text: TRIAL NUMBER: 2022101002279; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20221214

Effective date: 20230220

GRNO Decision to grant (after opposition)
GRNT Written decision to grant