KR20230078439A - 영상 기반 진단 시스템 및 이의 제어 방법 - Google Patents

영상 기반 진단 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
KR20230078439A
KR20230078439A KR1020210179230A KR20210179230A KR20230078439A KR 20230078439 A KR20230078439 A KR 20230078439A KR 1020210179230 A KR1020210179230 A KR 1020210179230A KR 20210179230 A KR20210179230 A KR 20210179230A KR 20230078439 A KR20230078439 A KR 20230078439A
Authority
KR
South Korea
Prior art keywords
histogram
image
target region
data
area
Prior art date
Application number
KR1020210179230A
Other languages
English (en)
Inventor
박응규
김요한
배샛별
송승현
이동훈
Original Assignee
주식회사 큐에스택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐에스택 filed Critical 주식회사 큐에스택
Priority to PCT/KR2022/014307 priority Critical patent/WO2023096129A1/ko
Publication of KR20230078439A publication Critical patent/KR20230078439A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

영상 기반 진단 시스템 및 이의 제어 방법에 관한 것으로, 영상 기반 진단 시스템은 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립 및 상기 진단 스트립에 대한 영상을 획득하고, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하고, 상기 목표 영역에 대한 히스토그램을 생성하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 장치를 포함하되, 상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하도록 마련될 수 있다.

Description

영상 기반 진단 시스템 및 이의 제어 방법{SYSTEM FOR DIAGNOSIS BASED ON IMAGE AND METHOD THEREFOR}
영상 기반 진단 시스템 및 이의 제어 방법에 관한 것이다.
카메라나 스마트폰 등을 이용하여 영상을 촬영하는 경우, 외부의 광은 렌즈를 통해 집속되고 집속된 광은 이미지 센서에 의해 수신되고, 이미지 센서는 수신한 광에 대응되는 전기적 신호를 출력하고, 출력된 전기적 신호를 조합하여 영상이 생성된다. 그런데, 입사된 광은 렌즈에 의해 난반사되거나 또는 배럴 내부 벽면 등에 의해 반사되고, 이미지 센서는 이와 같이 집속된 광뿐만 아니라 반사된 광도 수신하고, 이들 광의 조합에 대응하는 전기적 신호를 출력하기 때문에, 영상은 빛 반사에 따른 노이즈도 포함하여 생성되게 된다. 이러한 빛 반사에 따른 노이즈는 영상의 선명도를 낮추거나, 영상 상에 과다 노출에 따른 빛 번짐을 발생시키거나 또는 영상의 채도를 변화시켜 영상의 피사체의 색상이 원래의 피사체의 색상과 상당히 상이하게 하는 것 등의 문제점을 야기하였다. 이러한 촬영된 영상과 원래의 피사체 간의 차이는, 촬영된 영상을 이용하여 진단을 수행하는 진단 장치의 진단 정확성과 성능을 저하하는 원인이 되어 왔다. 또한, 이러한 빛 반사는 바코드(QR 코드)의 정확한 인식을 저해하는 요소로도 작용하였다.
촬영된 영상을 기반으로 정확한 진단을 수행할 수 있도록 영상의 데이터에 대한 적절한 정규화를 수행할 수 있는 영상 기반 진단 시스템 및 이의 제어 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 영상 기반 진단 시스템 및 이의 제어 방법이 제공된다.
영상 기반 진단 시스템은 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립 및 상기 진단 스트립에 대한 영상을 획득하고, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하고, 상기 목표 영역에 대한 히스토그램을 생성하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 장치를 포함하되, 상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성할 수도 있다.
상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성할 수도 있다.
상기 영상 기반 진단 장치는, 미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행할 수도 있다.
상기 진단 스트림에는 RGB 보정 영역이 더 형성될 수 있으며, 상기 영상 기반 진단 장치는, 상기 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하고, 상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하도록 마련될 수도 있다.
상기 영상 기반 진단 장치는, 색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행할 수도 있다.
상기 영상 기반 진단 장치는, 상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하거나, 상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 것도 가능하다.
상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하고, 상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하고, 상기 그레이 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성할 수도 있다.
영상 기반 진단 방법은, 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립에 대한 영상을 획득하는 단계, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하는 단계, 상기 목표 영역에 대한 히스토그램을 생성하는 단계 및 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계를 포함하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계를 포함할 수 있다.
영상 기반 진단 방법은, 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계를 더 포함할 수도 있다.
상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계는, 미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행하는 단계를 포함할 수도 있다.
영상 기반 진단 방법은, 상기 진단 스트립에 형성된 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하는 단계 및 상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하는 단계를 더 포함할 수도 있다.
영상 기반 진단 방법은, 색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행하는 단계를 더 포함하는 것도 가능하다.
영상 기반 진단 방법은, 상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하는 단계 및 상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 단계 중 적어도 하나를 더 포함할 수도 있다.
영상 기반 진단 방법은, 상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하는 단계 및 상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하는 단계를 더 포함하는 것도 가능하다.
상술한 영상 기반 진단 시스템 및 이의 제어 방법에 의하면, 촬영된 영상의 데이터를 적절하게 정규화하여 영상을 기반으로 하는 진단을 더욱 정확하게 수행할 수 있게 된다.
상술한 영상 기반 진단 시스템 및 이의 제어 방법에 의하면, 영상에 존재하는 빛 반사를 효과적으로 제거하여 영상 기반의 진단 성능을 개선시킬 수 있는 효과도 얻을 수 있다.
상술한 영상 기반 진단 시스템 및 이의 제어 방법에 의하면, 진단 스트립에 형성된 바코드나 큐알 코드 등에 대한 장치의 인식력을 보강할 수 있게 되고, 이를 기반으로 진단 스트림을 더욱 정확하게 분석할 수 있게 되는 효과도 얻을 수 있다.
도 1은 영상 기반 진단 시스템의 일 실시예에 대한 개요도이다.
도 2는 진단 스트립의 일 실시예에 대한 도면이다.
도 3은 영상 기반 진단 장치의 일 실시예에 대한 블록도이다.
도 4는 영상 보정부의 일 실시예에 대한 블록도이다.
도 5는 QR코드의 촬영 각도 보정의 일례를 설명하기 위한 도면이다.
도 6은 정규화 처리부의 일 실시예에 대한 블록도이다.
도 7은 인식대상영역의 위치 판별 동작의 일례를 설명하기 위한 도면이다.
도 8은 인식대상영역에 대한 히스토그램 생성 과정의 일례를 설명하기 위한 도면이다.
도 9는 인식대상영역에 대한 히스토그램의 일례를 도시한 그래프 도면이다.
도 10은 보정 결과에 따른 히스토그램의 변화를 도시한 도면이다.
도 11은 히스토그램 보정부의 일 실시예를 설명하기 위한 도표이다.
도 12는 영상 기반 진단 시스템의 제어 방법의 일 실시예의 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 11을 참조하여, 진단 스트립 및 영상 기반 진단 장치를 포함하는 영상 기반 진단 시스템의 일 실시예를 설명한다.
도 1은 영상 기반 진단 시스템의 일 실시예에 대한 개요도이고, 도 2는 진단 스트립의 일 실시예에 대한 도면이며, 도 3은 영상 기반 진단 장치의 일 실시예에 대한 블록도이다.
도 1 내지 도 3에 도시된 바를 참조하면, 영상 기반 진단 시스템(1)은, 일 실시예에 있어서, 적어도 하나의 진단 스트립(10)과, 적어도 하나의 진단 스트립(10)에서 방출되거나 반사된 광(9, 가시광 등)을 수신하는 영상 기반 진단 장치(100)를 포함하되, 영상 기반 진단 장치(100)는, 수신광(9)에 대응하여 적어도 하나의 진단 스트림(10)을 포함하는 영상을 생성하고, 생성한 영상에 대한 적어도 하나의 처리를 수행하여 최종 영상(정지영상 또는 동영상)을 획득하고, 필요에 따라, 획득한 최종 영상에 대한 분석 결과를 기반으로 피검자(일례로 인체 또는 동물 등)에 대한 진단을 수행할 수 있도록 마련된다.
진단 스트립(10)은, 도 2에 도시된 바와 같이, 적어도 일 면(10A)에 형성된 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)을 포함할 수 있다. 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)은, 직접 인쇄나, 인쇄된 이미지의 부착 등을 통해 진단 스트림(10)의 일 면(10A)에 형성될 수 있다. 실시예에 따라서, 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)은 모두 동일한 면(10A)에 형성될 수도 있고 또는 일부는 서로 상이한 둘 이상의 면(일례로 일 면(10A) 및 이의 반대면)에 형성될 수도 있다. 또한, 설계자의 선택에 따라서, RGB 보정 영역(12), 바코드(11) 및 그림자 인식 영역(13) 중 적어도 하나는 생략될 수도 있다.
바코드(11)는, 진단 스트림(10)의 크기, 배율, 방향 및/또는 기울어짐 등을 감지하기 위해 이용되거나, 또는 진단용 인식 영역(14)에 대한 중심, 일례로 진단용 인식 영역(14) 내에서 적어도 하나의 영역(14-1 내지 14-13, 이하 목표 영역) 중에서 가장 중앙에 위치한 영역(이하 중심 목표 영역, 일례로 제4 목표 영역(14-4) 등을 인식하기 위해 이용될 수 있다. 따라서, 영상 기반 진단 장치(100)는 목표 영역(14-1 내지 14-13)을 보다 정확한 형태 및 크기로 인식하고 이를 기반으로 진단을 수행할 수 있게 된다. 바코드(11)는, 일 실시예에 있어서, 1차원 바코드 및 2차원 바코드(이하 QR 코드) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
RGB 보정 영역(12)은, 영상 기반 진단 장치(100)에 의한 RGB 보정의 기준으로 이용될 수 있으며, 예를 들어, 적색(R) 영역, 녹색(G) 영역 및 청색(B) 영역을 포함하고, 필요에 따라 백색 영역 및 흑색 영역 중 적어도 하나를 더 포함할 수 있다. 이들 각각의 영역은 대략 정사각형 또는 직사각형의 형상을 가질 수 있으나, 이에 한정되는 것은 아니다. RGB 보정 영역(12)은, 바코드(11)의 상단에 위치할 수도 있다.
그림자 인식 영역(13)은, 영상 기반 진단 장치(100)가 진단 스트림(10)의 일 면(10A)에 그림자가 존재하는지 여부를 감지할 수 있도록 마련된다. 그림자 인식 영역(13)은 빈 공백 영역을 포함할 수 있으며, 빈 공백 영역에는 어떠한 모양도 도시 또는 인쇄되어 있지 않고, 오직 단색(일례로 백색)으로 채색되어 있을 수도 있다. 그림자 인식 영역(13)은, 바코드(11)의 하단에 위치할 수도 있으며, 바코드(11) 및 진단용 인식 영역(14) 사이에 배치되는 것도 가능하다.
진단용 인식 영역(14)은, 영상 기반 진단 장치(100)가 피검자의 질환 발생 여부 등을 감지하기 위해 이용된다. 진단용 인식 영역(14)은, 하나 또는 둘 이상의 목표 영역(14-1 내지 14-13)을 포함할 수 있다. 이 경우, 각각의 목표 영역(14-1 내지 14-13)은 모두 동일한 형상을 갖거나, 일부는 동일하고 다른 일부는 상이한 형상을 갖거나 또는 모두 상이한 형상을 가질 수 있다. 여기서, 형상은, 정사각형, 직사각형, 원, 타원 또는 삼각형 등을 포함할 수 있다. 또한, 각각의 목표 영역(14-1 내지 14-13)은 서로 상이한 색상을 갖을 수도 있다. 각각의 목표 영역(14-1 내지 14-13)은, 해당 영역(14-1 내지 14-13)에 묻은 성분에 따라 변색될 수 있는 소재로 형성된 것일 수 있다. 예를 들어, 목표 영역(14-1 내지 14-13) 중 적어도 하나에는 피검자로부터 획득된 피검체(일례로 혈액이나 소변 등)가 묻을 수 있으며, 해당 목표 영역(14-1 내지 14-13 중 적어도 하나)은 이에 따라 변색된다. 영상 기반 진단 장치(100)는, 목표 영역(14: 14-1 내지 14-13)의 변색을 기반으로 피검자의 질병을 판단할 수 있다.
진단 스트립(10)은, 종이, 합성수지, 고무 및/또는 금속 등의 소재를 이용하여 제작된 것일 수 있으며, 실시예에 따라서 피검자의 피검체를 묻힐 수 있는 부분이 별도로 마련된 전자 장치를 이용하여 구현될 수도 있다.
영상 기반 진단 장치(100)는 도 3에 도시된 바와 같이, 촬영부(101) 및 프로세서(200)를 포함할 수 있으며, 필요에 따라, 저장부(103), 입력부(105) 및 출력부(107) 중 적어도 하나를 더 포함할 수 있다. 촬영부(101), 저장부(103), 입력부(105), 출력부(107) 및 프로세서(200) 중 적어도 둘은 상호 회로 라인이나, 케이블이나 또는 무선 통신 네트워크를 통해, 일방으로 또는 쌍방으로 데이터나 지시 등을 전달할 수 있게 마련된다.
촬영부(101)는 진단 스트립(10)의 일 면(10A)의 전부 또는 일부를 촬영할 수 있다. 구체적으로, 촬영부(101)는, 진단 스트립(10)으로부터 전달되는 광(9)을 수신하고, 수신한 광(9)에 대응하여 전기적 신호를 획득하고, 획득된 전기적 신호를 저장부(103) 또는 프로세서(200)로 전달할 수 있다. 촬영부(101)는, 소정의 영상 촬영 모듈을 이용하여 구현될 수 있으며, 영상 촬영 모듈은, 광을 집속하기 위한 렌즈와, 수광한 광(9)을 전기적 신호로 변환하는 촬상소자(일례로 전하결합소자(CCD: Charge Coupled Device)나 금속산화물반도체(CMOS: complementary metal-oxide semiconductor)) 등을 포함할 수 있다. 실시예에 따라서, 촬영부(101)는 영상 기반 진단 장치(100)와 물리적으로 분리되어 있을 수 있으며, 이 경우, 촬영부(101)는, 디지털 카메라, 스마트폰, 태블릿 피씨, 웹 캡 또는 스캐너 장치 등을 이용하여 구현될 수도 있다.
저장부(103)는, 영상 기반 진단 장치(100)의 동작에 필요한 데이터나 프로그램(앱, 애플리케이션 또는 소프트웨어 등으로 지칭 가능함)을 일시적 또는 비일시적으로 저장할 수 있다. 예를 들어, 저장부(103)는 촬영부(101)가 출력한 전기적 신호, 프로세서(200)의 처리 과정에서 생성된 데이터(일례로 영상, 원 히스토그램 또는 적어도 1회 이상 보정된 히스토그램 등) 및/또는 프로세서(2000의 최종 판단 결과 등을 수신하여 저장할 수도 있다. 또한, 저장부(103)는, 프로세서(200)의 동작에 관한 프로그램 코드를 저장할 수도 있다. 여기서, 프로그램 코드는, 프로그래머 등의 설계자에 의해 직접 작성 또는 수정된 후 저장부(103)에 저장된 것일 수도 있고, 다른 물리적 기록 매체(외장 메모리 장치나 콤팩트 디스크(CD) 등)로부터 전달받은 것일 수도 있으며, 및/또는 유무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 저장부(103)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있고, 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현될 수 있으며, 보조기억장치는, 플래시 메모리 장치(솔리드 스테이트 드라이브(SSD, Solid State Drive) 등), SD(Secure Digital) 카드, 자기 테이프, 하드 디스크 드라이브(HDD), 콤팩트 디스크 및/또는 디브이디(DVD) 등을 포함할 수 있다.
입력부(105)는, 영상 기반 진단 장치(100)의 동작을 위한 명령이나 데이터 등을 사용자나 다른 장치(일례로 스마트폰이나 서버용 하드웨어 장치 등)로부터 전달 받을 수 있다. 사용자 등(피검자, 의료인 또는 보호자 등)은 입력부(105)를 조작하여 촬영부(101)가 진단 스트립(10)을 촬영하도록 하거나, 프로세서(200)가 영상 처리나 진단 등의 동작을 수행하도록 할 수 있다. 입력부(105)는, 예를 들어, 키보드, 마우스, 태블릿, 터치 스크린, 터치 패드, 트랙 볼, 트랙패드, 초음파 스캐너, 동작 감지 센서, 진동 센서, 수광 센서, 감압 센서, 근접 센서 및/또는 마이크로 폰 등을 포함할 수도 있고, 외부의 다른 장치(일례로 휴대용 메모리 장치 등)로부터 데이터 등의 수신이 가능한 데이터 입출력 단자나, 외부의 다른 장치와 유무선 통신 네트워크를 통해 연결되는 통신 모듈(일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등) 등을 포함할 수도 있다.
출력부(107)는, 저장부(103)에 저장되거나 프로세서(200)에 의해 임시적으로 또는 최종적으로 생성된 데이터(일례로 정규화 처리된 데이터나, 진단 결과 등)를 외부로 출력하여 시각적 또는 청각적으로 사용자 등에게 제공하거나, 외부의 다른 장치로 전달할 수 있다. 출력부(107)는, 예를 들어, 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있다.
프로세서(200)는, 촬영부(101)로부터 전달된 전기적 신호를 기반으로, 영상을 생성하거나, 생성된 영상을 보정하거나, 영상을 이용하거나 또는 영상으로부터 획득된 히스토그램을 이용하여 정규화 처리를 수행하거나 및/또는 영상을 기반으로 진단 결과를 획득하는 등의 동작을 수행할 수 있다. 또한, 프로세서(200)는 필요에 다라 영상 기반 진단 장치(100)의 전반적인 동작을 제어하는 것도 가능하다. 프로세서(200)는, 예를 들어, 중앙 처리 장치(CPU: Central Processing Unit), 그래픽 처리 장치(GPU: Graphic Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit), 마이컴(Micom: Micro Processor) 및/또는 이외 각종 연산 및 제어 처리를 수행할 수 있는 적어도 하나의 전자 장치 등을 포함할 수 있다. 이들 처리 또는 제어 장치는, 예를 들어, 하나 또는 둘 이상의 반도체 칩, 회로 또는 관련 부품 등을 단독으로 이용하거나 조합하여 구현 가능하다.
프로세서(200)는 일 실시예에 있어서, 도 3에 도시된 바와 같이, 영상 생성부(201), 영상 전처리부(210), 정규화 처리부(230), 색상 보정부(250) 및 진단부(270)를 포함할 수 있다. 영상 생성부(201), 영상 전처리부(210), 정규화 처리부(230), 색상 보정부(250) 및 진단부(270) 중 적어도 둘은 논리적으로 구분된 것일 수도 있고 물리적으로 구분된 것일 수도 있다. 실시예에 따라서, 영상 생성부(201), 영상 전처리부(210), 정규화 처리부(230), 색상 보정부(250) 및 진단부(270) 중 적어도 하나는 생략되는 것도 가능하다.
영상 생성부(201)는 촬영부(101)로부터 촬영부(101)과 수광한 광에 대응하는 전기적 신호를 수신하고, 수신한 전기적 신호의 전부 또는 일부를 조합하여 진단 스트립(10)의 일 면(10A)의 전부 또는 일부에 대한 영상을 생성할 수 있다. 따라서, 영상 생성부(201)에 의해 생성되는 영상에는, 진단 스트림(10)의 모든 영역, 일례로 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)이 존재할 수도 있고, 이들(11 내지 14) 중 일부, 일례로 진단용 인식 영역(14) 등만이 존재할 수도 있다. 생성된 영상은 영상 전처리부(210)로 전달될 수 있다.
도 4는 영상 보정부의 일 실시예에 대한 블록도이고, 도 5는 QR코드의 촬영 각도 보정의 일례를 설명하기 위한 도면이다.
영상 전처리부(210)는, 생성된 영상에 대한 정규화나 색상 보정 등을 용이하게 처리할 수 있도록 영상에 대한 사전 보정을 수행할 수 있다. 예를 들어, 영상 전처리부(210)는 도 4에 도시된 바와 같이 바코드 중심점 인식부(211), 형상 보정부(212) 및 그림자 처리부(213) 중 적어도 하나를 포함할 수 있다. 도 4에는 바코드 중심점 인식부(211), 형상 보정부(212) 및 그림자 처리부(213)가 각각 순차되는 것처럼 도시되어 있으나, 이는 예시적인 것으로, 실시예나 설계자 등의 선택에 따라서 이들의 처리 순서는 이와 상이하게 구현될 수도 있다.
바코드 중심점 인식부(211)는 획득한 영상 내에서 진단 스트립(10)의 바코드(11)의 중심점(11E)을 감지하여 인식할 수 있다. 구체적으로 바코드 중심점 인식부(211)는, 도 2를 참조하면, 바코드, 일례로 QR코드(11)의 모서리, 일례로 파인더 패턴(Finder Pattern, 11A, 11B, 11C, 11D)를 획득하고, 서로 대향하는 모서리(11A 및 11C 또는 11B 및 11D)를 연결하는 각각의 선분(L1, L2)를 획득한 후, 양 선분(L1, L2)이 교차하는 교차점(11E)을 바코드(11)의 중심점(11E)으로 검출함으로써, 바코드(11)의 중심점(11E)을 인식할 수 있다. 인식된 중심점(11E)은 촬영된 바코드(11) 또는 이를 포함하는 진단 스트립(10)을 보정하기 위해 이용될 수 있다.
형상 보정부(212)는, 바코드(11)의 모서리, 일례로 파인더 패턴(11A, 11B, 11C, 11D) 중 적어도 둘을 이용하여 바코드(11)의 형상을 보정하고, 이를 기반으로 진단 스트립(10)에 대한 영상을 보정할 수 있다. 예를 들어, 형상 보정부(212)는, 상호 측면에 배치된 파인더 패턴(11A, 11B)의 길이를 계측하여 바코드(11)의 배율을 인식할 수도 있다. 또한, 형상 보정부(212)는 상호 상하에 배치된 파인더 패턴(11B, 11C)의 길이를 계측하고, 상호 측면에 배치된 파인더 패턴(11A, 11B)의 길이와 비교하여, 도 5에 도시된 바와 같이, 바코드(11-1)가 대략 사다리꼴, 평행사변형 또는 좌우로 긴 직사각형 형상인지 판단하고, 판단 결과를 기반으로 촬영 각도가 경사져 촬영된 진단 스트립(10-1)이 원래의 형태와 상이하게 왜곡되었다고 판단하고, 형태가 왜곡된 바코드(11-1) 및/또는 진단 스트립(10-1)에 대한 영상을 보정하여 원래의 형상과 동일 또는 이에 근사한 형상의 바코드(11-2) 및/또는 진단 스트립(10-2)에 대한 영상을 획득할 수도 있다.
영상 기반 진단 장치(100)가 진단 스트립(10)을 촬영하는 경우, 주변의 광에 기인하여 진단 스트림(10)에는 영상 기반 진단 장치(100)나 다른 물체의 그림자가 존재할 수도 있다. 그림자 처리부(213)는 그림자 인식 영역(13)을 기반으로 진단 스트립(10)의 일 면(10A)에 생성된 그림자를 인식하고 이의 존재 여부를 판단할 수 있다. 예를 들어, 그림자 처리부(213)는, 그림자 인식 영역(13)의 일 말단에서 타 말단까지 적어도 일 라인의 영상 데이터(픽셀 값)을 획득하고, 획득한 영상 데이터의 최대 값과 최소 값의 차이를 비교하여 그림자의 존재 여부를 판단할 수 있다. 이 경우, 그림자 처리부(213)는, 획득한 영상 데이터의 최대 값과 최소 값의 차이가 미리 정의된 기준 값(일례로 60)보다 크다면, 그림자가 존재하는 것으로 판단하고, 반대로 획득한 영상 데이터의 최대 값과 최소 값의 차이가 미리 정의된 기준 값보다 작다면, 그림자가 존재하지 않는 것으로 판단할 수 있다. 만약 진단 스트립(10)에 그림자가 존재하는 것으로 판단되면, 그림자 처리부(213)는, 실시예에 따라서, 그림자에 대응하는 픽셀 각각의 값을 변환하거나, 출력부(107) 등에 제어 신호를 보내 사용자 등에게 재촬영을 요청하거나, 또는 촬영부(101)에 제어 신호를 전송하여 촬영부(101)가 재촬영을 수행하도록 할 수도 있다. 반대로 만약 진단 스트립(10)에 그림자가 존재하지 않는 것으로 판단되면, 그림자 처리부(213)는 해당 영상이 정규화 처리에 적합한 영상인 것으로 판단하고, 해당 영상을 정규화 처리부(230)로 전달할 수 있다.
정규화부(230)는, 영상 생성부(201) 또는 영상 전처리부(210)로부터 영상을 수신하고, 영상에 대한 정규화를 수행할 수 있다. 정규화부(230)에 의해 영상에 대한 정규화가 수행될 때, 영상 내에 존재하는 빛 반사도 보정될 수 있다.
도 6은 정규화 처리부의 일 실시예에 대한 블록도이고, 도 7은 인식대상영역의 위치 판별 동작의 일례를 설명하기 위한 도면이다.
도 6에 도시된 바를 참조하면, 정규화 처리부(230)는, 인식 대상 영역 위치 판별부(231), 히스토그램 생성부(232), 히스토그램 변환부(233), 히스토그램 보정부(234) 및 통계값 연산부(235)를 포함할 수 있다. 실시예에 따라서, 인식 대상 영역 위치 판별부(231), 히스토그램 생성부(232), 히스토그램 변환부(233), 히스토그램 보정부(234) 및 통계값 연산부(235) 중 적어도 하나는 생략 가능하다.
인식 대상 영역 위치 판별부(231)는, 목표 영역(14-1 내지 14-13) 중에서 가장 중앙에 위치한 중심 목표 영역(일례로 제4 목표 영역(14-4))을 인식할 수 있다. 구체적으로 바코드(11) 및 진단용 인식 영역(14)의 각각의 목표 영역(14-1 내지 14-3)은 진단 스트립(10)의 일 면(10A)에 인쇄되어 비가변적이므로, 바코드(11)의 일 모서리(11A, 즉, 일 파인더 패턴)에서 바코드 중심점 인식부(211)에 의해 검출된 중심점(11D)을 잇는 선분(L11)의 길이와, 중심점(11D)에서 어느 하나의 목표 영역, 일례로 목표 영역(14-1 내지 14-13) 중 가장 가장자리에 위치한 제1 목표 영역(14-1) 내의 일 지점(14-1A, 제1 목표 영역(14-1)의 중심점을 포함 가능함)을 연결하는 선분(L12)의 길이 간의 비율은 일정하다. 예를 들어, 설계자는 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A)까지의 거리가, 일 모서리(11A)와 중심점(11D) 사이의 거리의 2배가 되도록 제1 목표 영역(14-1)의 위치를 결정하고, 해당 위치에 제1 목표 영역(14-1)을 도시, 인쇄 또는 부착할 수 있다. 또한, 바코드(11)가 QR코드인 경우, QR코드는 대체적으로 정사각형의 형상을 가지므로, 만약 제1 목표 영역(14-1)의 일 지점(14-1A)이 다른 모서리(11B)로부터 중심점(11D)을 지나는 선분(도 2의 L2)의 연장선(L12)에 위치하고, 다른 일부의 목표 영역(14-2 내지 14-4)이 스트립(10)의 길이 방향에 직교하는 방향으로 나란히 배치되어 있다면, 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A) 사이를 잇는 선분(L12)과, 제1 목표 영역(14-1)의 일 지점(14-1A)과 중심 목표 영역(일례로 제4 목표 영역(14-4))의 일 지점(14-4A, 제4 목표 영역(14-4)의 중심점을 포함 가능함) 사이를 잇는 선분(L13) 사이의 각도(θ)는 대략 45도로 주어진다. 따라서, 제1 목표 영역(14-1)의 일 지점(14-1A)과 제4 목표 영역(14-4)의 일 지점(14-4A) 사이의 거리는, 만약 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A)까지의 거리가 일 모서리(11A)와 중심점(11D) 사이의 거리의 2배로 주어졌다면, 일 모서리(11A)와 중심점(11D) 사이의 거리의 √2 배 또는 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A)까지의 거리의 1/√2 배로 주어질 수 있다. 이 경우, 어느 하나의 목표 영역(일례로 제1 목표 영역(14-1))의 일 지점(14-1A)과 인접한 다른 목표 영역(일례로 제2 목표 영역(14-2))의 일 지점(14-2A) 사이의 거리는, 제1 목표 영역(14-1)의 일 지점(14-1A)과 제4 목표 영역(14-4)의 일 지점(14-4A) 사이의 거리를 목표 영역(14-1 내지 14-4)의 개수에 따라 주어질 수 있다. 예를 들어, 어느 하나의 목표 영역(14-1)의 일 지점(14-1A)과 인접한 다른 목표 영역(14-2)의 일 지점(14-2A) 사이의 거리는, 일 모서리(11A)와 중심점(11D) 사이의 거리의 (√2)/3 배로 주어질 수 있다. 그러므로, 진단 스트립(10)에 형성된 바코드(11)의 크기(구체적으로는 파인더 패턴(11A, 11B)과 바코드(11)의 중심점(11D) 사이의 거리)를 확인할 수 있으면, 이를 이용하여 적어도 하나의 목표 영역(14-1 내지 14-13)의 위치와, 적어도 하나의 목표 영역(14-1 내지 14-13) 각각의 중심점(14-1A 내지 14-4A 등)의 위치를 검출할 수 있게 된다. 검출된 적어도 하나의 목표 영역(14-1 내지 14-13)은 각각 히스토그램 생성부(232)로 전달될 수 있다.
도 8은 인식대상영역에 대한 히스토그램 생성 과정의 일례를 설명하기 위한 도면이고, 도 9는 인식대상영역에 대한 히스토그램의 일례를 도시한 그래프 도면이다.
히스토그램 생성부(232)는, 인식 대상 영역(14)의 적어도 하나의 목표 영역(14-1 내지 14-13)에 속한 각각의 픽셀의 값을 이용하여 히스토그램 데이터를 획득할 수 있다. 예를 들어, 히스토그램 생성부(232)는 도 8에 도시된 바와 같이 적어도 하나의 목표 영역(14-k, k는 1 이상의 자연수)이 주어지면, 적어도 하나의 목표 영역(14-k) 내의 복수의 지점(일례로 좌측 상단의 모서리 주변의 일 화소(R0, R0)에서부터 우측 하단의 모서리 주변의 일 화소(Rx, Ry)) 각각에 대응하는 화소 값을 획득하고, 각각에 대응하는 화소 값을 미리 정의된 순서에 따라 배치함으로써 도 9에 도시된 바와 같이 목표 영역(14-k)에 대응하는 적어도 하나의 히스토그램(20)을 생성할 수 있다. 구체적으로, 목표 영역(14-k)의 좌측 상단의 일 지점(R0, R0)로부터 우측 상단(R0, Ry)까지의 각각의 데이터(일례로 RGB값), 좌측 상단 바로 하단 지점(R1, R0)으로부터 우측 상단 바로 하단 지점(R1, Ry)까지의 각각의 데이터 내지 좌측 하단의 일 지점(Rx, R0)로부터 우측 하단의 일 지점(Rx, Ry)까지의 데이터가 각각의 위치에 따라 순차적으로 배치되어 적어도 하나의 히스토그램(20)이 생성될 수 있게 된다. 여기서, 각각의 픽셀은 값은 R값, G값 및 B값을 포함할 수 있으며, 이에 따라 목표 영역(14-k)에 대한 히스토그램(20)도 R값에 대한 히스토그램, G값에 대한 히스토그램 및 B값에 대한 히스토그램을 포함할 수 있다. 실시예에 따라서, 히스토그램 생성부(232)는, 목표 영역(14-k) 내의 모든 지점으로부터 데이터를 획득하여 적어도 하나의 히스토그램(20)을 생성할 수도 있고, 또는 목표 영역(14-k) 내의 일부의 구역으로부터 각각의 데이터를 획득하여 적어도 하나의 히스토그램(20)을 생성할 수도 있다. 후자의 경우, 예를 들어, 히스토그램 생성부(232)는 목표 영역(14-k)의 경계 및 그 주변을 제외한 나머지 부분으로부터 대응하는 데이터를 획득하여 적어도 하나의 히스토그램(20)을 생성하는 것도 가능하다. 이 경우, 목표 영역(14-k)의 경계 및 그 주변을 제외한 나머지 부분은 목표 영역(14-k)의 대략 90%에 해당할 수도 있다.
히스토그램 변환부(233)는, 하나 또는 복수의 생성된 히스토그램(20)을 변환하여 새로운 하나 또는 복수의 히스토그램을 생성할 수도 있다.
일 실시예에 의하면, 히스토그램 변환부(233)는 적어도 하나의 히스토그램의 각각의 데이터를 리스케일링할 수 있다. 예를 들어, 히스토그램 변환부(233)는, 특정 픽셀에 대한 R값에 대한 리스케일링과, 특정 픽셀에 대한 G값에 대한 리스케일링과, 특정 픽셀에 대한 B값에 대한 리스케일링을 수행하여 각 값에 대한 리스케일링 경과를 획득할 수 있고, 이를 기반으로 R값에 대한 리스케일링된 히스토그램, G값에 대한 리스케일링된 히스토그램 및 B값에 대한 리스케일링된 히스토그램을 획득할 수 있다. 여기서, 히스토그램 변환부(233)는, 예를 들어, 적어도 하나의 목표 영역(14-1 내지 14-13)에 대응하는 색상 값, 즉 R값, G값 및 B값 각각에 대해 하기의 수학식 1 내지 수학식 3을 적용하여 적어도 하나의 목표 영역(14-1 내지 14-13) 각각에 대한 리스케일링된 색상 값을 획득하는 것도 가능하다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
수학식 1 내지 3에서, R_Re, G_Re 및 B_Re는 리스케일링된 R값, G값 및 B값이고, R_Wh, G_Wh 및 B_Wh는 백색에 대한 R값, G값 및 B값이며, R_Bl, G_Bl 및 B_ Bl은 흑색에 대한 R값, G값 및 B값이고, R, G 및 B는 해당 픽셀의 R값, G값 및 B값이다.
또한, 히스토그램 변환부(233)는, R값, G값 및 B값 각각에 대한 리스케일링 결과를 기반으로 그레이 히스토그램을 획득할 수도 있다. 그레이 히스토그램은 하기의 수학식 4에 기재된 바와 같이 각 R값 리스케일링 결과와, 각 R값 리스케일링 결과에 대응하는 각 G값 리스케일링 결과와, 각 R값 리스케일링 결과(및/또는 G값 리스케일링 결과)에 대응하는 B값 리스케일링 결과들의 평균을 연산하여 획득될 수도 있다.
[수학식 4]
Figure pat00004
이에 따라 R값, G값 및 B값에 대응하는 적어도 하나의 그레이 히스토그램이 획득된다.
히스토그램 변환부(233)는 실시예에 따라서 생략될 수도 있다.
히스토그램 보정부(234)는 히스토그램 생성부(232)에서 생성된 적어도 하나의 히스토그램, 히스토그램 변환부(233)에서 획득된 리스케일링된 히스토그램 및 그레이 히스토그램 중 적어도 하나를 기반으로 히스토그램 보정 처리를 수행하여 정규화된 히스토그램을 획득할 수도 있다.
일 실시예에 의하면, 히스토그램 보정부(234)는, 그레이 히스토그램이 생성된 경우, 그레이 히스토그램의 적어도 하나의 값을 이용하여 히스토그램 보정 처리의 수행 여부를 먼저 결정할 수도 있다. 예를 들어, 히스토그램 보정부(234)는 그레이 히스토그램 내의 데이터의 최대 값 및 데이터의 최소 값을 각각 검출하고, 최대 값 및 최소 값의 차이가 사용자나 설계자 등에 의해 미리 정의된 값(예를 들어, 30)보다 작다면, 히스토그램 보정 처리를 수행하지 않고, 반대로 최대 값 및 최소 값의 차이가 미리 정의된 값보다 크다면, 히스토그램 보정 처리를 수행하도록 마련될 수도 있다. 히스토그램 보정 처리를 하지 않는 경우, 해당 히스토그램은 색상 보정부(250)나 진단부(270) 등으로 별도의 처리 없이 전달될 수도 있다.
도 10은 보정 결과에 따른 히스토그램의 변화를 도시한 도면이고, 도 11은 히스토그램 보정부의 일 실시예를 설명하기 위한 도표이다.
히스토그램의 보정은 주어진 히스토그램(20)에 속하는 둘 이상의 연속된 데이터를 기반으로 수행될 수 있다. 예를 들어, 히스토그램 보정부(234)는, 원 히스토그램(20)의 제n 데이터(d_n)와, 제n 데이터에 인접한 제(n-1) 데이터(d_n-1)와, 제(n+1) 데이터(d_n+1)를 이용하여 히스토그램 보정을 수행할 수도 있다(n은 1 이상의 자연수). 이 경우, 히스토그램 보정부(234)는, 제(n-1) 데이터(d_n-1), 제n 데이터(d_n) 및 제(n+1) 데이터(d_n+1) 중에서 그 값이 가장 큰 데이터를 제거하고, 나머지 데이터 상의 평균값을 연산하고, 연산된 평균 값을 제n 데이터(d_n)에 대응하는 1차 보정된 제n 데이터의 값으로 하여, 도 10에 도시된 바와 같이 원 히스토그램(20)에 대응하는 1차 보정된 히스토그램(21)을 획득할 수 있다. 또한, 히스토그램 보정부(234)는, 1차 보정된 히스토그램(21)의 둘 이상의 연속된 데이터를 기반으로 상술한 바와 동일하게 또는 일부 변형된 방식으로 히스토그램 보정을 수행하여 2차 보정된 히스토그램(22)을 더 획득할 수도 있으며, 임의의 제한된 회수로 상술한 바를 반복하여 3차 보정된 히스토그램(23) 등을 더 획득할 수도 있다.
도 11에 도시된 바를 참조하여 보정된 히스토그램(21 내지 23)의 생성 과정의 일례를 상세하게 설명하면, 원 히스토그램(20)이 주어진 경우, 히스토그램 보정부(234)는, 원 히스토그램(20)의 제1 데이터, 일례로 좌표 (R0, R0)에 해당하는 데이터(d1, 값은 3), 제2 데이터, 일례로 좌표 (R1, R0)에 해당하는 데이터(d2, 값은 5) 및 제3 데이터, 일례로 좌표 (R2, R0)에 해당하는 데이터(d3, 값은 4)를 획득하고, 제1 내지 제3 데이터(d1 내지 d3) 중에서 가장 값이 큰 제2 데이터(d2)를 제거하고, 나머지 제1 데이터(d1) 및 제3 데이터(d3)의 평균 값(3.5=(3+4)/2)을 구하여, 1차 보정된 히스토그램(21)의 특정 위치의 데이터(일례로 제2 데이터)에 대응하는 값을 획득할 수 있다. 또한, 히스토그램 보정부(234)는, 동일하게 원 히스토그램(20)의 제2 데이터, 일례로 좌표 (R1, R0)에 해당하는 데이터(d2, 값은 5), 제3 데이터, 일례로 좌표 (R2, R0)에 해당하는 데이터(d3, 값은 4) 및 제4 데이터, 일례로 좌표 (R3, R0)에 해당하는 데이터(d4, 값은 2)를 획득하고, 제2 내지 제4 데이터(d2 내지 d4) 중에서 가장 값이 큰 제2 데이터(d2)를 제거하고, 나머지 제3 데이터(d3) 및 제4 데이터(d4)의 평균 값(3=(4+2)/2)을 구하여 1차 보정된 히스토그램(21)의 제3 데이터에 해당하는 값을 획득할 수 있다. 이와 같은 과정은 모든 데이터(d1 내지 d8 등)에 대해 수행될 수 있으며, 이에 따라 1차 보정된 히스토그램(21)이 획득될 수 있게 된다. 이어서, 히스토그램 보정부(234)는, 사용자의 선택이나 미리 정의된 설정에 따라서, 1차 보정된 히스토그램(21) 내의 제2 데이터(값은 3.5), 제3 데이터(값은 3) 및 제4 데이터(값은 2.5) 중에서 해당 값이 가장 큰 제2 데이터를 제외하고 제3 및 제4 데이터의 평균을 연산하여 2차 보정 히스토그램(22)의 제3 데이터에 대응하는 값(2.75=(3+2.5)/2)을 획득하고, 1차 보정된 히스토그램(21)의 제3 데이터(값은 3), 제4 데이터(값은 2.5) 및 제5 데이터(값은 2.5) 중에서 그 값이 가장 큰 제3 데이터는 제외하고, 제4 및 제5 데이터의 평균(2.5=(2.5+2.5)/2)을 연산하여 2차 보정 히스토그램(22)의 제4 데이터에 대응하는 값을 획득함으로써, 새로운 히스토그램, 즉 2차 보정 히스토그램(22)을 생성할 수 있다.
또한, 히스토그램 보정부(234)는, 상술한 바와 동일한 과정을 통해서 2차 보정 히스토그램(22)으로부터 3차 보정 히스토그램(23)도 획득할 수 있다. 이와 같은 과정의 반복에 따라 제2 내지 제4 히스토그램(21 내지 23)을 획득하면, 도 10에 도시된 바와 같이 히스토그램(20 내지 23)이 순차적으로 획득될 수 있게 된다.
상술한 히스토그램 보정부(234)의 연산은 하기의 수학식 5와 같이 주어질 수 있다.
[수학식 5]
Figure pat00005
수학식 5에서 D^(k)_n는 k차 보정 히스토그램(22)의 n번째 위치의 데이터 값을 의미하고, D^(k-1)_n-1, D^(k-1)_n 및 D^(k-1)_n+1은 각각 (k-1)차 보정 히스토그램(k가 1인 경우에는 원 히스토그램(20))의 (n-1)번째, n번째 및 (n+1)번째 위치의 데이터를 의미한다.
상술한 히스토그램 보정 과정은 다수 회 반복 가능하며, 예를 들어, 미리 설정된 바에 따라 소정의 횟수(일례로 5회)로 반복될 수도 있고, 및/또는 보정된 히스토그램(21 내지 23)의 표준편차가 미리 정의된 범위(예를 들어, 표준편차의 값이 2% 이하인 범위)에 해당할 때까지 반복될 수도 있다.
실시예에 따라서, 히스토그램 보정부(234)는 상호 일정하게 이격된 다수의 데이터, 예를 들어 제(n-i) 데이터, 제n 데이터 및 제(n+i) 데이터에 대해 상술한 연산을 수행하여 히스토그램 보정 처리를 수행하는 것도 가능하다(i는 2 이상의 자연수). 또한, 히스토그램 보정부(234)는 히스토그램(20)의 넷 이상의 데이터에 대해 상술한 바와 동일하게 또는 일부 변형된 방법으로 보정된 히스토그램(들)(21 내지 23)을 획득하는 것도 가능하다.
상술한 바와 같이 보정된 히스토그램(21 내지 23)을 순차적으로 획득하면, 각 히스토그램(20 내지 23)의 전체적인 표준편차는 히스토그램 보정 과정의 반복 회수에 대응하여 대체적으로 감소하고, 변동 계수도 이와 동일하게 점차 감소한다. 따라서, 데이터의 처리가 상대적으로 더욱 용이하게 된다. 또한, 이러한 히스토그램 보정 과정에서 데이터 내의 빛 반사도 보정될 수 있게 된다. 빛 반사는 카메라 등의 렌즈 면에서 난반사되거나 배럴의 벽면 등에서 반사된 광이 촬상소자에 맺혀 빛 번짐을 발생시킴으로써 촬영 영상의 선명도와 채도를 악화시키는 상황을 의미한다. 특히, 강한 사광이 광학계 및 렌즈 입사구로 유입되는 조건에서는 광학계 내 난반사가 강하면서도 빈번하게 발생해, 이로 인해 필름의 소자나 이미지 센서의 픽셀 과포화로 인한 과노출 상태가 야기되거나, 명도차가 큰 경계면에서 빛이 번지거나 명부가 과다하게 노출되는 글로우 현상이 나타나곤 한다. 또한, 이에 따라서 영상 내에서 마이크로 광 효과도 발생되게 된다. 마이크로 광 효과는 면적이 아니라 도트 형태로 작게 발생되는 빛 반사로, 일반적인 빛 반사는 면적 형태로 발생하므로 상대적으로 넓은 범위에 걸쳐 이상 값이 히스토그램 상에 발생하나, 마이크로 광 효과에 따른 빛 반사는 극히 좁은 범위에 걸쳐 주변 값과 상당히 상이한 이상 값이 발생하게 된다. 상술한 바와 같이 히스토그램 보정을 통해 다수 회수로 히스토그램(20)을 보정하면, 보정된 히스토그램(21 내지 23) 내에는 지나치게 큰 값이 제거 처리되므로, 이상 값은 제거될 수 있으며, 이에 따라 마이크로 광 효과 등과 같은 빛 반사가 보정될 수 있게 된다.
통계값 연산부(235)는 상술한 원래의 또는 보정된 히스토그램(20 내지 23) 중 적어도 하나(일례로 최종적으로 보정된 히스토그램)에 대한 통계적 수치(들)을 연산하여 획득할 수도 있다. 여기서, 통계적 수치(들)은, 평균, 분산, 표준편차 및/또는 변동 계수 등을 포함할 수 있다. 원래의 또는 보정된 히스토그램(20 내지 23)에 대해 획득된 통계적 수치들은 색상 보정부(250) 등으로 전달되고, 색상 보정부(250)에 의해 이용될 수도 있다.
색상 보정부(250)는, 정규화 처리부(230)에 의해 복수의 목표 영역(14-1 내지 14-13) 중 적어도 하나에 대응하는 히스토그램(20 내지 23)을 수신하고, 이를 이용하여 영상 내에서의 색상을 보정할 수도 있다. 이 경우, 색상 보정부(250)는 RGB 보정 영역(12)을 이용하여 색상에 대한 보정치(또는 보정 비율)을 획득하고, 획득한 보정치 또는 보정비율을, 영상 내의 목표 영역(14-1 내지 14-13)에 반영하여 목표 영역(14-1 내지 14-13)에 대한 색 보정을 수행할 수도 있다. 이 경우, 목표 영역(14-1 내지 14-13)의 색 보정을 위해 상술한 히스토그램(20 내지 23)이나, 또는 이에 대한 통계적 수치(들)이 이용될 수도 있다. 색상 보정부(250)의 보정에 따라서, 영상 기반 진단 장치(100)는 목표 영역(14-1 내지 14-13)이 나타내는 색상에 대한 더욱 정확한 값을 획득할 수 있게 되며, 이를 기반으로 변색 여부를 보다 정밀하게 판단함으로써, 피검자의 진단을 더욱 더 정교하게 수행할 수 있게 된다. 색상 보정부(250)에 의해 색상이 보정된 영상은 진단부(270)로 전달될 수도 있고, 또는 저장부(103)나 출력부(107)로 전달될 수도 있다.
진단부(270)는, 정규화 처리부(230) 또는 색상 보정부(250)에서 전달된 목표 영역(14-1 내지 14-3)에 대한 영상 데이터 또는 이에 대응하는 히스토그램(20 내지 23)을 기반으로 피검자의 질병을 진단할 수 있다. 이 경우, 진단부(270)는, 목표 영역(14-1 내지 14-13)의 변색된 값과 이에 대응하는 질병을 포함하는 참조 테이블 등을 이용하여 피검자의 질병을 진단할 수도 있다. 참조 테이블 등은 저장부(103)에 데이터베이스 형태로 구축된 것일 수도 있다. 또한, 진단부(270)는, 목표 영역(14-1 내지 14-13)의 변색된 값을 적어도 하나의 학습 모델(심층 신경망, 콘볼루션 신경망, 장단기메모리, 생성적 적대 신경망 또는 조건부 생성적 적대 신경망 등)에 입력하고, 이에 대응하는 결과 값을 획득하여 피검자의 질병을 진단하는 것도 가능하다. 진단부(270)의 진단 결과는 저장부(103)에 저장될 수도 있고, 출력부(107)를 통해 사용자 등에게 제공될 수 있다.
실시예에 따라, 저장부(103)에는 상술한 처리를 위해 마련된 프로그램이 저장될 수 있으며, 프로세서(200)는, 이러한 프로그램을 구동하여 상술한 영상 생성, 영상 보정, 정규화, 색상 보정 및 진단 동작 중 적어도 하나를 수행할 수 있다.
상술한 영상 기반 진단 장치(100)는, 기 설명한 바와 같은 영상 생성, 영상 보정, 정규화, 색상 보정 및/또는 진단 동작 등을 수행할 수 있도록 특별히 고안된 처리장치를 이용하여 구현될 수도 있고, 또는 적어도 하나의 알려진 정보처리장치를 단독으로 이용하거나 조합 이용함으로써 구현될 수도 있다. 여기서, 적어도 하나의 정보처리장치는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 하드웨어 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 스마트 밴드, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 휴대용 게임기, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 내비게이션 장치, 스캐너 장치, 프린터 장치, 삼차원 프린터 장치, 리모트 컨트롤러(리모컨), 디지털 텔레비전, 셋 톱 박스, 디지털 미디어 플레이어 장치, 미디어 스트리밍 장치, 음향 재생 장치(인공 지능 스피커 등), 가전 기기(일례로 냉장고 등), 유인 또는 무인 이동체(일례로 차량, 이동성 로봇, 무선 모형 차량, 로봇 청소기 등), 유인 또는 무인 비행체(일례로 항공기나, 헬리콥터나, 드론, 모형 비행기, 모형 헬리콥터 등), 의료 기기(엑스선 촬영 장치, 컴퓨터 단층 촬영 장치(CT: Computed Tomography), 유방 촬영 장치 또는 자기공명촬영(MRI: Magnetic Resonance Imaging) 장치 등), 로봇(가정용, 산업용 또는 군사용) 또는 기계 장치(산업용 또는 군사용) 등을 포함할 수 있으나, 이에 한정되는 것은 아니며, 설계자나 사용자 등이 상황이나 조건에 따라서 고려 가능한 다양한 장치를 포함할 수도 있다.
이하 도 12를 참조하여 영상 기반 진단 시스템의 제어 방법의 일 실시예를 설명한다.
도 12는 영상 기반 진단 시스템의 제어 방법의 일 실시예의 흐름도이다.
도 12에 도시된 바를 참조하면, 진단 스트립에 대한 촬영이 수행되고, 진단 스트립의 전부 또는 일부를 포함하는 영상이 생성되어 획득된다(300). 여기서, 진단 스트립은, 도 2에 도시된 바와 같이, 바코드(1차원 바코드나 QR코드 등) 및 진단용 인식 영역을 포함할 수 있으며, 필요에 따라 RGB 보정 영역이나 그림자 인식 영역 등을 더 포함할 수도 있다. 이 경우, 진단 스트립에는, 예를 들어, RGB 보정 영역, 바코드, 그림자 인식 영역 및 진단용 인식 영역이 순차적으로 배치될 수도 있으나, 이에 한정되는 것은 아니다.
바코드는, 진단 스트림의 크기, 배율, 방향 및/또는 기울어짐 등을 감지하기 위해 이용될 수도 있고, 진단용 인식 영역 내의 다수의 목표 영역 중 어느 하나의 목표 영역(일례로 중심 목표 영역 등)의 식별을 위해 이용될 수도 있다. 진단용 인식 영역은 피검자의 질환 발생 여부를 감지할 수 있도록, 피검자로부터 획득된 피검체에 따라 변색되도록 마련된 것일 수 있다. RGB 보정 영역은 RGB 보정의 기준으로 이용될 수 있으며, 예를 들어, 적색 영역, 녹색 영역 및 청색 영역, 백색 영역 및 흑색 영역 중 적어도 하나를 포함할 수 있다. 그림자 인식 영역은 백색 등의 단색을 갖는 영역으로, 그림자의 존재 여부 판단을 위해 이용될 수도 있다.
이어서 촬영된 영상이 1차적으로 보정될 수 있다(310). 예를 들어, 바코드(일례로 QR코드)의 모서리에 위치한 파인더 패턴 중 적어도 둘을 기반으로 바코드의 형상이 예정된 바에 따라 직사각형 또는 정사각형인지 여부가 판단되고, 만약 바코드의 형상이 예정된 바와 상이하게 사다리꼴이나, 평행사변형 등의 형상으로 왜곡되어 있으면, 촬영된 바코드가 원래의 바코드 형상에 맞도록 영상 보정이 수행될 수 있다. 또한, 그림자의 존재 여부가 판단되고, 필요에 따라서 그림자가 보정되거나 또는 진단 스트립에 대한 재촬영이 수행될 수 있다. 또한, 해당 과정에서 촬영된 영상의 바코드(일례로 QR코드)의 중심점이 획득될 수도 있다.
바코드를 기반으로 인식 대상 영역의 적어도 하나의 목표 영역의 위치가 판별될 수 있다. 예를 들어, 원하는 목표 영역의 위치는 바코드의 크기(일례로 파인더 패턴과 중심점 간의 거리)를 기반으로 획득될 수 있으며, 보다 구체적으로는 바코드의 파인더 패턴 및 바코드의 중심점 사이의 거리와 중심점에서 어느 하나의 목표 영역(일례로 제1 목표 영역) 사이의 거리가 정해진 경우, 이들에 대한 비율로부터 제1 목표 영역 및 원하는 목표 영역 사이의 거리를 획득하고, 이를 기반으로 원하는 목표 영역의 위치를 결정하고, 이를 기반으로 목표 영역을 검출할 수 있게 된다.
원하는 적어도 하나의 목표 영역이 검출되면, 적어도 하나의 목표 영역에 속한 각각의 픽셀의 값을 이용하여 히스토그램을 생성할 수 있다(330). 예를 들어, 히스토그램은, 적어도 하나의 목표 영역 내의 각각의 지점에 대한 데이터(화소 값)를 좌측 상단에서부터 우측 하단까지 지그재그 형태로 추출하고, 추출한 데이터를 순차적으로 배치함으로써 생성될 수 있다. 이 경우, 생성된, 히스토그램은, R값에 대한 히스토그램, G값에 대한 히스토그램 및 B값에 대한 히스토그램을 포함할 수 있다. 히스토그램의 생성은, 목표 영역 내의 모든 구역의 데이터를 기반으로 수행될 수도 있고 또는 일부의 구역의 데이터를 기반으로 수행될 수도 있다.
생성된 히스토그램은, 실시예에 따라서, 변환될 수도 있다(340). 예를 들어, 히스토그램(일례로 R값에 대한 히스토그램, G값에 대한 히스토그램 및 B값에 대한 히스토그램)은 각각 리스케일링되어 리스케일링된 히스토그램이 획득될 수도 있고, 필요에 따라 그레이 히스토그램이 리스케일링된 히스토그램으로부터 획득될 수도 있다. 리스케일링된 히스토그램은, 상술한 수학식 1 내지 수학식 3을 이용하여 획득될 수 있다. 또한, 그레이 히스토그램은 상술한 수학식 4에 기재된 바와 같이 R값 리스케일링 결과, G값 리스케일링 결과 및 B값 리스케일링 결과들의 평균을 기반으로 연산된 것일 수도 있다.
순차적으로 히스토그램의 보정 처리가 수행될 수 있다(350). 실시예에 따라서, 히스토그램의 보정은 그레이 히스토그램 내의 데이터의 최대 값 및 데이터의 최소 값의 차이가 사용자나 설계자 등에 의해 미리 정의된 값(예를 들어, 30)보다 큰 경우에 한하여 수행되도록 마련되는 것도 가능하다. 히스토그램의 보정은, 둘 이상의 연속된 데이터를 기반으로 수행될 수 있으며, 예를 들어, 히스토그램 내의 인접한 둘 이상의 데이터(일례로 제(n-1) 데이터, 제n 데이터 및 제(n+1) 데이터)를 이용하여 수행될 수도 있다. 실시예에 따라서, 어느 정도 이격된 히스토그램 내의 데이터를 이용하여 히스토그램의 보정이 수행되는 것도 가능하다. 일 실시예에 따르면, 히스토그램의 보정은 다 회 수행될 수 있으며, 이에 따라 1차 보정된 히스토그램 내지 m차 보정된 히스토그램이 순차적으로 획득될 수 있다(m은 1 이상의 자연수). 실시예에 따라서, 히스토그램의 반복 보정은, 사용자나 설계자 등에 의해 사전에 정의된 회수에 따라서 수행될 수도 있고, 및/또는 m차 보정된 히스토그램의 표준편차가 미리 정의된 범위(예를 들어, 표준편차의 값이 2% 이하인 범위)에 해당할 때까지 수행될 수도 있다. 일 실시예에 의하면, m차 보정된 히스토그램은, (m-1)차 보정된 히스토그램 내의 임의의 연속된 세 개의 데이터(제(n-1) 데이터, 제n 데이터 및 제(n+1) 데이터) 중에서 그 값이 가장 큰 데이터를 제외한 나머지 두 개의 데이터의 값의 평균을 소정 좌표(일례로 (m-1)차 보정된 히스토그램의 세 개의 데이터 중 제n 데이터에 대응하는 좌표)의 데이터(일례로, 제n 데이터)로 하여 생성될 수도 있다. 획득된 히스토그램은, 상황에 따라서, 소정의 저장 매체에 저장될 수도 있고, 사용자나 설계자 등에게 시각적 또는 청각적으로 제공될 수도 있으며, 다른 정보처리장치 등으로 전송될 수도 있다.
m차 보정된 히스토그램이 획득되면, m차 보정된 히스토그램에 대한 통계적 수치(들)이 연산 및 획득될 수 있다(360). 여기서, 통계적 수치(들)은, 평균, 분산, 표준편차 및/또는 변동 계수 등을 포함할 수 있다.
필요에 따라서, 진단 스트림의 RGB 보정 영역을 기반으로 목포 영역에 대한 RGB 보정이 더 수행될 수도 있다(370). 목표 영역에 대한 보정은, 목표 영역에 대응하는 히스토그램을 기반으로 수행될 수도 있다. 구체적으로 목표 영역에 대한 RGB 보정은, 진단 스트립에 형성된 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하고, 획득한 보정 비율을 기반으로 목표 영역에 대한 색 보정을 수행함으로써 수행될 수도 있다. 이 경우, 및 목표 영역에 대한 보정된 히스토그램이 이용될 수도 있다. 이와 같은 보정에 따라 목표 영역에 대한 색상에 대한 정확한 판단이 가능하게 된다.
순차적으로 목표 영역에 대한 영상 또는 이에 대응하는 히스토그램을 기반으로 피검자에 대한 진단이 수행될 수 있다(380). 피검자에 대한 진단은, 미리 구축된 데이터베이스를 이용하여 수행될 수도 있고, 또는 학습 모델을 기반으로 수행될 수도 있다. 진단 결과는 별도의 저장 매체에 저장되거나, 사용자 등에게 시각적 또는 청각적으로 제공되거나, 및/또는 다른 정보처리장치 등으로 전송될 수 있다.
상술한 실시예에 따른 영상 기반 진단 시스템(1)의 제어 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 영상 기반 진단 시스템의 제어 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 매체나, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체나, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체나, 또는 플롭티컬 디스크 등과 같은 자기-광 기록 매체 등 컴퓨터 등의 호출에 따라 실행되는 하나 이상의 프로그램을 일시적 또는 비일시적으로 저장 가능한 적어도 한 종류의 물리적 저장 매체를 포함할 수 있다.
이상 영상 기반 진단 시스템 및 이의 제어 방법의 여러 실시예에 대해 설명하였으나, 영상 기반 진단 시스템 및 이의 제어 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현할 수 있는 다른 다양한 장치나 방법 역시 상술한 영상 기반 진단 장치나 영상 기반 진단 시스템의 제어 방법의 일 실시예가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치 또는 치환되더라도, 상술한 영상 기반 진단 장치 또는 영상 기반 진단 시스템의 제어 방법의 일 실시예가 될 수 있다.
10: 진단 스트립 11: 바코드
14: 진단용 인식 영역 100: 영상 기반 진단 장치
200: 프로세서 201: 영상 생성부
210: 영상 전처리부 230: 정규화 처리부
250: 색상 보정부 270: 진단부

Claims (14)

  1. 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립; 및
    상기 진단 스트립에 대한 영상을 획득하고, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하고, 상기 목표 영역에 대한 히스토그램을 생성하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 장치;를 포함하고,
    상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 시스템.
  2. 제1항에 있어서,
    상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 영상 기반 진단 시스템.
  3. 제2항에 있어서,
    상기 영상 기반 진단 장치는, 미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행하는 영상 기반 진단 시스템.
  4. 제1항에 있어서,
    상기 진단 스트림에는 RGB 보정 영역이 더 형성되고,
    상기 영상 기반 진단 장치는, 상기 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하고, 상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하는 영상 기반 진단 시스템.
  5. 제4항에 있어서,
    상기 영상 기반 진단 장치는, 색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행하는 영상 기반 진단 시스템.
  6. 제1항에 있어서,
    상기 영상 기반 진단 장치는, 상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하거나, 상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 영상 기반 진단 시스템.
  7. 제1항에 있어서,
    상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하고, 상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하고, 상기 그레이 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 시스템.
  8. 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립에 대한 영상을 획득하는 단계;
    상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하는 단계;
    상기 목표 영역에 대한 히스토그램을 생성하는 단계; 및
    상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계;를 포함하고,
    상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계는,
    상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계;를 포함하는 영상 기반 진단 방법.
  9. 제8항에 있어서,
    상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계;를 더 포함하는 영상 기반 진단 방법.
  10. 제9항에 있어서,
    상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계는,
    미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행하는 단계;를 포함하는 영상 기반 진단 방법.
  11. 제8항에 있어서,
    상기 진단 스트립에 형성된 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하는 단계; 및
    상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하는 단계;를 더 포함하는 영상 기반 진단 방법.
  12. 제11항에 있어서,
    색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행하는 단계;를 더 포함하는 영상 기반 진단 방법.
  13. 제8항에 있어서,
    상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하는 단계; 및
    상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 단계; 중 적어도 하나를 더 포함하는 영상 기반 진단 방법.
  14. 제8항에 있어서,
    상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하는 단계; 및
    상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하는 단계;를 더 포함하는 영상 기반 진단 방법.
KR1020210179230A 2021-11-26 2021-12-15 영상 기반 진단 시스템 및 이의 제어 방법 KR20230078439A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/014307 WO2023096129A1 (ko) 2021-11-26 2022-09-26 영상 기반 진단 시스템 및 이의 제어 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210166040 2021-11-26
KR1020210166040 2021-11-26

Publications (1)

Publication Number Publication Date
KR20230078439A true KR20230078439A (ko) 2023-06-02

Family

ID=86755496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210179230A KR20230078439A (ko) 2021-11-26 2021-12-15 영상 기반 진단 시스템 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR20230078439A (ko)

Similar Documents

Publication Publication Date Title
US11106938B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
KR102277048B1 (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
EP3755204B1 (en) Eye tracking method and system
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
KR101679290B1 (ko) 영상 처리 방법 및 장치
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
KR20210038622A (ko) 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스 및 저장 매체
US11600003B2 (en) Image processing apparatus and control method for an image processing apparatus that extract a region of interest based on a calculated confidence of unit regions and a modified reference value
CN113205560B (zh) 多深度相机的标定方法、装置、设备及存储介质
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
JP2015005221A (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP2017130794A (ja) 情報処理装置、評価用チャート、評価システム、および性能評価方法
CN107704106B (zh) 姿态定位方法、装置及电子设备
WO2013187282A1 (ja) 撮像画像表示装置、撮像画像表示方法、記録媒体
KR20230078439A (ko) 영상 기반 진단 시스템 및 이의 제어 방법
CN107608541B (zh) 三维姿态定位方法、装置及电子设备
EP4138033A1 (en) Portable electronic device and wound-size measuring method using the same
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
WO2023096129A1 (ko) 영상 기반 진단 시스템 및 이의 제어 방법
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP2020191546A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020126434A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal