KR102378497B1 - Method and Apparatus for Measuring Object Size - Google Patents

Method and Apparatus for Measuring Object Size Download PDF

Info

Publication number
KR102378497B1
KR102378497B1 KR1020200054863A KR20200054863A KR102378497B1 KR 102378497 B1 KR102378497 B1 KR 102378497B1 KR 1020200054863 A KR1020200054863 A KR 1020200054863A KR 20200054863 A KR20200054863 A KR 20200054863A KR 102378497 B1 KR102378497 B1 KR 102378497B1
Authority
KR
South Korea
Prior art keywords
image data
target area
search target
endoscope apparatus
optical flow
Prior art date
Application number
KR1020200054863A
Other languages
Korean (ko)
Other versions
KR20210137307A (en
Inventor
김은선
손상혁
박상현
이광식
Original Assignee
고려대학교 산학협력단
주식회사 스토리지솔루션포닥터스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, 주식회사 스토리지솔루션포닥터스 filed Critical 고려대학교 산학협력단
Priority to KR1020200054863A priority Critical patent/KR102378497B1/en
Publication of KR20210137307A publication Critical patent/KR20210137307A/en
Application granted granted Critical
Publication of KR102378497B1 publication Critical patent/KR102378497B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

본 발명의 일 실시예에 따른 오브젝트 크기 측정 방법은, 이동 중인 내시경 장치에 의해 제1 및 제2 영상 데이터를 획득하는 단계; 상기 제1 영상 데이터에서 특징점 기준으로 탐색대상영역을 결정하는 단계; 상기 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우(optical flow)를 추출하는 단계; 상기 옵티컬 플로우를 기초로 상기 제2 영상 데이터에서 탐색대상영역을 트래킹하는 단계; 및 상기 탐색대상영역의 스케일링(scaling)을 기초로 오프젝트 크기를 산출하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a method for measuring an object size, comprising: acquiring first and second image data by a moving endoscope device; determining a search target area based on a feature point in the first image data; extracting an optical flow generated according to a change in the position of the endoscope device; tracking a search target area in the second image data based on the optical flow; and calculating an object size based on scaling of the search target area.

Description

오브젝트 크기 측정 방법 및 장치 {Method and Apparatus for Measuring Object Size}Method and Apparatus for Measuring Object Size

본 출원은 오브젝트 크기 측정 방법 및 장치에 관한 것이다.The present application relates to a method and apparatus for measuring object size.

내시경 장치는 신체 내부를 직접 관찰할 수 있는 의료기구로서, 신체 내부 영상을 촬영하여 신체 내부의 병변 유무를 판별하기 위해 사용한다. The endoscope device is a medical device that can directly observe the inside of the body, and is used to determine the presence or absence of a lesion inside the body by taking an image inside the body.

또한, 다양한 질환에서 병변의 크기는 예후를 예측할 수 있는 주요 인자이고, 이에 따라 치료 방법이 달라질 수도 있으므로, 내시경 검사를 통해 병변의 크기를 정확하게 측정할 필요가 있다.In addition, since the size of the lesion in various diseases is a major factor for predicting the prognosis, and treatment methods may vary accordingly, it is necessary to accurately measure the size of the lesion through an endoscopy.

종래에는 대부분 내시경용 생검 겸자를 이용하여 대략적으로 병변의 크기를 판단하였으나, 이 경우 측정 결과의 정확성이 크게 떨어진다는 문제가 있다.Conventionally, most of the endoscopic biopsy forceps were used to roughly determine the size of the lesion, but in this case, there is a problem in that the accuracy of the measurement result is greatly reduced.

따라서, 당해 기술분야에서는 내시경 검사를 통해 병변의 크기를 정확하게 측정하기 위한 방안이 요구되고 있다.Therefore, there is a need in the art for a method for accurately measuring the size of a lesion through an endoscopy.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 오브젝트 크기 측정 방법을 제공한다.In order to solve the above problems, an embodiment of the present invention provides a method of measuring an object size.

상기 오브젝트 크기 측정 방법은, 이동 중인 내시경 장치에 의해 제1 및 제2 영상 데이터를 획득하는 단계; 상기 제1 영상 데이터에서 특징점 기준으로 탐색대상영역을 결정하는 단계; 상기 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우(optical flow)를 추출하는 단계; 상기 옵티컬 플로우를 기초로 상기 제2 영상 데이터에서 탐색대상영역을 트래킹하는 단계; 및 상기 탐색대상영역의 스케일링(scaling)을 기초로 오프젝트 크기를 산출하는 단계를 포함할 수 있다.The method for measuring the size of an object may include: acquiring first and second image data using an endoscope device in motion; determining a search target area based on a feature point in the first image data; extracting an optical flow generated according to a change in the position of the endoscope device; tracking a search target area in the second image data based on the optical flow; and calculating an object size based on scaling of the search target area.

또한, 본 발명의 다른 실시예는 오브젝트 크기 측정 장치를 제공한다.In addition, another embodiment of the present invention provides an object size measuring apparatus.

상기 오브젝트 크기 측정 장치는, 내시경 장치가 오브젝트와 기 설정된 기준 거리 또는 임의의 거리만큼 이격되어 위치한 상태에서 획득한 제1 영상 데이터와, 상기 내시경 장치가 타 위치로 이동한 후 획득한 제2 영상 데이터를 입력받는 영상 입력부; 상기 제1 및 제2 영상 데이터로부터 상기 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우를 추출하는 옵티컬 플로우 추출부; 및 추출된 옵티컬 플로우를 기초로 상기 제2 영상 데이터에서 탐색대상영역을 트래킹하고, 트래킹한 탐색대상영역의 스케일링을 기초로 오브젝트 크기를 산출하는 크기 연산부를 포함할 수 있다.The object size measuring apparatus includes first image data obtained when the endoscope apparatus is spaced apart from the object by a preset reference distance or an arbitrary distance, and second image data obtained after the endoscope apparatus moves to another location. an image input unit receiving an input; an optical flow extraction unit for extracting an optical flow generated according to a change in the position of the endoscope apparatus from the first and second image data; and a size calculator that tracks the search target area in the second image data based on the extracted optical flow and calculates an object size based on scaling of the tracked search target area.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.Incidentally, the means for solving the above problems do not enumerate all the features of the present invention. Various features of the present invention and its advantages and effects may be understood in more detail with reference to the following specific embodiments.

본 발명의 일 실시예에 따르면, 내시경 검사를 통해 병변의 크기를 정확하게 측정할 수 있다.According to an embodiment of the present invention, it is possible to accurately measure the size of a lesion through an endoscopy.

도 1은 본 발명의 일 실시예에 따른 오브젝트 크기 측정 방법의 흐름도이다.
도 2는 도 1에 도시된 오브젝트 크기 산출 단계의 상세 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 오브젝트 크기 측정 장치의 구성도이다.
도 4a 내지 도 4j는 내시경 장치가 이동하면서 획득한 영상으로부터 옵티컬 플로우를 추출한 예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라 기준 데이터를 생성하는 예를 도시하는 도면이다.1 is a flowchart of a method for measuring an object size according to an embodiment of the present invention.
FIG. 2 is a detailed flowchart of an object size calculation step shown in FIG. 1 .
3 is a block diagram of an object size measuring apparatus according to another embodiment of the present invention.
4A to 4J are diagrams illustrating an example of extracting an optical flow from an image acquired while the endoscope apparatus moves.
5 is a diagram illustrating an example of generating reference data according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily practice the present invention. However, in describing the preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, 'including' a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 1은 본 발명의 일 실시예에 따른 오브젝트 크기 측정 방법의 흐름도이다.1 is a flowchart of a method for measuring an object size according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 오브젝트 크기 측정 방법은, 이동 중인 내시경 장치에 의해 제1 및 제2 영상 데이터를 획득하는 단계(S110), 제1 영상 데이터에서 특징점 기준으로 탐색대상영역을 결정하는 단계(S120), 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우(optical flow)를 추출하는 단계(S130), 옵티컬 플로우를 기초로 탐색대상영역을 트래킹하는 단계(S140) 및 탐색대상영역의 스케일링(scaling)을 기초로 오프젝트 크기를 산출하는 단계(S150)를 포함할 수 있다.Referring to FIG. 1 , the method for measuring object size according to an embodiment of the present invention includes acquiring first and second image data by a moving endoscope apparatus ( S110 ), and searching the first image data based on a feature point. Determining the target area (S120), extracting an optical flow generated according to a change in the position of the endoscope apparatus (S130), tracking the search target area based on the optical flow (S140) and the search target The method may include calculating the size of the object based on scaling of the area ( S150 ).

우선, 이동 중인 내시경 장치에 의해 제1 및 제2 영상 데이터를 획득하는 단계(S110)에서는, 내시경 장치가 대상 오브젝트와 임의의 거리만큼 이격되어 위치한 상태에서 대상 오브젝트를 포함하는 제1 영상 데이터를 획득하고, 내시경 장치가 해당 위치에서 타 위치로 이동한 후 대상 오브젝트를 포함하는 제2 영상 데이터를 획득할 수 있다.First, in the step of acquiring the first and second image data by the moving endoscope apparatus ( S110 ), the endoscope apparatus acquires first image data including the target object in a state in which the endoscope apparatus is spaced apart from the target object by a certain distance and, after the endoscope apparatus moves from the corresponding position to another position, the second image data including the target object may be acquired.

일 실시예에 따르면, 내시경 장치는 대상 오브젝트로부터 기 설정된 기준 거리만큼 이격되어 위치한 상태에서 대상 오브젝트를 포함하는 제1 영상 데이터를 획득할 수 있다. 예를 들어, 내시경 카메라의 사양에서 near-focus가 동작하는 거리가 5mm라 가정하면, 내시경 카메라와 대상 오브젝트 사이의 거리에 따라 대상 오브젝트가 흐릿하거나 선명하게 보일 수 있다. 따라서, 이를 이용하여 내시경 카메라가 기 설정된 기준 거리에 위치한 것을 확인할 수 있으며, 해당 위치에서 대상 오브젝트를 포함하는 제1 영상 데이터를 획득할 수 있다.According to an embodiment, the endoscope apparatus may acquire the first image data including the target object in a state where it is spaced apart from the target object by a preset reference distance. For example, if it is assumed in the specification of the endoscope camera that the near-focus operation distance is 5 mm, the target object may appear blurry or clear depending on the distance between the endoscope camera and the target object. Therefore, using this, it is possible to confirm that the endoscope camera is located at a preset reference distance, and it is possible to acquire first image data including the target object at the corresponding position.

다른 실시예에 따르면, 내시경 장치는 대상 오브젝트로부터 임의의 거리만큼 이격되어 위치한 상태에서 대상 오브젝트를 포함하는 제1 영상 데이터를 획득할 수 있다. 이 경우, 내시경 장치는 자동 초점(autofocus) 알고리즘에 따라 대상 오브젝트를 포함하는 제1 영상 데이터를 획득할 수 있으며, 내시경 장치와 대상 오브젝트 사이의 거리를 거리를 알 수 있다.According to another embodiment, the endoscope apparatus may acquire the first image data including the target object while being spaced apart from the target object by a certain distance. In this case, the endoscope apparatus may acquire the first image data including the target object according to an autofocus algorithm, and may know the distance between the endoscope apparatus and the target object.

이후, 제1 영상 데이터에서 특징점 기준으로 탐색대상영역을 결정하는 단계(S120)에서는, 제1 영상 데이터 내에 위치하는 복수의 특징점들을 기준으로 영상 데이터 내에서 탐색대상영역을 결정할 수 있다. Thereafter, in the step of determining the search target area based on the feature point in the first image data ( S120 ), the search target area may be determined in the image data based on the plurality of feature points located in the first image data.

예를 들어, 도 4a는 제1 영상 데이터에서 복수의 특징점을 표시한 것으로, 복수의 특징점은 영상 데이터 내에서 임의의 위치로 결정될 수 있으며, 해당 특징점을 기준으로 탐색대상영역이 결정될 수 있다. 일 예로, 도 4a에 도시된 바와 같이, 영상의 x축 및 y축 상의 1/4 지점 및 3/4 지점을 꼭지점으로 하는 직사각형 영역 내에서 기 설정된 간격으로 복수의 특징점을 설정할 수 있으며, 이에 따라 복수의 특징점을 포함하는 영역을 탐색대상영역으로 결정할 수 있다. 또한, 도 4a에서는 탐색대상영역 내부에 대상 오브젝트가 포함된 경우를 도시하였으나, 반드시 이로 제한되는 것은 아니며 영상 내에서 대상 오브젝트의 위치에 무관하게 복수의 특징점 및 이에 따른 탐색대상영역이 결정될 수 있다.For example, FIG. 4A shows a plurality of feature points in the first image data. The plurality of feature points may be determined at arbitrary positions in the image data, and a search target area may be determined based on the feature points. For example, as shown in FIG. 4A , a plurality of feature points may be set at preset intervals within a rectangular area having 1/4 and 3/4 points on the x-axis and y-axis of the image as vertices. An area including a plurality of feature points may be determined as a search target area. In addition, although FIG. 4A illustrates a case in which the target object is included in the search target area, the present invention is not limited thereto, and a plurality of feature points and the search target area may be determined irrespective of the location of the target object in the image.

이후, 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우를 추출하는 단계(S130)에서는, 제1 영상 데이터와 제2 영상 데이터로부터 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우를 추출할 수 있다. 여기서, 옵티컬 플로우란 두 개의 연속된 영상 프레임 사이에서 오브젝트의 가시적인 동작 패턴을 말하는 것으로, 특징점의 벡터로 표시할 수 있다.Thereafter, in the step of extracting the optical flow generated according to the change in the position of the endoscope apparatus ( S130 ), the optical flow generated according to the change in the position of the endoscope apparatus may be extracted from the first image data and the second image data. Here, the optical flow refers to a visible motion pattern of an object between two consecutive image frames, and may be expressed as a vector of feature points.

예를 들어, 도 4b 내지 도 4j는 내시경 장치가 임의의 거리에서 오브젝트와 멀어지는 방향으로 이동하면서 연속적으로 획득한 복수의 영상 데이터에서 옵티컬 플로우를 추출하고 이를 영상 프레임 상에 특징점의 벡터로 표시한 예를 도시하는 것이다.For example, FIGS. 4B to 4J show an example of extracting an optical flow from a plurality of image data continuously acquired while the endoscope device moves in a direction away from an object at an arbitrary distance and displaying it as a vector of feature points on an image frame is to show

이후, 옵티컬 플로우를 기초로 탐색대상영역을 트래킹하는 단계(S140)에서는, 특징점의 벡터로 표시되는 옵티컬 플로우를 이용하여 내시경 장치가 이동하면서 획득한 2 이상의 영상 데이터 내에서 탐색대상영역의 위치를 트래킹할 수 있다.Thereafter, in the step of tracking the search target area based on the optical flow ( S140 ), the position of the search target area is tracked within two or more image data acquired while the endoscope apparatus moves using the optical flow represented by the vector of feature points. can do.

이후, 탐색대상영역의 스케일링을 기초로 오브젝트 크기를 산출하는 단계(S150)에서는, 영상 데이터 내에서 탐색대상영역의 스케일링, 즉 크기 변화를 기초로 오브젝트의 크기를 산출할 수 있다.Thereafter, in the step of calculating the object size based on the scaling of the search target area ( S150 ), the size of the object may be calculated based on the scaling of the search target area in the image data, that is, the size change.

일 실시예에 따르면, 도 2에 도시된 바와 같이, 탐색대상영역의 스케일링을 계산하고(S151), 이를 기초로 내시경 장치와 대상 오브젝트 사이의 거리를 산출한 후(S152), 산출된 내시경 장치의 거리를 기초로 기준 데이터를 이용하여 오브젝트 크기를 산출할 수 있다(S153). According to an embodiment, as shown in FIG. 2 , the scaling of the search target area is calculated (S151), and the distance between the endoscope apparatus and the target object is calculated based on this (S152), and then the calculated An object size may be calculated using reference data based on the distance (S153).

구체적으로, 제1 영상 데이터에서의 탐색대상영역과 제2 영상 데이터에서의 탐색대상영역의 크기 비율(즉, 픽셀수)을 기초로 스케일링을 계산하고(S151), 이를 기초로 내시경 장치와 대상 오브젝트 사이의 거리를 추정할 수 있다(S152). Specifically, the scaling is calculated based on the ratio (that is, the number of pixels) between the size ratio of the search target area in the first image data and the search target area in the second image data (S151), and based on this, the endoscope apparatus and the target object It is possible to estimate the distance between them (S152).

또한, 내시경 장치의 거리가 추정되면 기 저장된 복수의 기준 데이터를 활용하여 오브젝트의 크기를 산출할 수 있다(S153). 여기서, 기준 데이터는 기 설정된 복수의 거리(예를 들어, 5mm, 6mm, 7mm, 8mm, 9mm, 10mm)에서 내시경 장치에 의해 기 정해진 패턴에 대한 영상을 획득한 것일 수 있다. 예를 들어, 기준 데이터로서 도 5의 (a)에 도시된 바와 같이 격자 무늬에 대한 영상을 획득할 수 있다. 이 경우 렌즈 왜곡에 의해 크기가 비선형적으로 나타나므로, 이와 같은 비선형성을 선형적으로 보정하는 왜곡 보정 알고리즘에 따라 렌즈 왜곡을 제거하여 도 4의 (b)에 도시된 바와 같은 기준 데이터를 생성할 수 있다. In addition, when the distance of the endoscope apparatus is estimated, the size of the object may be calculated using a plurality of pre-stored reference data (S153). Here, the reference data may be images obtained for a predetermined pattern by the endoscope device at a plurality of preset distances (eg, 5mm, 6mm, 7mm, 8mm, 9mm, 10mm). For example, as reference data, an image for a grid pattern may be acquired as shown in FIG. 5A . In this case, since the size appears non-linearly due to lens distortion, it is possible to generate reference data as shown in FIG. can

또한, 추정된 내시경 장치의 거리에 따라 기 생성된 복수의 기준 데이터 중에서 해당 거리에 인접한 두 기준 데이터를 선택하고 이를 보간(Interpolation)하여 오브젝트의 크기를 연산할 수 있다. 예를 들어, 내시경 장치의 거리가 6.7mm로 추정된 경우 6mm 및 7mm에서 각각 획득한 기준 데이터를 선택 및 보간하여 오브젝트의 크기를 연산할 수 있다.Also, it is possible to calculate the size of an object by selecting two reference data adjacent to the corresponding distance from among a plurality of reference data generated in advance according to the estimated distance of the endoscope apparatus, and interpolating them. For example, when the distance of the endoscope apparatus is estimated to be 6.7 mm, the size of the object may be calculated by selecting and interpolating reference data obtained at 6 mm and 7 mm, respectively.

도 2는 본 발명의 다른 실시예에 따른 오브젝트 크기 측정 장치의 구성도이다.2 is a block diagram of an object size measuring apparatus according to another embodiment of the present invention.

도 2를 참조하면, 오브젝트 크기 측정 장치(200)는 영상 입력부(210), 옵티컬 플로우 추출부(220) 및 크기 연산부(230)를 포함하여 구성될 수 있으며, 내시경 영상 처리 및 연산이 가능한 프로세싱 장치에 의해 구현될 수 있다.Referring to FIG. 2 , the object size measuring apparatus 200 may include an image input unit 210 , an optical flow extractor 220 , and a size calculation unit 230 , and a processing device capable of endoscopic image processing and calculation. can be implemented by

영상 입력부(210)는 내시경 장치에 의해 획득한 영상 데이터를 입력받기 위한 것이다.The image input unit 210 is for receiving image data acquired by the endoscope apparatus.

일 실시예에 따르면, 영상 입력부(210)는 내시경 장치가 대상 오브젝트와 기 설정된 기준 거리 또는 임의의 거리만큼 이격되어 위치한 상태에서 획득한 제1 영상 데이터와, 내시경 장치가 해당 위치에서 타 위치로 이동한 후 획득한 제2 영상 데이터를 입력받을 수 있다.According to an embodiment, the image input unit 210 may include first image data acquired in a state in which the endoscope apparatus is spaced apart from the target object by a preset reference distance or an arbitrary distance, and the endoscope apparatus moves from the corresponding position to another position. Then, the acquired second image data may be input.

옵티컬 플로우 추출부(220)는 영상 입력부(210)를 통해 입력된 영상 데이터로부터 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우를 추출하기 위한 것이다.The optical flow extraction unit 220 is for extracting an optical flow generated according to a change in the position of the endoscope apparatus from the image data input through the image input unit 210 .

이를 위해, 옵티컬 플로우 추출부(220)는 제1 영상 데이터에서 복수의 특징점을 기준으로 탐색대상영역을 결정하고, 제1 영상 데이터 및 제2 영상 데이터로부터 특징점의 벡터로 표시된 옵티컬 플로우를 추출할 수 있다.To this end, the optical flow extraction unit 220 determines a search target area based on a plurality of feature points in the first image data, and extracts the optical flow expressed as a vector of the feature points from the first image data and the second image data. there is.

크기 연산부(230)는 옵티컬 플로우 추출부(220)에 의해 추출된 옵티컬 플로우를 기초로 탐색대상영역을 트래킹하고, 트래킹한 탐색대상영역의 스케일링을 기초로 오브젝트 크기를 산출하기 위한 것이다.The size calculator 230 tracks the search target area based on the optical flow extracted by the optical flow extractor 220 and calculates the object size based on the scaling of the tracked search target area.

이를 위해, 크기 연산부(230)는 탐색대상영역의 스케일링을 계산하고, 이를 기초로 내시경 장치와 대상 오브젝트 사이의 거리를 산출한 후, 산출된 내시경 장치의 거리를 기초로 기준 데이터를 이용하여 오브젝트 크기를 산출할 수 있다.To this end, the size calculator 230 calculates the scaling of the search target area, calculates the distance between the endoscope apparatus and the target object based on this, and then uses reference data based on the calculated distance of the endoscope apparatus to size the object. can be calculated.

도 2에 도시된 오브젝트 크기 측정 장치(200)의 각 구성요소에 의해 수행되는 상세 기능은 도 1을 참조하여 상술한 바와 동일하므로, 이에 대한 중복적인 설명은 생략한다.Detailed functions performed by each component of the apparatus 200 for measuring object size shown in FIG. 2 are the same as those described above with reference to FIG. 1 , and thus a redundant description thereof will be omitted.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above embodiments and the accompanying drawings. For those of ordinary skill in the art to which the present invention pertains, it will be apparent that the components according to the present invention can be substituted, modified and changed without departing from the technical spirit of the present invention.

200: 오브젝트 크기 측정 장치
210: 영상 입력부
220: 옵티컬 플로우 추출부
230: 크기 연산부200: object size measurement device
210: video input unit
220: optical flow extraction unit
230: size calculator

Claims (8)

이동 중인 내시경 장치에 의해 제1 및 제2 영상 데이터를 획득하는 단계;
상기 제1 영상 데이터에서 특징점 기준으로 탐색대상영역을 결정하는 단계;
상기 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우(optical flow)를 추출하는 단계;
상기 옵티컬 플로우를 기초로 상기 제2 영상 데이터에서 탐색대상영역을 트래킹하는 단계; 및
상기 탐색대상영역의 스케일링(scaling)을 기초로 오브젝트 크기를 산출하는 단계를 포함하고,
상기 옵티컬 플로우는 상기 내시경 장치가 임의의 거리에서 상기 오브젝트와 멀어지는 방향으로 이동하면서 연속적으로 획득한 복수의 영상 데이터에서 추출되어, 영상 프레임 상에 서로 다른 크기와 방향을 가진 복수의 특징점의 벡터로 표시되는 것을 특징으로 하는 오브젝트 크기 측정 방법.
acquiring first and second image data by the moving endoscope device;
determining a search target area based on a feature point in the first image data;
extracting an optical flow generated according to a change in the position of the endoscope device;
tracking a search target area in the second image data based on the optical flow; and
Comprising the step of calculating the object size based on the scaling (scaling) of the search target area,
The optical flow is extracted from a plurality of image data continuously acquired while the endoscope device moves in a direction away from the object at an arbitrary distance, and is displayed as a vector of a plurality of feature points having different sizes and directions on an image frame A method of measuring the size of an object, characterized in that it becomes.
 제 1 항에 있어서,
상기 제1 및 제2 영상 데이터를 획득하는 단계는,
상기 내시경 장치가 상기 오브젝트로부터 기 설정된 기준거리만큼 이격되어 위치한 상태에서 상기 제1 영상 데이터를 획득하는 것을 특징으로 하는 오브젝트 크기 측정 방법.
The method of claim 1,
The acquiring of the first and second image data includes:
The method for measuring the size of an object, characterized in that the first image data is acquired in a state in which the endoscope apparatus is positioned to be spaced apart from the object by a preset reference distance.
 제 1 항에 있어서,
상기 제1 및 제2 영상 데이터를 획득하는 단계는,
상기 내시경 장치가 자동 초점 알고리즘에 따라 상기 제1 영상 데이터를 획득하는 것을 특징으로 하는 오브젝트 크기 측정 방법.
The method of claim 1,
The acquiring of the first and second image data includes:
The object size measurement method, characterized in that the endoscope apparatus acquires the first image data according to an autofocus algorithm.
 제 1 항에 있어서,
상기 탐색대상영역을 결정하는 단계는,
상기 제1 영상 데이터에서 기 설정된 영역 내에 기 설정된 간격으로 위치한 복수의 특징점을 설정하고, 상기 복수의 특징점을 포함하는 영역을 상기 탐색대상영역으로 결정하는 것을 특징으로 하는 오브젝트 크기 측정 방법.
The method of claim 1,
The step of determining the search target area comprises:
A method of measuring an object size, comprising setting a plurality of feature points located at a preset interval in a preset area in the first image data, and determining an area including the plurality of feature points as the search target area.
 삭제delete 제 1 항에 있어서,
상기 오브젝트 크기를 산출하는 단계는,
상기 탐색대상영역의 스케일링을 계산하는 단계;
상기 스케일링을 기초로 상기 내시경 장치와 상기 오브젝트 사이의 거리를 산출하는 단계; 및
산출된 내시경 장치의 거리를 기초로 기준 데이터를 이용하여 오브젝트 크기를 산출하는 단계를 포함하는 것을 특징으로 하는 오브젝트 크기 측정 방법.
The method of claim 1,
Calculating the object size includes:
calculating scaling of the search target area;
calculating a distance between the endoscope apparatus and the object based on the scaling; and
and calculating an object size using reference data based on the calculated distance of the endoscope apparatus.
 제 6 항에 있어서,
상기 오브젝트 크기를 산출하는 단계는,
상기 내시경 장치의 거리를 기초로 기 생성된 복수의 기준 데이터 중에서 인접한 두 데이터를 선택 및 보간하여 상기 오브젝트 크기를 산출하며, 상기 기준 데이터는 기 설정된 복수의 거리에서 상기 내시경 장치에 의해 기 정해진 패턴에 대한 영상을 획득 및 왜곡 보정하여 생성한 것을 특징으로 하는 오브젝트 크기 측정 방법.
7. The method of claim 6,
Calculating the object size includes:
The object size is calculated by selecting and interpolating two adjacent data from among a plurality of reference data generated in advance based on the distance of the endoscope apparatus, and the reference data is in a pattern predetermined by the endoscope apparatus at a plurality of predetermined distances. An object size measurement method, characterized in that it is generated by acquiring and distortion-correcting the image.
 내시경 장치가 오브젝트와 기 설정된 기준 거리 또는 임의의 거리만큼 이격되어 위치한 상태에서 획득한 제1 영상 데이터와, 상기 내시경 장치가 타 위치로 이동한 후 획득한 제2 영상 데이터를 입력받는 영상 입력부;
상기 제1 및 제2 영상 데이터로부터 상기 내시경 장치의 위치 변화에 따라 발생한 옵티컬 플로우를 추출하는 옵티컬 플로우 추출부; 및
추출된 옵티컬 플로우를 기초로 상기 제2 영상 데이터에서 탐색대상영역을 트래킹하고, 트래킹한 탐색대상영역의 스케일링을 기초로 오브젝트 크기를 산출하는 크기 연산부를 포함하고,
상기 옵티컬 플로우는 상기 내시경 장치가 임의의 거리에서 상기 오브젝트와 멀어지는 방향으로 이동하면서 연속적으로 획득한 복수의 영상 데이터에서 추출되어, 영상 프레임 상에 서로 다른 크기와 방향을 가진 복수의 특징점의 벡터로 표시되는 것을 특징으로 하는 오브젝트 크기 측정 장치.an image input unit for receiving first image data obtained when the endoscope apparatus is positioned to be spaced apart from an object by a preset reference distance or a predetermined distance, and second image data obtained after the endoscope apparatus moves to another location;
an optical flow extraction unit for extracting an optical flow generated according to a change in the position of the endoscope apparatus from the first and second image data; and
A size calculator for tracking a search target area in the second image data based on the extracted optical flow and calculating an object size based on scaling of the tracked search target area,
The optical flow is extracted from a plurality of image data continuously acquired while the endoscope device moves in a direction away from the object at an arbitrary distance, and is displayed as a vector of a plurality of feature points having different sizes and directions on an image frame Object size measurement device, characterized in that.
KR1020200054863A 2020-05-08 2020-05-08 Method and Apparatus for Measuring Object Size KR102378497B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200054863A KR102378497B1 (en) 2020-05-08 2020-05-08 Method and Apparatus for Measuring Object Size

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200054863A KR102378497B1 (en) 2020-05-08 2020-05-08 Method and Apparatus for Measuring Object Size

Publications (2)

Publication Number Publication Date
KR20210137307A KR20210137307A (en) 2021-11-17
KR102378497B1 true KR102378497B1 (en) 2022-03-30

Family

ID=78702932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200054863A KR102378497B1 (en) 2020-05-08 2020-05-08 Method and Apparatus for Measuring Object Size

Country Status (1)

Country Link
KR (1) KR102378497B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039255A (en) * 2010-08-04 2012-02-23 Olympus Corp Image processing apparatus, image processing method, imaging apparatus and program
JP2018114303A (en) * 2012-07-25 2018-07-26 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Efficient and interactive bleeding detection in surgical system
WO2019069414A1 (en) * 2017-10-04 2019-04-11 オリンパス株式会社 Endoscope device, image processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039255A (en) * 2010-08-04 2012-02-23 Olympus Corp Image processing apparatus, image processing method, imaging apparatus and program
JP2018114303A (en) * 2012-07-25 2018-07-26 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Efficient and interactive bleeding detection in surgical system
WO2019069414A1 (en) * 2017-10-04 2019-04-11 オリンパス株式会社 Endoscope device, image processing method, and program

Also Published As

Publication number Publication date
KR20210137307A (en) 2021-11-17

Similar Documents

Publication Publication Date Title
JP6323183B2 (en) Image processing apparatus and image processing method
US8004528B2 (en) Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence
WO2015115073A1 (en) Endoscopic system, image processing device, image processing method, and program
WO2017199285A1 (en) Image processing device and image processing method
US11426052B2 (en) Endoscopic system
JP6332524B2 (en) Endoscope system, endoscope image processing apparatus, and image processing method
US10432916B2 (en) Measurement apparatus and operation method of measurement apparatus
JP6677734B2 (en) Assistance device for providing imaging assistance to a surgeon during a surgical procedure involving at least one medical device
EP3155951A1 (en) Image processing device, image processing method, program, and endoscope system
KR20150082417A (en) Method for initializing and solving the local geometry or surface normals of surfels using images in a parallelizable architecture
US20210161604A1 (en) Systems and methods of navigation for robotic colonoscopy
JP2008275366A (en) Stereoscopic 3-d measurement system
JP7163049B2 (en) Information processing device, information processing method and program
KR102378497B1 (en) Method and Apparatus for Measuring Object Size
CN110769731A (en) Endoscope system and method for operating endoscope system
KR102386673B1 (en) Method and Apparatus for Detecting Object
EP2953093A1 (en) Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
US10198617B2 (en) Image-acquisition apparatus
JP2006215655A (en) Method, apparatus, program and program storage medium for detecting motion vector
JP6646133B2 (en) Image processing device and endoscope
EP3173839B1 (en) Microscope system and control method therefor
KR20220115223A (en) Method and apparatus for multi-camera calibration
US10733717B2 (en) Measurement device and method for operating the same
JP4039423B2 (en) Edge position calculation device, obstacle detection system
JP2016163130A (en) Camera parameter estimation device and camera parameter estimation program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant