KR100836740B1 - Video data processing method and system thereof - Google Patents

Video data processing method and system thereof Download PDF

Info

Publication number
KR100836740B1
KR100836740B1 KR1020060081846A KR20060081846A KR100836740B1 KR 100836740 B1 KR100836740 B1 KR 100836740B1 KR 1020060081846 A KR1020060081846 A KR 1020060081846A KR 20060081846 A KR20060081846 A KR 20060081846A KR 100836740 B1 KR100836740 B1 KR 100836740B1
Authority
KR
South Korea
Prior art keywords
image data
interest
region
value
map
Prior art date
Application number
KR1020060081846A
Other languages
Korean (ko)
Other versions
KR20080021181A (en
Inventor
원치선
남재열
서미숙
고병철
Original Assignee
계명대학교 산학협력단
서미숙
고병철
남재열
원치선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단, 서미숙, 고병철, 남재열, 원치선 filed Critical 계명대학교 산학협력단
Priority to KR1020060081846A priority Critical patent/KR100836740B1/en
Publication of KR20080021181A publication Critical patent/KR20080021181A/en
Application granted granted Critical
Publication of KR100836740B1 publication Critical patent/KR100836740B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

본 발명은 의료 영상 데이터에서 중요한 의미를 가지는 관심영역을 추출하고, 상기 관심영역에 대해 특징 벡터를 생성하는 영상 데이터 처리 방법 및 그에 따른 시스템을 제공하는 것을 그 목적으로 한다. 상기한 본 발명에 따르는 영상 데이터 처리 시스템은, 영상 데이터를 입력받아 회색도 영상 데이터로 변환하여 특징 지도를 생성하여 정규화한 명암지도를 생성함과 아울러, 상기 영상 데이터를 웨이블릿 변환하여 주파수상의 소정치 이상의 변화량을 가진 포인트들과 상기 명암지도를 토대로 상기 영상 데이터내의 관심영역을 추출하는 관심영역 생성부; 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 관심영역 세그먼테이션부; 상기 명암지도의 분산을 통하여 상기 세그먼테이션된 관심영역들 각각에 대해 영역별 가중치를 부여하는 가중치 부여부; 상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 특징벡터 생성부를 포함하는 것을 특징으로 한다.

Figure R1020060081846

영상 데이터, 특징 벡터, 관심 영역

It is an object of the present invention to provide an image data processing method and a system according to the method, which extracts a region of interest having an important meaning from medical image data and generates a feature vector for the region of interest. The image data processing system according to the present invention receives image data, converts the image data into grayscale image data, generates a characteristic map, generates a normalized contrast map, and wavelets the image data to a predetermined value on a frequency. A region of interest generation unit configured to extract a region of interest in the image data based on the points having the above change amount and the contrast map; A region of interest segmentation unit configured to segment the region of interest by dividing the mean value of the contrast map by using a quad-tree process; A weighting unit for assigning weights to regions of each of the segmented ROIs through variance of the contrast map; And a feature vector generator for generating a feature vector for the segmented ROI.

Figure R1020060081846

Image data, feature vectors, points of interest

Description

영상 데이터 처리 방법 및 그에 따른 시스템{VIDEO DATA PROCESSING METHOD AND SYSTEM THEREOF}VIDEO DATA PROCESSING METHOD AND SYSTEM THEREOF

도 1은 본 발명의 바람직한 실시예에 따른 영상 데이터 처리 시스템의 구성도. 1 is a block diagram of an image data processing system according to a preferred embodiment of the present invention.

도 2는 도 1의 관심영역 생성부에 포함된 명암지도 생성 알고리즘의 처리 흐름도. FIG. 2 is a flowchart illustrating a contrast map generation algorithm included in the ROI generator of FIG. 1.

도 3는 도 1의 관심영역 생성부의 처리 흐름도. 3 is a flowchart illustrating a process of generating a region of interest in FIG. 1;

도 4는 본 발명의 바람직한 실시예에 따른 관심영역 생성예를 도시한 도면. 4 illustrates an example of generating a region of interest according to a preferred embodiment of the present invention.

도 5는 도 1의 관심영역 세그먼테이션부의 처리 흐름도. 5 is a flowchart illustrating a process of performing a region of interest segmentation of FIG. 1;

도 6은 본 발명의 바람직한 실시예에 따른 관심영역 세그먼테이션예를 도시한 도면. 6 illustrates an example of a region of interest segmentation according to a preferred embodiment of the present invention.

도 7은 도 1의 가중치 설정부의 처리 흐름도. 7 is a processing flowchart of the weight setting unit of FIG. 1.

도 8은 특징벡터 생성부의 처리 흐름도. 8 is a processing flowchart of a feature vector generator;

도 9 내지 도 10은 본 발명의 바람직한 실시예에 따른 특징벡터 생성예를 도시한 도면. 9 to 10 show examples of feature vector generation according to a preferred embodiment of the present invention.

도 11은 도 1의 유사도 비교 수행부의 처리 흐름도. 11 is a process flowchart of the similarity comparison performing unit of FIG. 1.

도 12는 본 발명의 바람직한 실시예에 따른 유사도 비교예를 도시한 도면. 12 is a view showing a comparative example of similarity according to a preferred embodiment of the present invention.

도 13은 본 발명의 바람직한 실시예에 따른 사용자 인터페이스 화면을 도시한 도면. 13 illustrates a user interface screen according to a preferred embodiment of the present invention.

도 14 내지 도 16은 본 발명의 성능을 비교한 예를 도시한 도면. 14 to 16 show examples of comparing the performance of the present invention.

본 발명은 영상 데이터 처리 기술에 관한 것으로, 더욱 상세하게는 영상 데이터 중 관심 영역을 추출하고 상기 관심 영역에 대해 특징 벡터를 생성하여 유사 영상을 검색하는 영상 데이터 처리 방법 및 그에 따른 시스템에 관한 것이다. The present invention relates to an image data processing technology, and more particularly, to an image data processing method and system for extracting a region of interest from image data and generating a feature vector for the region of interest to search for a similar image.

근래 정보통신, 컴퓨터 네트워킹, 데이터베이스, 정보관리, 사용자 인터페이스 및 정보저장관리 기술을 바탕으로 이루어진 PACS(Picture Archiving Communication System) 시스템의 도입으로 최근 의학 분야에서는 방대한 의료 영상이 디지털화되어 하나의 데이터베이스를 구축하고 있다. 따라서 대용량의 의료 영상을 효과적으로 검색하기 위한 필요성이 대두되었고, 이를 위한 멀티미디어 데이터 기술(description)의 표준인 MPEG-7의 응용 연구가 활발히 진행되어 오고 있다. Recently, with the introduction of PACS (Picture Archiving Communication System) system based on information communication, computer networking, database, information management, user interface and information storage management technology, the medical field has recently been digitized to build a database. have. Therefore, the necessity for the effective retrieval of large-capacity medical images has emerged, and the application of MPEG-7, which is a standard of multimedia data description, has been actively conducted.

일반적으로 의료 영상은 관찰자의 눈에 따라 다른 의미를 부여할 수 있으며, 영상내에서 중요한 의미를 내포하는 관심영역과 단색의 배경으로 구성된 특징을 가지므로 일반 자연영상과는 다른 특징기술 및 검색 방법이 요구된다. In general, medical images can have different meanings depending on the eyes of the observer, and have a feature consisting of a region of interest and a solid background that contain important meanings within the image. Required.

한편 MPEG-7의 시각 기술자는 색상, 질감, 모양 등의 특징들을 일정한 형식의 벡터로 표현한 것으로 그동안 자연 영상의 검색에 유용하게 응용되어 왔으며, 그 성능의 우수성이 입증되었다. 그리고 비주얼 기술자는 영상의 고유한 특징 정보를 기술하며 영상의 특성에 따라 각 기술자를 이용한 검색 성능이 달라질 수 있다. On the other hand, the visual descriptor of MPEG-7 expresses features such as color, texture, and shape in a certain form of vector, which has been usefully applied to search for natural images, and its superiority has been proven. Visual descriptors describe unique feature information of an image, and search performance using each descriptor may vary according to characteristics of the image.

그러나 의료 영상은 자연 영상과는 달리 신체의 특정 부위나 특정 세포를 위주로 영상을 획득한다. 이에따라 데이터의 특징 표현 성능이 좋은 비주얼 기술자를 이용하더라도 중요하지 않은 배경이나 비 중요 영역을 포함하는 전체 영상으로부터 특징을 추출한다면 신뢰할 수 없는 검색 결과를 가져올 수 있다. Unlike a natural image, however, a medical image is obtained by focusing on a specific part of a body or a specific cell. As a result, even if a visual descriptor having a good feature representation of data is used, extracting a feature from an entire image including an insignificant background or a non-significant region may result in unreliable search results.

또한 의료 영상은 흑백 영상의 비율이 높기 때문에 이에 따른 적절한 색상, 질감, 모양 정보 등의 선택이 요구된다. In addition, since medical images have a high ratio of black and white images, appropriate selection of color, texture, and shape information is required.

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 의료 영상 데이터에서 중요한 의미를 가지는 관심영역을 추출하고, 상기 관심영역에 대해 특징 벡터를 생성하는 영상 데이터 처리 방법 및 그에 따른 시스템을 제공하는 것을 그 목적으로 한다. Accordingly, the present invention has been made to solve the above-described problems, and the image data processing method and system for extracting a region of interest having an important meaning from the medical image data and generating a feature vector for the region of interest To provide that purpose.

또한 본 발명의 다른 목적은 상기 관심 영역에 대한 특징 벡터를 통해 유사 영상을 검색하는 영상 데이터 검색 방법 및 그에 따른 시스템을 제공하는 것이다. Another object of the present invention is to provide a method and system for retrieving image data for retrieving similar images through the feature vector for the ROI.

상술한 목적을 달성하기 위한 본 발명에 따르는 영상 데이터 처리 시스템은, 영상 데이터를 입력받아 회색도 영상 데이터로 변환하여 특징 지도를 생성하여 정규화한 명암지도를 생성함과 아울러, 상기 영상 데이터를 웨이블릿 변환하여 주파수상의 소정치 이상의 변화량을 가진 포인트들과 상기 명암지도를 토대로 상기 영 상 데이터내의 관심영역을 추출하는 관심영역 생성부; 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 관심영역 세그먼테이션부; 상기 명암지도의 분산을 통하여 상기 세그먼테이션된 관심영역들 각각에 대해 영역별 가중치를 부여하는 가중치 부여부; 상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 특징벡터 생성부를 포함하는 것을 특징으로 한다. The image data processing system according to the present invention for achieving the above object, receives the image data, converts the image data into grayscale image data, generates a feature map, generates a normalized contrast map, and wavelet transforms the image data. A region of interest generation unit for extracting a region of interest in the image data based on points having a change amount greater than or equal to a predetermined value on a frequency and the contrast map; A region of interest segmentation unit configured to segment the region of interest by dividing the mean value of the contrast map by using a quad-tree process; A weighting unit for assigning weights to regions of each of the segmented ROIs through variance of the contrast map; And a feature vector generator for generating a feature vector for the segmented ROI.

본 발명은 의료 영상 데이터(이하 편이상 영상 데이터라 칭함)의 특성에 따라 영상 데이터 중 관심 영역을 추출하고, 상기 관심 영역에 인간 시각과 MPEG-7 비주얼 기술자를 이용하여 특징벡터를 생성하고, 상기 생성된 특징벡터를 이용하여 유사 영상을 검색한다.According to an embodiment of the present invention, a region of interest is extracted from image data according to characteristics of medical image data (hereinafter, referred to as abnormal image data), a feature vector is generated in the region of interest using human vision and an MPEG-7 visual descriptor, and the generation is performed. Similar images are searched using the extracted feature vectors.

이러한 본 발명의 바람직한 실시예에 따른 영상 데이터 처리 시스템의 구성을 도 1을 참조하여 설명한다.A configuration of an image data processing system according to a preferred embodiment of the present invention will be described with reference to FIG. 1.

상기 영상 데이터 처리 시스템은 데이터 처리부(100)와 데이터베이스(112), 외부기기 인터페이스부(114), 디스플레이 장치(116), 사용자 인터페이스부(118)로 구성된다. The image data processing system includes a data processing unit 100, a database 112, an external device interface unit 114, a display device 116, and a user interface unit 118.

상기한 데이터 처리부(100)는 관심영역 생성부(102), 관심영역 세그먼테이션부(104), 가중치 설정부(106), 특징벡터 생성부(108), 유사도 비교 수행부(110)로 구성된다. The data processor 100 includes a region of interest generator 102, a region of interest segmentation unit 104, a weight setting unit 106, a feature vector generator 108, and a similarity comparison unit 110.

상기한 관심영역 생성부(102)는 영상 데이터를 입력받아 회색도 영상 데이터로 변환한 후에 특징 지도를 생성하여 정규화한 명암지도를 생성함과 아울러, 상기 영상 데이터를 웨이블릿 변환하여 주파수상의 소정치 이상의 변화량을 가진 포인트들과 상기 명암지도를 토대로 상기 영상 데이터내의 관심영역을 추출하여 관심영역 세그먼테이션부(104)에 제공한다. The region of interest generation unit 102 receives the image data, converts the image data into grayscale image data, generates a feature map, generates a normalized contrast map, and wavelets the image data to a predetermined value or more. The region of interest in the image data is extracted and provided to the region of interest segmentation unit 104 based on the points having the change amount and the contrast map.

상기 관심영역 세그먼테이션부(104)는 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하여 가중치 설정부(106)로 제공한다. The region of interest segmentation unit 104 segments the region of interest through division using an average value of the intensity map and a quad-tree process, and provides the region of interest to the weight setting unit 106.

상기 가중치 설정부(106)는 명암지도의 분산을 통하여 상기 세그먼테이션된 관심영역들 각각에 대해 영역별 가중치를 부여한다. The weight setting unit 106 assigns a weight for each segment to each of the segmented ROIs through dispersion of the intensity map.

또한, 상기 특징벡터 생성부(108)는 상기 세그먼테이션된 관심영역에 대해 MPEG-7의 색상, 질감, 형태 디스크립터를 이용하여 특징 벡터를 생성하여 데이터베이스(112)에 저장한다. In addition, the feature vector generator 108 generates a feature vector using the color, texture, and shape descriptor of MPEG-7 with respect to the segmented ROI and stores the feature vector in the database 112.

유사도 비교 수행부(110)는 영상 데이터와 데이터베이스(114)에 저장된 참조 영상 데이터들과의 유사도 비교를 수행하여 최상위 K개의 유사한 의료 영상을 검색하여 그 결과를 디스플레이 장치(116)를 통해 안내한다. The similarity comparison performing unit 110 performs a similarity comparison between the image data and the reference image data stored in the database 114, searches for the top K similar medical images, and guides the result through the display apparatus 116.

상기한 외부기기 인터페이스부(114)는 영상 데이터의 입력 등을 위해 외부기기와의 인터페이스를 제공한다. The external device interface unit 114 provides an interface with an external device for inputting image data.

디스플레이 장치(116)는 상기 데이터 처리부(110)의 제어에 따른 각종 정보를 표시하여 사용자에게 안내한다. The display device 116 displays various types of information under the control of the data processor 110 and guides the user.

사용자 인터페이스부(118)는 키패드 또는 마우스 등으로 사용자로부터 각종 명령을 입력받아 데이터 처리부(110)에 제공한다. The user interface unit 118 receives various commands from a user using a keypad or a mouse and provides the same to the data processor 110.

이제, 상기한 바와 같은 영상 데이터 처리 시스템의 동작을 좀더 상세히 설명한다. The operation of the image data processing system as described above will now be described in more detail.

먼저, 본 발명의 바람직한 실시예에 따른 명암 지도(Cm) 생성 알고리즘을 도 2를 참조하여 설명한다. 여기서, 상기 명암 지도(Cm) 생성 알고리즘은 상기 관심영역 생성부(102)에 포함된다. First, a contrast map (Cm) generation algorithm according to a preferred embodiment of the present invention will be described with reference to FIG. Here, the contrast map Cm generation algorithm is included in the region of interest generator 102.

상기 명암 지도(Cm) 생성 알고리즘은 외부로부터 영상 데이터가 입력되는지를 체크한다(200단계).The contrast map Cm generation algorithm checks whether image data is input from the outside (step 200).

상기 영상 데이터가 입력되면, 명암 지도(Cm) 생성 알고리즘은 입력된 영상 데이터를 1/2로 크기의 회색도(gray level) 영상 데이터(L)로 변환하고(202단계), 다른 크기의 다수의 필터(12*12,13*13)를 적용하여 필터안의 중심점과 주변점들 사이의 차이 값을 계산하여(204단계), 원 영상에 대한 다수의 특징지도(FEATURE MAP)을 생성하여(206단계), 이를 정규화한다(208단계). When the image data is input, the contrast map (Cm) generation algorithm converts the input image data into gray level image data L having a size of 1/2 (step 202) and a plurality of different sizes. By applying the filters 12 * 12, 13 * 13, the difference value between the center point and the peripheral points in the filter is calculated (step 204), and a plurality of feature maps for the original image are generated (step 206). ), And normalize this (step 208).

그리고 상기 명암 지도(Cm) 생성 알고리즘은 상기 다수의 특징지도에 대해 잡음과 주변 포인트들의 영향을 제거하기 위하여 가우시안 필터링을 이행한다(210단계). The intensity map (Cm) generation algorithm performs Gaussian filtering on the plurality of feature maps to remove the influence of noise and surrounding points (step 210).

이러한 과정을 통하여 영상 크기가 L이고, 사용된 필터 크기가 s일 때, 해당 중심점과 이웃점들간의 명암차이를 나타내는 명암지도(

Figure 112006061952463-pat00001
) 은 수학식 1과 같이 산출된다. Through this process, when the image size is L and the filter size used is s, the intensity map representing the contrast difference between the center point and the neighboring points (
Figure 112006061952463-pat00001
) Is calculated as in Equation 1.

Figure 112006061952463-pat00002
Figure 112006061952463-pat00002

상기 수학식 1에 따라 명암지도(

Figure 112006061952463-pat00003
)가 산출되면, 명암지도(
Figure 112006061952463-pat00004
) 생성 알고리즘은 상기 명암지도(
Figure 112006061952463-pat00005
)를 원래 영상 데이터의 크기로 샘플링하여 최종 명암지도(Cm)를 생성한다(212단계). Contrast map according to Equation 1
Figure 112006061952463-pat00003
) Is calculated, the contrast map (
Figure 112006061952463-pat00004
) Algorithm generates the contrast map (
Figure 112006061952463-pat00005
) Is sampled at the size of the original image data to generate a final contrast map Cm (step 212).

이제 상기한 바와 같이 생성한 명암지도(Cm)를 이용하여 관심영역(AW;ATTENTION WINDOW)을 생성하는 과정을 도 3을 참조하여 설명한다. A process of generating an area of interest (AW) using the intensity map Cm generated as described above will now be described with reference to FIG. 3.

관심영역 생성부(102)는 명암지도(Cm) 생성 알고리즘으로부터 입력된 영상 데이터에 대한 명암지도(Cm)를 제공받는다(300단계). The region of interest generator 102 receives a contrast map Cm for the image data input from the contrast map Cm generation algorithm (step 300).

상기 관심영역 생성부(102)는 입력된 영상 데이터에 대해 웨이블릿 변환을 이행한 후에(302단계), 상기 웨이블릿 변환 결과에 따라 상기 영상 데이터 내에서 모서리나 에지 등과 같이 주파수 변화량이 큰 지점, 즉 소정값이상의 주파수 변화량을 가지는 지점을 중요 포인트(SP)로서 추출한다(304단계). 상기 중요 포인트의 추출이 완료되면, 관심영역 생성부(102)는 초기 관심영역을 설정한다(306단계). 여기서, 상기 초기 관심영역은 영상 분석을 통해 계산된 값으로 영상 데이터에 존재하는 최대 관심 영역의 크기를 포함하도록 설정된다. After performing the wavelet transform on the input image data (step 302), the ROI generation unit 102 determines a point where the frequency variation is large, such as an edge or an edge, in the image data according to the wavelet transform result. A point having a frequency change amount greater than or equal to the value is extracted as the critical point SP (step 304). When the extraction of the critical point is completed, the ROI generator 102 sets an initial ROI (step 306). Here, the initial ROI is set to include the size of the maximum ROI existing in the image data as a value calculated through image analysis.

상기 초기 관심영역의 설정후에, 관심영역설정부(102)는 중심좌표(CAW)를 중심으로 후보 관심영역을 결정한다(308단계). 상기 후보 관심영역은 전체 영상 데이 터에서 가장 큰 개수의 중요 포인트(SP)를 가지는 하나의 영역을 설정하는 것이다. After the initial ROI is set, the ROI setup unit 102 determines a candidate ROI based on the center coordinate CAW (step 308). The candidate region of interest is to set one region having the largest number of significant points (SP) in the entire image data.

상기 후보 관심영역의 설정후에, 관심영역 설정부(102)는 명암지도(Cm)의 평균값을 산출하여 관심영역 설정을 위한 임계값(Tcm)으로서 설정한다(310단계).After setting the candidate region of interest, the region of interest setting unit 102 calculates an average value of the contrast map Cm and sets it as a threshold value Tcm for setting the region of interest (step 310).

상기 관심영역 설정을 위한 임계값(Tcm)의 설정이 완료되면, 관심영역 설정부(102)는 후보 관심영역에 대한 픽셀들에 대한 명암지도(Cm_of_xy)가 임계값(Tcm)보다 작고, 상기 후보 관심영역의 가장자리의 픽셀들이 중요포인트(SP)가 아닌지를 체크한다(312단계).When the setting of the threshold value Tcm for setting the ROI is completed, the ROI setting unit 102 may have a contrast map Cm_of_xy smaller than a threshold value Tcm for pixels of the candidate ROI. In operation 312, pixels of the edge of the ROI are not the critical point SP.

상기 후보 관심영역에 대한 픽셀들에 대한 명암지도(Cm_of_xy)가 임계값(Tcm)보다 작고, 상기 후보 관심영역의 가장자리의 픽셀들이 중요포인트(SP)가 아니면, 관심영역 설정부(102)는 상기 중심좌표(CAW)를 중심으로 상기 후보 관심영역의 경계면을 한픽셀씩 축소하고, 변형된 관심영역의 새 중심좌표를 검출한 후에 상기 (308)단계로 복귀한다(314~316단계). If the intensity map Cm_of_xy of the pixels for the candidate region of interest is smaller than the threshold value Tcm, and the pixels at the edges of the candidate region of interest are not the significant point SP, the region of interest setting unit 102 may set the image. The boundary of the candidate region of interest is reduced by one pixel around the center coordinate CAW, and after detecting the new central coordinate of the modified region of interest, the process returns to step 308 (steps 314 to 316).

상기한 바와 다르게 상기 후보 관심영역의 경계면에 대한 픽셀들에 대한 명암지도(Cm_of_xy)가 임계값(Tcm)보다 크거나, 해당 픽셀들이 중요포인트(SP)이면, 관심영역 설정부(102)는 해당 후보 관심영역을 관심영역으로 설정한다(318단계).Unlike the above, if the contrast map Cm_of_xy of the pixels on the boundary of the candidate region of interest is larger than the threshold value Tcm, or if the pixels are the important point SP, the region of interest setting unit 102 corresponds to the corresponding region. The candidate region of interest is set as the region of interest (step 318).

이와 같이 관심영역 설정부(102)는 관심영역이 실제 관심영역의 크기와 가장 유사한 근사크기를 가질 때까지 관심 윈도우의 크기를 한 픽셀씩 줄여나가면서 최종적으로 분리된 관심영역을 얻어낸다. In this way, the ROI setting unit 102 obtains the final ROI while reducing the size of the ROI by one pixel until the ROI has an approximate size most similar to the size of the ROI.

도 4는 본 발명에 따른 영상의 관심 윈도우가 생성된 결과를 예시한 것이다. 상기 도 4를 참조하면, 입력된 의료 영상 데이터의 관심영역은 명암지도 및 중요 포인트들을 통해 설정된다. 4 illustrates a result of generating a window of interest of an image according to the present invention. Referring to FIG. 4, the ROI of the input medical image data is set through the contrast map and the important points.

이제 관심영역 세그먼테이션부(104)의 동작을 도 5의 흐름도를 참조하여 설명한다. The operation of the ROI segmentation unit 104 will now be described with reference to the flowchart of FIG. 5.

상기 관심영역 세그먼테이션부(104)는 관심영역 생성부(102)에 의해 1차 설정된 관심영역을 입력받아 해당 관심영역에 대한 명암지도의 평균값을 산출하여 임계값으로서 설정한다(400,402단계).The region of interest segmentation unit 104 receives the region of interest primarily set by the region of interest generation unit 102, calculates an average value of the intensity map of the region of interest, and sets the average value of the region of interest (steps 400 and 402).

이후 관심영역 세그먼테이션부(104)는 상기 관심영역을 소정 수, 예를들어 4*4로 분할하고, 분할된 각 영역에 대한 명암지도 평균값을 산출한다(404,406단계). Thereafter, the ROI segmentation unit 104 divides the ROI into a predetermined number, for example, 4 * 4, and calculates an average value of the intensity map for each of the divided regions (steps 404 and 406).

상기 분할된 각 영역에 대한 명암지도 평균값이 산출되면, 각 영역에 대한 명암지도 평균값이 상기 임계값보다 작은지를 체크하여, 상기 임계값보다 보다 해당 영역의 명암지도 평균값이 작으면 해당 영역은 중요 정보가 포함되지 않은 영역으로 판단하여 제거한다(408,410단계).When the average value of the intensity map for each of the divided regions is calculated, it is checked whether the average value of the intensity map for each region is smaller than the threshold value, and if the average value of the intensity map of the region is smaller than the threshold value, the corresponding region is important information. In operation 408 and 410, the controller determines that the region does not include the control unit.

상기한 바와 달리 해당 영역에 대한 명암지도 평균값이 상기 임계값보다 크면 404단계로 복귀하여 해당 영역을 다시 분할하고, 분할된 각 영역에 대한 명암지도 평균값을 산출한 후에 그 명암지도 평균값이 다시 상기 임계값보다 작은지를 체크한다(408단계). 이러한 과정을 최대 3회 반복 수행한다. Contrary to the above, if the average value of the contrast map for the corresponding region is greater than the threshold value, the process returns to step 404 to subdivide the corresponding region, calculates the average value of the contrast map for each divided region, and then again contrasts the average value of the contrast map. It is checked whether it is smaller than the value (step 408). Repeat this process up to three times.

상기 3회 반복 분할된 영역에 대한 명암지도 평균값이 상기 임계값보다 크면, 관심영역 세그먼테이션부(104)는 해당 영역은 중요 정보가 포함된 영역으로 판단하여 해당 영역에 대한 정보를 유효한 관심영역에 대한 정보로서 저장한다(410단 계).If the average value of the contrast map for the region that has been repeatedly divided three times is greater than the threshold value, the ROI segmentation unit 104 determines that the ROI is an area including important information, and determines information about the ROI for a valid ROI. Stored as information (step 410).

상기한 (404~410)의 단계가 모든 관심영역에 대해 이행되었으면, 관심영역 세그먼테이션부(104)는 저장된 유효한 관심영역들 중 이웃하는 관심영역들을 병합함과 아울러 상기 유효한 관심영역들중 소정 거리이상 이격된 관심영역들은 제거함으로써 최종 관심영역을 획득한다. When the steps 404 to 410 have been performed for all the ROIs, the ROI segmentation unit 104 merges neighboring ROIs among the valid ROIs stored and at least a predetermined distance among the valid ROIs. The spaced regions of interest are removed to obtain the final region of interest.

도 6은 본 발명에 따른 영상의 세그먼테이션이 수행된 결과를 예시한 것으로, 입력된 관심영역은 명암지도의 평균값과 쿼드-트리 과정을 이용한 세그먼테이션을 통해 최종 관심영역이 추출된다. FIG. 6 illustrates a result of segmentation of an image according to the present invention. The input ROI is extracted from the final ROI through segmentation using an average value of a contrast map and a quad-tree process.

이제 가중치 설정부(106)의 동작을 도 7의 흐름도를 참조하여 설명한다. The operation of the weight setting unit 106 will now be described with reference to the flowchart of FIG. 7.

상기 가중치 설정부(106)는 추출된 관심영역들에 대해 특징 벡터의 거리 차를 구하기 위하여 입력 영상 데이터에서 중요도에 따른 초기 중요도 가중치(

Figure 112006061952463-pat00006
)를 설정한다. The weight setting unit 106 calculates an initial importance weight according to importance in the input image data in order to obtain a distance difference of a feature vector with respect to the extracted ROIs.
Figure 112006061952463-pat00006
).

상기 가중치 설정부(106)는 관심영역을 입력받아 인간시각특성에 부합되는 명암대비지도(i)를 이용하여 각 관심영역에 대한 분산(vi)을 산출한다(500,502단계). The weight setting unit 106 receives the region of interest and calculates a variance vi for each region of interest using the contrast map i corresponding to the human visual characteristics (steps 500 and 502).

이후 가중치 설정부(106)는 상기 산출된 분산(vi) 값에 따라 상기 관심영역들을 정렬하고, 높은 분산값을 가지는 관심영역을 더 중요한 관심영역으로 판단하여 수학식 2에 따른 상대적인 중요도 값을 각 영역에 부여한다. Then, the weight setting unit 106 sorts the regions of interest according to the calculated variance (vi) value, determines the region of interest having a high variance value as a more important region of interest, and calculates a relative importance value according to Equation (2). To the area.

Figure 112006061952463-pat00007
Figure 112006061952463-pat00007

상기 수학식 2에서 N은 관심영역의 개수를 의미한다. 수식에서 분모가

Figure 112006061952463-pat00008
일 경우 선형 조합보다 특징값의 작은 변화에 민감하게 작용하기 때문에 보다 정확한 가중치 계산이 가능하며 검색 성능 향상에 도움을 준다.In Equation 2, N means the number of regions of interest. The denominator in the formula
Figure 112006061952463-pat00008
In this case, it is more sensitive to small change of feature value than linear combination, so it is possible to calculate more accurate weight and improve search performance.

이제, 특징벡터 생성부(108)의 동작을 도 8의 흐름도를 참조하여 설명한다. The operation of the feature vector generator 108 will now be described with reference to the flowchart of FIG. 8.

상기 특징벡터 생성부(108)는 MPEG-7 비주얼 기술자를 이용하여 관심영역별 색상, 질감, 모양 특징을 조합하여 기술한다. The feature vector generator 108 combines colors, textures, and shapes of respective regions of interest using an MPEG-7 visual descriptor.

즉 특징벡터 생성부(108)는 관심영역에 대한 영상 데이터를 입력받아(600단계), Color Structure Descriptor(CSD)를 이용하여 색상 특징을 추출하고(602단계), Edge Histogram Descriptor(EHD)를 이용하여 질감 특징을 추출하고(604단계), Region Shape Descriptor(RSD)를 이용하여 형태 특징을 추출한다(606단계). That is, the feature vector generator 108 receives image data of a region of interest (step 600), extracts a color feature using a color structure descriptor (CSD) (step 602), and uses an edge histogram descriptor (EHD). The texture feature is extracted (step 604), and the shape feature is extracted using the Region Shape Descriptor (RSD) (step 606).

상기 CSD는 영상의 유사한 색상 간의 히스토그램과 지역 공간 구조의 분포를 나타내며, 구조적 특징을 가진 색상 분포를 효과적으로 기술한다. 추출된 특징은 수학식 3과 같이, 8비트로 양자화된 1차원 배열의 특징 벡터이다. The CSD represents a histogram and a distribution of local spatial structure between similar colors of an image, and effectively describes a color distribution having structural features. The extracted feature is a feature vector of a one-dimensional array quantized to 8 bits, as shown in Equation 3 below.

Figure 112006061952463-pat00009
Figure 112006061952463-pat00009

상기 수학식 3에서 M은 {256, 128, 64, 32} 중 하나의 값을 지정하고 s 는 structuring element의 크기를 나타낸다. In Equation 3, M designates one of {256, 128, 64, 32} and s Is the size of the structuring element.

상기 CSD를 이용한 질의 영상 데이터의 어느 한 영역과 데이터베이스의 참조 영상의 한 영역간의 유사도 식은 수학식 4와 같다.A similarity equation between one region of the query image data using the CSD and one region of the reference image of the database is expressed by Equation 4.

Figure 112006061952463-pat00010
Figure 112006061952463-pat00010

상기 수학식 4에서 qc와 rc는 각각 질의 영상과 참조 영상에서 얻어진 영역을 의미하고

Figure 112006061952463-pat00011
와
Figure 112006061952463-pat00012
는 각각 질의와 참조 영상의 qc와 rc영역에서의 i번째 특징 벡터 값을 의미한다. In Equation 4, qc and rc mean regions obtained from a query image and a reference image, respectively.
Figure 112006061952463-pat00011
Wow
Figure 112006061952463-pat00012
Denote i- th feature vector values in the qc and rc regions of the query and reference image, respectively.

그리고 본 발명에 따른 색상 특징을 추출하기 위해 색상 히스토그램의 빈을 축적하는 과정을 예시한 도 9를 참조하면, 4 * 4 구조의 엘리먼트(structuring element)에 4개의 색상(color)이 존재하고, 8개의 CS 히스토그램을 생성할 경우에는 대응하는 빈의 크기가 1증가된다. In addition, referring to FIG. 9 illustrating a process of accumulating bins of a color histogram in order to extract color features according to the present invention, four colors exist in a 4 * 4 structure element. If you create two CS histograms, the size of the corresponding bin is increased by one.

그리고 본 발명에 따른 질감 특성을 추출하기 위한 영상 분할의 정의를 예시한 도 10을 참조하면, 분할된 서브 영상을 토대로 EHD는 수직, 수평, 대각선 두 방향의 4 종류 에지와 비 방향성 에지를 검출하여 영상이 갖는 에지의 국부 분포를 나타낸다. 각 서브 영역마다 5가지의 에지 타입이 존재하기 때문에 4 * 4 = 16의 서브 영상에 전체 16 * 5 = 80개의 빈(bin)을 가지는 히스토그램이 추출되고, 이는 수학식 5와 같다.Referring to FIG. 10 illustrating the definition of image segmentation for extracting texture characteristics according to the present invention, based on the divided sub-images, the EHD detects four edges and two non-directional edges in two directions: vertical, horizontal, and diagonal. It shows the local distribution of the edge of the image. Since five edge types exist in each subregion, a histogram having a total of 16 * 5 = 80 bins is extracted in a 4 * 4 = 16 sub-image, which is expressed by Equation 5 below.

Figure 112006061952463-pat00013
Figure 112006061952463-pat00013

상기 EHD를 이용한 질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역 간의 유사도 측정은 수학식 6과 같다.The similarity measurement between one region of the query image using the EHD and one region of the reference image of the database is represented by Equation 6.

Figure 112006061952463-pat00014
Figure 112006061952463-pat00014

상기 수학식 6에서 qc와 rc는 각각 질의 영상과 참조 영상에서 얻어진 영역을 의미하고 QEHD (i) ( qc ) 와 REHD (i) ( rc ) 는 질의와 참조 영상의 qc와 rc영역에서의 i번째 특징 벡터값을 의미한다.In Equation 6, qc and rc mean regions obtained from the query image and the reference image, respectively, and QEHD (i) ( qc ) and REHD (i) ( rc ) refer to the i th in the qc and rc regions of the query and reference image, respectively. The feature vector value.

그리고 영상의 모양 기술자(RSD)를 위해서는 Angular Radial Transform(ART) 기법을 사용하고 생성된 ART 계수는 정규화된 크기를 가지며, 총 35개의 계수로 표현된다.For the shape descriptor (RSD) of the image, the Angular Radial Transform (ART) technique is used, and the generated ART coefficient has a normalized size and is represented by a total of 35 coefficients.

질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역 간의 유사도(Diff_RSD)의 측정은 수학식 7과 같다.The measurement of the similarity ( Diff_RSD ) between one region of the query image and one region of the reference image of the database is expressed by Equation 7.

Figure 112006061952463-pat00015
Figure 112006061952463-pat00015

상기한 수학식 7에서

Figure 112006061952463-pat00016
과
Figure 112006061952463-pat00017
은 각각 질의와 참조 영상의 계수 크기를 나타낸다. In Equation 7 described above
Figure 112006061952463-pat00016
and
Figure 112006061952463-pat00017
Denote the coefficient sizes of the query and the reference image, respectively

하나의 기술자로 생성된 특징 벡터의 크기는 다양한 값의 범위를 가지기 때문에 벡터간 거리를 이용한 유사도의 측정에 있어, 생성된 세 특징값은 정규화 과정이 필요하다. 이를 위해 특징벡터 생성부(108)는 가우시안 정규화(Gaussian normalization method)를 이용하여 상기한 특징값들을 정규화하고, 정규화된 특징벡터를 데이터베이스(114)에 저장한다(608,610단계).Since the size of the feature vector generated by one descriptor has a range of various values, the three generated feature values need to be normalized in the measurement of the similarity using the distance between the vectors. To this end, the feature vector generator 108 normalizes the feature values using a Gaussian normalization method and stores the normalized feature vectors in the database 114 (steps 608 and 610).

이제, 본 발명의 바람직한 유사도 비교 수행부(110)의 동작을 도 11을 참조하여 설명한다. Now, the operation of the preferred similarity comparison performing unit 110 of the present invention will be described with reference to FIG.

먼저 식물 세포, 동물 세포, 전자 현미경 및 각종 조직(histology) 영상 데이터 등을 포함하는 참조 영상 데이터로 데이터베이스(112)를 구축한다. 또한 질의 영상 데이터에 대한 검색 성능 평가를 위하여 14개의 관련 영상을 선정하여 이를 유사 영상(Ground-Truth)로 분류하였다. First, a database 112 is constructed with reference image data including plant cells, animal cells, electron microscopes, and various histology image data. In addition, 14 relevant images were selected and classified into similar images (Ground-Truth) for evaluating the retrieval performance of the query image data.

데이터베이스(112)의 참조 영상 데이터는 관심영역 선별 과정을 통하여 하나 이상의 관심영역들을 구하고(700단계), 구해진 각 영역에 대해 세가지 특징을 추출하고 이를 조합하여 특징벡터를 생성한 뒤 데이터베이스에 저장한다(702단계). The reference image data of the database 112 obtains one or more regions of interest through a region of interest selection process (step 700), extracts three features for each region obtained, combines them, generates a feature vector, and stores the extracted feature vector in the database. Step 702).

그리고 검색을 위해 질의 영상 데이터가 입력되면 동일한 과정으로 관심영역을 추출하여 각 영역들에 대한 중요도 가중치를 평가하고, 추출된 특징값을 조합하여 특징벡터를 생성한다(704~708단계). When the query image data is input for retrieval, the region of interest is extracted in the same process to evaluate importance weights of the regions, and the feature vectors are generated by combining the extracted feature values (steps 704 to 708).

그리고 참조 영상과 질의 영상의 영역들에 대한 특징 벡터의 거리 값을 측정하여 최종 후보 참조 집합을 생성한다(710단계). In operation 710, a final candidate reference set is generated by measuring a distance value of a feature vector of regions of the reference image and the query image.

그러나 데이터베이스 영상의 수가 1000개 이상일 경우, 각 영상마다 하나 이상의 관심영역이 추출되어 기술자로 저장되어 있다면 질의 영역과 데이터베이스 영역들 간의 특징벡터의 거리 값 측정은 많은 검색 시간을 필요로 하게 된다. However, when the number of database images is 1000 or more, if one or more regions of interest are extracted and stored as descriptors for each image, the measurement of the distance value of the feature vector between the query region and the database regions requires a lot of searching time.

따라서 본 발명에서는 실험에 사용된 의료 영상의 세 특징 벡터 중에서 색상 특징이 큰 선별력을 가짐을 실험을 통해 발견하고, 색상 특징 벡터를 1차적으로 비교하여 전체 영상에서 유사 영상들을 선별한다. Therefore, in the present invention, the color feature among the three feature vectors of the medical image used in the experiment has been found to have a large screening power through an experiment, and the similar image is selected from the entire image by comparing the color feature vectors.

그리고 1차적으로 선별된 영상들에 대해서 나머지 두 특징 벡터에 대한 유사도 비교를 수행하여 최종적인 유사 영상들을 선별한다. Finally, similarity comparisons are performed on the remaining two feature vectors and the final similar images are selected.

유사도 비교 수행을 통하여 영역 간의 특징벡터 거리 차가 구해지면 가장 적은 차이를 가지는 상위 k개의 영상이 유사도 차에 따라 오름차순으로 정렬되어 사용자에게 제공된다(712,714단계). When the feature vector distance difference between regions is obtained by performing the similarity comparison, the top k images having the smallest difference are provided to the user in the ascending order according to the similarity difference (steps 712 and 714).

이때 유사도 비교 수행을 위한 후보 참조 집합을 생성하는 과정은 도 12에 나타난다. In this case, a process of generating a candidate reference set for performing similarity comparison is shown in FIG. 12.

도 12는 본 발명에 따른 유사도 비교에서 후보 참조 집합을 찾기 위한 과정을 나타낸 실시 예이다.12 is a diagram illustrating a process for finding a candidate reference set in a similarity comparison according to the present invention.

도 12를 살펴보면 질의 영상은 하나 이상의 관심 영역이 추출되며 이에 대해 세 가지 특징 벡터들이 생성된다. 질의 영상 내의 관심영역 Q1은 목표 영상 안에 포함된 영역들과의 유사도 수행을 위해 1: N 의 관계를 가지며, 각각의 참조 영역 Ref1, Ref2 , Ref3과 특징 값의 거리를 측정한다. 그 중 정의된 임계값을 넘지 않는 최소 거리의 영역을 찾고 이를 참조 집합인 R c 에 포함시킨다. 도 12의 실시예에서는 연산 결과, 질의 영상내의 영역 Q1 , Q2와 가장 유사한 영역인 Ref1 , Ref3이 최종 후보 참조 집합 R c = R ef 1, R ef 3에 포함되고 유사도 비교 수행을 위해 사용된다. Referring to FIG. 12, one or more regions of interest are extracted from the query image, and three feature vectors are generated. The region of interest Q1 in the query image has a 1 : N relationship to perform similarity with the regions included in the target image, and measures the distance between each reference region Ref1, Ref2 , Ref3 and the feature value. Among them, the region of minimum distance not exceeding the defined threshold is found and included in the reference set R c . In the embodiment of FIG. 12, as a result of the operation, Ref1 and Ref3, which are the areas most similar to the areas Q1 and Q2 in the query image , are the final candidate reference set R c. = R ef 1 , included in R ef 3 and used to perform the similarity comparison.

하나 또는 다수의 관심 영역에 대해 구해진 세 특징 벡터간 거리 차는 일반적으로 수학식 8과 같이 합산하지만, 본 발명에서 제안하는 설정된 초기 가중치를 이용한 유사도(S)의 비교 수행은 수학식 9와 같이 변형되어 적용된다.The distance difference between three feature vectors obtained for one or more regions of interest is generally summed as in Equation 8, but the comparison of similarity S using the set initial weight proposed in the present invention is modified as in Equation 9. Apply.

Figure 112006061952463-pat00018
Figure 112006061952463-pat00018

Figure 112006061952463-pat00019
Figure 112006061952463-pat00019

도 13은 본 발명에 따른 관심영역 기반의 의료 영상 검색 시스템 인터페이스를 예시한 것이다. 상기한 도 13을 참조하면, 의료 영상 검색 시스템은 데이터베이스에 저장된 영상 중에서 사용자가 질의한 영상과 가장 유사한 상위 k개의 영상을 검색한다. 질의 영상으로부터 관심영역이 추출되고 배경이 제거되면, 각 관심영역간의 유사도를 측정하고 최종적으로 상기의 수학식 9를 이용하여 영상 간의 거리 차를 구한다. 그리고 거리 차가 가장 적은 상위 k개의 영상이 유사도 차에 따라 오름차순으로 정렬되어 검색 결과로 보여진다. 또한 사용자는 이를 이용하여 질의가 가능하고, 추출된 관심영역이 다수일 경우 그중에서 원하는 하나의 영역만을 설정 하여 질의할 수도 있다. 또한 색상, 질감, 모양 특징을 부분적으로 선택하여 질의가 가능하다. 13 illustrates an interface of a medical image retrieval system based on a region of interest according to the present invention. Referring to FIG. 13, the medical image retrieval system retrieves the top k images most similar to the images queried by the user among the images stored in the database. When the ROI is extracted from the query image and the background is removed, the similarity between the ROIs is measured, and finally, the distance difference between the images is obtained by using Equation 9 above. And the top k images with the smallest distance difference are sorted in ascending order according to the similarity difference and shown as a search result. In addition, the user may query using this, and when there are a plurality of extracted ROIs, the user may set and query only one desired area. In addition, the query can be made by partially selecting the color, texture, and shape characteristics.

수행된 검색 방법의 유효성과 성능 평가를 위한 도구로는 Precision/Recall에 비해 검색 결과의 충실 지수를 반영할 수 있는 NMRR(Normalized Modified Retrieval Rank)와 ANMRR(Average Normalized Modified Retrieval Rank)를 사용하였다. 정규화된 NMRR과 ANMRR은 0에서 1의 값을 가지며 0에 가까운 값을 가질수록 좋은 성능을 나타낸다.As tools for evaluating the validity and performance of the search method, we used Normalized Modified Retrieval Rank (NMRR) and Average Normalized Modified Retrieval Rank (ANMRR). Normalized NMRR and ANMRR have a value from 0 to 1, and a value near 0 shows better performance.

도 14는 본 발명에 따른 관심영역 기반의 방식과 전체 영상을 이용한 방식의 NMRR의 성능을 비교한 그래프이다.14 is a graph comparing the performance of the NMRR of the ROI-based method and the method using the whole image according to the present invention.

상기한 도 14에 나타나는 결과는 동일한 초기 가중치를 부여한 본 발명에 따른 관심영역 기반의 검색과 전체 영상을 대상으로 비교하는 일반적인 검색의 결과를 비교한 것이다. 결과는 영상의 의미 없는 배경을 제거하고 중요한 영역만을 찾아내어 이를 토대로 검색을 수행하는 관심영역의 기반의 검색이 더 높은 성능을 나타냄을 보여준다. 또한 영역에서 관심영역이 두드러지게 하나의 영역으로 대표될 경우, 배경의 영향을 크게 감소시켜 높은 검색 성능을 나타낸다. 그러나 영상에서 관심 영역이 다수로 추출될 경우에는 영상 전체를 대상으로 한 검색과 거의 비슷한 검색 성능을 가지는 것을 알 수 있다. The results shown in FIG. 14 compare the results of the ROI-based search according to the present invention with the same initial weight and the results of the general search comparing the entire image. The results show that the search based on the region of interest, which removes the meaningless background of the image and searches only the important regions, performs the search based on this. In addition, when the ROI is remarkably represented by one region in the region, the effect of the background is greatly reduced, thereby showing high search performance. However, if the region of interest is extracted from the image, it can be seen that the search performance is almost similar to that of the entire image.

도 15는 본 발명에 따른 중요도에 따른 초기 가중치의 부여 방식과 무가중치 방식의 NMRR의 성능을 비교한 그래프이다.15 is a graph comparing the performance of the NMRR of the weighting method and the weighting method of the initial weight according to the importance according to the present invention.

상기한 도 15는 영상에서 하나 이상의 관심영역이 추출된 경우 관심영역에 대한 상대적 중요도를 평가하여 초기 가중치를 설정한 뒤, 영상 간 특징 벡터 값을 비교하는 본 발명에 따른 검색 성능을 분석한 결과로서, 인간 시각에 부합하는 의미론적인 가중치의 부여는 보다 더 적절한 영역을 유사 영역으로 판단하기 때문에 보다 더 높은 검색을 나타낸다. 또한 가중치를 부여하는 본 발명에 따른 검색 방식은 기존의 방식과 검색 결과인 ANMRR을 비교하여 27.44 ~ 37.13%의 향상된 높은 검색 성능을 가진다.15 is a result of analyzing the search performance according to the present invention comparing the feature vector values between images after setting initial weights by evaluating the relative importance of the ROIs when one or more ROIs are extracted from an image. However, the assignment of semantic weights in line with human vision results in a higher search because more relevant areas are considered similar areas. In addition, the weighted search method according to the present invention has an improved high search performance of 27.44 to 37.13% by comparing ANMRR which is a search result with a conventional method.

도 16은 본 발명에 따른 관심영역과 세 가지 기술자를 동시에 사용한 방법과 각각의 기술자를 분리시킨 방법과의 성능을 비교한 표이다.16 is a table comparing the performance of the method using the region of interest and the three descriptors according to the present invention and the method of separating each descriptor.

상기한 도 16의 세 가지 기술자 중에서 EHD는 대체적으로 높은 성능을 나타내고 RSD가 상대적으로 낮은 성능을 나타낸다. 그러나 EHD는 추출된 관심영역의 개수 변화에 민감하게 반응하여 불규칙한 검색 성능 분포를 가지는데 반해, CSD는 관심영역의 개수에 상관없이 고른 검색 성능을 나타낸다. 실험의 결과는 특징을 조합하여 사용하는 본 발명에 따른 검색이 보다 더 효과적이며, 각각의 기술자들의 사용에서 발생하는 오류를 줄일 수 있음을 보여준다. Among the three descriptors of FIG. 16 described above, EHD generally exhibits high performance and RSD exhibits relatively low performance. However, while EHD has an irregular search performance distribution in response to the change in the number of extracted ROIs, CSD shows an even search performance regardless of the number of ROIs. The results of the experiments show that the search according to the invention using the combination of features is more effective and can reduce the errors incurred in the use of the respective technicians.

이상에서 설명한 바와 같은 본 발명에 따른 의료영상에서 관심영역을 분리하고 MPEG-7 비주얼 기술자를 조합하여 특징벡터를 생성하기 위한 기법은 다음과 같은 효과가 있다. As described above, a technique for generating a feature vector by separating a region of interest from a medical image and combining MPEG-7 visual descriptors has the following effects.

첫째, 의료 영상에서 단색의 배경과 중요한 의미를 내포하고 있는 관심영역을 분리하여 관심영역에 기반 한 검색을 가능하게 하며, 의미 없는 배경이나 비 관 심 영영의 유사도 비교 수행으로 인한 오차 값을 줄임으로써 검색의 성능을 향상시킨다. First, it is possible to search based on the region of interest by separating the background of a single color from the medical image and containing the important meaning, and by reducing the error value caused by comparing the similarity of meaningless background or uninterested domains. Improve the performance of the search.

둘째, 관심영역의 정확한 추출을 위해서는 상당한 처리시간이 요구되지만, 명암지도와 중요 포인트를 이용하여 관심 윈도우를 생성하고 쿼드-트리 과정을 이용하여 관심영역을 세그먼테이션 함으로써 세그먼테이션을 위한 처리시간을 단축시키고, 관심영역을 인간 시각적인 특징에 부합하도록 추출할 수 있다.Secondly, considerable processing time is required for accurate extraction of the region of interest, but the processing time for segmentation is shortened by creating a window of interest using intensity maps and key points and segmenting the region of interest using quad-tree processes. Regions of interest can be extracted to match human visual characteristics.

셋째, 추출된 관심 영역들에 대하여 명암 대비 지도를 이용하여 상대적인 초기 중요도 가중치를 평가하여 이를 유사도 수행에 이용함으로써 인간 시각 특성에 부합하는 검색을 가능하게 할 수 있다.Third, the relative initial importance weights may be evaluated using the contrast map on the extracted ROIs, and then used to perform the similarity, thereby enabling searching corresponding to human visual characteristics.

넷째, 하나의 기술자로 영상의 전체 특징을 기술할 경우에는 영상의 특성에 따라 검색 성능이 저하될 수 있으나, 적절한 특징 기술자들을 조합하여 영상의 복합적인 특징을 추출하여 특징 벡터를 생성함으로써 각각의 기술자들의 사용에서 발생하는 오류를 줄이고 검색의 정확도를 향상시킨다.Fourth, when describing all features of an image with one descriptor, retrieval performance may be deteriorated according to the characteristics of the image. However, each descriptor is generated by extracting a complex feature of the image by combining appropriate feature descriptors. This reduces the errors that occur in their use and improves the accuracy of the search.

이상 설명한 내용을 통하여 당업자라면 본 발명의 기술 사상을 이탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the present invention.

따라서 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다. Therefore, the technical scope of the present invention should not be limited to the contents described in the embodiments, but should be defined by the claims.

Claims (18)

영상 데이터 처리 시스템에 있어서,In a video data processing system, 영상 데이터를 입력받아 회색도 영상 데이터로 변환하고, 정방형(正方形)으로 위치하는 다수의 픽셀에 대해, 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값 간의 차이값을 산출하여 출력하는 필터를 통해 상기 회색도 영상 데이터를 필터링하여, 그 필터링 결과인 특징지도를 생성하고, 상기 특징지도의 각 픽셀 값을 정규화하여 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값간의 명암차이를 나타내는 명암지도를 생성하고, 상기 명암지도에 포함된 픽셀 값들의 평균값을 산출하고, 상기 영상 데이터를 웨이블릿 변환하여 획득된 주파수 변화량이 미리 정해둔 값 이상인 픽셀들의 위치들을 중요 포인트들로서 검출하고, 상기 중요 포인트들이 포함되게 관심영역을 설정하는 관심영역 생성부;Image filter receives image data and converts it to grayscale image data, and calculates and outputs a difference value between the pixel value located at the center and the pixel value located at the periphery of a plurality of pixels located in a square. The grayscale image data is filtered to generate a feature map that is a result of the filtering, and the intensity map representing the difference between contrast values between pixel values located at the center and pixels located at the center by normalizing each pixel value of the feature map is obtained. Generate, calculate an average value of the pixel values included in the contrast map, detect the positions of the pixels having a frequency change amount obtained by wavelet transforming the image data or more as a predetermined value as important points, and include the important points. A region of interest generator configured to set a region of interest; 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 관심영역 세그먼테이션부;A region of interest segmentation unit configured to segment the region of interest by dividing the mean value of the contrast map by using a quad-tree process; 상기 세그먼테이션된 관심영역들 각각에 대한 분산을 이행하고, 상기 분산결과에 따라 상기 관심영역들에 대한 가중치를 부여하는 가중치 부여부; A weighting unit for performing variance on each of the segmented ROIs and assigning weights to the ROIs according to the dispersion result; 상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 특징벡터 생성부Feature vector generation unit for generating a feature vector for the segmented ROI 를 포함하는 것을 특징으로 하는 영상 데이터 처리 시스템. Image data processing system comprising a. 제1항에 있어서,The method of claim 1, 참조 영상 데이터들에 대한 특징벡터들이 저장된 데이터베이스;A database storing feature vectors for reference image data; 질의 영상 데이터에 대해 상기한 특징벡터를 생성하고, 상기 특징벡터와 상기 참조 영상 데이터들에 대한 특징벡터들을 비교하여 상기 질의 영상 데이터와 유 사한 참조 영상 데이터들을 추출하는 유사도 비교 수행부A similarity comparison performing unit generating the feature vector for the query image data and extracting the reference image data similar to the query image data by comparing the feature vector and the feature vectors for the reference image data. 를 더 포함하는 것을 특징으로 하는 영상 데이터 처리 시스템.Image data processing system further comprises. 제2항에 있어서,The method of claim 2, 상기 유사도 비교 수행부는,The similarity comparison performing unit, 상기 질의 영상 데이터의 색상 특징벡터와 유사한 참조 영상 데이터를 제1차 추출하고, First extracting reference image data similar to color feature vectors of the query image data; 상기 제1차 추출된 참조 영상 데이터에 대해 상기 질의 영상 데이터의 질감 특징벡터와 형태 특징벡터와 유사한 참조 영상 데이터를 제2차 추출함을 특징으로 하는 영상 데이터 처리 시스템. And extracting second reference image data similar to the texture feature vector and the shape feature vector of the query image data to the first extracted reference image data. 제1항에 있어서,The method of claim 1, 영상 데이터의 입력을 위해 외부기기와의 인터페이스를 제공하는 외부기기 인터페이스부;An external device interface unit for providing an interface with an external device for inputting image data; 각종 정보를 표시하는 디스플레이 장치;A display device for displaying various kinds of information; 사용자와의 인터페이스를 제공하는 사용자 인터페이스부 중 하나 또는 그 이상을 더 포함하는 것을 특징으로 하는 영상 데이터 처리 시스템. And one or more of a user interface unit providing an interface with a user. 영상 데이터 처리 방법에 있어서,In the video data processing method, 영상 데이터를 입력받아 회색도 영상 데이터로 변환하고, 정방형(正方形)으로 위치하는 다수의 픽셀에 대해, 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값 간의 차이값을 산출하여 출력하는 필터를 통해 상기 회색도 영상 데이터를 필터링하여, 그 필터링 결과인 특징지도를 생성하고, 상기 특징지도의 각 픽셀 값을 정규화하여 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값간의 명암차이를 나타내는 명암지도를 생성하고, 상기 명암지도에 포함된 픽셀 값들의 평균값을 산출하고, 상기 영상 데이터를 웨이블릿 변환하여 획득된 주파수 변화량이 미리 정해둔 값 이상인 픽셀들의 위치들을 중요 포인트들로서 검출하고, 상기 중요 포인트들이 포함되게 관심영역을 설정하는 제1단계;Image filter receives image data and converts it to grayscale image data, and calculates and outputs a difference value between the pixel value located at the center and the pixel value located at the periphery of a plurality of pixels located in a square. The grayscale image data is filtered to generate a feature map that is a result of the filtering, and the intensity map representing the difference between contrast values between pixel values located at the center and pixels located at the center by normalizing each pixel value of the feature map is obtained. Generate, calculate an average value of the pixel values included in the contrast map, detect the positions of the pixels having a frequency change amount obtained by wavelet transforming the image data or more as a predetermined value as important points, and include the important points. Setting a region of interest; 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 제2단계;A second step of segmenting the ROI by dividing the mean value of the contrast map by using a quad-tree process; 상기 세그먼테이션된 관심영역들 각각에 대한 분산을 이행하고, 상기 분산결과에 따라 상기 관심영역들에 대한 가중치를 부여하는 제3단계; Performing a variance on each of the segmented ROIs and assigning a weight to the ROIs according to the dispersion result; 상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 제4단계A fourth step of generating a feature vector for the segmented ROI; 를 포함하는 것을 특징으로 하는 영상 데이터 처리 방법. Image data processing method comprising a. 제5항에 있어서,The method of claim 5, 질의 영상 데이터에 대해 상기한 특징벡터를 생성하고, 상기 특징벡터와 미리 저장되어 있는 참조 영상 데이터들에 대한 특징벡터들을 비교하여 상기 질의 영상 데이터와 유사한 참조 영상 데이터들을 추출하는 제5단계A fifth step of generating the feature vector with respect to the query image data and extracting reference image data similar to the query image data by comparing the feature vector with feature vectors with respect to previously stored reference image data; 를 더 포함하는 것을 특징으로 하는 영상 데이터 처리 방법. Image data processing method further comprises. 제5항에 있어서, The method of claim 5, 상기 제1단계가, The first step, 상기 관심영역의 가장자리에 위치하는 픽셀들 각각에 대해, 각 픽셀들에 대응되는 명암지도의 픽셀의 값이 미리 정해둔 임계값 이하이면 해당 픽셀을 상기 관심영역에서 제거하여 상기 관심영역을 축소하는 것을 더 포함하는 것을 특징으로 하는 영상 데이터 처리 방법. For each pixel positioned at the edge of the ROI, if the value of the pixel of the contrast map corresponding to each pixel is less than or equal to a predetermined threshold value, the ROI may be reduced by removing the pixel from the ROI. Image data processing method further comprising. 제7항에 있어서, The method of claim 7, wherein 상기 미리 정해둔 임계값은 상기 명암지도의 픽셀들의 값에 대한 평균값임을 특징으로 하는 영상 데이터 처리 방법. And the predetermined threshold value is an average value of values of pixels of the contrast map. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제5항에 있어서,The method of claim 5, 상기 제3단계가,The third step, 관심영역들의 영상 데이터를 입력받아 인간 시각 특성에 부합되게 미리 설정된 명암대비지도를 이용하여 각 관심영역에 대한 분산을 산출하고,Receives the image data of the ROIs and calculates the variance of each ROI using the contrast map preset in accordance with human visual characteristics. 상기 산출된 분산값에 따른 상기 관심영역들 각각에 대한 가중치를 수학식 10에 따라 산출하는 것임을 특징으로 하는 영상 데이터 처리 방법. And calculating a weight of each of the ROIs according to the calculated dispersion value according to Equation 10.
Figure 112008022989800-pat00036
; 여기서, Wi는 가중치, vi는 관심영역에 대한 분산값, N은 관심영역의 수임.
Figure 112008022989800-pat00036
; Where Wi is the weight, vi is the variance of the region of interest, and N is the number of regions of interest. 삭제delete 삭제delete 제1항에 있어서, The method of claim 1, 상기 영상 데이터로부터 명암지도를 산출하는 수학식은 수학식 11에 따름을 특징으로 하는 영상 데이터 처리 시스템. The equation for calculating the contrast map from the image data is according to the equation (11).
Figure 112008022989800-pat00037
Figure 112008022989800-pat00037
 상기
Figure 112008022989800-pat00038
은 명암지도, 상기 L은 영상 데이터, 12×12,13×13은 필터 크기임.remind
Figure 112008022989800-pat00038
Is the contrast map, L is the image data, 12 × 12, 13 × 13 is the filter size. 제1항에 있어서,The method of claim 1, 관심영역들의 영상 데이터를 입력받아 인간 시각 특성에 부합되게 미리 설정된 명암대비지도를 이용하여 각 관심영역에 대한 분산을 산출하는 단계;Calculating the variance for each region of interest by using image data of the regions of interest and using a contrast map preset in accordance with human visual characteristics; 상기 산출된 분산값에 따른 상기 관심영역들 각각에 대한 가중치를 수학식 12에 따라 산출함을 특징으로 하는 영상 데이터 처리 시스템. And a weight for each of the ROIs according to the calculated dispersion values according to Equation 12.
Figure 112008022989800-pat00039
; 여기서, Wi는 가중치, vi는 관심영역에 대한 분
Figure 112008022989800-pat00039
; Where Wi is the weight and vi is the minutes for the region of interest. 산값, N은 관심영역의 수임.The acid value, N is the number of regions of interest.
KR1020060081846A 2006-08-28 2006-08-28 Video data processing method and system thereof KR100836740B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060081846A KR100836740B1 (en) 2006-08-28 2006-08-28 Video data processing method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060081846A KR100836740B1 (en) 2006-08-28 2006-08-28 Video data processing method and system thereof

Publications (2)

Publication Number Publication Date
KR20080021181A KR20080021181A (en) 2008-03-07
KR100836740B1 true KR100836740B1 (en) 2008-06-10

Family

ID=39395723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060081846A KR100836740B1 (en) 2006-08-28 2006-08-28 Video data processing method and system thereof

Country Status (1)

Country Link
KR (1) KR100836740B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942655B1 (en) 2008-10-01 2010-02-17 성균관대학교산학협력단 Real-time image processing apparatus and method
KR101052628B1 (en) * 2009-07-20 2011-07-29 인하대학교 산학협력단 Fast Feature Extraction from Chest City Image Using Integral Image
KR101556601B1 (en) 2014-07-23 2015-10-01 연세대학교 산학협력단 Apparatus and method for building big data database of 3d volume images
KR102053890B1 (en) * 2019-03-19 2019-12-09 (주)아이티에프 Intestinal obstruction detection Method Using a X-Ray monitoring
WO2023106442A1 (en) * 2021-12-08 2023-06-15 (주)파인헬스케어 Medical equipment for diagnosing and managing wounds, and medical equipment operation method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522985B1 (en) * 2008-10-31 2015-05-27 삼성전자주식회사 Apparatus and Method for Image Processing
KR101616874B1 (en) 2009-09-23 2016-05-02 삼성전자주식회사 Method and apparatus for blending multiple images
KR20140031613A (en) 2012-09-05 2014-03-13 삼성전자주식회사 Apparatus and method for processing image
KR102094507B1 (en) * 2013-11-01 2020-03-27 삼성전자주식회사 Method of generating hierarchical saliency images detection with selective refinement, Computer readable storage medium of recording the method and an saliency image generationg device
WO2017051945A1 (en) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 Method and apparatus for providing medical information service on basis of disease model
CN107451966B (en) * 2017-07-25 2021-05-11 四川大学 Real-time video defogging method implemented by guiding filtering through gray level image
KR102072796B1 (en) * 2018-05-16 2020-02-03 주식회사 브이터치 Method, system and non-transitory computer-readable recording medium for calculating spatial coordinates of a region of interest
KR102400568B1 (en) * 2019-07-19 2022-05-24 울산대학교 산학협력단 Method and apparatus for identifying anomaly area of image using encoder

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000014123A (en) * 1998-08-17 2000-03-06 이계철 Image likeness weighted value adjustment device and method and contents base image search system and method using thereof
KR20030009674A (en) * 2001-07-23 2003-02-05 주식회사 오픈비주얼 apparatus and method for content-based image retrieval

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000014123A (en) * 1998-08-17 2000-03-06 이계철 Image likeness weighted value adjustment device and method and contents base image search system and method using thereof
KR20030009674A (en) * 2001-07-23 2003-02-05 주식회사 오픈비주얼 apparatus and method for content-based image retrieval

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942655B1 (en) 2008-10-01 2010-02-17 성균관대학교산학협력단 Real-time image processing apparatus and method
KR101052628B1 (en) * 2009-07-20 2011-07-29 인하대학교 산학협력단 Fast Feature Extraction from Chest City Image Using Integral Image
KR101556601B1 (en) 2014-07-23 2015-10-01 연세대학교 산학협력단 Apparatus and method for building big data database of 3d volume images
WO2016013881A1 (en) * 2014-07-23 2016-01-28 연세대학교 산학협력단 Apparatus and method for constructing big data database of three-dimensional volume image
KR102053890B1 (en) * 2019-03-19 2019-12-09 (주)아이티에프 Intestinal obstruction detection Method Using a X-Ray monitoring
WO2023106442A1 (en) * 2021-12-08 2023-06-15 (주)파인헬스케어 Medical equipment for diagnosing and managing wounds, and medical equipment operation method

Also Published As

Publication number Publication date
KR20080021181A (en) 2008-03-07

Similar Documents

Publication Publication Date Title
KR100836740B1 (en) Video data processing method and system thereof
US7848577B2 (en) Image processing methods, image management systems, and articles of manufacture
Kandaswamy et al. Efficient texture analysis of SAR imagery
CN111524137B (en) Cell identification counting method and device based on image identification and computer equipment
Zhuo et al. Cloud classification of ground-based images using texture–structure features
EP2701098B1 (en) Region refocusing for data-driven object localization
CN107967482A (en) Icon-based programming method and device
US8326029B1 (en) Background color driven content retrieval
CN108564085B (en) Method for automatically reading of pointer type instrument
US8340412B2 (en) Image processing
GB2431793A (en) Image comparison
AU2011207120B2 (en) Identifying matching images
KR20160147374A (en) Apparatus for extracting object of interest in image using image matting based on global contrast and method using the same
CN108829711B (en) Image retrieval method based on multi-feature fusion
TW200529093A (en) Face image detection method, face image detection system, and face image detection program
US9715729B2 (en) Method and apparatus for processing block to be processed of urine sediment image
KR100924690B1 (en) System for managing digital image features and its method
Singh et al. Design & performance analysis of content based image retrieval system based on image classification usingvarious feature sets
Drzewiecki et al. Applicability of multifractal features as global characteristics of WorldView-2 panchromatic satellite images
CN111860153B (en) Scale-adaptive hyperspectral image classification method and system
Dimai Unsupervised extraction of salient region-descriptors for content based image retrieval
EP3137895A1 (en) Method and apparatus for processing block to be processed of urine sediment image
Flores-Vidal et al. A new approach to color edge detection by means of transforming rgb images into an 8-dimension color space
Zhang et al. Combining color quantization with curvelet transform for image retrieval
PirahanSiah et al. Research Article Adaptive Image Thresholding Based on the Peak Signal-to-noise Ratio

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170518

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 11

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 12