KR100545060B1 - Method and system for clustering bone images - Google Patents
Method and system for clustering bone images Download PDFInfo
- Publication number
- KR100545060B1 KR100545060B1 KR1020040034912A KR20040034912A KR100545060B1 KR 100545060 B1 KR100545060 B1 KR 100545060B1 KR 1020040034912 A KR1020040034912 A KR 1020040034912A KR 20040034912 A KR20040034912 A KR 20040034912A KR 100545060 B1 KR100545060 B1 KR 100545060B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- class
- representative
- matching
- case
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Abstract
골해(骨骸)영상 클러스터링 방법 및 시스템이 제공된다. 골해영상 클러스터링 방법 및 시스템은 관심 골해 영상을 2진화하고, 2진화 영상과 대표영상의 2진화 영상의 일치율을 기준으로 클래스에 할당하고, 클래스 중 불필요한 클래스를 제거하여, 클래스의 대표 영상을 결정하고, 클래스의 개수를 검토하여 재클러스터링한다. 또한, 사용자의 선택에 따라 대표영상 매칭을 함으로써 클러스터링 방법을 통해 생성된 대표영상의 개수를 축소할 수도 있다. Osteotomy clustering method and system are provided. The bone skeletal image clustering method and system binarizes the bone skeletal image of interest, assigns it to a class based on the coincidence ratio of the binarized image and the binary image of the representative image, removes unnecessary classes among the classes, and determines the representative image of the class. Recluster by reviewing the number of classes. In addition, the number of representative images generated through the clustering method may be reduced by matching the representative images according to the user's selection.
클러스터링, 케이스, 클래스, 대표영상, 오차값, 일치율Clustering, case, class, representative image, error value, match rate
Description
도 1는 본 발명의 일 실시예에 따른 척추 영상 클러스터링 시스템에 대한 개략적인 블록도이다.1 is a schematic block diagram of a spine image clustering system according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따라 척추영상을 클러스터링을 하기 위한 처리과정에 대한 흐름도이다.2 is a flowchart illustrating a process for clustering spine images according to an embodiment of the present invention.
도3은 본 발명의 일 실시예에 따른 준비단계(S210)에 대한 세부 흐름도이다.Figure 3 is a detailed flowchart of the preparation step (S210) according to an embodiment of the present invention.
도 4는 제공된 256 명암의 척추영상과 사용자의 관심영역 선택을 나타낸 단면도이다.4 is a cross-sectional view showing the selected 256 contrast image of the spine and the user's region of interest.
도 5a 내지 도 5b는 사용자가 선택한 관심영역을 256명암으로 나타낸 단면도와 2진화 과정을 통해 2진화 영상으로 만든 단면도이다.5A through 5B are cross-sectional views showing areas of interest selected by a user in 256 shades and a binarized image through a binarization process.
도 6은 본 발명의 일 실시예에 따른 클러스터링 단계(S220)에 대한 세부 흐름도이다.6 is a detailed flowchart of the clustering step (S220) according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 대표영상 매칭 단계(S270)에 대한 세부 흐름도이다.7 is a detailed flowchart of a representative image matching step S270 according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 대표영상 매칭 단계에 대한 예시도이다.8 is an exemplary diagram of a representative image matching step according to an embodiment of the present invention.
도 9a 내지 도9c는 본 발명의 일 실시예에 따라 케이스 영상과 매칭 템플릿 의 관심영역에 명암값을 할당하고, 서로 매칭시킨 단면도이다9A to 9C are cross-sectional views of assigning contrast values to regions of interest of a case image and a matching template and matching each other according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따라 케이스 안에서 매칭템플릿이 변이공간을 스캔할 수 있는 영역을 나타낸 사시도이다.FIG. 10 is a perspective view illustrating a region in which a matching template can scan a transition space in a case according to an embodiment of the present invention.
(도면의 주요부분에 대한 부호의 설명) (Explanation of symbols for the main parts of the drawing)
110: 사용자 인터페이스 120 : 클래스 할당 제어 모듈110: user interface 120: class assignment control module
130 : 제어 모듈 140 : 영상원본 데이터베이스 130: control module 140: image source database
150 : 클래스별 대표영상 데이터베이스150: Representative video database by class
160 : 2진화 영상 데이터베이스 170 : 영상수집 모듈160: Binary image database 170: Image acquisition module
180 : 관심영역 추출 모듈 190 : 관심영역의 2진화 제어 모듈 180: region of interest extraction module 190: binarization control module of region of interest
본 발명은 골해영상 클러스터링 방법 및 시스템에 관한 것으로서, 특히 복잡한 골해 영상 케이스을 자가 학습을 통해 결정되는 일치율을 기준으로 제한된 클래스로 할당하여 보다 체계적으로 관리하고, 골해 영상 케이스를 이용하여 자가 개정이 가능한 골해 영상 클러스터링 방법 및 시스템에 관한 것이다.The present invention relates to a bone fracture image clustering method and system, and more particularly, to manage a more complex bone fracture image case by assigning it to a limited class based on a matching rate determined through self-learning, and to manage the bone fracture more systematically. An image clustering method and system are provided.
인체는 머리 부위, 동체부, 상지, 하지로 구분할 수 있다. 머리부위에는 두개골, 동체부에는 척추, 흉골, 늑골, 골반 등이 있다. 또한, 상지에는 쇄골, 견갑골, 상박골, 요골, 척골, 수근골, 중수골 및 지골 등이 있으며, 하지에는 대퇴골, 슬개골, 경골, 비골 및 족골 등이 있다. 상기 골해 영상 클러스터링 방법은 일정한 규칙에 따라 영상들의 클래스를 형성하고, 그 클래스의 대표 영상을 이용하므로, 일반적인 골해(骨骸) 영상 모두에 모두 적용가능하다. 다만, 일 실시예로서 척추 영상에 대한 클러스터링 방법 및 시스템을 이하에서 기술하기로 한다.The human body can be divided into head, fuselage, upper limb and lower limb. The head is the skull, the body is the spine, sternum, ribs, pelvis, etc. In addition, the upper limbs include clavicle, scapula, humerus, radius, ulna, carpal bone, metacarpal and phalanges, and the lower extremities include femur, patella, tibia, fibula and femur. The osteolysis image clustering method forms a class of images according to a predetermined rule and uses a representative image of the class, and thus it can be applied to all general osteolysis images. However, as an embodiment, a clustering method and system for a spine image will be described below.
척추 고정 장치(Spinal fixation device)는 눌린 척수와 신경근을 감압하고, 흰 척추를 바르게 교정하고 척추의 지지 기능을 복원하는 데 사용하는 장치이다. 여기에는 일반적으로 생체용 금속 제품인 임플란트(Implant)가 사용되고 주로 L3-L5의 위치에 모션 세그먼트(motion segment) 디스크 공간에 고정된다. 임플란트가 주입됨으로써 디스크 내부의 압력이 감소되며, 디스크 공간이 좁아지는 것이 방지된다.Spinal fixation device is a device used to depress the depressed spinal cord and nerve roots, correct the white spine and restore the support function of the spine. Implants, which are generally biocompatible metal products, are used here and are usually fixed in the motion segment disk space at the location of L3-L5. Implants reduce the pressure inside the disk and prevent disk space from narrowing.
임플란트의 재질로서 강체 고정체(fixation), 보철물(prosthetic replacement)뿐만 아니라 안정성과 연관된 동작을 견고화할 수 있는 부드러운 추간 임플란트(interspinous Implant)도 사용된다. 이러한 실리콘의 직경은 추간 거리(interspinous space)의 크기로 결정되며, 최소수술 방법으로 배치되어 척추의 안정성에 기여하는 것으로 나타났다. 그러나 위와 같은 임플란트들의 치수는 스탠다드 타입(standard type)으로 결정된 것은 아니다. 즉, CT영상에서 z축 방향으로 해당 슬라이스(slice)를 선택하여 관찰하고, 여기에서 추간돌기(interspinous process) 길이, 척추 돌기(spinous process)의 최대 폭, 환자의 키, 몸무게 등의 정보를 토대로 커스텀(custom) 방식의 몇 가지 후보 임플란트를 제작하였다. 실제로 커스텀 방식의 임플란트는 제작상의 시간이 많이 요구되고, 과도한 비용이 소요된다.As the material of the implant, soft interspinous implants, which can solidify the stability-related operation as well as rigid fixation and prosthetic replacement, are also used. The diameter of the silicon is determined by the size of the interspinous space, and it has been shown to contribute to the stability of the spine by being placed in the least surgical method. However, the dimensions of these implants are not determined to be of standard type. In other words, in the CT image, the slice is selected and observed in the z-axis direction, and based on information such as the length of the interspinous process, the maximum width of the spinous process, the height of the patient, and the weight of the spine. Several candidate implants in a custom fashion were made. In fact, custom implants are time consuming and expensive.
따라서, 유한한 개수의 형태로 분류된 스탠다드 타입(standard type) 방식의 임플란트 제작이 필요하게 되었다. 그러나, 거대한 척추 영상 데이터베이스는 척추 돌기(spinous process)의 3차원적인 다양한 형태가, 길이, 각도의 정보를 포함하여 2차원 영상에서 명암값의 정보로 구성되어 있어, 직접적으로 이러한 데이터베이스로부터 의미있는 기준을 이끌어 내기 어렵다. 본 발명에서는 이러한 문제를 해결하기 위해 자동 클러스터링 분석(Automatic Cluster Detection)을 도입하였다. 세부집단에 대한 사전지식의 부재로 인하여, 주어진 개수로 집단을 세분화할 수 없을 때에는 군집으로 구분하는 것이 좋은 해결방법이 될 수 있다.Therefore, it is necessary to manufacture implants of a standard type method which is classified into a finite number of forms. However, the huge spine image database consists of three-dimensional, various forms of spinous processes, including information on length and angle, including information on contrast values in two-dimensional images, and thus directly refers to meaningful criteria from these databases. It is difficult to elicit. In order to solve this problem, the present invention introduces Automatic Cluster Detection. Due to the lack of prior knowledge of subgroups, it is a good solution to divide them into clusters when it is not possible to subdivide them into a given number.
일반적으로 클러스터링 분석은 데이터량을 감소시키고 유사한 데이터를 카테고리화 하기 위해 사용될 수 있다. 이러한 클러스터링 과정은 정보처리 과정에서 널리 퍼져 있으며 클러스터링 알고리즘의 사용에 관한 목적 중 하나는 카테고리들이나 분류들을 정하거나 도움을 주기 위한 자동화된 툴을 제공하는 것이다. 클러스터링에서는 독립변수와 종속변수 사이의 구별이나 이미 분류된 데이터 셋(set)이 필요없는 대신에 유사한 레코드들(records)이 유사하게 행동하리라는 기대 하에서 서로 유사한 그룹을 찾고자 한다.In general, clustering analysis can be used to reduce the amount of data and categorize similar data. This clustering process is widespread in information processing and one of the objectives of using clustering algorithms is to provide an automated tool for defining or helping categories or classifications. Clustering tries to find similar groups in the hope that similar records will behave similarly, instead of requiring no distinction between independent and dependent variables or already categorized data sets.
따라서, 데이터를 비교하거나 통합하는데 가장 우선적으로 적용되어야 하는 것은 데이터의 핵심적인 특성을 잃지 않으면서 데이터 셋의 크기를 줄이는 것이다. 계산적으로 효율성이 있고, 원래의 데이터를 대표할 수 있는 데이터 셋을 찾아내는 방법이 가장 중요하다. 데이터 셋을 찾는 기준으로는 일반적으로 관찰치의 평균이 제시된다. 본 발명에서는 척추 돌기들의 형태 분포를 감지하기 위한 방법으로 기존 의 k-means 클러스터링 방식을 개선한 알고리즘을 제시한다.Therefore, the first thing that should be applied to comparing or integrating data is to reduce the size of the data set without losing the core characteristics of the data. The most important way is to find a data set that is computationally efficient and can represent the original data. The basis for finding the data set is usually the average of the observations. The present invention proposes an algorithm that improves the existing k-means clustering method as a method for detecting the shape distribution of spinal processes.
기존의 k-means 클러스터링에서 사용된 클러스터링 분석의 기준으로 관찰치 사이의 유클리드 거리를 사용하였지만, 유클리드 거리는 영상 사이의 유사성을 정의하는 기준으로 사용하기에는 한계가 있다.Although the Euclidean distance between observations was used as a criterion for clustering analysis used in the existing k-means clustering, the Euclidean distance is limited to use as a criterion for defining similarity between images.
또한, 기존에는 클러스터 개수인 k값은 주로 시행착오와 주관적 관점에 의해 결정하는 것이 일반적이었다. 군집의 형태에 따른 k의 선택이 결과에 결정적인 영향을 미칠 수 있는데, 만일 이것이 입력데이터의 구조에 적합하지 못하다면 좋지 않은 결과를 낳을 수 있다.In addition, in the past, the number k of clusters was generally determined by trial and error and subjective viewpoint. The choice of k depending on the type of cluster can have a decisive effect on the results, which can lead to poor results if it does not fit the structure of the input data.
전통적인 k-means 클러스터링 방법은 주로 k개의 중심을 사용자가 지정한다.즉 k개의 중심들을 파일로부터 읽거나 다른 어플리케이션으로부터 중심을 지정하는 방법을 사용한다. 그러나, 이러한 임의로 결정하는 중심들이 만일 초기 중심이 데이터 분포에서 멀리 떨어져 있다면, 결과는 왜곡될 수 있다.Traditional k-means clustering methods usually specify k centers by the user, either by reading k centers from a file or from another application. However, these arbitrarily determining centers may distort the result if the initial center is far from the data distribution.
또한, 일반적으로 관찰치의 셋이 커지면 관찰치들과 클러스터의 대표값들 사이에서 계산된 유클리드 거리값에서 무의미한 진동이 발생하여 수렴하지 못할 수 있다. 따라서, 반복과정이 완전한 클러스터 중심으로 이동하는 것이 실패하면 어떤 중심에서 중심에 가까운 임계치에 도달하면 과정이 종료되는 수렴기준을 택하고 있다. 그러나, 이러한 특별 정지규칙은 전체의 최적 클러스터링 과정을 방해할 수도 있다.Also, in general, a larger set of observations may result in insignificant vibrations at the Euclidean distance value calculated between the observations and the representative values of the clusters and thus may not converge. Therefore, if the iterative process fails to move to the complete cluster center, the convergence criterion is selected, in which the process is terminated when the threshold is reached from the center to the center. However, these special stop rules may hinder the overall optimal clustering process.
본 발명이 이루고자 하는 기술적 과제는, 골해 영상 클러스터링 방법을 제공 하는 것이다. An object of the present invention is to provide a bone skeleton image clustering method.
본 발명이 이루고자 하는 다른 기술적 과제는, 골해 영상 클러스터링 시스템을 제공하는 것이다.Another technical problem to be achieved by the present invention is to provide a bone skeletal image clustering system.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The technical problems of the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 골해 영상 클러스터링 방법은 (a) 관심 골해 영상을 2진화하여 제공하는 단계, (b) 상기 2진화 영상과 대표영상의 2진화 영상의 일치율을 기준으로 클래스에 할당하는 단계, (c) 상기 클래스 중 불필요한 클래스를 제거하는 단계, (d) 상기 클래스의 대표 영상을 결정하는 단계를 포함하고, (e) 상기 대표영상이 결정된 클래스의 개수를 검토하여 (b), (c) 및 (d)단계를 반복적으로 수행하는 것을 특징으로 한다.In accordance with an aspect of the present invention, there is provided a bone fracture image clustering method according to an embodiment of the present invention. (A) Binarizing and providing a bone fracture image of interest, and (b) matching ratio of the binarized image and the binary image of the representative image. (C) removing unnecessary classes among the classes, (d) determining a representative image of the class, and (e) counting the number of classes for which the representative image is determined. It is characterized by performing steps (b), (c) and (d) repeatedly.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 상기 골해 영상 클러스터링 시스템은, 입력된 영상을 저장하는 제1저장부, 클래스별 대표영상을 저장하는 제2저장부, 상기 입력영상과 상기 클래스별 대표영상의 관심영역을 2진화한 영상을 저장하는 제3저장부, 새로운 케이스가 클래스에 포함될 경우 해당 클래스의 대표영상을 개정하고, 할당된 클래스의 개수가 지정된 한정개수 미만일 경우 일치율을 변경하는 제어 모듈, 상기 학습 모듈에 의해 결정된 일치율에 따라 케이스를 배당하거나, 새로운 클래스를 생성하는 클래스할당 제어 모듈을 포 함한다.According to an aspect of the present invention, there is provided a bone fracture image clustering system comprising: a first storage unit for storing an input image, a second storage unit for storing a representative image for each class, and the input image. A third storage unit for storing the binarized image of the region of interest of the representative image of each class, if a new case is included in the class, the representative image of the corresponding class is revised, and if the number of allocated classes is less than the specified limit, the matching rate It includes a control module for changing, class allocation control module for allocating a case or creating a new class according to the matching rate determined by the learning module.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.
먼저 도 1은 본 발명의 일 실시예에 따른 골해 영상 클러스터링 시스템에 대한 개략적인 블록도로서, 사용자 인터페이스(110), 클래스할당 제어모듈(120), 제어모듈(130), 영상원본 데이터베이스(140), 클래스별 대표영상 데이터베이스(150), 2진화영상 데이터베이스(160), 영상수집 모듈(170), 관심영역 추출 모듈(180), 관심영역의 2진화 제어 모듈(190)으로 구성된다.First, FIG. 1 is a schematic block diagram of a bone fracture image clustering system according to an embodiment of the present invention. The
상기 사용자 인터페이스(110)는 전체 척추 영상 중 사용자의 관심 부분을 받아들이거나, 영상 수집을 위해 입출력을 관리한다.The
상기 클래스 할당 제어 모듈(120)은 학습모듈에 의해 결정된 일치율에 따라 케이스를 할당하거나, 새로운 클래스를 생성하는 역할을 한다.The class
다만, 본 실시예에서 사용되는 "모듈"이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 돌기들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.However, the term "module" used in the present embodiment refers to software or a hardware component such as an FPGA or an ASIC, and a module plays a role. However, modules are not meant to be limited to software or hardware. The module may be configured to be in an addressable storage medium and may be configured to play one or more processors. Thus, as an example, a module may include components such as software components, object-oriented software components, class components, and task components, as well as protrusions, functions, properties, procedures, and subroutines. , Segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and modules may be combined into a smaller number of components and modules or further separated into additional components and modules. In addition, the components and modules may be implemented to play one or more CPUs in a device or secure multimedia card.
상기 제어모듈(130)은 주로 새로운 케이스가 클래스에 포함될 경우 대표 영상을 개정한다. 또한, 컨버젼스를 위해서 이전 라운드의 대표영상과 현재 라운드의 대표영상을 비교하기도 하고, 할당된 클래스의 개수가 지정된 개수 미만인 경우 일치율을 높여 재클러스터링한다.The
상기 영상 원본 데이터베이스(140)는 영상수집 모듈(170)에 의해 수집된 영상을 수정없이 저장하며, 2진화영상을 만들거나 클래스별 대표 영상을 수정할 때 영상 원본을 제공한다.The
상기 클래스별 대표 영상 데이터베이스(150)은 각 클래스의 특징을 반영하는 대표영상을 저장하며, 대표영상은 클래스에 속하는 영상원본을 평균을 내어 제공한 다.The
상기 2진화 영상 데이터베이스(160)은 케이스의 원본 영상의 관심부분을 추출하여, 상기 관심영역을 2진 형식으로 변형한 영상을 저장한다. 또한, 클래스별 대표영상의 2진화 영상도 저장한다. 이는 각 케이스를 클래스에 할당하려 할 때, 케이스의 2진화 영상과 대표영상의 2진화 영상을 비교할 때 이용한다.The
상기 영상수집 모듈(170)은 원본 영상을 외부로부터 받아들이고, 영상원본 데이터베이스(140)에 저장하거나, 관심영역 추출모듈(150)에 이를 제공한다.The
상기 관심영역 추출 모듈(180)은 영상수집 모듈(170)로부터 원본 영상을 받아들이고, 사용자가 관심영역을 추출하면 관심영역의 2진화 제어모듈(190)에 제공한다.The
상기 관심영역 2진화 제어 모듈(190)은 관심영역 추출 모듈(170)로부터 관심영역을 받아들여 소정의 기준에 따라 영상을 이진화하고. 이를 2진화 영상 데이터베이스(160)에 제공한다. The region of interest
본 발명의 골해 영상 클러스터링 시스템에 의해 자동으로 영상을 분류하고 관리하는 구체적인 방법을 도2 내지 도10을 참조하여 설명하면 다음과 같다.A detailed method of automatically classifying and managing images by the osteolysis image clustering system of the present invention will be described with reference to FIGS. 2 to 10.
도 2는 본 발명의 일 실시예에 따라 골해 영상을 클러스터링 하기 위한 과정에 대한 흐름도로서, 우선, 클러스터링 단계에 들어가기 전 관심영역을 추출하여, 상기 추출된 관심영역을 2진화하는 준비단계를 수행한다. 그리고, 첫번째 케이스를 첫번째 클래스(이하, 클래스 A라 한다.)에 할당한다.(S210)FIG. 2 is a flowchart illustrating a process for clustering bone images according to an embodiment of the present invention. First, a region of interest is extracted before entering the clustering step, and a preparation step of binarizing the extracted region of interest is performed. . Then, the first case is assigned to the first class (hereinafter referred to as class A) (S210).
두번째 케이스의 2진화 관심영역 영상을 클래스A의 2진화 대표영상과 매 칭시킨다. 매칭이 되면 케이스를 클래스A에 포함시켜 대표영상을 개정하게 되고, 매칭이 되지 않으면 클래스 B를 만들어 할당한다. 이와 같은 과정을 모든 케이스에 대해 반복한다. 즉, n번째 케이스의 2진화 관심영역 영상을 존재하는 클래스 A부터 클래스 P까지 비교하여 매칭되는 클래스에 할당하고, 매칭되는 2진화 대표영상이 존재하지 않으면 새로운 클래스 P+1을 만들어 할당한다. 또한, 마지막 케이스에 대한 할당을 마치면 포함된 클러스터의 케이스가 전체 케이스의 소정 비율 이하, 예를 들어 2% 미만인 클래스를 제거한다. 이러한 과정은 예외적이고 다른 형상의 케이스를 따로 추출하고자 하는 목적에 따라 선택적으로 이루어질 수 있다.(S230) The binarized ROI image of the second case is matched with the binarized representative image of Class A. If there is a match, the case is included in class A, and the representative image is revised. If it is not matched, class B is created and assigned. Repeat this process for all cases. That is, the binarized ROI image of the nth case is compared with the existing class A to class P, and assigned to the matching class. If there is no matching binarized representative image, a new class P + 1 is created and assigned. In addition, upon completion of the assignment for the last case, the classes of the clusters included will remove classes that are below a certain percentage of the total cases, for example less than 2%. This process can be selectively made according to the purpose of extracting the exceptional and different shape case separately (S230).
예외적인 클래스를 제거하고 난 후, 각 클래스의 대표영상이 개정이 있었는지 조사한다. 대표영상의 개정이 있었으면 다시 클러스터링 단계, 클래스 제거 단계를 반복하고, 수렴할 경우 클래스의 개수를 확인한다. 이와 같은 컨버젼스 과정은 더 이상 대표영상의 개정이 없을 때까지 반복한다.(S240)After removing the exceptional classes, check whether the representative image of each class has been revised. If there is a revision of the representative image, repeat the clustering step and class removal step again. If convergence, check the number of classes. This convergence process is repeated until there is no further revision of the representative image (S240).
컨버젼스 단계를 거친 클래스의 오차도를 검사하고(S247), 일치율에 의해 결정된 클래스의 개수가 사용자가 최대로 허용하는 클래스의 개수보다 작은 경우 일치율을 높여 다시 클러스터링 단계, 클래스 제거 단계, 컨버젼스 단계를 반복하게 된다.(S250)The error degree of the class that has undergone the convergence step is examined (S247), and if the number of classes determined by the matching rate is smaller than the number of classes allowed by the user, the matching rate is increased to repeat the clustering step, class removing step, and convergence step. (S250)
부가적으로 위 단계를 거쳐 완성된 대표 영상의 매칭 템플릿과 케이스를 매칭하여 좀 더 일반적인 대표영상만을 고를 수 있다.(S260)Additionally, the matching template and the case of the representative image completed through the above steps may be matched to select only a more general representative image.
이하에서 각 단계를 도면을 참조하여 자세히 설명하기로 한다.Hereinafter, each step will be described in detail with reference to the accompanying drawings.
도3은 본 발명의 일 실시예에 따른 준비단계(S210)을 자세히 설명한 흐름도 이다.Figure 3 is a flow chart illustrating in detail the preparation step (S210) according to an embodiment of the present invention.
여기에는 전체 척추 영상에서 임플란트가 위치할 부분에 대한 관심영역(VOI, Volume of interest)를 결정하는 부분과 영상에 대한 2진화 작업을 포함한다.This includes determining a region of interest (VOI) for the portion of the entire spine image where the implant is to be placed, and binarizing the image.
도 4와 같이 256 명암값의 전체 척추영상이 제공되면(S211), 도면에서와 같이 사각형 형태로 사용자가 관심영역을 추출한다(S212). 본 실시예에서 입체상의 관심영역(VOI) 지점은 x, y, z, 축으로 3차원적인 육면체의 형태로 결정된다. 먼저 임플란트가 위치할 부분에 해당하는 슬라이스(slice)를 선택하고 슬라이스 내에서 평면 상의 관심영역을 결정하는 방식으로 진행된다. 관심영역(VOI)은 임플란트가 위치할 부분에 여유분을 추가한 것으로, z 방향의 슬라이스 개수는 윗부분(upper)과 아랫부분(lower)에 대해 각 여러장을 선택하고, 평면에서는 일정 지점에 위치하는 픽셀(pixel)들로 모든 영상에 대해 동일한 크기로 결정한다. 예를 들어, 10장의 z방향 슬라이스를 선택하고, 평면에서는 64 * 64 픽셀로 모든 영상을 결정할 수 있다. 또한 하나의 케이스 내에서 모든 슬라이스에서 동일한 위치에 관심영역이 위치하도록 처리한다. 이렇게 처리된 각 케이스를 {S1, S2,..., SN}라 하겠다. As shown in FIG. 4, when the entire spine image having the 256 contrast value is provided (S211), the user extracts the ROI in a rectangular shape as shown in the figure (S212). In the present embodiment, the three-dimensional point of interest (VOI) point is determined in the form of a three-dimensional hexahedron with x, y, z, and axes. First, a slice corresponding to a portion where an implant is to be located is selected, and a method of determining a region of interest on a plane within the slice is performed. The region of interest (VOI) adds a margin to the part where the implant is to be placed, and the number of slices in the z direction selects several sheets for the upper part and the lower part, and is located at a certain point in the plane. The pixels are the same size for all images. For example, you can select 10 z-direction slices and determine all images with 64 * 64 pixels in the plane. It also processes the region of interest to be located at the same location on all slices in one case. Each case handled in this way will be called {S 1 , S 2 , ..., S N }.
그 후, 수학식1에 의해 2진화 작업을 수행한다.(S213). 이하에서 전체 케이스들이 k개의 cluster {Pt j, 1≤j≤k}로 나뉘어지고, 케이스가 cluster Pj에 속할 때 대표영상 벡터{cμt j(j=1,...,k)} 로 분류된다. t는 라운드(round), c는 j에서의 갱신 횟수를 가리킨다. 또한, B(cμt j(x,y,z)) 는 대표영상 벡터의 (x,y,z) 위치의 복셀의 명암값을 2진화로 하는 함수를 의미한다.Thereafter, the binarization operation is performed by Equation 1 (S213). In the following, the whole cases are divided into k clusters {P t j , 1≤j≤k}, and the representative image vector { c μ t j (j = 1, ..., k) when the cases belong to cluster P j } Is classified as t denotes a round and c denotes the number of updates in j. In addition, B ( c μ t j (x, y, z)) Denotes a function that binarizes the intensity of the voxel at the position (x, y, z) of the representative image vector.
척추에 대한 이진화를 위한 임계값으로는 190내지 240의 값 중 어떠한 값을 선택하여도 비슷한 결과를 얻을 수 있으나 노이즈를 최소화하고 척추 밀도를 고려하여 230이 바람직하다. 또한, 골밀도가 낮은 사람의 경우에는 200을 선택할 수 있다. 임계값은 상기 실시예에 한정되지 않는다. 도 5a는 64*64의 평면상의 관심영역(Region of Interest, ROI)을 나타내고, 도 5b는 64*64 관심영역 영상을 2진화한 결과를 나타낸 것이다.As a threshold value for the binarization of the spine, a similar result can be obtained by selecting any value from 190 to 240, but 230 is preferable in consideration of noise reduction and spine density. In addition, in the case of low bone density person, 200 can be selected. The threshold is not limited to the above embodiment. FIG. 5A illustrates a region of interest (ROI) on a 64 * 64 plane, and FIG. 5B illustrates a result of binarizing a 64 * 64 region of interest image.
그 후, 첫번째 케이스를 클래스 A에 할당함으로써(S214), 준비단계를 마친다.After that, by assigning the first case to class A (S214), the preparation step is completed.
도 6은 본 발명의 일 실시예에 따른 클러스터링 단계(S210)을 자세히 설명한 흐름도이다. 6 is a flowchart illustrating a clustering step (S210) in detail according to an embodiment of the present invention.
먼저 t=0 일 때, 클러스터 할당을 위해 먼저, 초기일치율(Ths=Thstart)을 결정한다(S221). 초기 일치율을 결정하는 방법은 사용자가 직접 지정하거나, 일정한 범위내에서 랜덤하게 결정할 수 있다. 예를 들면 70 내지 100% 범위안에서 선택 가능하며, 실시예로는 76%로 초기일치율을 선택하였다. 다만, 초기일치율은 클러스터링 결과에 큰 영향을 미치지 않으므로 적정 범위의 값을 선택해도 무방하다.First, when t = 0, the initial matching ratio Th s = Th start is determined for cluster allocation (S221). The method of determining the initial matching rate may be directly designated by the user or randomly determined within a predetermined range. For example, it is selectable within the range of 70 to 100%, and in the example, the initial matching ratio was selected as 76%. However, the initial matching rate does not significantly affect the clustering result, so it is acceptable to select an appropriate range of values.
그 후, n번째 케이스를 P번째 클래스에 할당하는 과정을 수행한다.(S222). 수학식 2에서와 같이 처리하고자 하는 케이스의 이진화된 명암값과 클래스의 대표값 영상의 이진화된 명암값을 지정된 복셀(voxel)의 위치에서 비교하여, 일치되는 명암값의 비율을 구한다.(S222) 즉, 케이스의 명암값과 클래스 대표 영상의 명암값이 일치하는 화소의 누적값을 백분율로 환산한 것이다. 수학식 2에서 Acase 는 VOI의 화소수를 의미하고, ROI의 화소수 * slice 수로 환산된다. 본 실시예에서 Acase 는 64*64*10 이 된다. 또한, Con[Si, cμt
j] 은 케이스의 2진화 영상과 클래스의 대표영상의 2진화 영상을 Acase 만큼 반복 비교하여, 같이 명암값을 가지는 비율을 의미하는 함수이다.Thereafter, a process of assigning the nth case to the Pth class is performed (S222). As shown in
위와 같은 일치율 비교방법은 명암값과 위치정보를 함께 비교하는 방법으로서, 해당 voxel의 명암값을 서로 비교하여 전체 volume에서의 비율을 구할 수 있는 특징이 있다.The method of comparing the matching rates as described above is a method of comparing the contrast value and the position information together, and has a characteristic of obtaining a ratio in the total volume by comparing the contrast values of the corresponding voxels.
매칭을 하고 난 후, Con[Si, cμt j] 의 값을 앞에서 결정한 초기일치율과 비교하여, 초기일치율 미만의 값을 가지면 새로운 클래스를 만들어, 상기 매칭과정에서 사용한 케이스를 할당한다.(S223) 초기일치율 이상이 되면, 대표영상을 개정하게 된다.(S224) After the matching, the value of Con [S i , c μ t j ] is compared with the initial matching rate determined previously, and if the value is less than the initial matching rate, a new class is created and the case used in the matching process is allocated. S223) When the initial matching ratio is over, the representative video is revised. (S224)
클래스 할당 과정을 자세히 설명하면, 첫 번째 케이스 S1을 클래스 1로 할당한다. 두 번째 케이스 S2의 경우에는 클러스터 1로 할당된 클러스터 1의 대표 영상과 케이스의 해당 복셀(voxel)에서의 명암값을 비교한다. 여기에서 일치율이 초기일치율보다 작으면 케이스 S2를 클러스터 2로 할당하고, 초기일치율보다 크면 케이스 S2를 클러스터 1로 할당하고 클러스터 1의 대표값 영상을 개정한다. 두 번째 케이스 S2이상부터는 수학식 3에서와 같이, 이미 만들어진 클래스 Pj (j=1, ... , k) 모두의 2진 대표영상과 일치율을 비교하게 되며, 비교된 일치율 중 가장 큰 일치율을 보이는 Pj 에 케이스 Si를 할당한다. 케이스 Si이 할당된 Pj
에서는 대표영상 개정이 요구된다. Explaining the class assignment process in detail, assign the first case S1 to
대표영상을 개정하는 방법(S224)에서는 이진영상 대신 256의 명암값을 이용하여 화소의 명암값을 개정한다. 현재 클래스 Pj 에 속하는 케이스의 개수가 c 개 일 때, 새로운 대표영상은 수학식4와 같다. 이하 수학식 4를 이용하여 대표영상을 변경시키는 과정은 학습과정으로, 새로 개정된 c+1μt j 와 이전의 c μt j 의 비율은 학습율이라고 정의한다.In the method of correcting the representative image (S224), the contrast value of the pixel is corrected using 256 contrast values instead of the binary image. When the number of cases belonging to the current class P j is c, the new representative image is shown in Equation 4. Hereinafter, the process of changing the representative image by using Equation 4 is a learning process, and the ratio of the newly revised c + 1 μ t j and the previous c μ t j is defined as the learning rate.
수학식 4는 기존에 있던 케이스들과 새로 할당된 케이스의 평균을 내는 방식이다. 위와 같은 방법으로 대표 영상을 결정하는 방법은 같은 클래스에 속한 케이스들의 단순 평균값을 대표값 벡터로 결정하는 것보다 새로운 케이스의 할당에 의해 유동적인 대표값을 만듬으로써, 정확한 클러스터링과 대표영상를 획득할 수 있다.Equation 4 is an average of existing cases and newly allocated cases. The method of determining the representative image in the above method can obtain accurate clustering and the representative image by creating a flexible representative value by assigning a new case rather than determining a simple mean value of cases belonging to the same class as a representative value vector. have.
학습율은 해당 클러스터에 할당된 케이스들의 개수에 반비례한다. 하나의 학습 케이스를 처리할 때, 해당 대표값에는 기존의 c 개의 케이스들에 의해 결정된 값이 사전에 할당되어 있으므로 단일 케이스에 의한 학습율은 대표영상을 형성하는 기존의 케이스들의 개수가 많을수록 떨어지게 된다. The learning rate is inversely proportional to the number of cases assigned to that cluster. When processing one learning case, since the value determined by the existing c cases is previously assigned to the representative value, the learning rate by the single case decreases as the number of existing cases forming the representative image increases.
학습율이 감소하는 이유는 해당 클래스로 할당된 모든 케이스들의 누적계산값을 통해 대표영상을 결정하기 때문이고, 각 클래스의 대표영상들은 클래스로 할당된 모든 케이스들의 대표영상으로 만든다. 따라서 각각의 클래스들은 오직 이러 한 대표영상으로 결정되고, 모든 케이스들은 자신과 가장 가까운 대표영상의 클래스에 속하게 된다. The reason why the learning rate decreases is because the representative image is determined by the cumulative calculation value of all the cases assigned to the class, and the representative images of each class are made the representative images of all the cases assigned to the class. Therefore, each class is determined only by such a representative image, and all cases belong to the class of the representative image closest to itself.
대표영상이 개정된 후에는 현재 클러스터링 단계에 들어온 케이스들이 모두 할당될 때까지, 즉 SN이 될 때까지 위 과정을 반복한다.(S225) After the representative image is revised, the above process is repeated until all the cases entering the current clustering stage are allocated, that is, S N (S225).
마지막 케이스에 대한 할당이 끝나면 수학식 5를 이용하여, 포함된 클래스의 케이스가 전체 케이스의 2% 미만인 클래스를 클래스 리스트에서 제거한다(S230). 예외적인 클래스를 제거함으로써 의미있는 클래스 만으로 k개의 클래스를 구성할 수 있으며, k 값과 예외치에 민감한 알고리즘의 단점이 보완된다. 따라서, 이러한 과정은 예외적이고 구별되는 형상의 케이스를 따로 추출하는 것으로 이해될 수 있다. After the allocation of the last case is completed, using Equation 5, the class of the included class is less than 2% of the total case is removed from the class list (S230). By eliminating exceptional classes, k classes can be composed of only meaningful classes, and the disadvantages of algorithms sensitive to k values and exception values are compensated for. Thus, this process can be understood as extracting cases of exceptional and distinctive shapes separately.
표1은 100개의 케이스를 이용하여 클래스 제거 과정을 거친 결과를 보여주고 있다. 첫 행을 살펴보면, 일치율 76%를 기준으로 L34_upper를 분석하면 4개의 클래스가 생성되고, 2개 이하의 케이스로 구성된 클래스는 제거되어 총 4개의 케이스가 탈락되었음을 나타내고 있다.Table 1 shows the result of class removal using 100 cases. Looking at the first row, analyzing L34_upper based on 76% match rate, four classes were created, and the class consisting of two or less cases was removed, indicating that four cases were dropped.
클래스 제거 과정을 마치면, 각 클래스의 안정화를 위한 컨버젼스(Convergence) 단계로 넘어간다.(S240)When the class removal process is finished, the process proceeds to the convergence (Convergence) step for stabilization of each class (S240).
컨버젼스 단계는 각 클래스의 대표영상에 대해 개정이 있었는지 조사하여 대표영상이 수렴할 때까지 라운드(round)를 반복한다. 이어서 라운드는 다시 클러스터링 단계 및 클래스제거 단계를 거치는 것을 의미한다. 따라서, 3라운드를 반복하는 것은, 클러스터링 단계 및 클래스 제거 단계를 3회 반복하는 것을 의미한다.The convergence step checks whether there is a revision on the representative image of each class and repeats the round until the representative image converges. Rounding then means going through a clustering step and a class removal step. Thus, repeating three rounds means repeating the clustering step and the class removal step three times.
수학식 6에서와 같이 이전 라운드의 각 클래스의 대표영상과 새로 형성된 클래스의 대표영상의 일치율이 일정% 이상이 될 경우까지 라운드를 반복한다. 라운드 반복 기준이 되는 값은 사용자가 지정할 수 있으며, 예를 들어 100%를 지정하여 완전 일치를 요구할 수도 있다.As shown in Equation 6, the round is repeated until the matching ratio between the representative image of each class of the previous round and the representative image of the newly formed class becomes a certain percentage or more. The value used as the round repetition criterion may be specified by the user. For example, 100% may be specified to require a perfect match.
일정 %이상이 되지 않는다면 컨버젼스가 이루어지지 않은 것으로 판단하고, 이때는 케이스를 처음부터 다시 할당해야 하므로 케이스 번호를 1로 초기화 하고(S245), 라운드를 반복한다. 컨버젼스가 이루어 진다면 오차값 계산 단계(S247)로 넘어간다.If it does not reach a certain percentage or more, it is determined that convergence has not been made. In this case, since the case must be reassigned from the beginning, the case number is initialized to 1 (S245), and the round is repeated. If convergence is made, the process proceeds to the error value calculation step S247.
오차도 계산 단계(S247)은 컨버젼스된 클래스들의 오차도을 계산하는 단계이다. 오차도의 계산은 수학식7 에서와 같이 케이스들과 각 케이스가 속한 대표영상 사이의 거리 제곱들의 합으로 계산된다. 상기 거리는 개념적인 표현이며, 실제로는 상기의 식에서 에러 관찰치의 경우, 대표영상과의 비일치도를 100%로 간주하여 계산한다. 대표영상과의 거리도 계산 후 재클러스터링 요구 단계(S250)로 넘어간다.Error degree calculation step S247 is a step of calculating the error degree of the converged classes. The error degree is calculated as the sum of squares of distances between the cases and the representative image to which each case belongs, as shown in Equation (7). The distance is a conceptual expression, and in the case of the error observation value in the above equation, it is calculated by considering the degree of inconsistency with the representative image as 100%. After the distance from the representative image is also calculated, the process goes to the reclustering request step (S250).
재클러스터링 요구 단계(S250)는 더 이상의 대표영상의 개정이 없고 해당 클래스의 개수가 클래스 제한 개수() 값보다 작으면 수학식 8을 이용하여 일치율을 높이는 것(S255)을 의미한다. 재클러스터링이 요구되면 일치율을 올려서(S255) 클러스터링 단계로 돌아가고, 그렇지 않은 경우에는 일치율 및 k값 결정단계(S260)으로 넘어간다. 초기에 결정된 일치율(Thstart)이 대략적인 값이므로 이에 따라 결정되는 k값 또한 주어진 케이스의 할당에 완전히 적합한 것이 아니기 때문이다. 따라서, 이와 같은 과정을 통해서 제한된 클래스 개수() 범주 내에서 최대의 일치율(Ths)을 만들 수 있다. 예를 들어, 해당 클래스의 개수가 클래스 제한 개수보다 작은 경우 일치율을 1%씩 높인 후 클러스터링 단계(S220)으로 돌아가 모든 케이스에 대한 클래스 분배를 반복한다. The reclustering request step (S250) means that if there is no further revision of the representative image and the number of the corresponding classes is smaller than the class limit number (), the matching rate is increased by using Equation 8 (S255). If reclustering is required, the matching rate is raised (S255) to return to the clustering step, otherwise, the matching rate and k value determination step (S260) are passed. This is because the initially determined coincidence rate Th start is an approximate value, and thus the k value determined accordingly is not completely suitable for a given case assignment. Therefore, through this process, it is possible to create the maximum match rate (Th s ) within the limited class count () category. For example, if the number of the corresponding class is smaller than the class limit, increase the matching rate by 1% and then return to the clustering step (S220) to repeat class distribution for all cases.
일치율 및 k값 결정단계(S260)에서는 일치율의 상승에 따른 계산된 오차도 중 가장 작은 오차도에 해당하는 일치율 및 k값을 가장 적합한 것으로 결정하게 된다. 표2를 보면, 일치율에 따른 거리제곱값이 계산되고, 클래스 제거 단계에서 제거된 케이스를 제외하고 계산된 오차도가 있음을 알 수 있다. 여기서, 일치율 82%인 경우 오차값이 67414로 가장 작음을 알 수 있다. 따라서, 82%가 케이스의 초기일치율이 가장 적합한 것으로 계산된다.In the determination of the matching rate and the k value (S260), the matching rate and the k value corresponding to the smallest error degree among the calculated error degrees according to the increase of the matching rate are determined as the most suitable. From Table 2, it can be seen that the distance squared value according to the coincidence rate is calculated and the calculated error degree is excluded except for the case removed in the class elimination step. Here, it can be seen that the error value is the smallest as 67414 when the agreement rate is 82%. Therefore, 82% is calculated to be the best match for the initial match of the cases.
일치율 및 k 값 결정단계 이후, 대표 영상 매칭단계(S270)가 선택적으로 수 행될 수 있다. 클래스의 대표 영상에 적합한 임플란트를 이용하여 모든 케이스를 스캔함으로써 클래스의 개수를 줄이고 일반적인 대표영상을 만들 수 있다. 스캔을 하는 과정에서 특정지점에서 임플란트가 돌기에 맞지 않으면 중단하고 해당 위치에서 다른 지점으로 위치를 이동하여 다시 비교하는 과정을 반복한다. 비교를 계속하다가 가장 오차가 적은 지점 즉 오차공간이 최소인 지점을 찾아서 기억해 둔다. 이러한 매칭 과정은 케이스(271')와 임플란트 입체를 형상화 한 템플릿(273')에 대한 복셀(voxel)당 비교를 통해 이루어지며, 예를 들면 케이스의 입체는 가로*세로*슬라이스(64*64*10)이고 템플릿(48*48*4)의 크기를 가져 템플릿이 케이스의 입체에 대해 1복셀씩 이동하면서 전체구간을 비교하게 된다. 이 경우 변이구간은 (x, y, z)=(17, 17, 5)이다.After the matching rate and the k value determination step, the representative image matching step S270 may be selectively performed. By scanning all cases using an implant suitable for the representative image of the class, the number of classes can be reduced and a general representative image can be made. In the process of scanning, if the implant does not fit into the protrusion at a certain point, it stops and the position is moved to another point at that point and repeated comparison. Continue the comparison and find and remember the point with the least error, that is, the point with the least error space. This matching process is achieved by a per voxel comparison of the template 273 'with the case 271' and the implant geometry, for example, the dimensions of the case are horizontal * vertical * slice (64 * 64 *). 10) and the size of the template (48 * 48 * 4), the template is moved by one voxel with respect to the three-dimensional of the case to compare the entire section. In this case, the variation interval is (x, y, z) = (17, 17, 5).
도 7은 본 발명의 일 실시예에 따른 구체적인 대표영상 매칭 과정의 흐름도이고, 도 8은 상기 대표영상 매칭 과정에 대한 예시도이다. 대표영상 매칭 과정은, 임플란트를 만들 때 가장 많은 케이스에 적합한 일반적인 임플란트를 만드는 과정에도 유용하게 사용될 수 있다. 7 is a flowchart illustrating a specific representative image matching process according to an embodiment of the present invention, and FIG. 8 is an exemplary diagram of the representative image matching process. The representative image matching process may be usefully used to make a general implant suitable for the most cases when making an implant.
뿐만 아니라, 매칭과정이 시도되는 목적은 두 가지로 나누어 볼 수 있다. 첫 번째로 임플란트는 기하학적 곡면으로 구성되므로 대표영상의 3 차원적 형태와는 차이가 발생할 수 있다. 매칭과정은 임플란트와 케이스 간의 이러한 오차공간에 대한 정량적 계측을 통하여 임플란트의 개수를 줄이고 형태를 보다 적합하게 개선하는 과정이다. 두 번째로 대표영상은 단일 케이스와는 일치율만큼의 오차가 존재하므로 임플란트의 제작시에는 이러한 오차를 감안하여 약간 큰 치수로 제작하게 되 는데 이러한 확장 치수에 대한 검증과정으로 매칭과정이 요구된다.In addition, the purpose of the matching process can be divided into two. First, since the implant is composed of geometric curved surfaces, it may be different from the three-dimensional shape of the representative image. The matching process is a process of reducing the number of implants and improving the shape more appropriately through quantitative measurement of such error space between the implant and the case. Secondly, since the representative image has errors as much as the coincidence rate with a single case, when the implant is manufactured, it is produced with a slightly larger dimension in consideration of such an error, and a matching process is required as a verification process for such an extended dimension.
일치율 및 k값을 결정하고 난 후 케이스가 제공된다(S271). 케이스는 비교 가능한 형태로 제공되는데, 본 실시예에서는 64*64*10으로 제공된다.After determining the matching rate and the value of k, a case is provided (S271). The case is provided in a comparable form, which in this example is 64 * 64 * 10.
그 후 상기 대표영상에 적합한 임플란트의 2차원 영상을 제공하는 단계(S272)가 진행된다. 우선, 대표영상에서 척추 돌기의 폭(width), 추간돌기 사이의 거리(interspinous space), 척추 돌기 하단의 각도, 척추돌기의 길이(depth) 등의 치수를 측정하고, 대표영상과의 관계에서 다소 여유있게 여유분을 추가하여 임플란트를 제작한다. 이하, 이러한 임플란트를 대표패턴이라 한다. 또한, 여유분을 얼만큼 감안했는가에 따라 다수의 대표패턴이 만들어 질 수 있고, 이들의 적합성 여부는 매칭과정을 통해서 판단하게 된다.Thereafter, a step S272 of providing a 2D image of an implant suitable for the representative image is performed. First, in the representative image, measure the dimensions of the width of the spine, the interspinous space, the angle of the bottom of the spine, and the depth of the spine. Create an implant with extra margin. Hereinafter, such an implant is referred to as a representative pattern. In addition, a number of representative patterns can be made according to how much margin is taken into account, and their suitability is determined through a matching process.
제공되는 임플란트의 2차원 영상은 매칭 템플릿 및 관심영역을 추출할 수 있는 형태로 제공되는데, 케이스와 같은 형태로 제공되거나, 바람직하게는 64*64*10의 입체영상으로 제공된다.The two-dimensional image of the provided implant is provided in a form that can extract the matching template and the region of interest, it is provided in the form of a case, or preferably provided as a stereoscopic image of 64 * 64 * 10.
이어서, 상기 2차원 영상에 적합한 매칭 템플릿(matching template)을 제공하는 단계(S273)가 이루어진다. 상기 매칭 템플릿은 대표패턴의 하단 중심점을 기준으로, 척추 돌기(Process)의 존재를 180도에 걸쳐서 템플리트의 바깥영역에서도 템플리트 자체의 영역과 마찬가지로 감지될 수 있도록 하기 위한 과정이다. 그 영역은 48*48*4의 크기를 가진다. 도 8에서와 같이 매칭템플릿(273')은 케이스 영상과의 매칭을 위해서 대표패턴의 2차원 영상에 비해서 좀 더 확장된다. Subsequently, in operation S273, a matching template suitable for the 2D image is provided. The matching template is a process for allowing the presence of a spine process to be detected in the outer region of the template like the region of the template itself over 180 degrees based on the lower center point of the representative pattern. The area has a size of 48 * 48 * 4. As shown in FIG. 8, the
그 후 상기 매칭템플릿에서 관심영역(ROI, Region of Interest)을 추출한다(S274). 도 8에서 보면, 매칭템플릿의 일부를 관심영역(275')으로 선택하게 된다. 예를 들어, 매칭 템플릿이 64*64인 경우, 관심영역은 48*48로 결정된다. 이는 케이스 영역(64*64)을 관심영역(48*48)이 변이공간(17*17)을 따라 스캔(scan)하도록 하기 위함이다. 관심영역이 결정되면, 비교대상인 케이스 영상과의 구분을 위해서 케이스 영상과 상기 매칭 템플릿의 관심영역에 명암값을 할당한다(S275). 도 9a 및 도 9b를 참고하면 케이스 영상에서 돌기(A)를 0으로, 배경(B)을 255로 나타낸 반면, 매칭 템플릿의 관심영역은 배경(C)을 100으로, 매칭 템플릿(D)을 255로 나타내어 분리하여 처리한다. 다만, 명암값 할당은 구분가능한 다른 명암으로도 가능하므로 실시예에 한정되는 것은 아니며, 처리과정에서 4개의 영역을 구분하기 위해서 사용한다.Thereafter, a region of interest (ROI) is extracted from the matching template (S274). Referring to FIG. 8, a portion of the matching template is selected as the
명암값을 준 상기 매칭 템플릿의 관심영역과 케이스를 매칭하여 오차값을 계산한다(S276). 도 9c을 참고하여 매칭에 대한 결과를 분석하면 다음과 같다. An error value is calculated by matching a region of interest and a case of the matching template given a contrast value (S276). Referring to FIG. 9C, the result of the matching is analyzed as follows.
영역은 크게 4개의 영역으로 분리하였다. 1번 영역은 템플릿만이 존재하는 경우로, 명암값은 (255+255)/2으로 나타나며 처리과정에서는 생략(skip)한다. 2번 영역은 케이스에 템플릿이 겹쳐지는 부분이고 명암값이 (0+255)/2로 나타난다. 이것은 케이스의 돌기가 임플란트보다 커서 템플리트 밖으로 돌출된 부분이므로, 처리과정에서 voxel이 감지되면, 해당 입체는 부적합한 것으로 판단한다. 3번 영역은 케이스의 돌기 부분만 존재하는 영역으로서 명암값은 (0+100)/2로 나타난다. 따라서 이 부분도 처리과정에 영향을 미치지 않으므로 1번 영역과 마찬가지로 생략(skip) 하도록 처리한다. 4번 영역은 두 영상의 배경만이 존재하는 영역으로서 템플릿과 케이스 사이의 오차 공간을 의미한다. 명암값은 (255+100)/2으로 나타나고 오차공간으로 간주되어 voxel의 개수가 누적 처리된다. 4번 영역의 누적값은 오차값으로 계산되어 일치율을 계산하기 위해 사용되었다. 표3은 이를 정리한 결과이다.The area was largely divided into four areas. In
4번 영역의 오차값은 돌기와 임플란트가 맞지 않는 영역으로, 오차값이 클수록 임플란트와 돌기의 간격이 큰 것을 의미한다. 따라서, 오차값을 줄이는 것이 중요하며, 매칭템플릿을 전체 케이스에 대해서 변이공간에 대해서 스캔(scan)하면서, 모든 오차값을 계산하여 누적오차값을 계산한다. 즉, 하나의 매칭 템플릿은 48*48*4이며, 슬라이스(slice) 4 개의 매칭이 이루어지면, 각 슬라이스의 오차값이 계산되고 이를 누적하여 누적오차값을 계산한다. The error value in the fourth region is a region where the protrusion and the implant do not fit. The larger the error value, the larger the gap between the implant and the protrusion. Therefore, it is important to reduce the error value, and the cumulative error value is calculated by calculating all the error values while scanning the matching template with respect to the variation space for the whole case. That is, one matching template is 48 * 48 * 4, and when four slices are matched, an error value of each slice is calculated and accumulated to calculate a cumulative error value.
다음, 도10를 참고하여 설명하면 케이스(910) 안에서 매칭 템플릿(920)이 x, y, z 방향으로 변이공간(17*17*5)를 스캔하면서 각 변이공간 상의 위치에서 누적오차값을 구하게 된다. 가로, 세로 및 높이에서 매칭 템플릿과 케이스의 영상이 정확하게 일치(registration)되어 있지 않아도, 매칭 템플릿이 위치할 곳을 감지할 수 있고, 각도가 다른 경우에도 감지할 수 있도록 하기 위해서이다. Next, referring to FIG. 10, the
이와 같은 매칭 과정 및 오차값 계산 과정을 예를 들어 Visual C++로 구현하 면 다음과 같다.If the matching process and the error calculation process are implemented in Visual C ++, for example, they are as follows.
For(Z_range){For (Z_range) {
For(X_range){For (X_range) {
For(Y_range){ For (Y_range) {
if(region_①)if (region_①)
;;
else if(region_②)else if (region_②)
loop exit ;loop exit;
else if(region_③) else if (region_③)
;;
elseelse
error_rate++;error_rate ++;
}}
}}
}}
If(error_rate > threshold)If (error_rate> threshold)
exit;exit;
처음의 for문에 의해 x_range, y_range, z_range만큼의 반복하며, 각각의 영역에 대해 1,3영역인 경우에는 처리를 생략하고, 2영역인 경우에는 루프를 빠져나가게 하며, 4영역인 경우에만 오차값을 누적 계산한다.Repeat for x_range, y_range, z_range by the first for statement, skip processing for 1 and 3 areas for each area, exit the loop for 2 areas, and error only for 4 areas. Accumulate the values.
이런 과정을 통해서 17*17*5개의 누적 오차값이 계산되면, 상기 누적오차값 중에서 최소인 누적오차값을, 상기 대표영상의 임플란트에 대한 상기 케이스의 대표오차값으로 결정한다.When 17 * 17 * 5 cumulative error values are calculated through this process, the cumulative error value which is the minimum among the cumulative error values is determined as the representative error value of the case with respect to the implant of the representative image.
이러한 스캔 과정 및 대표오차값 결정 과정을 각각의 대표영상 및 케이스에 대해서도 반복해야 하며, 되풀이 되는 스캔의 양은 수학식 9에 의해 계산되어 질 수 있다.This scanning process and the representative error value determination process should be repeated for each representative image and case, and the amount of repetitive scans can be calculated by Equation (9).
x_range, y_range, z_range 는 각각 상기 변이공간의 x, y, z 값이고, k는 상기 결정된 클래스의 수 또는 대표영상의 수이며, case는 케이스의 수가 된다. 위와 같은 공식에 의하면, 변이공간이 17*17*5인 하나의 케이스(case)에 대한 하나의 대표영상에 대한 반복 횟수는 17*17*5*1*1=1445회이다. 또한 40개의 대표영상에 대한 100개의 케이스를 처리하기 위해서는 17*17*5*40*100=5,780,000 번의 반복을 하게 된다. x_range, y_range, and z_range are x, y, and z values of the disparity space, respectively, k is the number of the determined class or the number of representative images, and case is the number of cases. According to the above formula, the number of repetitions for one representative image of one case having a variation space of 17 * 17 * 5 is 17 * 17 * 5 * 1 * 1 = 1445 times. In addition, in order to process 100 cases of 40 representative images, 17 * 17 * 5 * 40 * 100 = 5,780,000 repetitions are performed.
반복을 통해서 각각의 클래스의 대표영상에 부합하는 임플란트에 대한 상기 케이스의 대표오차값이 계산되면, 가장 작은 대표오차값을 가지는 클래스에 케이스를 할당한다(S277). 표 4를 보면 케이스 1은 클래스 B에서의 대표오차값이 가장 작기 때문에 클래스 B에 할당되고 있음을 보여주고 있다. 클래스에 할당하는 방법은 상기와 같이 대표오차값을 사용할 수도 있고, 전체 대표오차값에 대한 각 대표오차 값의 비율을 통해 대표오차율을 구해서 가장 작은 대표오차율에 배당할 수도 있다. (100-대표오차율)% 을 구해서 가장 큰 값에 할당할 수도 있으며, 할당방법에 있어서 파라미터에 제한을 받는 것은 아니다.When the representative error value of the case for the implant corresponding to the representative image of each class is calculated through repetition, the case is assigned to the class having the smallest representative error value (S277). Table 4 shows that
임플란트를 제작할 때에는 삽입될 추간에 정확하게 맞도록 제작하지 않고 여유분을 감안하게 된다. 따라서, 다른 클래스의 대표영상이라 할지라도 동일한 임플란트를 사용할 수 있다. 또한, 높은 k값과 일치율 때문에 세부적인 영상의 차이로 다른 클래스로 할당될 가능성도 있다. 따라서, 좀 더 일반적인 임플란트 생산이 필요한 경우에는 대표 영상 매칭을 할 필요가 있고, 사용자의 선택에 따라서 세부적이고 다양한 종류의 임플란트를 생산하고자 할 때에는 대표 영상 매칭 단계를 생략할 수 있다.When making an implant, it is not made to fit exactly into the intervertebral to be inserted, but the allowance is taken into account. Therefore, the same implant can be used even for representative images of different classes. In addition, due to the high k value and the matching rate, there is a possibility to be allocated to another class due to the difference of the detailed image. Therefore, when more general implant production is required, it is necessary to perform representative image matching, and in order to produce detailed and various kinds of implants according to a user's selection, the representative image matching step may be omitted.
표 5는, 각 케이스와 클래스의 (100-대표오차율)%를 보여주고 있다. 물론 전술한 바와 같이 대표오차값이나 대표오차율을 통해서 표현할 수 있다. 각 케이스를 각 클래스의 대표영상에 부합하는 임플란트와 매칭하여 나온 결과를 기재한 것으로, 대략적인 일치 빈도를 알 수 있고 거의 일치되지 않는 클래스를 걸러낼 수 있으므로 1차적인 평가항목으로 사용할 수 있다.Table 5 shows the (100-representative error rate)% of each case and class. As described above, it can be expressed through the representative error value or the representative error rate. The results obtained by matching each case with the implant corresponding to the representative image of each class are described. The approximate frequency of matching can be found and the class that can hardly match can be filtered and used as the primary evaluation item.
표 6을 참고하면, 클래스별 평균, 할당된 케이스의 수, 최적 결정율을 타내고 있다. 평균일치율은 상기 표5의 (100-대표오차율)%들의 평균을 구한 것이고, 케이스 수는 각 클래스로 배당된 케이스의 수를 나타낸 것이며, 최적 결정율은 전체 케이스에 대한 케이스 수의 비율을 %로 나타낸 것이다. 예를 들어 클래스 A의 경우 (19/95)*100=20%로 산출된 값이다.Referring to Table 6, the average for each class, the number of allocated cases, and the optimal decision rate are shown. The average match rate is the average of the (100-representative error rate)% of Table 5, the number of cases represents the number of cases allocated to each class, and the optimal decision rate is the ratio of the number of cases to the total cases in%. It is shown. For example, for class A, this is calculated as (19/95) * 100 = 20%.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. I can understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.
상기한 바와 같은 골해 영상 클러스터링 방법 및 시스템에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다. According to the osteoblast image clustering method and system as described above, there are one or more of the following effects.
첫째, 다양한 3차원 골해 영상 케이스를 제한된 개수의 클래스로 분류할 수 있다.First, various three-dimensional bone fracture image cases can be classified into a limited number of classes.
둘째, 결정된 클래스를 기준으로 새로운 골해 영상 케이스를 클러스터링 함으로써 클래스를 개정할 수 있다.Second, the class can be revised by clustering new bone image cases based on the determined class.
셋째, 분류된 클래스의 대표영상을 이용하여 일반적인 골해 보정을 위한 임플란트를 용이하게 만들 수 있다.Third, it is possible to easily create an implant for general bone damage correction using the representative image of the classified class.
Claims (14)
Priority Applications (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040034912A KR100545060B1 (en) | 2004-05-17 | 2004-05-17 | Method and system for clustering bone images |
SG200802970-4A SG142309A1 (en) | 2004-05-17 | 2005-05-17 | Spine insert |
JP2006527925A JP4382092B2 (en) | 2004-05-17 | 2005-05-17 | Intervertebral insert |
SG200802973-8A SG142310A1 (en) | 2004-05-17 | 2005-05-17 | Spine insert |
AU2005244312A AU2005244312B2 (en) | 2004-05-17 | 2005-05-17 | Spine insert |
US11/596,853 US20080033552A1 (en) | 2004-05-17 | 2005-05-17 | Sensor Device |
PCT/KR2005/001451 WO2005110258A1 (en) | 2004-05-17 | 2005-05-17 | Spine insert |
EP05740797A EP1746947A4 (en) | 2004-05-17 | 2005-05-17 | Spine insert |
CNB2005800159178A CN100486538C (en) | 2004-05-17 | 2005-05-17 | Spine insert |
HK07111345.2A HK1102752A1 (en) | 2004-05-17 | 2007-10-20 | Spine insert |
AU2008202617A AU2008202617B2 (en) | 2004-05-17 | 2008-06-13 | Spine insert |
AU2008202620A AU2008202620A1 (en) | 2004-05-17 | 2008-06-13 | Spine insert |
JP2009161262A JP2009219920A (en) | 2004-05-17 | 2009-07-07 | Intervertebral insert |
JP2009161263A JP2009219921A (en) | 2004-05-17 | 2009-07-07 | Intervertebral insert |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040034912A KR100545060B1 (en) | 2004-05-17 | 2004-05-17 | Method and system for clustering bone images |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050110090A KR20050110090A (en) | 2005-11-22 |
KR100545060B1 true KR100545060B1 (en) | 2006-01-24 |
Family
ID=37285658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040034912A KR100545060B1 (en) | 2004-05-17 | 2004-05-17 | Method and system for clustering bone images |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR100545060B1 (en) |
CN (1) | CN100486538C (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101612056B (en) * | 2008-06-27 | 2012-05-02 | 常州奥斯迈医疗器械有限公司 | Lumbar processus spinosus prop-open device |
CN101332116B (en) * | 2008-07-18 | 2011-05-04 | 南方医科大学 | Spinal crest elastic internal fixation device |
KR101013094B1 (en) * | 2008-11-07 | 2011-02-14 | 신재혁 | Device for supporting spinous process and method for fixation the same |
KR101647457B1 (en) * | 2014-11-25 | 2016-08-10 | 주식회사 메드릭스 | Band coupling device for spinous process |
KR101647453B1 (en) * | 2014-12-03 | 2016-08-10 | 주식회사 메드릭스 | Band fixing spacer device for spinous process |
TWI627935B (en) * | 2017-01-24 | 2018-07-01 | 好喜歡妮有限公司 | Interspinous stabilizer |
KR102231215B1 (en) * | 2019-05-21 | 2021-03-23 | 오스템임플란트 주식회사 | Automatic generation method of neural tube line and medical image processing apparatus therefor |
-
2004
- 2004-05-17 KR KR1020040034912A patent/KR100545060B1/en not_active IP Right Cessation
-
2005
- 2005-05-17 CN CNB2005800159178A patent/CN100486538C/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20050110090A (en) | 2005-11-22 |
CN1953715A (en) | 2007-04-25 |
CN100486538C (en) | 2009-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11449993B2 (en) | Automated bone segmentation in images | |
CN110070935B (en) | Medical image synthesis method, classification method and device based on antagonistic neural network | |
US7756316B2 (en) | Method and system for automatic lung segmentation | |
CN110648337A (en) | Hip joint segmentation method, hip joint segmentation device, electronic apparatus, and storage medium | |
Kwan et al. | Automatic extraction of bone boundaries from CT scans using an intelligence-based approach | |
US20200327721A1 (en) | Autonomous level identification of anatomical bony structures on 3d medical imagery | |
US8111896B2 (en) | Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and commputer program therefor | |
US20050134587A1 (en) | Method and apparatus for segmenting an image in order to locate a part thereof | |
Hu et al. | Segmentation of brain from computed tomography head images | |
CN112037200A (en) | Method for automatically identifying anatomical features and reconstructing model in medical image | |
CN108230301A (en) | A kind of spine CT image automatic positioning dividing method based on active contour model | |
CN108510507A (en) | A kind of 3D vertebra CT image active profile dividing methods of diffusion-weighted random forest | |
KR100545060B1 (en) | Method and system for clustering bone images | |
CN112820399A (en) | Method and device for automatically diagnosing benign and malignant thyroid nodules | |
Zou et al. | Semi-automatic segmentation of femur based on harmonic barrier | |
CN106780492A (en) | A kind of extraction method of key frame of CT pelvises image | |
CN112638262A (en) | Similarity determination device, method, and program | |
Liu et al. | Bone image segmentation | |
Tiwari et al. | Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images | |
CN111402230A (en) | Femoral medullary cavity morphological feature analysis method based on Monte Carlo method | |
KR100553390B1 (en) | Method and system for manufacturing implant | |
Vasilache et al. | Automated bone segmentation from pelvic CT images | |
CN116615151A (en) | Method for determining the screw trajectory of a pedicle screw | |
CN112529918A (en) | Method, device and equipment for ventricular region segmentation in brain CT image | |
Urricelqui et al. | Automatic segmentation of thigh magnetic resonance images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130114 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140113 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20150108 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |