KR20020079742A - Convolution filtering of similarity data for visual display of enhanced image - Google Patents

Convolution filtering of similarity data for visual display of enhanced image Download PDF

Info

Publication number
KR20020079742A
KR20020079742A KR1020027006657A KR20027006657A KR20020079742A KR 20020079742 A KR20020079742 A KR 20020079742A KR 1020027006657 A KR1020027006657 A KR 1020027006657A KR 20027006657 A KR20027006657 A KR 20027006657A KR 20020079742 A KR20020079742 A KR 20020079742A
Authority
KR
South Korea
Prior art keywords
data
similarity
adjacent
pixels
image
Prior art date
Application number
KR1020027006657A
Other languages
Korean (ko)
Inventor
크리스토퍼엘. 스토크
브래들리티. 위만
Original Assignee
컨퍼마, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US16741199P priority Critical
Priority to US60/167,411 priority
Application filed by 컨퍼마, 인코포레이티드 filed Critical 컨퍼마, 인코포레이티드
Priority to PCT/US2000/032207 priority patent/WO2001039122A1/en
Publication of KR20020079742A publication Critical patent/KR20020079742A/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

물체의 개선된 영상을 제공하도록 데이터요소의 상사치가 조절된다. 적절한 센서를 이용해서 물체로부터 데이터가 수집되어 다수의 별도의 데이터포인트들로 저장된다. 데이터포인트들이 서로 비교됨으로써 한 데이터요소의 데이터속성이 다른 데이터요소와 얼마나 유사한지를 결정한다. 두 개의 데이터요소의 속성차를 나타내기 위한 상사치가 각각의 데이터요소들에게 할당된다. 그리고 나서, 특정한 데이터요소마다의 상사치가 그 데이터요소 자체와 인접한 일군의 데이터요소들의 가중적 상사치에 근거하여 조절된다. 각각의 데이터요소마다 조절된 상사치가 저장되어 물체를 나타내는 영상을 생성하기 위해 이용된다.The similarity of the data elements is adjusted to provide an improved image of the object. Data is collected from the object using appropriate sensors and stored as a number of separate data points. Data points are compared to each other to determine how similar the data attributes of one data element are to other data elements. Similarity is assigned to each data element to indicate an attribute difference between the two data elements. The similarity for each particular data element is then adjusted based on the weighted similarity of the group of data elements adjacent to that data element itself. Adjusted analog values are stored for each data element and used to generate an image representing the object.

Description

고품질영상의 가시적 표시를 위한 상사치데이터의 컨벌루젼필터링 {CONVOLUTION FILTERING OF SIMILARITY DATA FOR VISUAL DISPLAY OF ENHANCED IMAGE}Convolution Filtering of Similarity Data for Visible Display of High-Quality Images {CONVOLUTION FILTERING OF SIMILARITY DATA FOR VISUAL DISPLAY OF ENHANCED IMAGE}

물체의 영상을 사용자가 볼 수 있게 가시적 표시장치 상에 표시할 것이 종종 요구된다. 그 영상이 표시될 물체는 건물이나 일중 특정시점의 풍경이나 나무나 기타의 생명체 같은 보통적 물리계의 물체일 수도 있다. 의료분야에서는 척수나 뇌나 뼈나 근육 또는 기타의 조직 등과 같은 동물이나 인체의 전부 또는 여러 부분의 영상을 표시할 것이 종종 요구된다. 의료진단의 목적상 종양이나 암덩어리 또는 기타의 관심 있는 비정상적 조직을 정확하게 확인하는 것이 매우 중요하다. 이러한 진단은 흔히 의료영상들에 의해 수행된다.It is often required to display an image of an object on a visual display for the user to see. The object on which the image is to be displayed may be an object of a common physical system, such as a building, a landscape at a particular point in time, or a tree or other living thing. In the medical field, it is often required to display an image of all or several parts of an animal or human body, such as the spinal cord, brain, bone, muscle, or other tissues. It is very important for the purpose of medical diagnosis to accurately identify tumors, masses or other abnormal tissues of interest. This diagnosis is often performed by medical images.

물체의 영상들은 다양한 증상들만큼 다양하게 수집되고 다양한 기법으로 저장될 수 있다. 의료기술분야에서는 자기공명영사 (MRI : Magnetic ResonanceImaging)를 포함한 다양한 기술을 이용하여 영상을 수집하는 것이 보편적이다. 그러한 의료기기들을 이용하여 다양한 종류의 정보가 수집된다. 수집되어 저장된 데이터는 대부분의 경우에 방사선과원과 환자의 주치의를 포함하는 의료진단팀일 수 있는 사용자가 조망할 영상으로 형성된다. 영상데이터와 그로부터 얻어지는 영상을 생성하는 과정의 일부로서 컨벌루젼필터가 영사기로부터의 초기데이터에 작용하여 데이터를 다듬고 노이즈를 저감시킬 수 있다.Images of the object may be collected as many as various symptoms and stored in various techniques. In the medical technology field, it is common to collect images using a variety of techniques including magnetic resonance imaging (MRI). Various types of information are collected using such medical devices. The collected and stored data is in most cases formed into images for the user to view, which may be a medical diagnostic team that includes the radiologist and the patient's primary care physician. As part of the process of generating the image data and the image obtained therefrom, a convolution filter can act on the initial data from the projector to refine the data and reduce noise.

의료영사분야에서는 정확하고 정밀한 물체 고유의 영상을 얻는 것이 매우 중요하다. 인체 내의 비정상적인 조직을 찾아내기 위해 종종 MRI가 이용된다. 많은 경우에서 비정상적인 조직은 악성이건 양성이건간에 종양이다. 의료진단과정의 초기에 종양이 악성인지 양성인지 결정하는 것이 특히 중요하다. 종양이 악성인 것으로 결정되는 경우에 종양이 인체의 다른 부분으로 확산된, 의학적 용어로 말해서, 전이된 범위를 알아내는 것이 매우 중요해진다. 종양이 아직 전이되지 않은 경우에는 특별한 치료처방이 양호하며 종종은 인체가 암을 극복하기에 유리하다. 다른 한편으로, 암이 전이된 경우에는 다른 치료처방 및 의료처치가 요구되며, 흔히 암을 좀더 공격적으로 다룸으로써 모든 암조직을 환자의 몸으로부터 완전히 들어내고 환자에게 건강을 되찾아줄 개연성을 증가시킨다. 뇌나 폐나 임파선 또는 외과적 검사나 처치가 용이하지 않은 다른 신체부위에 암이 존재할 때에는 그러한 영상이 특히 더 중요해진다.In the medical projection field, it is very important to obtain accurate and precise images of the object. MRI is often used to find abnormal tissue in the human body. In many cases, abnormal tissue is a tumor, whether malignant or benign. It is particularly important to determine whether the tumor is malignant or benign early in the medical diagnosis process. In medical terms, where the tumor is determined to be malignant, it is very important to find out the extent of metastasis, in medical terms. If the tumor has not yet metastasized, special treatment regimens are good and are often advantageous for the human body to overcome cancer. On the other hand, when cancer has metastasized, other treatments and medical treatments are required and often treat the cancer more aggressively, increasing the likelihood that all cancerous tissues will be completely removed from the patient's body and restored to their health. Such imaging becomes especially important when cancer is present in the brain, lungs, lymph nodes, or other parts of the body where surgical examination or treatment is not easy.

의료영사의 경우에는 가짜 양성체를 최소화 하여 환자를 과잉치료하지 않게 하는 것도 중요하다. 영상이 인체의 무수한 곳에 암이 있는 것처럼 보이는 경우에는 건강한 비암조직이 암조직처럼 보여지지 않는지를 확인하는 것이 매우 중요하다. 가짜 양성체는 부적절한 의료진단을 유발하고 그렇지 않은 경우에 요구되는 것과 상이하거나 과도하게 공격적인 치료로 귀결된다. 따라서, 의료분야에서는 어떤 건강한 조식도 실수로 비정상적인 육종으로 인식되지 않게 하면서 인체 내의 비정상적인 육종이 적절하고 정확하게 확인되는 인체의 모든 부분을 나타낸 영상을 표시하는 것이 중요하다.For medical consuls, it is also important to minimize the false positives so that the patient is not overtreated. If the image appears to be cancerous in countless parts of the body, it is very important to make sure that healthy non-cancerous tissue does not look like cancerous tissue. False positives lead to inadequate medical diagnosis and result in different or excessively aggressive treatment than is required. Therefore, in the medical field, it is important to display an image showing all parts of the human body in which abnormal sarcomas are properly and accurately identified without any healthy breakfast being mistakenly recognized as abnormal sarcomas.

이 발명은 물체의 가시적 표시를 조절하는 분야에 속하는 것이고, 좀더 자세하게는 가시적 표시장치를 위한 컨벌루젼필터에 관한 것이다.This invention belongs to the field of controlling the visual display of an object, and more particularly, to a convolution filter for a visual display device.

도 1은 영상획득표시과정을 이루는 여러 단계들을 도시한 블록선도이고,1 is a block diagram showing the various stages of the image acquisition display process;

도 2는 이 발명에 따른 상사치데이터의 생성 및 컨벌루젼처리를 도시한 블록선도이며,2 is a block diagram showing generation and convolution processing of analogous data according to the present invention;

도 3은 시그마가 1인 가우시안형 컨벌루젼필터의 이례를 도시한 도면이고,3 is a diagram showing an example of a Gaussian type convolution filter having a sigma of 1;

도 4a 및 4b는 이 발명에 따른 컨벌루젼필터가 작용하기 전후의 자기공명영사기에서의 종양에 대한 분할결과물들을 예시한 도면이다.Figures 4a and 4b is a diagram illustrating the split results for the tumor in the magnetic resonance projector before and after the convolution filter according to the present invention.

이 발명의 원리에 따르면, 메모리에 영상이 저장된 물체의 표시로 저장된 데이터요소들의 값을 조절하는 방법이 제공된다. 적절한 센서를 이용하여 물체로부터 데이터가 수집된다. 피검물의 여러 위치를 나타내는 다수의 데이터요소의 제각각은 메모리에 저장된다. 이러한 센서에서 나온 데이터요소들의 각각을 제1 값이라고 한다면, 이 제1 값은 피검물의 성질을 나타낸다. 물체의 영사로부터 다중데이터세트가 생성되는 경우에는 물체의 여러 위치의 제각각에 대한 다중 제1 값이 존재할 것이다. 제1 값들은 일종의 패턴으로 조직된 여러 데이터요소들과 합체되어 있으며, 여기에서 데이터요소들이 조직된 패턴에서 서로 인접한 데이터요소돌은 물체에서의 인접한 위치를 나타낸다. 이 점에서, 영상결과물의 매끈함과 노이즈제거를 달성하는 컨벌루젼필터나 하이패스 또는 로우패스필터들을 경유하여 제1 데이터값들의 부가적인 조절이 일어날 수도 있다. 이러한 처리의 결과로 여러 데이터요소들의 제각각에 대한 제2 값이 된다.According to the principles of the present invention, there is provided a method of adjusting the values of data elements stored in a representation of an object in which an image is stored in a memory. Data is collected from the object using appropriate sensors. Each of the plurality of data elements representing the various locations of the specimen is stored in memory. If each of the data elements from these sensors is called a first value, this first value represents the nature of the specimen. If multiple datasets are generated from the projection of the object, there will be multiple first values for each of the various locations of the object. The first values are combined with several data elements organized in a pattern, where data elements adjacent to each other in the pattern in which the data elements are organized represent adjacent positions in an object. In this regard, additional adjustment of the first data values may occur via convolution filters or high pass or low pass filters to achieve smoothness and noise rejection of the image result. The result of this process is a second value for each of the various data elements.

이어서, 데이터요소의 각각에 대해 상사치라고 부르는 새로운 값이 할당되고, 이 값은 피검물의 물성을 나타내는 표준적, 즉 기준적인 세트의 데이터요소들에 대한 해당 데이터요소의 유사성을 나타내는 것이다. 상사치들은 일종의 패턴으로 조직된 여러 데이터요소들과 합체되어 있으며, 여기에서 데이터요소들이 조직된 패턴에서 서로 인접한 데이터요소돌은 물체에서의 인접한 위치를 나타낸다. 그리고 나서, 특정한 데이터요소의 상사치가 그 데이터요소 자체 및 일군의 인접한 데이터요소들의 가중적 상사치에 근거하여 조절된다. 이 절차는 컨벌루젼필터링이라고 알려져 있으며, 조절된 상사치를 산출한다. 조절된 상사치는 각각의 데이터요소에 대해 조절된 대로 저장된다. 그리고 나서, 사용자가 볼 수 있도록 다수의 가시픽셀들의 배열로 이루어진 영상이 형성되며, 그 표시특성은 데이터요소들의 조절된 상사치에 근거를 둔 것이다.Subsequently, a new value, called a similarity, is assigned to each of the data elements, which indicates the similarity of the corresponding data element to the standard, reference set of data elements representing the properties of the specimen. Similarities are merged with several data elements organized in a pattern, where data elements are adjacent to each other in the organized pattern. The similarity of a particular data element is then adjusted based on the data element itself and the weighted similarity of the group of adjacent data elements. This procedure is known as convolution filtering and yields a controlled similarity. The adjusted analog is stored as adjusted for each data element. An image is then formed of an array of multiple visible pixels for viewing by the user, the display characteristics of which are based on the adjusted similarity of the data elements.

이 발명의 한 실시예에 따르면, 컨벌루젼필터가 센서로부터 나와서 메모리에 저장된 데이터에 작용한다. 컨벌루젼필터는 데이터의 다단처리의 최종단계로서 작용하는 것이 양호하다. 제1의 일련의 단계에서는 센서로부터 나온 데이터가 수집되어 메모리에 저장된다. 센서로부터 나온 데이터는 각각의 의료영상에서 검사중인 조직의 다양한 성질에 따라 조직된다. 적어도 기준조직이나 표준조직을 포함하는 관심영역이 사용자에 의해 지정된다. 임의의 관심영역 내에서 트레이닝세트의 데이터요소가 정해진다. 사용자는 부가적으로 검사되어야 할 조직의 성질을 정밀하게 반영하여 하나 이상의 트레이닝세트의 데이터요소들을 선택한다. 트레이닝세트의 선택이 있은 후에, 물체를 표시하는 잔여데이터요소들은 선택된 트레이닝세트와 비교될 테스트샘플로 처리된다. 각각의 테스트샘플과 선택된 트레이닝세트의 각각의 요소 사이의 유클리드거리(Euclidean distance)가 계산되고, 트레이닝세트의 어떤 요소와 테스트샘플 사이의 최단거리를 나타내는 상사치가 얻어진다. 이 상사치는 테스트샘플과 트레이닝데이터세트 사이의 수치로 표시한 상대적 유사도이다. 상사치는 영상을 생성하기 위해 이용될 메모리위치에 저장된다.According to one embodiment of this invention, a convolution filter comes out of the sensor and acts on the data stored in the memory. The convolution filter preferably serves as the final stage of the multi-stage processing of the data. In the first series of steps, data from the sensors is collected and stored in memory. The data from the sensors is organized according to the various properties of the tissue under examination in each medical image. The area of interest, including at least the reference organization or standard organization, is designated by the user. Within any region of interest, the data elements of the training set are determined. The user additionally selects one or more training data elements to accurately reflect the nature of the tissue to be examined. After the selection of the training set, the remaining data elements representing the object are processed with a test sample to be compared with the selected training set. The Euclidean distance between each test sample and each element of the selected training set is calculated and a similarity is obtained that represents the shortest distance between any element of the training set and the test sample. This similarity is the relative similarity expressed numerically between the test sample and the training dataset. The analogous value is stored in a memory location to be used for generating the image.

상사치데이터가 생성된 후에, 이 발명의 컨벌루젼필터가 작용한다. 컨벌루젼필터는 한 데이터요소의 상사치를 인접한 데이터요소들의 상사치들과 비교하고 하나 이상의 가중인자를 적용하여 검사중인 데이터요소의 상사치를 조절한다. 이러한 컨벌루젼필터링은 전체에 걸쳐 매 요소마다 행해진다. 그리고 나서, 좀더 정확하게 물체의 성질을 표시하는 조절된 상사치들에 근거하여 영상이 표시된다.After the analogous data is generated, the convolution filter of the present invention works. The convolution filter compares the similarity of one data element with the similarities of adjacent data elements and adjusts the similarity of the data element under inspection by applying one or more weighters. This convolutional filtering is done every element throughout. Then, an image is displayed based on the adjusted analogs that more accurately indicate the properties of the object.

이 발명의 한 실시예에 따르면, 작용하는 컨벌루젼필터는 표준편차 시그마가 1인 가우시안공식(gaussian formula)에 따라 가중된 통상적인5x5평방 어레이이다. 이 발명의 다른 실시예에 따르면, 작용하는 컨벌루젼필터가 푸리에정의구역의 창처리부(a windowing in the Fourier domains)나 등방확산필터링부(an isotropic diffusion filtering) 또는 한 영상의 인접한 픽셀들이 정상적으로는 유사한 조직에 속한다는 사실을 이용하게 하는 확률필터(a probability filter)일 수 있다. 공간정보를 상사치데이터로 모으는 마코프 필드형 필터가 사용될 수도 있다. 영상의 선명도와 조직의 분류에 대한 신뢰도를 증대시키기 위해 뇌나 기타의 신체부분의 대칭성 등과 같은 인체의 공간특성에 근거한 다른 컨벌루젼이 이용될 수도 있다.According to one embodiment of this invention, the working convolution filter is a conventional 5x5 square array weighted according to a Gaussian formula with a standard deviation sigma of 1. According to another embodiment of the present invention, a convolutional filter acting in a windowing in the Fourier domains, an isotropic diffusion filtering, or adjacent pixels of an image is normally similar. It can be a probability filter that takes advantage of the fact that it belongs to an organization. A Markov field type filter that collects spatial information into similar data may be used. Other convolutions based on spatial characteristics of the human body, such as symmetry of the brain or other body parts, may be used to increase the clarity of the image and confidence in the classification of the tissue.

도 1은 이 발명이 실시되는 전과정의 개요를 예시한다. 영상획득이 일어나는 단계 12는 피검물을 나타내는 데이터를 최초로 획득하는 단계이다. 발명의 배경이라는 제하에 설명한 바와 같이, 영상은 좀더 살필 것이 요구되는 어떤 물체일 수 있다. 예를 들어, 이 발명에 따르면, 물체가 풍경이나 식물 또는 저녁노을 등과 같이 자연계에서 보편적으로 일어날 수 있는 것일 수 있다. 이 발명은 한 물체에서 두 개의 매우 유사한 모습 사이의 상이점을 매우 민감하게 인식하려는 것이므로, 단일의 물체를 영사하고 물체의 서로 유사한 모습들을 찾으며 그 것들을 동일한 물체에서 서로 상이한 모습들로부터 구별하기에 매우 유용하다. 이 발명은 피검물이 환자이고 영상이 환자의 체내조직의 종류를 의료진단할 목적으로 만들어진 것인 경우에 적용하기에 매우 알맞다.1 illustrates an overview of the entire process of implementing the invention. Step 12 in which image acquisition takes place is a step of initially acquiring data representing the specimen. As described under the background of the invention, the image may be any object that requires more attention. For example, according to this invention, the object may be one that can occur universally in the natural world, such as landscapes, plants, or sunsets. This invention seeks to be very sensitive to the differences between two very similar features in an object, which is very useful for projecting a single object, finding similar features of an object, and distinguishing them from different features in the same object. Do. This invention is very suitable for application when the specimen is a patient and the image is made for the purpose of medical diagnosis of the tissue of the patient's body.

여기에 참고로 인용되는 미국특허 제5,311,131호의 패턴인식을 이용한 자기공명영사와, 미국특허 제5,644,232호의 자기공명측정치의 양자화 및 표준화 및, 미국특허 제5,818,231호의 자기공명측정치의 양자화 및 표준화에 기재된 바와 같은 자기공명영사기술을 이용하여 영상을 획득하고 다듬는 방법은 당 기술분야에서 이미 공지되어 있다. 이들 특허에는 NMR이나 MRI 기법을 이용하여 의료영상을 얻는 다양한 방법이 기재되어 있으므로, 여기에서 반복하지 않는다. 이들 특허는 배경정보로 제공되는 것이며, 이 발명의 양호한 실시예 및 활용가능성을 이해함에 있어서 필요하다면 좀더 상세히 연구될 수도 있을 것이다. 이러한 특허들에 기재된 영상획득방법은 이 발명과 함께 이용되어 단계 12에서 요구되는 영상을 획득하고 저장하기에 적합하다. 엑스레이나 양전자방사형 단층촬상(Positron Emission Tomography)이나 전산화단층촬영(Computed Tomography)이나 다양한 방사선방법이나 초음파방법 또는 기타의 활용가능한 방법을 포함하는 기타의 의료영상획득방법이 이용될 수도 있다.Magnetic resonance projection using pattern recognition of US Pat. No. 5,311,131, and Quantization and Standardization of Magnetic Resonance Measurements of US Pat. No. 5,644,232, and Quantization and Standardization of Magnetic Resonance Measurements of US Pat. No. 5,818,231, incorporated herein by reference. Methods of acquiring and trimming images using magnetic resonance projection techniques are already known in the art. These patents describe various methods of obtaining medical images using NMR or MRI techniques and are not repeated here. These patents are provided as background information and may be studied in more detail if necessary in understanding the preferred embodiments and applicability of this invention. The image acquisition method described in these patents is suitable for use with this invention to acquire and store the image required in step 12. Other medical imaging methods may be used, including X-rays, Positron Emission Tomography, Computed Tomography, various radiation methods, ultrasound methods, or other available methods.

그러므로, 영상이 획득되어 메모리에 저장될 것이 요구될 때는 의료분석용 영상 및 검사중인 환자의 체내에 존재할 수도 있는 암위치의 진단결정에 관해 좀더 연구하는 것이 바람직하다. 다음 단계로 진행하기 위해 일반적으로 의료전문가 또는 의사일 것인 사용자는 좀더 검사할 것이 요구되는 관심영역을 선택한다. 관심영역은 컴퓨터마우스를 이용하여 스크린 상에서 원하는 조직의 종류를 표시해 두거나, 알고 있는 종양위치 등과 같은 표적위치의 둘레에 박스를 형성해 두거나, 또는 사용자가 관심영역을 정하기 위한 기타의 방법에 의해 선택될 수 있다.Therefore, when an image is required to be acquired and stored in the memory, it is desirable to further study the diagnosis image of the medical analysis and the diagnosis of cancer location that may exist in the body of the patient under examination. In order to proceed to the next step, a user, typically a medical professional or physician, selects an area of interest that requires further testing. The region of interest can be selected by using a computer mouse to mark the type of tissue desired on the screen, or by forming a box around the target position, such as a known tumor position, or by other means for the user to define the region of interest. have.

관심영역이 정해진 후에, 단계 16에 도시된 것처럼 관심영역에서의 집단화가 행해진다. 집단의 수는 관심영역에서의 상이한 조직의 종류의 수에 대응한다. 이 것은 관심영역 내에서 조직을 여러 부류로 구분하게 한다. 관심영역이 아주 작고 특수하다면 관심영역 내에는 단일종류의 조직만 있을 수도 있다. 선택사양적으로는, 관심영역 내에 두 종류 이상의 조직들이 있을 수 있고, 집단화는 정해진 관심영역 내에서 발견된 조직들을 상이한 종류별로 구분하게 할 것이다. 관심영역이 전제영상에 비해 작으므로, 조직분류에서의 조직종류의 수는 적을 것이며, 관심영역내의 한 종류의 조직을 다른 조직으로부터 좀더 명료하게 구분할 수 있다.After the region of interest is determined, aggregation in the region of interest is performed as shown in step 16. The number of cohorts corresponds to the number of different tissue types in the area of interest. This allows you to divide your organization into different categories within your area of interest. If the area of interest is very small and special, there may be only one type of organization within the area of interest. Optionally, there may be more than one type of organization within the area of interest, and grouping will allow different types of organizations to be found within a given area of interest. Since the area of interest is smaller than the premise image, the number of types of tissues in the classification will be small, and one type of organization in the area of interest can be distinguished more clearly from other organizations.

한 실시예에 따르면, 단계 16에서 수행되는 집단화는 무제한적 구분형태인 자동적 집단화이다. 구분에 이용되는 집단의 수가 크자이-베니 퍼지효과공리 (Xie-Beni Fuzzy Validity Criterion)를 이용하여 자동으로 정해지는 퍼지식 집단화 메커니즘이 수행된다. 크자이-베니 퍼지효과공리는 집단의 수를 간결함과 특정영역 내의 조직들의 상이한 종류별 구별가능성을 감안하여 정해진다. 그러한 퍼지식 집단화는 당 기술분야에 공지되어 있으며, 예를 들어,IEEE Transactions on Patiern Analysis and Machine Intelligence의 13권 841-847페이지 (1991)에 게재된 XL. Xie와 G. Beni에 의한 논문에 보이듯이, 문헌발행되어 있다. 선택사양적으로는, 집단화가 비자동적 방법을 이용하여 수행될 수도 있다.According to one embodiment, the grouping performed in step 16 is automatic grouping in an unlimited form of division. A fuzzy grouping mechanism is performed that automatically determines the number of populations used for classification using Xie-Beni Fuzzy Validity Criterion. The Xzai-Benney fuzzy effect axiom is based on the simplicity of the number of groups and the differentiation of different types of organizations within a particular domain. Such fuzzy groupings are known in the art and are described, for example, in XL. No. 13, pp. 841-847 (1991) of IEEE Transactions on Patiern Analysis and Machine Intelligence . As shown in the paper by Xie and G. Beni, the literature is published. Optionally, grouping may be performed using a non-automatic method.

그러고 나서, 사용자는 이 발명에 따른 아래에서 설명할 단계 18에서 유도적 조직선택을 수행한다. 조직의 집단화가 수행된 후에, 사용자는 좀더 연구하기 위한 관심영역의 조직의 종류를 나타내는 하나 이상의 집단을 선택한다. 이 발명의표준용도에서 선택되는 조직의 종류는 통상적으로 악성일 것으로 추측되는 종양일 것이다. 어떤 용도에서는, 종양이 이미 악성종양으로 확인되었고, 종양의 정확한 형상과 암이 초기종양의 경계를 넘어 확산되었는지의 여부를 알고자 할 때일 수 있다. 신체의 다른 부분에 암이 존재하는지의 여부를 알고자 할 경우도 있다.The user then performs inductive tissue selection in step 18, described below, in accordance with the present invention. After organizational grouping is performed, the user selects one or more populations that indicate the type of organization of the region of interest for further study. The type of tissue selected for the standard use of this invention will typically be a tumor that is suspected to be malignant. In some applications, it may be time to find out if the tumor has already been identified as a malignant tumor and whether the exact shape of the tumor and whether the cancer has spread beyond the boundaries of the initial tumor. You may want to know if cancer is present in other parts of your body.

이 발명에 따르면, 부가적인 검사가 요구되는 특정조직일 것으로 알려진 조직을 나타내는 집단이 선택된다. 이 예에서는 종양이 선택된 것으로 가정하겠다. 특정조직에 대응하는 집단이 선택된다. 선택된 집단은 좀더 검사되고 연구되어야 할 조직의 종류를 나타내는 개별적인 데이터요소들의 트레이닝세트를 포함한다. 그리고 나서, 트레이닝세트의 각각의 구성요소와 트레이닝세트의 외측에 있는 각각의 데이터요소 사이의 비교가 행해진다. 양호하게는, 단계 12에서의 초기영상의 전체를 이루는 데이터요소들이 트레이닝세트에 비교되어 연구중인 어떤 조직이 관심영역의 외측에서 발견되는지의 여부, 특히 체내의 다른 부분에서 발견되는지의 여부가 결정된다.According to this invention, a population representing a tissue known to be a particular tissue that requires additional testing is selected. In this example, the tumor is assumed to be selected. The group corresponding to the specific organization is selected. The selected population contains a training set of individual data elements that indicate the type of tissue to be further examined and studied. A comparison is then made between each component of the training set and each data element outside of the training set. Preferably, the data elements that make up the entire initial image in step 12 are compared to the training set to determine which tissue under study is found outside of the region of interest, especially if it is found elsewhere in the body. .

트레이닝세트의 데이터요소들을 피검물을 나타내는 다른 세트의 데이터요소와 비교하기 위해 어떤 공지의 활용가능한 방법이든 이용할 수 있다. 다른 방법들이 이용될 수 있을지라도, 하나의 특정한 비교방법에 집중하여 상세하게 설명하겠다.Any known available method may be used to compare the data elements of the training set with other sets of data elements representing the subject. Although other methods may be used, we will focus on one specific comparison method in detail.

단계 20의 특정조직구분을 수행하기 위한 활용가능한 방법의 개요는 다음과 같다. 각각의 센서로부터 나온 해당 데이터요소는 데이터요소가 나타내는 물체의 대응부분을 설명하는 하나 이상의 성질을 갖는다. 이러한 성질의 각각은 수치화되어 있다. 예를 들어, 획득된 영상이 MRJ 영상이라면, 각각의 데이터요소의 성질은 종적 완화인수 T1이나 횡적 완화인수 T2나 가중적 T1 또는 T2 영상이나 양성자 밀도 공간이나 또는 당기술분야에서 알려진 바와 같은 MRI에서 정상적으로 측정된 기타의 파라미터 등과 같은 특징으로 포함할 수 있다. 그러므로, 트레이닝세트에서 알려진 데이터요소들의 각각은 데이터요소에 대한 명세를 제공하는 성질들의 각각에 관련된 수치를 갖는다. 그렇게 함으로써, 각각의 데이터요소는 각각의 성질마다 하나의 수치가 저장된 수개의 상이한 숫자에 의해 설명될 것이다. 그렇게 함으로써, 데이터가 다변화 한다. 수치들은 다차원 공간에서 데이터요소의 위치를 정의하고 그러한 위치에 대응하는 조직의 자기공명특성을 반영하는 것일 수 있다. 즉, 각각의 파라미터는 유클리드 기하학적 필드에서 물체의 위치탐색을 위한 차원들 중의 하나를 나타낸다. 각각의 데이터요소마다 물체의 두 성질이 저장된다면, 상기 필드는 2차원적 유클리드평면으로 된다. 3개의 파라미터들이 저장되면, 데이터요소들은 3차원적 유클리드필드에 있는 한 위치인 것으로 간주될 수 있다. 마찬가지로, 4개의 물리적 파라미터들이 표시되면, 물체는 4차원적 유클리드필드에 있는 한 위치로 간주될 수 있다. 그러므로, 트레이닝세트의 각 구성요소들은 다차원적 유클리드필드 내의 한 위치를 갖는다.An overview of the available methods for performing the specific tissue classification of step 20 is as follows. The corresponding data element from each sensor has one or more properties that describe the corresponding part of the object represented by the data element. Each of these properties is quantified. For example, if the acquired image is an MRJ image, then the nature of each data element is either longitudinal longitudinal T1 or transverse relaxation T2 or weighted T1 or T2 image, proton density space, or MRI as known in the art. It may include features such as other parameters that are normally measured. Therefore, each of the known data elements in the training set has a numerical value associated with each of the properties that provide a specification for the data element. In so doing, each data element will be described by several different numbers in which one value is stored for each property. In doing so, the data is diversified. The numerical values may define the position of data elements in multidimensional space and reflect the magnetic resonance properties of the tissue corresponding to those positions. That is, each parameter represents one of the dimensions for locating the object in the Euclidean geometric field. If two properties of an object are stored for each data element, the field is a two-dimensional Euclidean plane. If three parameters are stored, the data elements can be considered to be a location in the three-dimensional Euclidean field. Likewise, if four physical parameters are indicated, the object can be considered as a location in the four-dimensional Euclidean field. Therefore, each component of the training set has a location in the multidimensional Euclidean field.

트레이닝세트의 각각의 구성요소와 관련된 수치들은 피검물의 다른 모든 데이터요소마다에 관련된 수치들과 비교된다. 데이터요소의 수치들은 각각의 데이터요소마다 피검물의 자기공명특성에 관련이 있으므로, 다차원적 유클리드필드에서의 그 위치는 물체의 자기공명특성에 관련이 있다. 테스트세트에 대한 트레이닝세트의 비교에서는, 두 개의 데이터요소가 다차원적 유클리드필드 내에서 서로 밀접할수록 더 유사하다. 그렇기 때문에, 두 개의 데이터요소들 사이의 서로에 대한 거리는 데이터요소들 (트레이닝세트의 외측에 있는 데이터요소들이 테스트샘플이라고 지칭됨)에 의해 표시되는 물체의 자기공명특성의 유사도를 나타내는 정확하고 신뢰할 만한 척도이다.The values associated with each component of the training set are compared with the values associated with every other data element of the specimen. Since the numerical values of the data elements are related to the magnetic resonance properties of the specimen for each data element, their position in the multidimensional Euclidean field is related to the magnetic resonance properties of the object. In the comparison of the training set to the test set, the closer the two data elements are to each other in the multidimensional Euclidean field, the more similar they are. As such, the distance to each other between two data elements is accurate and reliable, indicating the similarity of the magnetic resonance properties of the object represented by the data elements (data elements outside the training set are referred to as test samples). It is a measure.

트레이닝세트의 데이터요소들과 트레이닝세트의 외측의 각각의 데이터요소 사이의 거리가 결정되고, 해당 데이터요소에 대한 상사치가 할당된다.The distance between the data elements of the training set and each data element outside of the training set is determined, and a similarity is assigned to that data element.

트레이닝세트의 데이터요소와 테스트샘플데이터요소로부터의 거리는 테스트샘플데이터요소에 대한 유사도를 제공하는 수치로서 나타낼 수 있다. 이러한 유사도의 수치는 테스트샘플과 트레이닝세트 사이의 유사도를 나타낸다. 이러한 유사도의 수치는 테스트샘플과 트레이닝세트 사이의 유사도를 나타낸다. 거리가 작을수록 데이터요소는 서로 더 유사하다. 그렇기 때문에, 거리 0 은 데이터요소들이 서로 동일하고 동종의 부류의 구성요소라고 할 정도로 유사하다는 것을 나타낸다. 거리가 더 클수록 덜 유사하다는 것을 나타낸다. 이용되는 척도에 따라서는, 수치적 거리값이 1 내지 10 등과 같은 단자리수일 수도 있다. 선택사양적으로는, 7 내지 10 자리수 등과 같이 많은 숫자들을 가질 수도 있다. 일부의 실시예들의 경우에는 거리의 수치가 거리값들을 정규화 하기 위해 거리값이 획득된 후에 로그값이 취해질 수 있는 데이터세트의 거의 모든 테스트샘플들에 대해 충분히 클 것으로 기대된다. 절대거리값은 테스트세트의 다른 데이터요소들을 위한 거리에 비교된 상대거리값 및 트레이닝데이터세트의 다른 요소들에 비교될 때의 트레이닝데이터요소의 거리에 만큼 중요하지 않다.The distance from the data sample and the test sample data element of the training set may be expressed as a numerical value that provides a similarity to the test sample data element. This similarity number indicates the similarity between the test sample and the training set. This similarity number indicates the similarity between the test sample and the training set. The smaller the distance, the more similar the data elements are. As such, the distance 0 indicates that the data elements are identical to each other and are similar enough to be said to be components of the same class. Larger distances indicate less similarity. Depending on the measure used, the numerical distance value may be a terminal number such as 1 to 10 or the like. Optionally, it may have many numbers, such as 7 to 10 digits. In some embodiments it is expected that the numerical value of the distance is large enough for almost all test samples of the dataset that the log value can be taken after the distance value is obtained to normalize the distance values. The absolute distance value is not as important as the relative distance value compared to the distance for the other data elements of the test set and the distance of the training data element when compared to the other elements of the training data set.

한 시실시예에서는 아래와 같이 실제적 상사치가 계산될 수도 있다.In one embodiment, the actual similarity may be calculated as follows.

MRI 검사의 과정에서 수집된 데이터는 4차원적 어레이 ()로 조직될 수 있으며, 여기에서,I는 어레이의 행수를 나타내고,J는 열수를 나타내며,K는 센서로부터 나온 성질의 수를 나타내고,L은 검사하는 해부학적 슬라이스의 수를 나타낸다. 센서로부터 나온K개의 성질들은 조직구분에 이용되는 성질이다. 특정한 어레이요소를 위한 성질값 ()은 행-열-시퀀스-슬라이스로 이루어지는 주소를 지정함으로써 접근될 수 있으며, 여기에서,i=1…I이며 행위치를 나타내는 인수이고,j=1…J이며 열위치를 나타내는 인수이며,k=1…K이며 센서로부터 나온 성질을 위한 인수이고,l=1…L이며 스플라이스의 수를 위한 인수이다. 어레이에서의 각각의 데이터요소는 2차원, 3차원, 4차ㅣ원, 5차원 또는 기타의 다차원장에서 공간위치를 점유한 것으로 생각될 수 있다. 공간 내에서 체적을 갖는 그러한 데이터요소는 복셀(voxel)이라고 지칭될 수 있다. 2차원 스크린 영상인 경우에, 각각의 표시요소는 일반적으로 픽셀이라고 지칭된다.The data collected during the MRI test is a four-dimensional array ( ) Where I represents the number of rows in the array, J represents the number of columns, K represents the number of properties from the sensor, and L represents the number of anatomical slices to examine. The K properties from the sensor are those used for tissue classification. Property values for specific array elements ) Can be accessed by specifying an address consisting of row-column-sequence-slice, where i = 1... I is an argument representing an action value, and j = 1. J is a factor representing the column position, k = 1 .... K is the factor for the property from the sensor, l = 1. L is the factor for the number of splices. Each data element in the array can be thought of as occupying a spatial location in a two-dimensional, three-dimensional, quadratic, five-dimensional, or other multidimensional field. Such a data element having a volume in space may be referred to as a voxel. In the case of a two-dimensional screen image, each display element is generally referred to as a pixel.

MR 구분의 한 실시예에서는, 사용자가 단일의 조직부류를 나타내는 한 세트의 샘플 ()들을 지정한다. 여기에서,N은 트레이닝세트에서의 샘플의 수를 나타낸다. 이러한 트레이닝샘플들을 확인하고 최근접방법을 이용하여 감시적 구분이 수행된다. 전통적인 최근접방법이 이 단계에서 이용될 수 있으며, 그 것은 Gose 등에 의한 1996년판 문헌에 설명된 바와 같이, 미지의 테스트샘플을 트레이닝세트에서의 최근접테스트샘플위치와 동일한 부류에 속하는 것으로 분류하는 비파라미터적 결정규칙이다. 테스트샘플 ()과 트레이닝샘플 () 사이의 유사도는K차원의 특징공간에서의 수학식 1과 같은 유클리드거리의 항으로 정해질 수 있다.In one embodiment of the MR classification, a set of samples in which a user represents a single tissue class ( ) Where N represents the number of samples in the training set. These training samples are identified and surveillance classification is performed using the nearest method. Traditional close proximity methods can be used at this stage, as described in the 1996 edition of Gose et al., Which classifies unknown test samples as belonging to the same class as the nearest test sample location in the training set. Parametric decision rule. Test Sample ( ) And training samples ( The similarity between) can be determined by the Euclidean term, such as Equation 1 in the K- dimensional feature space.

테스트샘플로부터 해당 세트의 각각의 트레이닝샘플까지의 거리가 측정되고, 이러한 거리의 최대치가 선택된다. 즉, 테스트샘플에 대한 상사치는 그 것이 해당 트레이닝세트의 트레이닝세트의 샘플들 중의 최근접의 것에 대해 얼마나 가깝느냐에 근거한다. 근접구분의 결과는 각각의 복셀위치(i,j,l)에서의 최대거리를 포함하는 3차원 유사도어레이 ()에서의 상사치데이터를 포함한다.The distance from the test sample to each training sample of the set is measured and the maximum of this distance is selected. That is, the similarity to the test sample is based on how close it is to the nearest one of the samples of the training set of that training set. The result of the proximity classification is a three-dimensional pseudo-array containing the maximum distances at each voxel location ( i , j , l ). It contains similarity data in).

상사치들이 얻어진 후에, 어떤 실시예에서는 조직들을 상이한 부류로 구분하는 것이 바람직할 수도 있다. 이 실시예에 따르면, 상이한 조직들은 그 것들이 데이터요소들의 트레닝세트에 얼마나 밀접하게 관련되어 있느냐에 기초하여 등급이 매겨진다. 그 것들이 지극히 밀접한 경우에는 그 것들이 트레이닝세트 자체 내에 있지는 않을지라도 물체의 다른 부류의 데이터요소들에 대해서보다 트레이닝부류의 데이터요소들에 대해 더 유사한 것을 나타내는 상이한 패턴이나 강도의 색상이 할당될 수도 있다. 어떤 실시예에서는 특정조직구분단계 (20)가 수행되지 않으며, 이 발명의 일부를 이루지 않는다. 오히려, 이 것은 필요하면 수행될 수도 있는 선택사양적인 것이다.After similarities are obtained, in some embodiments it may be desirable to divide the tissues into different classes. According to this embodiment, different organizations are ranked based on how closely they are related to the training set of data elements. If they are extremely close, they may be assigned different patterns or intensities of color, indicating that they are more similar for the data elements of the training class than for other classes of data elements, even if they are not within the training set itself. In some embodiments, no specific tissue classification step 20 is performed and does not form part of this invention. Rather, it is optional that may be performed if necessary.

도 2는 이 발명에 따른 컨벌루젼필터의 작동을 위한 처리단계들을 도시한 것이다. 도 1의 단계 12에 대응하는 단계 12에서 원데이터가 얻어진다. 센서로부터 나온 데이터의 처리는 단계 24에서 수행된다. 수집된 데이터를 필터링하기 위한 많은 데이터처리기술이 공지되어 있는데, 그 중에 하나인 컨벌루젼필터링이 행데이터 자체에 작용한다.Figure 2 shows the processing steps for the operation of the convolution filter according to the invention. The raw data is obtained in step 12 corresponding to step 12 in FIG. Processing of the data from the sensor is performed in step 24. Many data processing techniques are known for filtering the collected data, one of which is convolution filtering, which acts on the row data itself.

한 실시예에서는 상사치데이터의 처리 (24) 및 생성 (25)이 앞서 말한 도 1의 단계 14 내지 20에 대응한다. 다른 실시예에서는 상사치데이터의 처리 (24) 및 생성 (25)이 당 기술분야에서 허용될 수 있는 다른 기술들을 이용할 수도 있다.In one embodiment, processing 24 and generation 25 of similarity data correspond to the steps 14-20 of FIG. 1 described above. In other embodiments, processing 24 and generation 25 of similarity data may use other techniques that are acceptable in the art.

이 발명에 따르면, 컨벌루젼은 상사치데이터의 생성후에 일어나며, 그렇게 해서 종래기술에서는 가능하지 않았던 독특한 장점이 얻어진다. 단계 25의 완료후에, 상사치데이터가 획득되어 제1 메모리에 저장된다. 상사치데이터는 물체 내의 위치들에 대응하는 다수의 데이터요소들의 상사치들을 이용한 물체의 표현이다. 각각의 데이터요소의 유사도는 물체의 정해진 관심영역에서의 자기공명특성을 동일한 영사방식 및 프로토콜을 이용한 동일한 물체 내의 다른 곳에서나 다른 물체에서의 자기공명특성에 비교하여 나타낸 것이다. 한 실시예에서는 유사도의 수치가 한 데이터요소의 자기공명특성들이 트레이닝세트의 데이터요소들의 자기공명특성에 얼마나 밀접하게 대응하느냐를 설명하는 것이며, 거리가 짧을수록 더 유사하다.According to this invention, convolution occurs after the generation of analogous data, thereby obtaining a unique advantage that was not possible in the prior art. After completion of step 25, similarity data is obtained and stored in the first memory. Similarity data is a representation of an object using similarities of multiple data elements corresponding to positions in the object. The similarity of each data element represents the magnetic resonance characteristic of the object in a defined region of interest compared to the magnetic resonance characteristic of another object elsewhere or in the same object using the same projection method and protocol. In one embodiment, the numerical value of the similarity describes how closely the magnetic resonance characteristics of one data element correspond to the magnetic resonance characteristics of the data elements of the training set, and the shorter the distance, the more similar.

상사치는 메모리에 저장되어 논리적으로 서로 인접한 데이터요소들이 검사중인 물체에서의 인접한 위치들에 대응하는 방식으로 조직된다. 어떤 형태의 컴퓨터에서는 이 것들이 컴퓨터의 메모리 내에서의 인접한 위치들일 것이다. 선택사양적으로는, 그 위치들이 단지 논리적 주소뿐일 수 있으며, 데이터요소들이 물리적 메모리 내에서 서로 인접하게 저장될 필요는 없다. 그렇게 해서, 데이터요소들이 엄격하게 말하자면 어떤 원하는 방식으로든 저장될 수 있을지라도 기능적 관점에서 서로 인접하게 보인다.The analogous values are stored in memory so that logically adjacent data elements are organized in a manner corresponding to adjacent positions in the object under examination. In some types of computers, these may be adjacent locations in the computer's memory. Optionally, the locations may be only logical addresses, and data elements need not be stored adjacent to each other in physical memory. In this way, data elements appear to be adjacent to each other from a functional point of view, although they can be stored strictly speaking in any desired way.

그리고 나서, 단계 26에서의 컨벌루젼필터링이 수행되며, 여기에서 데이터요소의 상사치는 인접한 데이터요소들의 상사치에 기초하여 조절된다. 상사치데이터 상에서 컨벌루젼필터링을 수행함으로써 중요한 장점이 얻어진다. 임의의 데이터요소의 상사치의 조절이 아래와 같이 수행된다. 데이터요소는 그 것이 2차원 컴퓨터스크린 상에 표시될 것이므로 이 예에서는 픽셀이라고 지칭될 것이지만, 물론, 이 예 및 이 발명이 다차원공간에서의 복셀 또는 기타의 요소로 될 수도 있다. 선택된 픽셀의 상사치는 주어진 크기와 형상의 컨벌루젼커넬(convolution kernel)에 의해 조절된다. 컨벌루젼커넬은 선택된 픽셀에 대한 상사치 및 그 공간상 인접한 픽셀에 가해지는 필터가중치 세트를 정한다. 선택된 픽셀의 상사치에 대해 보편적으로 합치되는 컨벌루젼커넬의 중앙필터요소로 상사치데이터행렬상에 컨벌루젼커넬을 중첩시킴으로써 컨벌루젼과정을 가시화 할 수 있다. 조절된 상사치는 선택된 픽셀 및 거기에 공간적으로 인접한 픽셀들에 대한 상사치들을 그들의 대응하는 컨벌루젼필터가중치들로 곱하고나서 그 곱셈치들을 합산함으로써 계산된다. 한 실시예에서는 컨벌루젼커넬이 가우시안분포적 5x5 행렬로 구성된다. 선택사양적으로는, 커넬이 육각형이나 원형 또는 선택된 픽셀에 가해질 조절커넬을 정하는 다른 형상일 수 있다.Then, convolutional filtering in step 26 is performed, wherein the similarity of the data elements is adjusted based on the similarity of adjacent data elements. An important advantage is obtained by performing convolution filtering on similarity data. Adjustment of the similarity of any data element is performed as follows. A data element will be referred to as a pixel in this example as it will be displayed on a two-dimensional computer screen, but of course, this example and the invention may be a voxel or other element in multidimensional space. The similarity of the selected pixels is controlled by a convolution kernel of a given size and shape. The convolution kernel determines the set of filter weights applied to adjacent pixels in its space and the similarities for the selected pixels. The convolutional process can be visualized by superimposing the convolutional kernel on the analogous data matrix with a central filter element of the convolutional kernel that is generally consistent with the similarity of the selected pixel. The adjusted similarity is calculated by multiplying the similarities for the selected pixel and its spatially adjacent pixels by their corresponding convolution filter weights and then summing the multiplications. In one embodiment, the convolution kernel consists of a Gaussian distributed 5x5 matrix. Optionally, the kernel may be hexagonal or circular, or any other shape that defines the control kernel to be applied to the selected pixel.

도 3은 표준편차와 시그마가 1인 5x5 행렬 가우시안컨벌루젼필터 (36)를 이용하여 상사치데이터 상에서 컨벌루젼필터링을 수행하는 방법을 설명한다. 이러한 특정한 형상에서는 도 3에 보이듯이 컨벌루젼커넬 (36)에 의해 중첩된 각각의 픽셀위치에 가중치가 할당된다. 가중치는 이 예에서는 그 상사치가 조절되는 선택된 픽셀인 중앙픽셀 (34)로부터의 거리에 의한다. 커넬에 의해 중첩된 각각의 픽셀위치에는 가우시안커넬 (36)의 우측에 있는 범례 (38)에 도시된 바와 같은 가우시안분포에 의한 가중치가 제공된다. 중앙픽셀 (34)에는 최대의 가중치가 주어진다. 인접한 픽셀들에는 선택된 픽셀 (34)의 중앙으로부터의 거리에 따른 더 작은 가중치가 주어진다.3 illustrates a method of performing convolution filtering on similar data using a 5x5 matrix Gaussian convolution filter 36 having a standard deviation and a sigma of 1. FIG. In this particular shape a weight is assigned to each pixel position superimposed by the convolution kernel 36 as shown in FIG. The weight is based on the distance from the center pixel 34, which in this example is the selected pixel whose similarity is adjusted. Each pixel position superimposed by the kernel is provided with a weight by Gaussian distribution as shown in legend 38 to the right of Gaussian kernel 36. The center pixel 34 is given the maximum weight. Adjacent pixels are given a smaller weight according to the distance from the center of the selected pixel 34.

범례 (38)를 보면, 가우시안커넬 (36)에 인접해서 중앙픽셀은 흰색익, 그렇게 해서 0.15보다 약간 큰 가중치를 가질 것임을 알 수 있다. 어떤 실시예들에서는 선택된 픽셀 자체의 원상사치를 좀더 크게 가중하는 것이 바람직한 경우에는 0.2나 0.5나 다른 값의 가중인수를 가질 수 있을지라도, 이 발명의 한 실시예에 따른 중앙픽셀 (34)은 0.162의 가중인수를 갖는다. 좀더 협소한 가우시안곡선의 경우에는 시그마가 0.6, 0.8 등과 같이 1 미만으로 낮게 선택될 수도 있으며, 그 것은 더 많은 중앙픽셀들에 대해 더 큰 가중치를 줄 것이다. 또한, 1.5나 2 등과 같이 좀더 큰 시그마가 선택될 수도 있다. 매우 작은 암을 탐지하지 못 할 우려가 있으면, 좀 더 큰 시그마로 데이터를 매끈하게 할 것이다.Looking at legend 38, it can be seen that the center pixel adjacent to Gaussian kernel 36 will have a white wing, thus a weight slightly greater than 0.15. Although in some embodiments it may be possible to have a weighting factor of 0.2 or 0.5 or some other value where it is desirable to weight the primordial value of the selected pixel itself, the center pixel 34 according to one embodiment of the invention is 0.162. Has a weighted number of. For narrower Gaussian curves, sigma may be chosen lower than 1, such as 0.6, 0.8, etc., which will give greater weight to more center pixels. In addition, larger sigma may be selected, such as 1.5 or 2. If you're concerned about not detecting very small cancers, you'll smooth your data with larger sigmas.

다음 4개의 가장 인접한 픽셀 (40)들은 다음으로 높은 값으로 가중된다. 도 3에 도시된 실시예에서는 이러한 4 개의 픽셀들의 각각을 위한 이 값은 약 0.1이다. 정확한 경로값은 우측의 범례 (38)에 도시되어 있으며, 다른 값도 가능하지만, 도시된 실시예에서는 0.0983의 행 수치를 갖는다. 간략하게 말해서, 중앙픽셀 (34)의 상사치는 이 경우에는 ~0.16인 가중인수에 의해 곱해진다. 인접한 픽셀 (40)들에 대해 다음으로 가까운 각각의 상사치는 이 경우에는 ~0.1인 각각의 대응하는 가중인수로 곱해져서 4 개의 픽셀 (40)들에 대한 4 개의 상사치의 각각에 대한 곱을 얻는다. 그리고 나서, 4개의 곱셈치는 중앙픽셀(34)을 위한 가중적 상사치의 곱셈치에 더해져서 합을 얻는다. 컨벌루젼커넬(36)에 의해 중첩된, 44와 46 및 50 등과 같은 다른 픽셀들과 마찬가지로, 잔여의 인접픽셀 (42)들은 각각의 가중인수들에 의해 곱해진 상사치들을 갖는다. 물론, 가중인수는 중앙픽셀 (34)로부터의 특정한 픽셀이 갖는 거리에 따라 더 작아진다. 예를 들어, 이 실시예에 따른 위치 (42)에 있는 한 픽셀을 위한 가중인수는 ~0.06인 반면에, 다른 픽셀(44)을 위한 가중치는 ~0.02이고, 또다른 픽셀 (46, 50)들을 위한 가중치는 각각 0.013과 0.003이다. 다시 말해서, 정확한 값은 컨벌루젼필터 (30)를 범례 (38)에 비교함으로써 알 수 있다.The next four nearest pixels 40 are weighted to the next highest value. In the embodiment shown in FIG. 3 this value for each of these four pixels is about 0.1. The exact path value is shown in legend 38 on the right side, although other values are possible, but in the illustrated embodiment it has a row number of 0.0983. In short, the similarity of the center pixel 34 is in this case multiplied by a weighted number of ˜0.16. Each next closest similarity for adjacent pixels 40 is multiplied by each corresponding weighted number, in this case ˜0.1, to obtain the product for each of the four similarities for the four pixels 40. The four multiplications are then added to the multiplication of the weighted similarities for the center pixel 34 to obtain a sum. Like other pixels, such as 44, 46, 50, etc., superimposed by the convolutional kernel 36, the remaining adjacent pixels 42 have similarities multiplied by their respective weighted numbers. Of course, the weighted number becomes smaller depending on the distance that a particular pixel has from the center pixel 34. For example, the weighting factor for one pixel at position 42 according to this embodiment is ˜0.06, while the weight for another pixel 44 is ˜0.02, and another pixel 46, 50 The weights are 0.013 and 0.003, respectively. In other words, the exact value can be seen by comparing the convolution filter 30 to the legend 38.

가중치들이 나타내는 픽셀들을 위한 각각의 상사치데이터로 곱해진 가중치들의 모든 곱셈치가 계산된 후에, 모든 곱셈치가 서로 더해져 컨벌루젼필터 전체에서의 모든 곱셈치를 위한 합을 얻는다. 새로운 상사치가 얻어진다. 이 발명에 따르면, 중앙픽셀 (34)의 상사치는 컨벌루젼커넬에 의해 중첩된 모든 화소의 곱셈치의 합으로서 계산된 상사치로 교체된다. 이제, 이 픽셀 (34)에 대한 컨벌루젼은 완료된다.After all multiplications of the weights multiplied by the respective similarity data for the pixels represented by the weights are calculated, all multiplications are added together to obtain a sum for all multiplications across the convolution filter. A new similarity is obtained. According to this invention, the top and bottom of the center pixel 34 are replaced by the top and bottom calculated by the sum of the multiplications of all the pixels superimposed by the convolution kernel. Now, the convolution for this pixel 34 is complete.

그리고 나서, 새로운 픽셀이 선택되어 중앙픽셀 (34)이 되고, 거기에서 컨벌루젼이 수행될 것이다. 컨벌루젼커넬은 승계적으로 영상 전체의 각각의 픽셀에 중첩된다. 컨벌루젼커넬의 아래에 있는 5x5 가우시안블록에 의해 중첩된 상사치는 커넬에 의해 정해진 각각의 대응하는 가중치에 의해 곱해진다. 이러한 과정은 모든 픽셀의 각각에 대해 수행되며, 그 곱셈치가 더해지고 계산된 값이 중앙픽셀에서의 원상사치를 교체한다. 이 것은 인접한 픽셀들로부터의 정보를 각각의 픽셀을 위한 유사도에 통합하는 효과를 갖는다. 설명된 바와 같이, 중앙픽셀로부터 멀어진 픽셀들은 중앙픽셀에 좀더 가까운 것들에 비해 덜 가중된다. 그리고 나서, 단계 22에서 영상이 표시장치에 표시된다.Then, a new pixel is selected to become the center pixel 34, where convolution will be performed. The convolutional kernel successively overlaps each pixel of the entire image. The similarity superimposed by the 5x5 Gaussian block underneath the convolutional kernel is multiplied by each corresponding weight defined by the kernel. This process is performed for each of every pixel, the multiplication of which is added and the calculated value replaces the primordial value at the center pixel. This has the effect of incorporating information from adjacent pixels into the similarity for each pixel. As explained, pixels away from the center pixel are less weighted than those closer to the center pixel. Then, in step 22, an image is displayed on the display device.

컨벌루젼필터링의 결과는 여러 가지의 허용가능한 기술에 의해 사용자에게 제공될 수 있다. 물론, 실제적 행 수치데이터는 인쇄물이나 기타의 가시적 표시장치에서 제공될 수 있다. 어떤 경우에는 실제적 상사치 데이터 자체를 제공하는 것이 유용할 수도 있으며, 의사가 특정조직에 대한 상세한 결정을 할 경우에는 유리할 수도 있다. 그러나, 상사치 자체의 수치적 인쇄물을 갖는 대부분의 사용자는 컨벌루젼 된 상사치를 나타내는 영상을 갖는 것만큼 유용하지 않을 것이다. 또한, 컨벌루젼필터의 결과물을 제공하는 좀더 양호한 방법은 대응하는 회색 MR 영상에 중첩적층된 단색의 형태에 있다. 그렇게 해서, 영상은 픽셀들이 상이한 값을 갖는 회색일 수 있다. 조절된 상사치데이터는 그러한 회색영상 상의 픽셀들에 가해져서 검사되는 암 또는 다른 조직의 위치를 관측자에게 좀더 명료하게 보여주는 새로운 영상을 생성한다.The result of convolutional filtering can be provided to the user by various acceptable techniques. Of course, the actual row numeric data can be provided in printed matter or other visible display devices. In some cases it may be useful to provide the actual similarity data itself, or it may be advantageous if the physician makes detailed decisions about a particular tissue. However, most users who have numerical printouts of analogues themselves will not be as useful as having images representing convolved analogues. Also, a better way to provide the result of the convolution filter is in the form of a monochromatic layer superimposed on the corresponding gray MR image. In so doing, the image may be gray in which the pixels have different values. The adjusted similarity data is applied to the pixels on such gray images to create a new image more clearly showing the viewer the location of the cancer or other tissue being examined.

또다른 선택사양적으로는 컨벌루젼필터데이터가 상이한 색상을 이용하여 상이한 유사도를 나타내면서 다색 표시장치에 표시될 수도 있다. 트레이닝세트 자체에 가장 유사한 조직은 적색 등과 같은 제1 색상으로 표시될 수 있다. 트레이닝세트에 그 다음으로 가장 유사한 조직은 적색이 아닌 다른 색상으로 표시될 수 있다. 이 부류 다음으로 가장 유사한 부류들은 이전의 두 가지의 부류들과 다른 제3의 색상으로 표시될 수 있다. 그렇게 해서, 컨벌루젼필터의 결과를 이용하여 나타낸 영상이 칼라 표시장치에 표시될 수 있고, 거기에서 픽셀들의 상이한 색상들은 트레이닝세트 조직과의 유사도의 상이함을 명료하게 표시할 수 있다.In another option, the convolution filter data may be displayed on a multicolor display device using different colors, showing different similarities. The tissue most similar to the training set itself may be indicated in a first color, such as red. The next most similar tissue in the training set may be displayed in a color other than red. The next most similar classes after this class may be represented in a third color different from the previous two classes. In this way, an image shown using the results of the convolution filter can be displayed on the color display, where different colors of pixels can clearly indicate the difference in similarity with the training set tissue.

도 2에서 컨벌루젼필터가 적용된 후의 영상에 좀더 가시적인 표시가 수행될 수도 있다. 이 발명의 제1 실시예에서 설명한 대로, 조절된 상사치데이터를 컨벌루젼필터(26)로부터 표시장치(22)로 직접 제공하는 대신에, 그 데이터가 역치비교단계 (28 : thresholding step)에서 역치에 비교되고, 예를 들어 이원영상 (binary image)을 생성하기 위한 후처리단계 (30)로 이어질 수 있다. 역치비교단계 (28)에 따르면, 상사치가 정해진 역치 이상인 모든 픽셀들은 동일부류에 속하는 것으로 간주된다. 상사치가 역치보다 낮으면, 조직은 관심조직의 부류에 속하지 않는다고 판정되고 버려진다. 이원영상의 생성과 함께, 관심부류인 것으로 판정된 모든 조직은 관심부류 내의 다른 모든 조직들과 매우 동일한 색상과 특징을 갖게 나타내어진다. 관심부류 내에 있지 않은 픽셀들은 뚜렷이 다른 색상을 갖게 도시되고, 색상은 회색이거나 또는 실제적인 스펙트럼색일 수 있다. 그렇게 해서, 이원영상은 각각의 픽셀이 관심부류의 내에 있건 외에 있건 간에 이원영상의 에지에 접근하여뚜렷이 정해진 에지들을 가질 수 있고, 그렇게 해서, 검사중인 영상의 조직의 영역들을 좀더 뚜렷하게[ 대조할 수 있다. 회색영상이 이용되는 경우에, 부류 내의 픽셀들은 스펙트럼의 한 쪽 단부에 있는 색상이나 검정 또는 흰색으로 될 수 있고, 다른 모든 픽셀들은 각각의 회색조 색상으로 나타내어질 수 있다. 예를 들어, 상사치가 역치 이상인 모든 데이터요소들의 각각이 검정으로 된다면, 이 것은 MRI 영상의 상부에 중첩되어 서로 아주 유사한 영역들을 좀더 명료하게 나타낸다. 단계 28에서의 역치비교후에, 단계 30에서 이원영상 후처리가 수행되어 이원영상을 좀더 매끈하게 하고 필터링한다. 그 후에, 단계 30의 이원영상은 사용자가 관측하도록 표시장치 (22)에 제공된다. 그렇게 해서, 컨벌루젼필터는 필요하다면 이원영상의 생성이 뒤따르는 역치비교의 직전에 데이터에 가해질 수도 있다.In FIG. 2, a more visible display may be performed on the image after the convolution filter is applied. As described in the first embodiment of the present invention, instead of providing the adjusted similarity data directly from the convolution filter 26 to the display device 22, the data is thresholded in a thresholding step 28. Can be compared to, for example, followed by a post-processing step 30 to generate a binary image. According to the threshold comparison step 28, all pixels whose similarity is above a predetermined threshold are considered to belong to the same class. If the similarity is lower than the threshold, the organization is determined not to belong to the class of interest and discarded. With the generation of binary images, all tissues determined to be of interest class are represented with the same color and characteristics as all other tissues in the interest class. Pixels that are not within the class of interest are shown to have distinctly different colors, and the colors may be gray or actual spectral colors. In this way, the binary image can have sharply defined edges approaching the edge of the binary image, whether each pixel is within or outside the class of interest, and thus more sharply contrast the areas of the tissue of the image under examination. If a gray image is used, the pixels in the class can be in color at one end of the spectrum or in black or white, and all other pixels can be represented in their respective grayscale colors. For example, if all of the data elements with similarities above the threshold become black, this overlaps the top of the MRI image to more clearly show areas that are very similar to each other. After the threshold comparison in step 28, the binary image post-processing is performed in step 30 to make the binary image smoother and filtered. Thereafter, the binary image of step 30 is provided to the display device 22 for the user to observe. In this way, a convolution filter may be applied to the data, if necessary, immediately before the threshold comparison followed by the generation of the binary image.

한 실시예에 따르면, 각각의 픽셀의 상사치가 컨벌루젼필터에 의해 조절될 때에, 조절된 상사치는 제2 메모리에 저장되고, 그 원상사치는 제1 메모리에 잔류되다가 모든 후속컨벌루젼계산에 이용된다. 즉, 제1 픽셀이 컨벌루젼이 적용되고 그 상사치가 조절되면, 이 상사치는 별도의 메모리에 저장되고, 원상사치는 제1 메모리에 잔류된다. 그리고 나서, 컨벌루젼커넬이 그 상사치가 방금 조절된 것의 다음으로 인접한 픽셀에 가해진다. 제1 메모리에 저장된 원상사치데이터가 현재 컨벌루젼커넬의 중앙에 있는 다른 픽셀을 조절하기 위한 컨벌루젼에 이용된다. 그렇게 해서, 픽셀의 각각으로부터의 원상사치만이 중앙픽셀의 상사치를 조절하기 위해 이용된다. 이 방법에 따르면, 상사치는 원래의 값에 대한 관계에 의해서만 변화하며, 이미 변화된 픽셀의 상사치데이터의 어떤 것에 의해서도 조절이 이루어지지 않는다.According to one embodiment, when the similarity of each pixel is adjusted by the convolution filter, the adjusted similarity is stored in the second memory, and the original similarity remains in the first memory and used for all subsequent convolution calculations. . In other words, when the convolution is applied to the first pixel and its similarity is adjusted, this similarity is stored in a separate memory, and the original similarity remains in the first memory. Then, the convolution kernel is applied to the next adjacent pixel whose similarity is just adjusted. The primordial luxury data stored in the first memory is used for convolution to adjust another pixel in the center of the current convolutional kernel. In that way, only the primitive value from each of the pixels is used to adjust the similarity of the center pixel. According to this method, the similarity changes only by the relationship to the original value, and no adjustment is made by any of the similarity data of the pixels which have already changed.

선택사양적으로는, 픽셀이 그 상사치를 조절했다면, 조절된 상사치는 거기에 인접한 픽셀들의 후속적인 컨벌루젼필터링에 이용된다. 이 것은 그 상사치가 이미 거기에 인접한 픽셀들에 의해 조절되었으므로, 그러한 특정한 픽셀의 강도를 다른 것들에 비해 증대시키는 효과를 갖는다. 항상 양호한 것은 아니지만, 상사치가 가능한 한 균일하게 하려는 시도가 바람직한 어떤 실시예에서는 후자가 이용될 수도 있다.Optionally, if a pixel has adjusted its similarity, the adjusted similarity is used for subsequent convolutional filtering of pixels adjacent thereto. This has the effect of increasing the intensity of that particular pixel compared to others, since its similarity has already been adjusted by the pixels adjacent to it. Although not always good, the latter may be used in some embodiments where an attempt is made to make the similarity as uniform as possible.

도 3과 관련해서 설명한 바와 같은 5x5 행렬 가우시안분포식 컨벌루젼필터 외에, 다른 종류의 컨벌루젼필터링이 이용될 수도 있다. 예를 들어, 푸리에정의구역의 창처리부가 로우패스필터로 작용할 수도 있다. 푸리에정의구역의 창처리부의 개요는 표준영상처리교재로부터 볼 수 있으므로, 여기에서는 상세하게 설명하지 아니 한다.In addition to the 5x5 matrix Gaussian distributed convolution filter as described with respect to FIG. 3, other types of convolution filtering may be used. For example, the window processor of the Fourier definition zone may act as a low pass filter. The outline of the window processing section of the Fourier definition area can be seen from the standard image processing textbooks, and thus will not be described in detail here.

인체 내에서의 종양이나 일반적인 다른 조직들이 일반적으로 다수의 인접한 픽셀로서의 영상에서 보여지므로, 인접한 픽셀들은 부류들로의 데이터의 구분이나 분할에 대한 신뢰를 증대하기 위한 정보를 제공할 수 있다. 이 발명의 컨벌루젼필터는 영상의 판독성을 크게 개선하고 종양에 대한 적절한 레이블링을 증대시키면서도 잘못된 레이블링을 감소시키는 것으로 밝혀졌다. 그렇게 해서, 이 발명의 컨벌루젼필터의 뒤에서의 영상에서 유사한 종류의 조직들을 좀더 용이하게 알 수 있는 반면에, 가짜 양성체는 그 것들이 제거되거나 감소될 것이기 때문에 적절하게 해석될 가능성이 훨씬 크다.Since tumors or other tissues in general in the human body are generally seen in images as a plurality of adjacent pixels, the adjacent pixels can provide information to increase confidence in the division or segmentation of the data into classes. The convolution filter of this invention has been found to greatly improve the readability of the image and to reduce false labeling while increasing appropriate labeling for tumors. Thus, while similar types of tissues can be more readily identified in the image behind the convolution filter of the present invention, sham positives are much more likely to be properly interpreted because they will be removed or reduced.

도 4a 및 4b는 컨벌루젼필터가 적용되었을 때의 이 발명에서 얻어지는 개선을 예시하고 있다. 도4a에는 4 개의 백색화살표 (50, 52, 54, 56)가 도시되어 있다. 이 화살표의 각각은 MRI 영상이 생성된 후에 수행되는 검시에 의한 피검물에 있는 공지의 종양을 가리킨다. 화살표 (50, 52)로 지칭된 큰 종양이 그 중앙의 괴사조직에서 이전에는 살아 있는 암조직의 일부이었던 죽은 세포들을 포함하는 것이 주목할 만하다.4A and 4B illustrate the improvement obtained in this invention when a convolution filter is applied. Four white arrows 50, 52, 54, 56 are shown in FIG. Each of these arrows points to a known tumor in the specimen by necropsy performed after the MRI image is generated. It is noteworthy that large tumors, referred to as arrows 50 and 52, contain dead cells that were previously part of living cancerous tissue in their central necrotic tissue.

이 예를 위한 구분을 수행함에 있어서 트레이닝세트를 설정하기 위해 공지의 종양위치가 이용되고, 물체에서의 각각의 픽셀을 위한 상사치가 계산되었다. 주어진 역치와 갖거나 초과하는 상사치가 도 4a 및 4b에서 흑색으로 레이블링된 그러한 픽셀들에 역치를 적용함으로써 이원구분결과가 얻어졌다. 종양과 매우 유사한 것으로 식별된 이러한 흑색픽셀들은 종래의 MR 영상 위에 중첩되었다.In performing the divisions for this example, known tumor locations were used to set up the training set, and the similarities for each pixel in the object were calculated. A binary classification result was obtained by applying a threshold to those pixels having or exceeding a given threshold and labeled black in FIGS. 4A and 4B. These black pixels, identified as very similar to tumors, were superimposed on conventional MR images.

컨벌루젼필터링이 없이 수행된 이원구분결과들을 제공하는 도 4a의 영상은 다수의 가짜 양성체를 포함한다. 예를 들어, 중앙영역 (60)에는 가짜로 레이블링된 흑색영역이 있고, 그 것은 어떤 의사들에 의해 종양으로 간주될 수도 있다. 다른 가짜의 양성체 (62, 64)는 영상의 여러 위치에서 보인다. 보다 중요한 것은, 화살표 (54)로 지칭된 공지의 종양위치가 현재의 영상에서 가짜의 음성위치인 것을 나타내는 흑색으로 레이블링되지 않은 것이다. MRI가 취해진 후에 수행되는 검시에 의한 위치(54)에 있는 것으로 알려진 종양이 종래의 표준적인 MR 영상법을 이용해서는 식별되지 않았다.The image of FIG. 4A, which provides binary classification results performed without convolution filtering, includes a number of sham positives. For example, in the central region 60 there is a fake labeled black region, which may be considered a tumor by some physicians. Other pseudopositive bodies 62, 64 are seen at various locations in the image. More importantly, the known tumor location, referred to as arrow 54, is not labeled black, indicating that it is a false negative location in the current image. Tumors known to be in position 54 by necropsy performed after MRI were taken were not identified using conventional standard MR imaging.

도 4b는 이 발명에 따른 컨벌루젼필터링이 뒤따르는 도 4a에 도시된 동일한MR 영상데이터의 회색조 영상의 이원형상을 나타내고 있다. 즉, MR 영상을 이루는 데이터요소들에서 이 발명과 관련하여 설명한 상사치데이터값 분석이 이루어졌다. 도면의 픽셀들에 대응하는 각각의 데이터요소들을 위한 상사치가 얻어진 후에, 컨벌루젼필터가 상사치데이터에 적용되었고, 각각의 픽셀의 상사치는 인접한 픽셀의 가중치에 의해 조절되었다. 그리고 나서, 역치가 적용되었고 역치보다 크거나 같은 상사치를 갖는 모든 픽셀들이 흑색으로 표시되었다. 역치보다 작은 상사치를 갖는 픽셀들은 각각의 원래의 자기공명특성에 따라 회색조 패턴으로 표시되었다. 이 것은 실제적 종양조직 자체를 좀더 명료하게 묘사하면서도 가짜의 양성체를 제거하거나 그 수를 감소시키는 양호한 효과를 갖는다. 예를 들어, 도 4b에 보이듯이, 종양위치 (50, 52, 56)들은 좀더 명료하게 보고 알 수 있다. 무엇보다도 중요한 것은 한 위치 (54)에서의 종양조직이 이제 화살표 54에 의해 지칭된 흑색구역으로서 볼 수 있다는 것이다. 인접한 픽셀들의 가중치에 따라 각 픽셀의 값을 조절함으로써 모든 결과가 한 위치 (54)가 이제 명백하게 종양조직으로 보이게 하는 픽셀들을 포함한 인접한 종양의 효과를 보강하게 되었다.Fig. 4B shows the binary shape of the grayscale image of the same MR image data shown in Fig. 4A followed by convolution filtering according to the present invention. That is, the similarity data value analysis described in connection with the present invention was performed on the data elements constituting the MR image. After the similarity for each data element corresponding to the pixels in the figure was obtained, a convolution filter was applied to the similarity data, and the similarity of each pixel was adjusted by the weight of the adjacent pixel. Then the threshold was applied and all pixels with similarities greater than or equal to the threshold were displayed in black. Pixels with similarities less than the threshold were shown in grayscale patterns according to their original magnetic resonance properties. This has a good effect of eliminating or reducing the number of sham positives, while describing the actual tumor tissue more clearly. For example, as shown in Figure 4b, tumor locations (50, 52, 56) can be seen more clearly see. Most important of all, the tumor tissue at position 54 can now be seen as the black zone indicated by arrow 54. By adjusting the value of each pixel according to the weight of the adjacent pixels, all the results reinforce the effect of adjacent tumors, including the pixels where one location 54 is now apparently seen as tumor tissue.

컨벌루젼필터는 또한 다수의 가짜의 양성적 종양위치로의 레이블링이 영상으로부터 완전히 제거되는 양호한 효과를 갖는다. 다른 가짜의 양성체는 좀더 명료하게 가짜 양성체인 것으로 보여지고, 그럼으로써 분석중인 의사를 혼란스럽게 하지 않는다. 예를 들어, 바닥영역 (60)에서의 가짜의 양성체로의 흑색 레이블링은 완전히 사라졌다. 영상 전체에서 거의 모든 가짜의 양성체 레이블링이 제거되었다. 영역 62와 64에 도시된 것과 같이, 컨벌루젼필터링 전에 가짜의 양성체로의레이블링은 이 발명의 컨벌루젼필터를 이용한 후에 크기가 크게 줄었다. 그렇게 해서, 이러한 영역들이 위치 50, 52, 54, 56에서의 실제의 종양조직에서 일어난 것처럼 동일한 크기로 확대되거나 유지되는 대신에 컨벌루젼필터로 인해 크기가 줄어들었으므로, 의사는 이러한 영역들이 종양이 아니라, 대신에 가짜의 양성체들을 나타낸다고 좀더 확신할 수 있다.Convolution filters also have the good effect that labeling of multiple fake benign tumor sites is completely removed from the image. Other false positives appear to be more clearly false positives, thereby not confusing the physician under analysis. For example, the black labeling of sham positives in the bottom region 60 completely disappeared. Almost all fake positive labeling was removed throughout the image. As shown in regions 62 and 64, the labeling of sham progenitors before convolutional filtering was greatly reduced in size after using the convolution filter of the present invention. In this way, since these areas were reduced in size due to the convolution filter instead of being enlarged or maintained at the same size as occurred in the actual tumor tissue at positions 50, 52, 54, 56, the surgeon determined that these areas Instead, you can be more confident that they represent fake positives instead.

이 발명의 방법은 구분 후에 상사치데이터의 후처리단계로서의 컨벌루젼필터를 적용함으로써 양호한 결과를 얻는다. 원래의 센서에서 나온 영상데이터의 처리에 컨벌루젼필터가 이용되었다는 보고문헌은 있지만, 이 발명의 발명들이 아는 한, 이전에는 그러한 컨벌루젼필터가 구분을 개선하기 위해 상사치데이터의 후처리에서 이용되지는 않았다.The method of the present invention obtains good results by applying a convolution filter as a post-processing step of similarity data after the classification. There are reports that a convolution filter has been used to process image data from the original sensor, but as far as the inventions of the present invention are concerned, such convolution filters have not previously been used in post-processing of analogue data to improve discrimination. Did.

위로부터, 이 발명의 특정한 실시예들이 예시적 목적으로 설명되었을지라도, 이 발명의 정신 및 범위로부터 벗어남이 없이 다양한 조절이 이루어질 수 있음을 알 수 있을 것이다. 그러므로, 이 발명은 첨부된 청구범위에 의하지 아니 하고는 제한되지 아니 한다.From the above, although certain embodiments of the invention have been described for illustrative purposes, it will be appreciated that various adjustments may be made without departing from the spirit and scope of the invention. Therefore, the invention is not to be restricted except in light of the attached claims.

Claims (14)

데이터를 조절하는 방법에 있어서,In the method of adjusting data, 물체에서의 대응하는 위치들을 표시하는 다수의 별개의 데이터요소들을 이용하여 해당 물체의 표시를 제1 메모리에 저장하고,Storing a representation of the object in the first memory using a plurality of separate data elements representing corresponding positions in the object, 해당 물체의 성질을 나타내는 상사치를 각각의 데이터요소에 할당하며,Assign each data point a similarity that represents the object's properties. 상기 별개의 데이터요소들의 상사치들을 일정한 패턴으로 조직하되, 그러한 패턴에서 서로 인접한 데이터요소들이 해당 물체내에서의 인접한 위치들을 표시하게 하는 방식으로 조직하고,Organize the similarities of the separate data elements into a pattern, in such a way that adjacent data elements in such a pattern indicate adjacent positions within the object, 임의의 데이터요소와 다수의 인접한 데이터요소들의 가중적 상사치에 따라 상기 임의의 데이터요소의 상사치를 조절하며,Adjust the similarity of the arbitrary data element according to the weighted similarity of the arbitrary data element and a plurality of adjacent data elements, 데이터요소들의 조절된 상사치들을 저장하고,Store the adjusted analogs of the data elements, 데이터요소들의 조절된 상사치에 따른 표시특성을 갖는 다수의 별개의 가시적 픽셀들로 이루어진 이용자가 관측가능한 영상을 형성하는 단계들을 포함하는 방법.Forming a user observable image of a plurality of distinct visible pixels having display characteristics in accordance with the adjusted similarity of the data elements. 청구항 1에 있어서,The method according to claim 1, 상기 임의의 데이터요소들 중의 세 개의 데이터요소들 내에 배치된 모든 데이터요소들이 인접한 것으로 간주되는 것을 특징으로 하는 방법.And all data elements disposed within three of the arbitrary data elements are considered adjacent. 청구항 1에 있어서,The method according to claim 1, 상기 임의의 데이터요소들 중의 두 개의 데이터요소들 내에 배치된 모든 데이터요소들이 인접한 것으로 간주되는 것을 특징으로 하는 방법.And all data elements disposed within two of the arbitrary data elements are considered adjacent. 청구항 1에 있어서,The method according to claim 1, 다른 인접한 데이터요소들에 비교한 하나의 인접한 데이터요소의 가중치가 데이터요소들의 가우시안 패턴의 가중에 의하는 것을 특징으로 하는 방법.Wherein the weight of one adjacent data element compared to other adjacent data elements is due to the weighting of the Gaussian pattern of the data elements. 청구항 1에 있어서,The method according to claim 1, 상기 임의의 픽셀의 값을 조절하는 단계가,Adjusting the value of the arbitrary pixel, 상기 임의의 픽셀과 다수의 인접한 픽셀들을 갖는 컨벌루젼커넬을 형성하고,Form a convolution kernel with the arbitrary pixel and a plurality of adjacent pixels, 상기 임의의 픽셀과 인접한 픽셀들의 상사치를 상기 컨벌루젼커넬 내의 각각의 픽셀의 가중치로 곱하여 제1 곱셈치들을 얻으며,Multiplying the similarity of the pixel with adjacent pixels by the weight of each pixel in the convolution kernel to obtain first multiplications, 상기 컨벌루젼필터 내의 모든 픽셀들의 상기 곱셈치들을 더하여 가중적 상사치를 얻고,A weighted similarity is obtained by adding the multiplications of all the pixels in the convolution filter, 상기 임의의 픽셀의 상사치를 상기 가중적 상사치로 저장하는 단계들을 포함하는 것을 특징으로 하는 방법.Storing the similarity of the arbitrary pixel as the weighted similarity. 청구항 5에 있어서,The method according to claim 5, 모든 가중인수의 합이 1인 것을 특징으로 하는 방법.The sum of all weighted numbers is one. 청구항 1에 있어서,The method according to claim 1, 트레이닝세트의 데이터요소들을 형성하고,Form the data elements of the training set, 테스팅세트의 데이터요소들을 형성하며,Form the data elements of the testing set, 각각의 테스트데이터요소들을 상기 트레이닝세트의 데이터요소들과 비교하여 상기 테스트데이터요소를 위한 상사치를 얻는 단계들을 부가적으로 포함하는 것을 특징으로 하는 방법.Comparing each test data element with data elements of the training set to obtain a similarity for the test data element. 청구항 1에 있어서,The method according to claim 1, 각각의 데이터요소의 상사치를 제1 메모리에 저장하고,Storing the similarity of each data element in the first memory, 데이터요소들의 조절된 상사치들을 제2 메모리에 저장하는 단계들을 부가적으로 포함하는 것을 특징으로 하는 방법.And storing the adjusted similarities of the data elements in a second memory. 청구항 1에 있어서,The method according to claim 1, 상기 별개의 데이터요소들의 상사치들을 조직하는 단계가 상기 제1 메모리 내에서의 상기 별개의 데이터요소들의 저장위치를 조직함으로써 수행되는 것을 특징으로 하는 방법.Organizing similarities of the separate data elements is performed by organizing a storage location of the separate data elements in the first memory. 청구항 1에 있어서,The method according to claim 1, MR 데이터의 이원영상을 생성하는 단계를 부가적으로 포함하고,Additionally generating a binary image of the MR data, 상기 MR 데이터의 이원영상을 생성하는 단계는,Generating a binary image of the MR data, 상기 상사치를 위한 역치를 설정하며,Setting a threshold for the similarity, 상기 역치보다 큰 상사치를 갖는 모든 데이터요소들을 포함하는 데이터요소부류를 생성하는 단계들을 포함하는 것을 특징으로 하는 방법.Generating a data element class comprising all data elements having a superiority greater than the threshold. 청구항 10에 있어서,The method according to claim 10, 임의의 부류 내의 데이터요소들을 나타내는 모든 픽셀들을 단색으로 표시하고,Display all pixels representing data elements in any class in monochrome, 상기 임의의 부류 내의 데이터요소들과 상이한 색을 이용하여 상기 임의의 부류 내에 있지 않은 픽셀들을 표시하는 단게들을 부가적으로 포함하는 것을 특징으로 하는 방법.And additionally indicative of pixels that are not in the any class using a different color than data elements in the any class. 청구항 11에 있어서,The method according to claim 11, 상기 단색이 회색조 샥상표에서 선택된 한 색이고, 영상 전체가 회색조로 나타내어진 것을 특징으로 하는 방법.Wherein said monochromatic color is one color selected from the grayscale < RTI ID = 0.0 > 청구항 11에 있어서,The method according to claim 11, 관심부류를 위해 선택된 상기 단색이 흑색이고, 관심부류 내에 있지 않은 모든 다른 조직들은 흑색과 다른 색상을 갖는 회색조 패턴으로 나타내어진 것을 특징으로 하는 방법.Wherein said solid color selected for the class of interest is black, and all other tissues not within the class of interest are represented in a grayscale pattern with a color different from black. 청구항 11에 있어서,The method according to claim 11, 상기 단색이 육안으로 볼 수 있는 색스펙트럼으로부터 선택되고, 관심부류 내에 있지 않은 조직을 나타내는 픽셀들은 상기 색스펙트럼에 있는 다른 색을 이용하여 표시된 것을 특징으로 하는 방법.Wherein said monochromatic color is selected from a visually visible color spectrum and pixels representing tissue that is not within the class of interest are displayed using other colors in the color spectrum.
KR1020027006657A 1999-11-24 2000-11-24 Convolution filtering of similarity data for visual display of enhanced image KR20020079742A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16741199P true 1999-11-24 1999-11-24
US60/167,411 1999-11-24
PCT/US2000/032207 WO2001039122A1 (en) 1999-11-24 2000-11-24 Convolution filtering of similarity data for visual display of enhanced image

Publications (1)

Publication Number Publication Date
KR20020079742A true KR20020079742A (en) 2002-10-19

Family

ID=22607283

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020027006657A KR20020079742A (en) 1999-11-24 2000-11-24 Convolution filtering of similarity data for visual display of enhanced image
KR1020027006616A KR20020077345A (en) 1999-11-24 2000-11-24 Dynamic thresholding of segmented data sets and display of similarity values in a similarity image

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020027006616A KR20020077345A (en) 1999-11-24 2000-11-24 Dynamic thresholding of segmented data sets and display of similarity values in a similarity image

Country Status (7)

Country Link
EP (2) EP1236178A1 (en)
JP (2) JP2003515828A (en)
KR (2) KR20020079742A (en)
AU (2) AU763454B2 (en)
CA (2) CA2391290A1 (en)
NO (2) NO20022447L (en)
WO (2) WO2001039122A1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO20020780D0 (en) * 2002-02-15 2002-02-15 Amersham Health As Image Analysis
GB0226787D0 (en) * 2002-11-18 2002-12-24 Qinetiq Ltd Measurement of mitotic activity
US7526115B2 (en) 2004-02-23 2009-04-28 Siemens Medical Solutions Usa, Inc. System and method for toboggan based object segmentation using divergent gradient field response in images
US7440628B2 (en) * 2004-08-31 2008-10-21 Siemens Medical Solutions Usa, Inc. Method and system for motion correction in a sequence of images
KR100643305B1 (en) 2005-02-14 2006-11-10 삼성전자주식회사 Method and apparatus for processing line pattern using convolution kernel
US10303717B2 (en) * 2014-02-10 2019-05-28 Nec Corporation Search system, search method and program recording medium
RU2690224C2 (en) 2014-04-03 2019-05-31 Конинклейке Филипс Н.В. Image processing and analysis device
JP6910068B2 (en) * 2015-06-11 2021-07-28 ユニバーシティ オブ ピッツバーグ−オブ ザ コモンウェルス システム オブ ハイヤー エデュケーションUniversity Of Pittsburgh Of The Commonwealth System Of Higher Education Systems and methods for investigating regions of interest in hematoxylin-eosin (H & E) stained tissue images and quantifying intratumoral cell spatial heterogeneity with multiplexed / highly multiplexed fluorescent tissue images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262945A (en) * 1991-08-09 1993-11-16 The United States Of America As Represented By The Department Of Health And Human Services Method for quantification of brain volume from magnetic resonance images
US5311131A (en) * 1992-05-15 1994-05-10 Board Of Regents Of The University Of Washington Magnetic resonance imaging using pattern recognition
JP3346679B2 (en) * 1994-06-14 2002-11-18 日本電信電話株式会社 Image inspection / recognition method, reference data creation method used therefor, and these devices

Also Published As

Publication number Publication date
NO20022448L (en) 2002-07-15
EP1236178A1 (en) 2002-09-04
CA2391289A1 (en) 2001-05-31
CA2391290A1 (en) 2001-05-31
EP1236176A1 (en) 2002-09-04
KR20020077345A (en) 2002-10-11
NO20022447L (en) 2002-07-22
NO20022447D0 (en) 2002-05-23
AU763459B2 (en) 2003-07-24
NO20022448D0 (en) 2002-05-23
JP2003515828A (en) 2003-05-07
WO2001039122A1 (en) 2001-05-31
JP2003515368A (en) 2003-05-07
WO2001039123A1 (en) 2001-05-31
AU763454B2 (en) 2003-07-24
AU1796001A (en) 2001-06-04
AU2046901A (en) 2001-06-04

Similar Documents

Publication Publication Date Title
NL2010613C2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model field of the disclosure.
US6674880B1 (en) Convolution filtering of similarity data for visual display of enhanced image
US4945478A (en) Noninvasive medical imaging system and method for the identification and 3-D display of atherosclerosis and the like
US7483919B2 (en) Object based image retrieval
US7136516B2 (en) Method and system for segmenting magnetic resonance images
JP2019537180A (en) Non-invasive detection method of tumor and / or healthy tissue and hyperspectral imaging device
EP3207521A1 (en) Image analysis method supporting illness development prediction for a neoplasm in a human or animal body
Rahman et al. Developing a retrieval based diagnostic aid for automated melanoma recognition of dermoscopic images
Krishnakumar et al. Effective segmentation and classification of brain tumor using rough K means algorithm and multi kernel SVM in MR images
KR20180022607A (en) Determination of result data on the basis of medical measurement data from various measurements
US11250569B2 (en) Systems and methods for functional imaging follow-up evaluation using deep neural network
KR20020079742A (en) Convolution filtering of similarity data for visual display of enhanced image
Armya et al. Medical images segmentation based on unsupervised algorithms: a review
Patel et al. Medical image enhancement using histogram processing and feature extraction for cancer classification
Saalbach et al. On the application of (topographic) independent and tree-dependent component analysis for the examination of DCE-MRI data
ALOUPOGIANNI et al. Binary Malignancy Classification of Skin Tissue Using Reflectance and Texture Features from Macropathology Multi-Spectral Images
Wang et al. Examination of Medical Microscopic Image Classification Algorithm and Its Application in the Evaluation of Coronary Artery Atherosclerosis Plaque.
Li et al. Research on Lung Tumor Cell Image Processing and Identification
SHAREEF et al. Improving Cervical Cancer Classification on MRI using Learning Machine Approach and Fuzzy Segmentation
KS et al. DIAGNOSIS OF SKIN CANCER USING IMAGE PROCESSING
Müller MRI Data
Asaduzzaman et al. Image analysis with machine learning algorithms to assist breast cancer treatment
Yadav et al. Texture Segmentation and Features of Medical Images
Obrestad Prostate Lesion Detection on Apparent Diffusion Coefficient MRI based on Convolutional Neural Networks
Müller Nephroblastoma in MRI Data

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid