KR101931564B1 - Device and method for processing image using image registration - Google Patents

Device and method for processing image using image registration Download PDF

Info

Publication number
KR101931564B1
KR101931564B1 KR1020170027585A KR20170027585A KR101931564B1 KR 101931564 B1 KR101931564 B1 KR 101931564B1 KR 1020170027585 A KR1020170027585 A KR 1020170027585A KR 20170027585 A KR20170027585 A KR 20170027585A KR 101931564 B1 KR101931564 B1 KR 101931564B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
plane
step
vector
Prior art date
Application number
KR1020170027585A
Other languages
Korean (ko)
Other versions
KR20180101672A (en
Inventor
조승룡
이호연
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170027585A priority Critical patent/KR101931564B1/en
Publication of KR20180101672A publication Critical patent/KR20180101672A/en
Application granted granted Critical
Publication of KR101931564B1 publication Critical patent/KR101931564B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/416Exact reconstruction

Abstract

본 발명은 생분자의 부분 또는 전체가 포함된 3차원 영상을 구성하는 정점의 벡터를 산출하는 연산부; The invention computing unit for calculating a vector of vertices constituting the 3D that contains part or all of the biomolecules image; 연산부가 산출한 3차원 영상 중 부분 영상에 포함된 평면에 포함되어 전체 영상의 평면에 대응시키기 위한 특징자를 추출하는 추출부; It is included in the plane including the additional operation portion image of the three-dimensional images calculated extracting unit which extracts the features to correspond to the entire image plane; 및 특징자와 연산부가 산출한 3차원 영상 중 전체 영상에 포함된 평면을 영상 정합시켜 3차원 모델을 결정하는 영상 정합부를 포함하여, 특징자를 3차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 한다. And comparing the characteristic characters and calculation portion calculating a three-dimensional image of the image matching the plane included in the whole image by including parts of image registration determining the three-dimensional models, in association with those characteristics in a tangential plane including the three-dimensional overall image similarity and it is characterized in that for reconstructing a 3D model.
본 발명은 3차원 부분 영상의 접평면 중 추출된 희소 특징자를 ICP 알고리즘의 초기조건으로 설정하여, 특징자와 3차원 전체 영상의 특징이 일치하도록 정합하여 영상 정합의 결과가 지역 최소해가 아닌 전역 최소해를 획득할 수 있는 이점이 있다. The global minimum of this invention is to set cut a rare feature extraction of the tangent plane of the 3-D partial image to the initial conditions of the ICP algorithm, to match the characteristics of the feature character and a three-dimensional overall image to match the result of the image matching, not by local minimum It has the advantage that it can be obtained.

Description

영상 정합을 이용한 영상 처리 장치 및 방법{DEVICE AND METHOD FOR PROCESSING IMAGE USING IMAGE REGISTRATION} Image processing apparatus and method using the image matching {DEVICE AND METHOD FOR PROCESSING IMAGE USING IMAGE REGISTRATION}

본 발명은 영상 정합을 이용한 영상 처리 장치 및 방법에 관한 것이다. The present invention relates to image processing apparatus and method using the image matching.

하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 얻어지게 된다. When taking pictures from a different one of a scene or target time or point of view, the image becomes different from each other obtained from the coordinate system. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. Image registration (registration image) is deformed in this way the different image processing techniques, such as the one shown in the coordinate system. 즉, 영상을 정합하여 하나의 영상을 구성하기 위해서는 부분영상과 전체 영상에 동시에 존재하는 특징을 이용하여야 한다. That is, in order to form one image by matching the image to be used for features that exist at the same time, the part image and the whole image. 이를 통해, 상이한 측정 방식으로 획득한 영상이 어떻게 대응되는지를 알 수 있다. Through this, it can be seen how the acquired image corresponding to a different measurement method.

영상 정합은 세기 바탕 방식과 특징 바탕 방식으로 나뉜다. Image matching is divided into intensity based methods and feature based manner. 고정된 영상을 참조영상 혹은 원본영상이라 하고, 맞추어질 영상을 맞출영상이라고 한다. It referred to with reference to a fixed video image or the source image as the image, and the image quality comes to fit. 영상 정합은 맞출영상을 공간적으로 변형해 참조영상에 맞추는 과정을 포함한다. The image registration comprises the process of matching the reference image to a spatial transformation to the image match. 세기 바탕 방식은 영상의 세기의 형태를 비교하는 방식이고, 특징 바탕 방식은 영상 속의 점, 선, 테두리 등을 찾아 서로 맞추는 방식이다. Century based scheme is a way of comparing the intensity of the image in the form of, based on feature matching scheme is a scheme to each other to find the points, lines, borders, and so on in the image. 세기 바탕 방식은 그림을 통째로 비교해 정합하는 데 반해, 특징 바탕 방식은 둘 이상의 그림 속에서 여러 개의 특징을 찾아 비교한다. Century based approach is contrary to the matching compare the whole picture, the feature based approach compares find several features in more than one figure. 두 영상 속에서 몇 개의 특징점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다. In the two images to know the correspondence between the number of feature points can be calculated, the corresponding relationship of the other points in the image from which it is possible to determine the conversion relationship between the two images.

또한, 영상 정합은 한 가지 방식의 영상들을 맞추는 단일 방식 정합과 여러 방식의 영상을 서로 맞추는 여러 방식 정합으로 나뉜다. Further, image matching is divided into an image of a single system matches the number of ways to match the image of the one way in a number of ways mating fit with each other. 단일 방식 정합은 한 가지 스캐너, 혹은 측정 장치에서 얻어진 영상만을 정합하는 것이고, 여러 영상 방식은 서로 다른 스캐너, 혹은 측정 장치에서 얻어진 영상들을 정합하는 것이다. Single matching method is to match only the image obtained in one scanner, or the measuring device, various imaging modalities is to match the images obtained in the different scanners, or the measuring device.

마지막으로, 영상 정합은 자동화의 단계에 따라, 수동, 대화식, 반자동, 자동 방식으로 나눌 수 있다. Finally, the image registration can be classified according to the stage of automation, manual, interactive, semi-automatic manner. 수동 방식은 도구를 이용해 수동으로 맞출영상을 참조영상에 정렬한다. Passive approach aligns the image focus manually using the tools in the reference image. 대화식 방식은 사용자가 대략적으로 지시하면 컴퓨터가 자동으로 영상을 정합하는 방식이다. Interactive scheme when you are roughly indicated by computer matching with automatic image. 반자동 방식은 컴퓨터가 대부분의 정합 과정을 수행하고, 사용자가 검토를 하는 방식이다. Semi-automatic scheme for the computer do most of the matching process, and user reviews. 자동방식은 모든 정합의 과정을 사용자의 도움 없이 컴퓨터가 수행하는 방식을 말한다. Automatic mode refers to the way a computer to perform a process of matching all without your help.

한편, 영상 처리 장치 및 방법에 관한 종래 기술로서 대한민국등록특허 제10-1681538호(이하 '선행기술'이라 약칭함)가 있다. On the other hand, as the prior art relates to an image processing apparatus and method it is (hereinafter referred to as "prior art"), Republic of Korea Patent No. 10-1681538 call. 선행기술은 깊이 영상에 포함되는 픽셀의 벡터를 활용하여 특징점을 추출하고, 이로 인해 주변 조명 상태에 대해 덜 민감하며, 정확한 3차원 특징점을 추출하는 영상 처리 장치 및 방법을 개시한다. The prior art utilizing the vector of the pixels included in the depth images and extract a feature point, resulting in and less sensitive to ambient lighting conditions, and starts the image processing apparatus and method for extracting an accurate three-dimensional feature point. 그런데 3차원 영상 정합 및 선행기술에서 사용되는 ICP(Iterative closet point) 알고리즘은 대상의 종류와 특징을 반영하지 않고, 대상을 구성하는 가장 가까운 점들 간의 거리를 최소화시키는 방법의 알고리즘이다. However, the three-dimensional image registration and ICP (Iterative closet point) algorithm used in the prior art is an algorithm of a method of not reflecting the type and characteristics of the target, minimize the distance between the closest points constituting the object. 이러한 방법은 사람의 얼굴, 자동차 등 변화가 크고 다양한 특징을 찾을 수 있는 물체를 목표로 하고 있다. These methods are the object there is a change, such as the face, the car people can find a large variety of features aimed. 때문에, 크기가 작고 특징이 희박한 대상에 적용을 하는 경우 물체의 특징을 제대로 표현하지 못하게 된다. Therefore, if the apply to the small size of the target is characterized by sparse able to properly represent the characteristics of the object. 따라서, ICP 알고리즘을 활용한 영상 정합은 초기 조건에 따라 결과가 지역 최소해에 수렴할 가능성이 매우 높다는 단점이 있다. Thus, the image matching algorithm utilizing ICP has the disadvantage that the potential results, depending on the initial conditions can converge to local minima very high.

대한민국등록특허 제10-1681538호 Republic of Korea Patent No. 10-1681538 No.

본 발명의 목적은 ICP 알고리즘의 단점을 보완하여 단백질 또는 아미노산과 같은 생분자를 대상으로 하는 영상 정합의 정확도를 높일 수 있는 영상 처리 장치 및 방법을 제공하는데 있다. An object of the present invention to provide an image processing apparatus and method that can increase the accuracy of image matching that target biomolecule such as a protein or amino acid by making up for the weak points of the ICP algorithm.

상기 목적을 달성하기 위하여 본 발명은 생분자의 부분 또는 전체가 포함된 3차원 영상을 구성하는 정점의 벡터를 산출하는 연산부; Computing unit for calculating a vector of a vertex of the invention constituting the three-dimensional image containing a portion or all of the biomolecules in order to attain the object; 연산부가 산출한 3차원 영상 중 부분 영상에 포함된 평면에 포함되어 전체 영상의 평면에 대응시키기 위한 특징자를 추출하는 추출부; It is included in the plane including the additional operation portion image of the three-dimensional images calculated extracting unit which extracts the features to correspond to the entire image plane; 및 특징자와 연산부가 산출한 3차원 영상 중 전체 영상에 포함된 평면을 영상 정합시켜 3차원 모델을 결정하는 영상 정합부를 포함하여, 특징자를 상기 3차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 한다. And a feature character and a calculation portion calculating a three-dimensional by image matching the plane including the whole image of the image to include an image registration determining the three-dimensional models, in association with those characteristics in a tangential plane including the entire image the 3-dimensional similarity comparison characterized in that to reconstruct a three-dimensional model.

바람직하게, 연산부는 3차원 영상을 구성하는 정점의 법선 벡터를 산출하는 벡터 연산 모듈; Preferably, the operation unit is a vector calculation module for calculating the normal vectors of the vertices constituting the 3D image; 법선 벡터의 방향이 동일한 복수의 정점을 그룹화하는 그룹핑 모듈; Grouping module for grouping the direction of the normal vector of the same plurality of vertices; 및 그룹화된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정하는 평면 연산 모듈을 포함할 수 있다. And the group may include a calculation module that determines the flat plane including the different three or more vertices of the vertex.

바람직하게, 추출부는 부분 영상에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상 하단면과 접촉하는 경우 평면을 특징자에서 제외시킬 수 있다. When Preferably, the flat portion extraction unit included in the image transmitted through the object, or a plane in contact with the 3-dimensional partial image the bottom surface can be flat except for the features in the characters.

바람직하게, 영상 정합부는 특징자를 구성하는 정점과 3차원 전체 영상의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다. Preferably, the image registration section vertices constituting the feature to configure the top and three-dimensional plane of the entire image may correspond to the same position.

바람직하게, 영상 정합부는 특징자를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상의 접평면의 벡터의 방향과 크기를 비교할 수 있다. Preferably, the image matching unit may compare the vector direction and magnitude of the tangential plane of the vector and the three-dimensional overall image consisting of the vertices constituting those features.

바람직하게, 영상 정합부는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자와 3차원 전체 영상을 영상 정합시킬 수 있다. Preferably, the image matching unit may be image matching the feature character and a three-dimensional overall image by using the (Iterative closest point) ICP algorithm.

본 발명은 3차원 영상을 구성하는 정점의 법선 벡터가 산출되는 a)단계; The invention comprising: a) the calculated normal vectors of the vertices constituting the 3D image; a)단계에서 산출된 법선 벡터의 방향이 동일한 복수의 정점이 그룹핑 되는 b)단계; a) The normal vector b is the same direction in which the grouping of a plurality of vertices calculated in step) stage; b)단계에서 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정하는 c)단계; b) c for determining a plane containing the three or more vertices of the different groupings in the top step) stage; c)단계에서 결정된 평면 중 3차원 부분 영상에 포함된 평면의 특징자를 추출하는 d)단계; c) d, which extracts the characteristics of the plane included in the three-dimensional partial image of the plane determined in step) stage; 및 d)단계에서 추출된 특징자를 3차원 전체 영상과 영상 정합시켜 3차원 모델을 결정하는 e)단계를 포함하여, 특징자를 차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 다른 특징으로 한다. And d) to by a three-dimensional overall image and the image matching those features extracted in step including e) determining the three-dimensional models, in association with those characteristics in a tangential plane including the dimensional overall image comparing the similarity of 3-D model and reconstructing the other features.

바람직하게, d)단계는 부분 영상에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상 하단면과 접촉하는 경우 평면을 상기 특징자에서 제외시킬 수 있다. Preferably, d) step is a plane included in the partial image to exclude the case of passing through the object, or a plane in contact with the 3-dimensional partial image from the flat bottom surface characterized in character.

바람직하게, e)단계는 특징자를 구성하는 정점과 3차원 전체 영상의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다. Preferably, e) step can be matched to the vertex constituting the feature to configure the top and three-dimensional plane of the entire image at the same position.

바람직하게, e)단계는 특징자를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상의 접평면의 벡터의 방향과 크기를 비교할 수 있다. Preferably, e) step can be compared to the vector direction and magnitude of the vector and the tangent plane of the three-dimensional overall image consisting of the vertices constituting those features.

바람직하게, e)단계는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자와 3차원 전체 영상을 영상 정합시킬 수 있다. Preferably, e) step can be image matching the feature character and a three-dimensional overall image by using an Iterative closest point (ICP) algorithm.

본 발명에 따르면, 3차원 부분 영상의 접평면 중 추출된 희소 특징자를 ICP 알고리즘의 초기조건으로 설정하여, 특징자와 3차원 전체 영상의 특징이 일치하도록 정합하여 영상 정합의 결과가 지역 최소해가 아닌 전역 최소해를 획득할 수 있는 이점이 있다. According to the invention, the three-dimensional part by setting cut a rare feature extraction of the tangent plane of the image to the initial conditions of the ICP algorithm, characterized in character and the result of the image matching by the matching so that the matching characteristics of the three-dimensional overall image than the local minimum to there are advantages that can be obtained throughout the year at least.

도 1은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸다. 1 shows an image processing apparatus according to an embodiment of the invention.
도 2는 본 발명의 실시예에 따른 정점의 법선 벡터를 나타낸다. 2 shows a normal vector of the vertex, according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 3차원 부분 영상의 접평면을 나타낸다. Figure 3 illustrates a tangential plane of a three-dimensional partial image in the embodiment;
도 4는 본 발명의 실시예에 따른 특징자에서 제외되는 예시를 나타낸다. 4 shows an example in which, except in the feature character in the embodiment;
도 5는 본 발명의 실시예에 따른 영상 처리 방법의 단계도이다. Figure 5 is a phase diagram of an image processing method according to an embodiment of the invention.
도 6은 본 발명의 실시예에 따른 알라닌의 영상 정합 결과를 나타낸다. Figure 6 shows an image matching result of alanine in the embodiment;
도 7은 본 발명의 실시예에 따른 알라닌의 다른 영상 정합 결과를 나타낸다. Figure 7 shows another image matching result of alanine in the embodiment;

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. Below with reference to the information contained in the appended drawings the present invention will be described in detail. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. However, the invention is not intended to be restricted or limited by the illustrative embodiments. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다. Like reference numerals in the drawings denote a member which is substantially the same function.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. Objects and advantages of the invention may become apparent or naturally understood by the following description below, it is not the purpose and effect of the present invention only described the limit. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. Further, when it is determined that a detailed description of the known art related to the invention In the following description, may unnecessarily obscure the subject matter of the present invention will be detailed description thereof is omitted.

도 1은 본 발명의 실시예에 따른 영상 처리 장치(1)를 나타낸다. 1 shows an image processing apparatus 1 according to an embodiment of the invention. 도 1을 참조하면, 영상 처리 장치(1)는 연산부(11), 추출부(13) 및 영상 정합부(15)를 포함할 수 있다. 1, the image processing apparatus 1 may include a processor 11, extraction section 13 and the image matching section 15. 영상 처리 장치(1)는 생분자의 3차원 부분 영상(31)의 접평면을 바탕으로 3차원 전체 영상(33)을 재구성할 수 있다. The image processing apparatus 1 can reconstruct a three-dimensional overall image (33) based on the tangent plane of the three-dimensional portion of the biomolecules image 31.

연산부(11)는 생분자의 부분 또는 전체가 포함된 3차원 영상(3)을 구성하는 정점의 벡터를 산출할 수 있다. Processor 11 may calculate the vector of the vertex constituting the three-dimensional image (3) that contains part or all of the biomolecules.

본 실시예에서, 3차원 영상을 표현하기 위해서는 3차원 포인트를 나타내는 정점과 이를 이어 만들어진 삼각형 평면들이 필요하다. In this embodiment, the three-dimensional vertices and them followed made triangular plane showing a three-dimensional points are needed to represent the image. 정점들은 촬영장치를 통해 3차원 영상의 대상이 되는 물질의 3차원 부분 영상(31)을 촬영함으로 써 획득할 수 있다. Peak may be obtained by writing the taken 3-D partial image 31 of the material to be subjected to the three-dimensional image through the image pickup apparatus. 특히, 본 실시예에서는 원자력간 현미경을 이용하여 아미노산과 같은 생분자의 3차원 부분 영상(31)을 획득할 수 있다. In particular, in the embodiment, it is possible to obtain the three-dimensional parts of biomolecules, such as amino acids by using the inter-atomic force microscope image (31). 연산부(11)는 획득한 3차원 부분 영상(31)을 바탕으로 정점을 포함하는 삼각형 평면들의 법선 벡터를 산출할 수 있다. Processor 11 can calculate the normal vectors of the triangular plane including the vertex on the basis of a three-dimensional partial image 31 is obtained.

이를 위해, 연산부(11)는 벡터 연산 모듈(111), 그룹핑 모듈(113) 및 평면 연산 모듈(115)을 포함할 수 있다. To this end, the processor 11 may include a vector calculation module 111, a grouping module 113 and a flat-calculation module 115. The

도 2는 본 발명의 실시예에 따른 정점의 법선 벡터를 나타낸다. 2 shows a normal vector of the vertex, according to an embodiment of the present invention. 도 2를 참조하면, 벡터 연산 모듈(111)은 3차원 영상(31)을 구성하는 정점의 법선 벡터를 산출할 수 있다. 2, the vector calculation module 111 can calculate the normal vectors of the vertices constituting the 3D image 31.

본 실시예에서, 벡터 연산 모듈(111)은 정점을 포함하는 삼각형 평면들의 법선 벡터의 평균으로 정점의 법선 벡터를 산출할 수 있다. In this embodiment, the vector calculation module 111 can calculate the normal vectors of the vertices as the average of the normal vectors of the triangular plane including the vertex. 해당 과정을 수식으로 표현하면 하기의 수식(1)과 같다. Expressed as a formula the process shown in Equation (1) below.

수식(1) Formula (1)

Figure 112017021592247-pat00001

수식(1)에서 M은 정점이 포함된 평면의 개수를 의미하고, In the Formula (1) M means a number of the plane containing the vertices,

Figure 112017021592247-pat00002
는 정점이 포함된 평면의 법선 벡터를 의미한다. Refers to the normal vector of the plane containing the vertex. 벡터 연산 모듈(111)은 산출된 법선 벡터의 정보를 그룹핑 모듈(113)로 전달할 수 있다. Vector calculation module 111 may pass the information of the normal vector calculated by the grouping module 113. The

그룹핑 모듈(113)은 법선 벡터의 방향이 동일한 복수의 정점을 그룹화할 수 있다. Grouping module 113 may be the direction of the normal vector group of the same plurality of vertices.

본 실시예에서, 그룹핑 모듈(113)은 벡터 연산 모듈(111)로부터 전달받은 법선 벡터의 정보를 전달받아 접평면을 구성할 수 있는 정점들을 그룹핑 할 수 있다. In this embodiment, the grouping module 113 can group the vertices that can be configured for receiving information from the tangent plane normal vectors received from the vector operation module 111. 그룹핑 모듈(113)은 정점을 그룹핑하기 위해 법선 벡터가 유사한 방향을 가지는 정점들을 샘플링할 수 있다. Grouping module 113 may sample the vertex normal vectors having a similar direction to group the vertices. 그룹핑 모듈(113)은 샘플링된 정점들을 이용하여 평면을 구성하였을 때 접평면의 형성 여부를 확인할 수 있다. Grouping module 113 is when the plane configuration using the sampled peak can be confirmed whether or not the formation of the tangent plane. 그룹핑 모듈(113)은 그룹핑된 정점의 정보를 평면 연산 모듈(115)로 전달할 수 있다. Grouping module 113 may pass the information on the grouping in a planar vertex calculation module 115. The

도 3은 본 발명의 실시예에 따른 3차원 부분 영상(31)의 접평면을 나타낸다. Figure 3 illustrates a tangential plane of a three-dimensional partial image 31 in the embodiment; 도 3을 참조하면, 평면 연산 모듈(115)은 그룹화된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정할 수 있다. 3, the plane calculation module 115 may determine a plane containing the three or more vertices of the different grouping stations.

본 실시예에서, 평면 연산 모듈(115)은 그룹핑 모듈(113)로부터 전달받은 그룹핑된 정점의 정보를 바탕으로 평면을 결정할 수 있다. In this embodiment, the plane calculation module 115 may determine the plane based on the information of the grouped peak received from the grouping module 113. 평면 연산 모듈(115)은 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정할 수 있다. Plane calculation module 115 may determine a plane containing the three or more vertices of the different grouping stations. 평면 연산 모듈(115)은 3차원 전체 영상(33)에 포함된 평면을 영상 정합부(15)로 전달할 수 있다. Plane calculation module 115 may pass the plane included in the three-dimensional overall image 33 to image registration unit 15. 또한, 평면 연산 모듈(115)은 3차원 부분 영상(31)에 포함된 평면을 추출부(13)로 전달할 수 있다. In addition, a flat-computation module 115 may pass the plane included in the three-dimensional portion of image 31 into extraction section 13. 해당 과정에서, 3차원 전체 영상(33)과 3차원 부분 영상(31)을 분리하여 전달함으로써 추출부(13)의 특징자(31a) 추출과정이 3차원 전체 영상(33)과 3차원 부분 영상(31)에 상이하게 적용됨을 확인할 수 있다. In the process, the three-dimensional overall image 33 and the three-dimensional partial image (31) characterized in character (31a), the extraction process is a three-dimensional overall image 33 of the extraction unit 13 by conveying to separate the 3-dimensional partial image you can identify differently applied to 31.

추출부(13)는 연산부(11)가 산출한 벡터를 갖는 정점으로 구성된 평면 중 전체 영상(33)의 평면에 대응시키기 위한 특징자(31a)를 추출할 수 있다. Extraction section 13 may extract the feature character (31a) for associating to the plane of the entire image 33 of the plane consisting of top having a vector operation unit 11 is calculated.

본 실시예에서, 추출부(13)는 평면 연산 모듈(115)이 산출한 평면 중, 3차원 부분 영상(31)에 포함된 평면으로부터 특징자(31a)를 추출할 수 있다. In this embodiment, the extraction section 13 can extract the flat calculation module (115) characterized in character (31a) from the plane including the three-dimensional portion of image 31 of the plane is calculated. 추출부(13)가 추출하는 특징자(31a)는 3차원 구조물의 외측에 접촉한 평면의 형태로 구현될 수 있다. Characterized chair (31a) for extracting part 13 extracts may be implemented in the form of a plane in contact with the outer side of the three-dimensional structures.

도 4는 본 발명의 실시예에 따른 특징자(31a)에서 제외되는 예시를 나타낸다. 4 shows an example in which, except in the feature character (31a) in the embodiment; 도 4를 참조하면, 추출부(13)는 부분 영상(31)에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상(31) 하단면과 접촉하는 경우 평면을 특징자(31a)에서 제외시킬 수 있다. 4, the extracting section 13 is excluded from the part image 31 of the plane passing through the object, or a plane is three-dimensional partial image (31) when in contact with the bottom surface characterized by a flat chair (31a) included in the can.

본 실시예에서, 추출부(13)는 3차원 부분 영상(31)의 모든 접평면을 우선 특징자의 후보군으로 판단할 수 있다. In this embodiment, the extraction unit 13 may determine the candidate characters of all features tangent plane of the three-dimensional partial image (31) first. 이후, 추출부(13)는 추출된 특징자 후보군 중 일부를 선택하여 특징자(31a)로 추출하여 영상 정합부(15)로 전달할 수 있다. Then, the extracting unit 13 can select some of the extracted feature character candidates by extracting a feature character (31a) to pass to the image registration section 15. 추출부(13)는 특징자 후보군 중 부분 영상의 아랫부분과 접하는 후보군을 제외할 수 있다. Extraction section 13 may exclude the candidate contact with the bottom of the partial image of the feature candidate party. 즉, 추출부(13)는 특징자 후보군 중 3차원 부분 영상(31)의 절단면과 나란하게 형성된 접평면을 특징자(31a)에서 제외시킬 수 있다. That is, the extracting unit 13 may exclude the cutting face and parallel to the tangent plane formed of a three-dimensional partial image (31) of the features in the feature candidate party chair (31a).

또한, 추출부(13)는 특장자 후보군 중 영상에 포함된 구조를 투과 혹은 침투하는 접평면을 제외할 수 있다. In addition, the extraction section 13 may exclude the tangential plane which passes through or penetrates the structure included in the image of the candidate characters Features. 즉, 추출부(13)는 영상의 구조물과 외측에서 접촉하는 평면을 특징자(31a)로 추출할 수 있으며, 특징자 후보군으로 판단된 평면의 일부가 3차원 부분 영상(31)의 구조물을 통과하는 평면을 특징자(31a)에서 제외시킬 수 있다. That is, the extraction section 13 passes through the structure of the plane to be able to extract a feature character (31a), and characterized chair with a flat part of the three-dimensional portion of image 31 of the judgment candidates that contacts on the structure and the outside of the image a plane that can be excluded from character features (31a).

이를 통해, 추출부(13)는 부분 영상(31)의 외측에서 접촉하는 형태의 평면을 특징자(31a)로 추출하여 특징자(31a)의 정보를 영상 정합부(15)로 전달할 수 있다. Through this, extraction section 13 may convey the information in the partial image 31, characterized in character (31a) extracts a feature character (31a) in the form of a plane in contact from the outside to the image registration section 15.

영상 정합부(15)는 특징자(31a)와 연산부(11)가 산출한 3차원 영상(31, 31) 중 전체 영상(33)에 포함된 평면을 영상 정합 시켜 3차원 모델을 결정할 수 있다. Image matching section 15 by image matching the plane included in the entire image 33 of the feature character (31a) and the operation unit 11 is a three-dimensional image (31, 31) output can determine the three-dimensional model.

본 실시예에서, 영상 정합부(15)는 추출부(13)로부터 특징자(31a)를 전달받을 수 있다. In this embodiment, the image matching portion 15 may be to forward feature character (31a) from the extraction unit 13. 또한, 영상 정합부(15)는 연산부(11)로부터 3차원 전체 영상(33)에 포함된 평면을 전달받을 수 있다. In addition, the image matching portion 15 may be delivered to a plane including the three-dimensional overall image 33 from the processor 11. 영상 정합부(15)는 특징자(31a)와 3차원 전체 영상(33)에 포함된 평면을 비교하여 생분자의 3차원 모델을 선택할 수 있다. Image registration unit 15 may be compared to a plane including a character feature (31a) and the three-dimensional overall image (33) to select a three-dimensional model of the biomolecules.

영상 정합부(15)는 특징자(31a)를 구성하는 정점과 3차원 전체 영상(33)의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다. Image registration unit 15 may correspond to the vertices that make up the plane of the apex and the three-dimensional overall image 33, constituting a characteristic character (31a) in the same location.

본 실시예에서, 영상 정합부(15)는 특징자(31a)와 3차원 전체 영상(33)의 평면을 비교하기 위해 동일한 좌표계를 갖는 위치로 대응시킬 수 있다. In this embodiment, the image matching portion 15 can be matched to the location having the same coordinate system to compare the plane of the feature character (31a) with a three-dimensional overall image (33). 영상 접합부(115)는 특징자(31a)를 포함하는 3차원 부분 영상(31)과 3차원 전체 영상(33)을 구분하기 위해 각 영상의 표면에 상이한 색상 또는 에칭 등의 효과를 선택적으로 나타낼 수 있다. Image junction 115 is characterized chair 3D parts including (31a) image 31 and the three-dimensional overall image (33) to selectively indicate the effect of such different color or etching the surface of each image to separate the have.

영상 정합부(15)는 특징자(31a)를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상(33)의 접평면의 벡터의 방향과 크기를 비교할 수 있다. Image matching section 15 may compare the vector direction and magnitude of the tangential plane of the vector and the three-dimensional overall image (33) consisting of the vertices constituting the character features (31a).

본 실시예에서, 영상 정합부(15)는 3차원 전체 영상(33)과 3차원 부분 영상(31)에서 생성된 각각의 접평면을 비교하기 위해, 각각의 접평면의 법선 벡터의 방향과 접평면을 구성하는 정점을 잇는 벡터를 생성할 수 있다. In this embodiment, the image matching section 15 is a three-dimensional overall image 33 and the 3-D partial image 31 constituting the direction tangential plane of each of the tangential plane normal vector to compare the respective tangential plane generated by the it can create a vector connecting the vertex. 또한, 영상 정합부(15)는 3차원 부분 영상(31)과 3차원 전체 영상(33)의 접평면을 구성하는 정점을 잇는 벡터의 방향과 길이를 비교할 수 있다. In addition, the image matching section 15 may compare the direction and length of a vector connecting the vertex constituting a tangent plane of the three-dimensional partial image 31 and the three-dimensional overall image (33). 영상 정합부(15)는 전술한 과정을 통해 동일한 위치에 만들어진 접평면인지를 확인할 수 있다. Image registration unit 15 may determine whether the tangential plane are made in the same position through the above-described process. 영상 정합부(15)는 방향과 길이가 일치한 정점으로 특징자(31a)를 포함하는 3차원 부분 영상(31)을 이동시킬 수 있다. Image matching section 15 may move the 3-D partial image 31 including a feature character (31a) with a peak consistent with the direction and length. 영상 정합부(15)는 전술한 과정을 통해 특징자(31a)와 3차원 전체 영상(33)간 유사도가 높은 위치를 찾을 수 있다. Image matching section 15 may find a high degree of similarity between the position through the above-described process, character features (31a) and the three-dimensional overall image (33).

영상 정합부(15)는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자(31a)와 3차원 전체 영상(33)을 영상 정합시킬 수 있다. Image registration unit 15 may be image matching the feature character (31a) with a three-dimensional overall image 33 using the (Iterative closest point) ICP algorithm.

본 실시예에서, 영상 정합부(15)는 유사도가 높은 위치를 설정한 뒤 ICP 알고리즘을 적용하여 영상 정합을 시도할 수 있다. In this embodiment, the image matching portion 15 may then set the degree of similarity is a high position by applying the ICP algorithm may attempt to image registration. 영상 정합부(15)는 수식(2)를 최소화 하도록 3차원 물체의 위치를 변경하는 ICP를 수행할 수 있다. Image matching section 15 may perform the ICP to change the location of the three-dimensional objects so as to minimize the equation (2).

수식(2) Equation (2)

Figure 112017021592247-pat00003

수식(2)에서 In the Formula (2)

Figure 112017021592247-pat00004
는 영상변환을 수행하는 행렬을 의미하고, It is means a matrix for performing image conversion,
Figure 112017021592247-pat00005
는 부분 영상에 포함된 정점을 의미하며, And refers to the vertices included in the partial image,
Figure 112017021592247-pat00006
는 전체 영상(33)에 포함된 정점을 의미하며, Shall mean the vertex included in the entire image 33,
Figure 112017021592247-pat00007
는 거리를 계산하는 연산자를 의미한다. Means an operator that calculates the distance. 특히, 본 실시예에 따른 영상 정합부(15)는 20개의 아미노산에 대해서 모든 영상 정합을 수행할 수 있으며, 가장 작은 오차를 가지는 결과를 보인 물체를 3차원 모델로 선택할 수 있다. In particular, image registration unit 15 according to the present embodiment may perform any image registration for the 20 amino acids, may select the object showing the results with the smallest error in the three-dimensional model.

한편, 본 발명은 영상 처리 장치(1)를 통해 생분자의 3차원 부분 영상(31)의 접평면을 바탕으로 3차원 전체 영상(33)을 재구성하는 영상 처리 방법을 제공할 수 있다. On the other hand, the invention can provide an image processing method for reconstructing a three-dimensional overall image (33) based on the tangent plane of the molecule of the raw 3D image 31 through the imaging device (1).

도 5는 본 발명의 실시예에 따른 영상 처리 방법의 단계도이다. Figure 5 is a phase diagram of an image processing method according to an embodiment of the invention. 도 5를 참조하면, 영상 처리 방법은 법선 벡터를 산출하는 a)단계(S1), 정점을 그룹핑 하는 b)단계(S3), 평면을 결정하는 c)단계(S5), 특징자를 추출하는 d)단계(S7) 및 3차원 모델을 결정하는 e)단계(S9)를 포함할 수 있다. 5, the image processing method comprising the steps of: a) calculating a normal vector (S1), d extracting characters c) determining a b of grouping the vertices) step (S3), the plane (S5), characterized in) a step (S7) and the 3D model may include e) step (S9) of determining.

a)단계(S1)는 3차원 영상(3)을 구성하는 정점의 법선 벡터가 산출될 수 있다. a) step (S1) is the normal vectors of the vertices constituting the 3D image 3 can be calculated.

b)단계(S3)는 a)단계(S1)에서 산출된 법선 벡터의 방향이 동일한 복수의 정점이 그룹핑 될 수 있다. b) step (S3) has a plurality of vertices with the same direction of the normal vector calculated in step a) (S1) it can be grouped.

c)단계(S5)는 b)단계(S3)에서 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정할 수 있다. c) step (S5) may determine a plane containing the three or more different vertex of the vertex grouping in step b) (S3).

d)단계(S7)는 c)단계(S5)에서 결정된 평면 중 3차원 부분 영상(31)에 포함되어 3차원 전체 영상에 대응시킬 특징자(31a)를 추출할 수 있다. d) step (S7) is included in the 3-D partial image 31 of the plane determined in step c) (S5) can be extracted feature character (31a) for matching to the three-dimensional overall image.

d)단계(S7)는 부분 영상(31)에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상(31) 하단면과 접촉하는 경우 평면을 특징자(31a)에서 제외시킬 수 있다. d) step (S7) may be excluded from the part image 31 of the plane passing through the object plane or the 3-dimensional partial image (31) when in contact with the bottom surface characterized by a flat chair (31a) it included in the.

e)단계(S9)는 d)단계(S7)에서 추출된 특징자(31a)를 3차원 전체 영상(33)과 영상 정합시켜 3차원 모델을 결정할 수 있다. e) step (S9) is d) a characteristic character (31a) in the extraction step (S7) to the entire three-dimensional image 33 and the image matching can determine the three-dimensional model.

e)단계(S9)는 특징자(31a)를 구성하는 정점과 3차원 전체 영상(33)의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다. e) Step (S9) may be the corresponding vertices that make up the plane of the apex and the three-dimensional overall image 33, constituting a characteristic character (31a) in the same location.

e)단계(S9)는 특징자(31a)를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상(33)의 접평면의 벡터의 방향과 크기를 비교할 수 있다. e) Step (S9) may compare the vector direction and magnitude of the tangential plane of the vector and the three-dimensional overall image (33) consisting of the vertices constituting the character features (31a).

e)단계(S9)는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자(31a)와 3차원 전체 영상(33)을 영상 정합시킬 수 있다. e) step (S9) is able to image registration using Iterative closest point (ICP) algorithm, the characteristic character (31a) with a three-dimensional overall image (33).

본 발명의 실시예에 따른 영상 처리 방법은 영상 처리 장치(1)의 기능 및 효과와 동일하게 대응되는 바, 중복되는 설명은 생략한다. Image processing method according to an embodiment of the present invention has been described to be the same bar, duplicate corresponding to the functions and effects of the image processing apparatus 1 will be omitted. 이하, 전술한 조건을 만족하는 영상 처리 장치(1) 및 영상 처리 방법을 활용한 구체적인 실시예를 기재한다. It will now be described a specific embodiment utilizing the image processing apparatus 1 and an image processing method that satisfies the conditions described above.

< 실험예1 > 아미노산 Alanine과 부분 영상의 정합 결과 <Experimental Example 1> amino acid Alanine, and the matching results of partial image

도 6은 본 발명의 실시예에 따른 알라닌의 영상 정합 결과를 나타낸다. Figure 6 shows an image matching result of alanine in the embodiment; 도 6을 참조하면, 붉은색으로 표시된 표면은 알라닌의 3차원 부분 영상(31)을 나타내고, 푸른색으로 표시된 표면은 알라닌의 3차원 전체 영상(33)을 나타낸다. 6, the surface shown in red represents the 3-dimensional partial image 31 of alanine, the surface indicated by a blue color represents the full three-dimensional image of alanine (33). 알라닌의 3차원 부분 영상(31)을 3차원 전체 영상(33)에 정합하는 시뮬레이션을 통해, 3차원 부분 영상(31)이 3차원 전체 영상(33)에 용이하게 정합되는 것을 확인할 수 있다. The simulation to match the 3-D partial image 31 of the alanine to 3D overall image 33, it can be seen that the 3-dimensional partial image 31 is easily matched to the three-dimensional overall image (33).

< 실험예2 > 아미노산 Alanine과 부분 영상의 정합 결과2 <Experimental Example 2> Matching results of the amino acid Alanine, and partial image 2

도 7은 본 발명의 실시예에 따른 알라닌의 다른 영상 정합 결과를 나타낸다. Figure 7 shows another image matching result of alanine in the embodiment; 도 7을 참조하면, 상부에 위치한 밝은 부분은 알라닌의 3차원 부분 영상(31)을 나타내며, 도 7의 상부 및 하부에 위치한 어두운 부분은 알라닌의 3차원 전체 영상(33)을 나타낸다. 7, the light portion located in the upper part represents the 3-D partial image 31 of alanine, the dark part in the top and bottom of Figure 7 shows a three-dimensional overall image 33 of the alanine. 특히 도 7의 3차원 부분 영상(31)은 도 6의 3차원 부분 영상(31)과 상이한 방향에서 획득한 알라닌의 3차원 부분 영상(31)을 나타내며, 도 6과 마찬가지로 도 7에서도 3차원 부분 영상(31)과 3차원 전체 영상(33)이 용이하게 정합되는 것을 확인할 수 있다. In particular, three-dimensional partial image 31 of Figure 7 is a three-dimensional partial image 31 and indicates a three-dimensional partial image (31) of alanine obtained in different directions, in the same manner as Fig. 6 Fig. 73-D section of FIG. 6 the image 31 and the three-dimensional overall image (33) can be confirmed to be easily matched. 이를 통해, 다각도에서 획득한 알라닌의 3차원 부분 영상(31)이 3차원 전체 영상(33)과 정합되어 3차원 모델을 결정되는 것을 확인할 수 있다. Thereby, the three-dimensional part of alanine obtained in the multi-angle video 31 are matched with the three-dimensional overall image 33, it can be confirmed that it is determined the three-dimensional model.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. Exemplary embodiments of the present invention has been described in detail through the above, to understand the various modifications without departing the limit are possible in the scope of the present invention with respect to the embodiment described above one of ordinary skill in the art will be. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다. Therefore, the scope of the present invention is limited to the embodiments described jeonghaejyeoseo is not, it should be not only determined by the claims to be described later to all such modifications as derived from the claims and the equivalent concepts.

1: 영상 처리 장치 1: the image processing apparatus
11: 연산부 11: operation unit
111: 벡터 연산 모듈 111: vector calculation module
113: 그룹핑 모듈 113: grouping module
115: 평면 연산 모듈 115: plane calculation module
13: 추출부 13: extractor
15: 영상 정합부 15: image matching portion
3: 3차원 영상 3: 3D image
31: 3차원 부분 영상 31: 3-dimensional partial image
31a: 특징자 31a: Features Now
33: 3차원 전체 영상 33: three-dimensional overall image
S1: 법선 벡터 산출 단계 S1: the normal vector calculating step
S3: 정점 그룹핑 단계 S3: peak grouping step
S5: 평면 결정 단계 S5: flat-determining step
S7: 특징자 추출 단계 S7: Now it features extraction step
S9: 3차원 모델 결정 단계 S9: 3-dimensional model determining step

Claims (11)

  1. 생분자의 부분이 포함된 3차원 영상 및 상기 생분자의 전체가 포함된 3차원 영상을 구성하는 정점의 벡터를 각각 산출하는 연산부; Computing unit for calculating a vector of each vertex constituting the three-dimensional image is generated that contains the whole of the three-dimensional image and the biomolecules contained portion of the molecule;
    상기 연산부가 상기 생분자의 부분이 포함된 3차원 영상에서 산출한 벡터를 갖는 정점으로 구성된 평면 중 상기 생분자의 전체가 포함된 3차원 영상의 평면에 대응시키기 위한 특징자를 추출하는 추출부; The operation of the flat-portion extracting unit which consists of vertices having a vector of the three-dimensional image containing a portion of the biomolecules extracts the features to correspond to the three-dimensional image plane that contains the entirety of the biomolecule; And
    상기 특징자와 상기 생분자의 전체가 포함된 3차원 영상에 포함된 평면을 영상 정합시켜 3차원 모델을 결정하는 영상 정합부를 포함하여, Including parts of image registration by the image matching the plane included in the three-dimensional images containing the whole of the feature character with the biomolecule determine the three-dimensional model,
    상기 특징자를 상기 생분자의 전체가 포함된 3차원 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 하는 영상 처리 장치. The image processing apparatus characterized in that in correspondence with the tangential plane including the three-dimensional images containing the whole of the biomolecules cut the feature reconstruct the three-dimensional model by comparing the similarity.
  2. 제 1 항에 있어서, According to claim 1,
    상기 연산부는, The calculation unit,
    상기 생분자의 부분이 포함된 3차원 영상 및 상기 생분자의 전체가 포함된 3차원 영상을 구성하는 정점의 법선 벡터를 산출하는 벡터 연산 모듈; Vector calculation module for calculating the normal vectors of the vertices constituting the 3D image that contains the whole of the three-dimensional image and the biomolecule that contains a portion of the biomolecules;
    상기 법선 벡터의 방향이 동일한 복수의 정점을 그룹화하는 그룹핑 모듈; Grouping module for the direction of the normal vector group of the same plurality of vertices; And
    상기 그룹화된 정점 중 상이한 3개 이상의 상기 정점을 포함하는 평면을 결정하는 평면 연산 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치. Image processing apparatus comprising: a calculation module that determines the flat plane including the three or more different from the vertex of the grouped vertex.
  3. 제 1 항에 있어서, According to claim 1,
    상기 추출부는, Wherein the extracting unit,
    상기 생분자의 부분이 포함된 3차원 영상에 포함된 평면이 물체를 투과하거나 상기 평면이 상기 생분자의 부분이 포함된 3차원 영상 하단면과 접촉하는 경우 상기 평면을 상기 특징자에서 제외시키는 것을 특징으로 하는 영상 처리 장치. When the plane included in the three-dimensional image containing a portion of the biomolecules come into contact with the transmission or the planar bottom three-dimensional image containing a portion of the biomolecule surface the object to exclude the said plane in the feature character the image processing apparatus according to claim.
  4. 제 1 항에 있어서, According to claim 1,
    상기 영상 정합부는, The image registration unit includes:
    상기 특징자를 구성하는 정점과 상기 생분자의 전체가 포함된 3차원 영상의 평면을 구성하는 정점을 동일한 위치에 대응시키는 것을 특징으로 하는 영상 처리 장치. Image processing apparatus for the vertices constituting the plane of the 3D image that contains all of the vertices and the biomolecule to configure the said characteristic characterized by corresponding to the same position.
  5. 제 1 항에 있어서, According to claim 1,
    상기 영상 정합부는, The image registration unit includes:
    상기 특징자를 구성하는 정점들로 이루어진 벡터와 상기 생분자의 전체가 포함된 3차원 영상의 접평면의 벡터의 방향과 크기를 비교하는 것을 특징으로 하는 영상 처리 장치. An image processing device, characterized in that for comparing the vector direction and magnitude of the tangential plane of the 3D image that contains the entirety of the vector and the biomolecule composed of vertices constituting the cut characteristic.
  6. 제 1 항에 있어서, According to claim 1,
    상기 영상 정합부는, The image registration unit includes:
    ICP(Iterative closest point) 알고리즘을 이용하여 상기 특징자와 상기 생분자의 전체가 포함된 3차원 영상을 영상 정합시키는 것을 특징으로 하는 영상 처리 장치. ICP (Iterative closest point) using the algorithm the feature character and image processing apparatus for a 3D image that contains the entirety of the biomolecule characterized by image registration.
  7. a) 3차원 영상을 구성하는 정점의 법선 벡터가 산출되는 단계; a) step of calculating a normal vector of the vertices constituting the 3D image;
    b) 상기 a)단계에서 산출된 법선 벡터의 방향이 동일한 복수의 정점이 그룹핑 되는 단계; b) wherein a) a step in which direction the grouping of the same plurality of vertices of the normal vector calculated in step;
    c) 상기 b)단계에서 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정하는 단계; c) determining a plane containing the three or more different vertex of the vertex grouping in step b);
    d) 상기 c)단계에서 결정된 평면 중 3차원 부분 영상에 포함되어 3차원 전체 영상에 대응시킬 특징자를 추출하는 단계; d) step is included in which the c) 3-dimensional partial image of the plane determined in step extracts the features to correspond to the entire three-dimensional image; And
    e) 상기 d)단계에서 추출된 특징자를 상기 3차원 전체 영상과 영상 정합시켜 3차원 모델을 결정하는 단계를 포함하여, e) including the step of determining the three-dimensional model, wherein the d) to the three-dimensional overall image and the image matching characters in the feature extraction step,
    상기 특징자를 상기 3차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 하는 영상 처리 방법. The image processing method of the character features is characterized in that the reconstructed three-dimensional model to correspond to the tangent plane included in the three-dimensional overall image similarity comparison.
  8. 제 7 항에 있어서, The method of claim 7,
    상기 d)단계는, Wherein the step d),
    상기 부분 영상에 포함된 평면이 물체를 투과하거나 상기 평면이 상기 3차원 부분 영상 하단면과 접촉하는 경우 상기 평면을 상기 특징자에서 제외시키는 것을 특징으로 하는 영상 처리 방법. Image processing method comprising a step, except for the flat characteristic in the chair when passing through the object plane is included in the partial image or the said plane in contact with the 3-dimensional partial image at the bottom side.
  9. 제 7 항에 있어서, The method of claim 7,
    상기 e)단계는, Wherein e) comprises:
    상기 특징자를 구성하는 정점과 상기 3차원 전체 영상의 평면을 구성하는 정점을 동일한 위치에 대응시키는 것을 특징으로 하는 영상 처리 방법. The image processing method of the vertices constituting the vertices constituting the character features and the three-dimensional plane of the entire image, characterized in that corresponding to the same location.
  10. 제 7 항에 있어서, The method of claim 7,
    상기 e)단계는, Wherein e) comprises:
    상기 특징자를 구성하는 정점들로 이루어진 벡터와 상기 3차원 전체 영상의 접평면의 벡터의 방향과 크기를 비교하는 것을 특징으로 하는 영상 처리 방법. Image processing method, characterized in that for comparing the direction and magnitude of the vector and the vector of the tangent plane of the three-dimensional overall image consisting of the vertices constituting the cut characteristic.
  11. 제 7 항에 있어서, The method of claim 7,
    상기 e)단계는, Wherein e) comprises:
    ICP(Iterative closest point) 알고리즘을 이용하여 상기 특징자와 상기 3차원 전체 영상을 영상 정합시키는 것을 특징으로 하는 영상 처리 방법. Image processing method, characterized in that by using the ICP (Iterative closest point) algorithm for image matching the feature character with the entire 3D image.
KR1020170027585A 2017-03-03 2017-03-03 Device and method for processing image using image registration KR101931564B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170027585A KR101931564B1 (en) 2017-03-03 2017-03-03 Device and method for processing image using image registration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170027585A KR101931564B1 (en) 2017-03-03 2017-03-03 Device and method for processing image using image registration

Publications (2)

Publication Number Publication Date
KR20180101672A KR20180101672A (en) 2018-09-13
KR101931564B1 true KR101931564B1 (en) 2018-12-24

Family

ID=63593570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170027585A KR101931564B1 (en) 2017-03-03 2017-03-03 Device and method for processing image using image registration

Country Status (1)

Country Link
KR (1) KR101931564B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040575A1 (en) 1997-02-18 2001-11-15 Norio Haga Image processing device and image processing method
US20070292010A1 (en) 2006-06-20 2007-12-20 Ophthalmic Imaging Systems Incorporated In The State Of California Of California Device, method and system for automatic montage of segmented retinal images
JP2009056326A (en) 1997-02-25 2009-03-19 Wake Forest Univ Health Sciences Automatic analysis in virtual endoscopy
JP2013069026A (en) 2011-09-21 2013-04-18 Kddi Corp Device, method, and program for restoring three-dimensional shape of subject
KR101321974B1 (en) 2012-05-09 2013-11-08 (주)비주얼 스포츠 A method for combining image of moving object using optical flow method
US20140192046A1 (en) 2013-01-07 2014-07-10 Ecole Centrale Paris Method and device for elastic registration between a two-dimensional digital image and a slice of a three-dimensional volume with overlapping content
WO2014161574A1 (en) 2013-04-03 2014-10-09 Brainlab Ag Method and device for determining the orientation of a co-ordinate system of an anatomical object in a global co-ordinate system
KR101681538B1 (en) 2010-10-20 2016-12-01 삼성전자주식회사 Image processing apparatus and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040575A1 (en) 1997-02-18 2001-11-15 Norio Haga Image processing device and image processing method
JP2009056326A (en) 1997-02-25 2009-03-19 Wake Forest Univ Health Sciences Automatic analysis in virtual endoscopy
US20070292010A1 (en) 2006-06-20 2007-12-20 Ophthalmic Imaging Systems Incorporated In The State Of California Of California Device, method and system for automatic montage of segmented retinal images
KR101681538B1 (en) 2010-10-20 2016-12-01 삼성전자주식회사 Image processing apparatus and method
JP2013069026A (en) 2011-09-21 2013-04-18 Kddi Corp Device, method, and program for restoring three-dimensional shape of subject
KR101321974B1 (en) 2012-05-09 2013-11-08 (주)비주얼 스포츠 A method for combining image of moving object using optical flow method
US20140192046A1 (en) 2013-01-07 2014-07-10 Ecole Centrale Paris Method and device for elastic registration between a two-dimensional digital image and a slice of a three-dimensional volume with overlapping content
WO2014161574A1 (en) 2013-04-03 2014-10-09 Brainlab Ag Method and device for determining the orientation of a co-ordinate system of an anatomical object in a global co-ordinate system

Also Published As

Publication number Publication date
KR20180101672A (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US5818959A (en) Method of producing a three-dimensional image from two-dimensional images
CN1162681C (en) Three-D object recognition method and parts picking system using the method
CN102612704B (en) Description for providing for at least one feature of the character image and a method for matching feature
JP4887374B2 (en) Method for determining the scattering disparity field in stereo vision
US8867793B2 (en) Scene analysis using image and range data
US9426444B2 (en) Depth measurement quality enhancement
Fechteler et al. Adaptive colour classification for structured light systems
Artusi et al. A survey of specularity removal methods
Zeng et al. 3dmatch: Learning local geometric descriptors from rgb-d reconstructions
Böhm et al. Automatic marker-free registration of terrestrial laser scans using reflectance
US20130335535A1 (en) Digital 3d camera using periodic illumination
KR101121034B1 (en) System and method for obtaining camera parameters from multiple images and computer program products thereof
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
JP5538617B2 (en) Method and structure for multiple cameras calibration
CN103003814A (en) Systems and methods for object recognition using a large database
JP2016066360A (en) Text-based 3D augmented reality
EP0551274A1 (en) Determination of mutually corresponding features in associated two-dimensional partial images of a three-dimensional scene
CN105308944A (en) Classifying objects in images using mobile devices
US9633282B2 (en) Cross-trained convolutional neural networks using multimodal images
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
JP2012526335A (en) Object recognition method, object recognition device, an autonomous mobile robot
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
KR101194936B1 (en) Three-dimensional measurement apparatus and method thereof
KR101706093B1 (en) System for extracting 3-dimensional coordinate and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant