KR20160057024A - Markerless 3D Object Tracking Apparatus and Method therefor - Google Patents

Markerless 3D Object Tracking Apparatus and Method therefor Download PDF

Info

Publication number
KR20160057024A
KR20160057024A KR1020140157267A KR20140157267A KR20160057024A KR 20160057024 A KR20160057024 A KR 20160057024A KR 1020140157267 A KR1020140157267 A KR 1020140157267A KR 20140157267 A KR20140157267 A KR 20140157267A KR 20160057024 A KR20160057024 A KR 20160057024A
Authority
KR
South Korea
Prior art keywords
image
matching
dimensional
present
feature points
Prior art date
Application number
KR1020140157267A
Other languages
Korean (ko)
Inventor
신기영
진승오
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020140157267A priority Critical patent/KR20160057024A/en
Publication of KR20160057024A publication Critical patent/KR20160057024A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Abstract

A markerless three-dimensional object tracking method according to an embodiment of the present invention comprises the steps of: extracting feature points from a first image which is generated by a stereo camera; calculating three-dimensional coordinates of the feature points; and matching coordinate systems of the first image and a second image, which is a three-dimensional reference image, with each other such that the images are matched with each other. An objective of the present invention is to reduce time and cost needed for a matching process and provide an accurate surgery position for a doctor.

Description

마커리스 ３차원 객체추적 장치 및 그 방법 {Markerless 3D Object Tracking Apparatus and Method therefor}[0002] Markerless 3D Object Tracking Apparatus and Method Thereof [0003]

본 발명은 마커리스 3차원 객체추적 장치 및 그 방법에 관한 것으로, 보다 자세하게는 수술용 네비게이션 장비에 있는 스테레오 카메라를 이용하여 특징점을 추출하여 3차원 정보를 계산하여 진단 영상과 정합하는 마커리스 3차원 객체추적 장치 및 그 방법에 관한 것이다.
The present invention relates to a markerless three-dimensional object tracking apparatus and method thereof, and more particularly, to a markerless three-dimensional object tracking apparatus and method thereof. More particularly, the present invention relates to a markerless three- And an object tracking apparatus and method thereof.

영상 유도 수술 장치(수술용 네비게이션 장치)는 컴퓨터 단층 촬영 장치(Computed Tomography, CT), 자기 공명 영상 장치(magnetic resonance imaging, MRI) 등에 의해 취합된 정보를 통하여 환자의 인체 내부를 모니터 상에 재현하는 장치을 말한다.An image guided surgery device (surgical navigation device) reproduces the inside of a patient's body on a monitor through information collected by a computerized tomography (CT), a magnetic resonance imaging (MRI) Device.

영상 유도 수술 장치는 환자의 인체 내부를 3차원으로 모델링하여 진료계획, 수술계획 및 시술을 위한 정보를 제공하며, 신경이나 척추 등 인체 중요 부위와 환부의 위치, 모양, 임플란트 삽입 위치 등을 상세하게 확인할 수 있게 한다.The image guided surgery device models the inside of the patient's body in three dimensions and provides information for the treatment plan, surgical planning and operation, and details of the location and shape of the affected part such as nerves and vertebrae, So that it can be confirmed.

컴퓨터 단층 촬영은 CT 스캐너를 이용한 컴퓨터 단층 촬영(斷層撮影)법으로, X선이나 초음파를 여러 각도에서 인체에 투영하고 이를 컴퓨터로 재구성하여 인체 내부 단면의 모습을 화상으로 처리하는데, 종양 등의 진단법으로 널리 이용되고 있다.Computed tomography (CT) is a computed tomography (CT) method using a CT scanner. X-rays or ultrasound are projected onto the human body at various angles and reconstructed by a computer to treat the internal surface of the human body as an image. .

컴퓨터 단층 촬영은 X선을 이용하고 있지만 직접 필름에 감광시켜 얻는 일반적인 방사선 사진과는 다르다. 컴퓨터 단층 촬영은 인체의 한 단면 주위를 돌면서 가느다란 X선을 투사하고 X선이 인체를 통과하면서 감소되는 양을 측정한다. 인체의 내부 간이나 신장 같은 장기들의 밀도는 약간씩 차이가 나기 때문에 X선이 투사된 방향에 따라 흡수하는 정도가 서로 다르게 나타난다.Computed tomography uses X-rays, but it differs from conventional radiographs obtained by direct exposure to film. A computed tomography (CT) is a method of projecting a thin X-ray around a section of the human body and measuring the amount of X-ray radiation as it passes through the body. Since the density of organs such as the liver and kidneys of the human body are slightly different from each other, the extent to which X-rays are absorbed depends on the direction in which they are projected.

컴퓨터 단층 촬영은 X선이 투과된 정도를 컴퓨터로 분석하여 내부 장기의 밀도를 결정하고, 이를 통하여 내부의 자세한 단면을 재구성해서 영상으로 나타나게 한다. 즉, 신체의 여러 각도에서 투과시킨 X선을 컴퓨터로 측정하고 단면에 대한 흡수치를 재구성하여 영상으로 나타내는 장치이다.Computed tomography (CT) analyzes the degree of transmission of X-rays through a computer to determine the density of the internal organs, and reconstructs the detailed internal cross-section to reveal the image. In other words, it is a device that measures X-rays transmitted from various angles of the body by a computer and reconstructs the absorption value for the cross section and displays the images.

자기 공명 영상 장치는 자력에 의하여 발생하는 자기장을 이용하여 생체의 임의의 단층상을 얻을 수 있는 첨단 의학 장치이다. 자기 공명 영상법은 인체를 구성하는 물질의 자기적 성질을 측정하여 컴퓨터를 통하여 다시 재구성, 영상화하는 기술이다.Magnetic resonance imaging (MRI) is a state-of-the-art medical device that can obtain an arbitrary tomographic image of a living body using a magnetic field generated by a magnetic force. Magnetic resonance imaging (MRI) is a technique for measuring the magnetic properties of materials constituting the human body and reconfiguring and imaging them through a computer.

로봇 수술을 집도하는 의사는 수술 전 CT(computed tomography), MRI(magnetic resonance imaging), 초음파 영상 등을 통해 수술 부위를 파악하여 수술하였으나, 이는 의사의 경험에 많이 의존하게 된다는 한계가 있다. 또한, 수술 부위 영상을 획득하기 위해 복강경(laparoscope)을 환자의 몸 속에 삽입하여 표시된 몸 속의 실제 영상을 보면서 로봇 수술을 진행하는 방법도 시도된 바 있다. 하지만, 수술 부위에 대하여 복강경과 같은 내시경만으로 획득할 수 있는 영상은 몸 속 장기 조직의 외부 표면에 대한 영상들뿐이므로, 수술 부위가 장기에 가려져 보이지 않는 경우, 또는 수술 부위가 장기 내부인 경우 등에는 수술 부위에 대한 정확한 위치, 형태 등을 정확하게 파악하기 어렵다.
The surgeon who performed robotic surveillance performed surgery through CT (computed tomography), magnetic resonance imaging (MRI), and ultrasound imaging before operation, but it is limited by the physician's experience. In addition, in order to acquire a surgical site image, a method of inserting a laparoscope into a patient's body and performing robot surgery while viewing the actual image in the displayed body has been attempted. However, since only the images of the external surface of the organs of the body can be obtained with the endoscope alone such as a laparoscope for the operation site, the operation site is hidden from the organ, It is difficult to accurately grasp the exact position and shape of the surgical site.

본 발명의 실시예에 따른 마커리스 3차원 객체추적 장치 및 그 방법은 정합에 소요되는 시간 및 비용을 감소시키고 의사에게 정확한 시술 위치를 제공하는 것을 목적으로 한다.
The object of the present invention is to provide a markerless three-dimensional object tracking apparatus and method thereof that reduces the time and cost required for registration and provides a doctor with an accurate positioning position.

발명의 실시예에 따른 마커리스 3차원 객체추적 장치는 스테레오 카메라로부터 생성된 제1영상에서 특징점을 추출하는 특징점 추출부; 상기 특징점 추출부에 의해 추출된 특징점에 기초하여 3차원 좌표를 계산하는 3차원 좌표 계산부; 및 상기 제1 영상과 3차원 기준영상인 제2영상의 좌표계를 일치시키고 제1 영상 및 제2 영상의 좌표를 정합하는 영상 정합부를 포함한다.According to an embodiment of the present invention, a markerless three-dimensional object tracking apparatus includes a feature point extracting unit for extracting a feature point from a first image generated from a stereo camera; A three-dimensional coordinate calculation unit for calculating three-dimensional coordinates based on the minutiae extracted by the minutia extraction unit; And an image matching unit for matching the coordinates of the first image and the second image, which are the three-dimensional reference image, and matching the coordinates of the first image and the second image.

발명의 실시예에 따른 마커리스 3차원 객체추적 방법은 스테레오 카메라로부터 생성된 제1영상에서 특징점을 추출하는 단계; 상기 특징점의 3차원 좌표를 계산하는 단계; 및 상기 제1 영상과 3차원 기준영상인 제2영상의 좌표계를 일치시켜 영상을 정합하는 단계를 포함한다.
According to another aspect of the present invention, there is provided a markerless 3D object tracking method comprising: extracting a feature point from a first image generated from a stereo camera; Calculating three-dimensional coordinates of the feature points; And matching the images by matching the coordinate system of the first image and the second image, which is a three-dimensional reference image.

본 발명의 실시예에 따른 마커리스 3차원 객체추적 장치 및 그 방법은 정합에 소요되는 시간 및 비용을 감소시키고 의사에게 정확한 시술 위치를 제공할 수 있다.
The markerless three-dimensional object tracking apparatus and method according to the embodiment of the present invention can reduce the time and cost required for matching, and can provide a precise procedure position to a doctor.

도 1은 발명의 실시예에 따른 마커리스 3차원 객체추적 장치의 구성을 도시한 도면이다.
도 2는 발명의 실시예에 따른 마커리스 3차원 객체추적 장치를 사용하여 3차원 정보로부터 특징점을 선택하는 일례를 도시한 도면이다.
도 3은 발명의 실시예에 따라 수술용 네비게이션 시스템의 스테레오 카메라에서 환자의 얼굴 영상을 획득하고 얼굴의 특징점을 추출하는 과정을 나타내는 도면이다.
도 4는 발명의 실시예에 따라 좌우 특징점의 대응점을 탐색하는 과정을 나타내는 도면이다.
도 5는 발명의 실시예에 따라 CT나 MRI영상에서의 기준 좌표계와 스테레오 카메라의 기준 좌표계를 전역 좌표계로 일치시키는 과정을 나타내는 도면이다.
도 6은 발명의 실시예에 따라 마커리스 3차원 매칭 방법을 나타내는 도면이다.1 is a block diagram of a markerless three-dimensional object tracking apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of selecting a feature point from three-dimensional information using a markerless three-dimensional object tracking apparatus according to an embodiment of the present invention.
3 is a view illustrating a process of acquiring a face image of a patient and extracting feature points of a face in a stereo camera of a surgical navigation system according to an embodiment of the present invention.
4 is a diagram illustrating a process of searching corresponding points of left and right minutiae points according to an embodiment of the present invention.
5 is a diagram illustrating a process of matching a reference coordinate system in a CT or MRI image and a reference coordinate system of a stereo camera in a global coordinate system according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a markerless three-dimensional matching method according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used in the present invention are used only to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be construed in a sense generally understood by a person having ordinary skill in the art to which the present invention belongs, unless otherwise defined in the present invention, Should not be construed to mean, or be interpreted in an excessively reduced sense. In addition, when a technical term used in the present invention is an erroneous technical term that does not accurately express the concept of the present invention, it should be understood that technical terms can be understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Furthermore, the singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as "comprising" or "comprising" and the like should not be construed as encompassing various elements or stages of the invention, Or may further include additional components or steps.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

도 1은 발명의 실시예에 따른 마커리스 3차원 객체추적 장치의 구성을 도시한 도면이다. 발명의 실시예에 따른 마커리스 3차원 객체추적 장치(100)는 스테레오 카메라(110), 3차원 정보 획득부(120), 특징점 추출부(130), 3차원 좌표 계산부(140), 영상 정합부(150), 기준영상 획득부(160) 및 촬영위치 계산부(170)를 포함한다.1 is a block diagram of a markerless three-dimensional object tracking apparatus according to an embodiment of the present invention. The markerless three-dimensional object tracking apparatus 100 according to an embodiment of the present invention includes a stereo camera 110, a three-dimensional information obtaining unit 120, a feature point extracting unit 130, a three-dimensional coordinate calculating unit 140, A reference image acquiring unit 160, and a photographing position calculating unit 170. The reference image acquiring unit 160 and the photographing position calculating unit 170 are the same.

스테레오 카메라(110)는 렌즈와 이미지 센서로 구성되어 객체의 영상을 촬영한다. 스테레오 카메라(110)는 복수로 구성되며 서로 다른 위치에서 객체의 영상을 촬영한다.The stereo camera 110 is composed of a lens and an image sensor, and captures an image of an object. The stereo camera 110 is composed of a plurality of cameras and captures an image of an object at different positions.

3차원 정보 획득부(120)는 스테레오 카메라(110)로부터 영상정보를 수집하여 3차원 정보를 획득한다. 스테레오 카메라(110) 각각에서 획득한 영상은 2차원 영상이므로 3차원 정보 획득부(120)는 스테레오 카메라(110)로부터 획득한 영상을 이용하여 3차원 정보를 획득할 수 있다.The 3D information acquisition unit 120 acquires 3D information from the stereo camera 110 to acquire 3D information. Since the image obtained by each of the stereo cameras 110 is a two-dimensional image, the three-dimensional information obtaining unit 120 can obtain three-dimensional information using the image obtained from the stereo camera 110.

특징점 추출부(130)는 객체의 영상으로부터 특징점을 추출한다. 객체의 전체적인 특징들을 인식 요소로 사용하지 않더라도 객체의 부분적인 특징점들을 객체 인식의 요소로 사용할 수 있는데, 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체 표현, 해석, 인식에 가장 중요한 지점이 특징점으로 사용될 수 있다.The feature point extraction unit 130 extracts feature points from the image of the object. Even if the overall features of the object are not used as recognition elements, the partial feature points of the object can be used as an object recognition element. Since the most information about the object shape is most frequently used, the most important points for object representation, .

객체가 인체의 얼굴인 경우, 얼굴에 있는 특징점은 양쪽 눈, 코끝, 양쪽 입가, 턱 등이 될 수 있으며, 이 특징점의 개수는 3점 이상으로 스테레오 카메라(110)의 영상에 따라 선택될 수 있다.If the object is a face of a human body, the feature points on the face may be eyes, nose, mouth, jaw, etc., and the number of the feature points may be selected according to the image of the stereo camera 110 in three or more points .

특징점을 추출함에 있어서 SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 등의 종래에 공지된 특징점 추출 알고리즘을 이용하여 실시간 영상으로부터 특징점을 추출할 수 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명에서는 특징점 추출 알고리즘 자체를 한정하지는 않는다.In extracting feature points, feature points can be extracted from real-time images using conventionally known feature point extraction algorithms such as Scale Invariant Feature Transform (SIFT) and Speed Up Robust Features (SURF) But the present invention does not limit the feature point extraction algorithm itself.

3차원 좌표 계산부(140)는 특징점 추출부(130)에 의해 추출된 특징점에 기초하여 3차원 좌표를 계산한다. 이에 따라 각 특징점에서의 3차원 위치를 측정할 수 있게 된다.The three-dimensional coordinate calculation unit 140 calculates three-dimensional coordinates based on the minutiae extracted by the minutiae point extraction unit 130. Thus, the three-dimensional position of each feature point can be measured.

영상 정합부(150)는 특징점 추출부(130)에 의해 추출된 특징점을 기설정된 3차원의 위치정보에 대응하는 기준영상의 특징점과 정합한다. 이러한 정합 결과를 기초로 참조 영상의 분할영상들 중 실시간 영상에 매칭되는 매칭분할영상을 도출할 수 있다. The image matching unit 150 matches the feature points extracted by the feature point extracting unit 130 with the feature points of the reference image corresponding to the predetermined three-dimensional position information. Based on the matching result, a matching divided image matching the real-time image among the divided images of the reference image can be derived.

영상을 정합함에 있어서, 스테레오 카메라(110)를 통해 계산된 3차원 좌표와 3차원 기준 영상간의 정합을 위해 스테레오 비전의 좌표축과 3차원 기준 영상간의 좌표축을 일치시켜야 하는 과정이 선행된다.In order to match the three-dimensional coordinates and the three-dimensional reference image calculated through the stereo camera 110, the coordinate axes between the coordinate axes of the stereoscopic vision and the three-dimensional reference images are matched.

이를 통해 얼굴의 특징점 추출을 통해 계산된 3차원 좌표와 기준 영상간의 최소거리 계산법에 의해 정합이 가능하다. 영상의 정합은 3차원 기준영상을 2차원 카메라 좌표계로 사상시켜 카메라의 2차원 좌표 간에 정합하는 방법으로 구현될 수도 있다.Through this, it is possible to calculate by the minimum distance calculation method between the three-dimensional coordinates and the reference image calculated by extracting feature points of the face. The matching of the images may be realized by mapping the three-dimensional reference image to a two-dimensional camera coordinate system and matching the two-dimensional coordinates of the camera.

기준영상 획득부(160)는 환자를 촬영한 3차원 기준영상 데이터를 영상 정합부(150)로 송신하는 역할을 한다. 3차원 기준영상은 진단 및 치료를 위하여 병원에서 일반적으로 획득하는 CT(컴퓨터 단층촬영, computed tomography) 영상을 포함할 수 있다. 또한, 3차원 기준영상은 MRI(자기공명영상, magnetic resonance imaging) 등과 같은 다른 3차원 영상을 포함할 수 있다.The reference image acquiring unit 160 transmits the 3D reference image data photographed by the patient to the image matching unit 150. The 3D reference image may include CT (computed tomography) images that are generally acquired in hospitals for diagnosis and treatment. In addition, the three-dimensional reference image may include other three-dimensional images such as MRI (magnetic resonance imaging) and the like.

컴퓨터 단층 촬영 장치는 CT 스캐너를 이용하여 X선이나 초음파를 여러 각도에서 인체에 투영하고 이를 컴퓨터로 재구성하여 인체 내부 단면의 모습을 화상으로 처리하는 장치이다. 그리고, 자기공명영상장치는 자력에 의하여 발생하는 자기장을 이용하여 생체의 임의의 단층 상을 얻을 수 있는 첨단의학시스템이다. 이와 같은 영상장비는 환자의 수술 부위에 대한 단면을 보여주는 시스템이다.A computerized tomography apparatus is a device for projecting an X-ray or an ultrasonic wave to a human body at various angles using a CT scanner and reconstructing the image with a computer to process an image of the internal cross-section of the human body as an image. The magnetic resonance imaging apparatus is a state-of-the-art medical system capable of obtaining an arbitrary tomographic image of a living body by using a magnetic field generated by a magnetic force. Such an imaging device is a system showing a cross section of a patient's surgical site.

촬영위치 계산부(170)는 영상정합부(150)에서 도출된 매칭분할영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정할 수 있다.The photographing position calculation unit 170 can estimate the photographing posture and the position of the real time image based on the relative positions of the minutiae corresponding to the minutiae points of the real time image within the matching divided image derived by the image matching unit 150. [

도 2는 발명의 실시예에 따른 마커리스 3차원 객체추적 장치를 사용하여 3차원 정보로부터 특징점을 선택하는 일례를 도시한 도면이다.FIG. 2 is a diagram illustrating an example of selecting a feature point from three-dimensional information using a markerless three-dimensional object tracking apparatus according to an embodiment of the present invention.

도시된 바와 같이, 실제 공간에 존재하는 자연스러운 참조 객체를 사용하고 영상에서의 인텐시티(intensity) 정보를 활용한 점 특징(point feature)을 이용하여 특징점을 추출한다. 도면에서는 코끝 및 양쪽 입가를 특징점으로 추출하였으나, 이에 대해 한정하는 것은 아니며, 이 외에도 양쪽 눈가, 턱 등이 특징점으로 추출될 수 있다.As shown in the figure, a feature point is extracted by using a natural reference object existing in an actual space and using a point feature utilizing intensity information in an image. In the drawings, the nose and both mouths are extracted as feature points, but the present invention is not limited thereto, and both eyes, jaws, and the like can be extracted as feature points.

도 3은 발명의 실시예에 따라 수술용 네비게이션 시스템의 스테레오 카메라에서 환자의 얼굴 영상을 획득하고 얼굴의 특징점을 추출하는 과정을 나타내는 도면이다. 스테레오 카메라의 캘리브레이션 및 기초행렬(Fundamental matrix) 계산이 선행된 상태에서 환자의 얼굴 영상을 획득한다. 특징점 추출 알고리즘은 SURF, HAAR classifier 등을 이용할 수 있으나 이에 대해 한정하지는 않는다.3 is a view illustrating a process of acquiring a face image of a patient and extracting feature points of a face in a stereo camera of a surgical navigation system according to an embodiment of the present invention. The face image of the patient is acquired while the calibration of the stereo camera and the calculation of the fundamental matrix are preceded. The feature point extraction algorithm can use SURF, HAAR classifier, and the like, but it is not limited thereto.

도 4는 발명의 실시예에 따라 좌우 특징점의 대응점을 탐색하는 과정을 나타내는 도면이다. 카메라 보정 단계에서 계산된 기초행렬을 이용하여 에피폴라 제약조건(epipolar constraint)으로 좌우 영상에서 추출한 특징점의 대응점을 탐색한다.4 is a diagram illustrating a process of searching corresponding points of left and right minutiae points according to an embodiment of the present invention. The corresponding points of the feature points extracted from the left and right images are searched using the epipolar constraint using the base matrix calculated in the camera correction step.

도 5는 발명의 실시예에 따라 CT나 MRI영상에서의 기준 좌표계와 스테레오 카메라의 기준 좌표계를 전역 좌표계로 일치시키는 과정을 나타내는 도면이다. 이에 따라 CT나 MRI 영상에서의 기준 좌표값과 스테레오 카메라에서 촬영한 영상의 좌표값이 일치하게 된다.5 is a diagram illustrating a process of matching a reference coordinate system in a CT or MRI image and a reference coordinate system of a stereo camera in a global coordinate system according to an embodiment of the present invention. Accordingly, the reference coordinate value in the CT or MRI image coincides with the coordinate value of the image captured by the stereo camera.

도 6은 발명의 실시예에 따라 마커리스 3차원 매칭 방법을 나타내는 도면이다. S100의 단계에서 스테레오 카메라의 캘리브레이션(calibration) 및 기초행렬 계산이 선행된 상태에서 스테레오 카메라를 통해 획득한 영상으로부터 특징점을 추출한다. 이때, SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 등의 특징점 추출 알고리즘을 이용할 수 있다.FIG. 6 is a diagram illustrating a markerless three-dimensional matching method according to an embodiment of the present invention. In step S100, the feature point is extracted from the image obtained through the stereo camera in the state where the calibration of the stereo camera and the calculation of the base matrix are performed. At this time, feature point extraction algorithms such as SIFT (Scale Invariant Feature Transform) and SURF (Speed Up Robust Features) can be used.

다음으로, 카메라 보정 단계에서 계산된 기초행렬을 이용하여 에피폴라 제약조건(epipolar constraint)으로 좌우 영상에서 추출한 특징점의 대응점을 탐색하고, 탐색한 대응점을 통해 3차원 좌표값을 계산한다(S200). Next, the corresponding points of the minutiae extracted from the left and right images are searched using the epipolar constraint using the basic matrix calculated in the camera correction step, and the three-dimensional coordinate values are calculated through the corresponding corresponding points (S200).

다음으로, CT나 MRI영상에서의 기준 좌표계와 스테레오 카메라의 기준 좌표계를 전역 좌표계로 일치시킨 후(S300), CT나 MRI영상의 좌표값과 스테레오 카메라를 통해 계산된 3차원 좌표를 전역 좌표계에 대한 값으로 변환하고(S400), CT나 MRI영상에서 얼굴의 3차원 좌표 크라우드(cloud)와 S200에서 계산된 3차원 좌표를 이용하여 영상을 정합(registration)(S500)하고, 정합 결과에 기초하여 객체의 촬영 자세 및 이동정보를 추적한다. 영상을 정합함에 있어서 변환 행렬(Transformation matrix) 및 최적화 기법이 사용될 수 있다.Next, the reference coordinate system of the CT or MRI image and the reference coordinate system of the stereo camera are matched with the global coordinate system (S300). Then, the coordinates of the CT or MRI image and the 3D coordinates calculated by the stereo camera are calculated (S400). The image is registered (S500) using the three-dimensional coordinates calculated in S200 and the three-dimensional coordinate cloud of the face in the CT or MRI image (S500). Based on the matching result, And the photographing posture and the movement information of the photographing device. In matching images, a transformation matrix and an optimization technique can be used.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 장치들, 소프트웨어, 상기 장치들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control devices, software, and other functional aspects of the devices may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections.

본 발명의 명세서(특히 특허청구범위에서)에서 '상기'의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
The use of the terms " above " and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.

100: 마커리스 3차원 객체추적 장치
110: 스테레오 카메라
120: 3차원 정보 획득부
130: 특징점 추출부
140: 3차원 좌표 계산부
150: 영상 정합부
160: 기준영상 획득부
170: 촬영위치 계산부100: Markerless 3D Object Tracking Device
110: Stereo camera
120: three-dimensional information obtaining unit
130: feature point extracting unit
140: three-dimensional coordinate calculation unit
150:
160: Reference image acquiring unit
170: photographing position calculating section

Claims (7)

스테레오 카메라로부터 생성된 제1영상에서 특징점을 추출하는 특징점 추출부;
상기 특징점 추출부에 의해 추출된 특징점에 기초하여 3차원 좌표를 계산하는 3차원 좌표 계산부; 및
상기 제1 영상과 3차원 기준영상인 제2영상의 좌표계를 일치시키고 제1 영상 및 제2 영상의 좌표를 정합하는 영상 정합부를 포함하는 것을 특징으로 하는 마커리스 3차원 객체추적 장치.
A feature point extraction unit for extracting feature points from a first image generated from a stereo camera;
A three-dimensional coordinate calculation unit for calculating three-dimensional coordinates based on the minutiae extracted by the minutia extraction unit; And
And an image matching unit for matching the coordinates of the first image and the second image, which are the three-dimensional reference image, and matching the coordinates of the first image and the second image.
제1항에 있어서,
상기 특징점 추출부는 SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 중 적어도 하나 이상을 이용하여 상기 특징점을 추출하는 것을 특징으로 하는 마커리스 3차원 객체추적 장치.
The method according to claim 1,
Wherein the feature point extracting unit extracts the feature points using at least one of Scale Invariant Feature Transform (SIFT) and Speed Up Robust Features (SURF).
제1항에 있어서,
상기 특징점의 개수는 3 이상인 것을 특징으로 하는 마커리스 3차원 객체추적 장치.
The method according to claim 1,
Wherein the number of feature points is three or more.
제1항에 있어서,
상기 제2 영상은 CT(컴퓨터 단층촬영, computed tomography) 영상 또는 MRI(자기공명영상, magnetic resonance imaging)인 것을 특징으로 하는 마커리스 3차원 객체추적 장치.
The method according to claim 1,
Wherein the second image is a CT (computed tomography) image or a magnetic resonance imaging (MRI) image.
스테레오 카메라로부터 생성된 제1영상에서 특징점을 추출하는 단계;
상기 특징점의 3차원 좌표를 계산하는 단계; 및
상기 제1 영상과 3차원 기준영상인 제2영상의 좌표계를 일치시켜 영상을 정합하는 단계를 포함하는 것을 특징으로 하는 마커리스 3차원 객체추적 방법.
Extracting feature points from a first image generated from a stereo camera;
Calculating three-dimensional coordinates of the feature points; And
And matching the images by matching the coordinate system of the first image and the second image as the three-dimensional reference image.
제5항에 있어서,
상기 제2 영상은 CT(컴퓨터 단층촬영, computed tomography) 영상 또는 MRI(자기공명영상, magnetic resonance imaging)인 것을 특징으로 하는 마커리스 3차원 객체추적 방법.
6. The method of claim 5,
Wherein the second image is a CT (Computed Tomography) image or an MRI (Magnetic Resonance Imaging).
제5항에 있어서,
상기 제1 영상과 제2영상의 좌표계를 일치시켜 영상을 정합하는 단계는 상기 제1 영상 및 제2 영상의 좌표계를 일치시키는 단계를 포함하는 것을 특징으로 하는 마커리스 3차원 객체추적 방법6. The method of claim 5,
Wherein matching the images by matching the coordinate system of the first image and the second image comprises matching the coordinate system of the first image and the second image.
KR1020140157267A 2014-11-12 2014-11-12 Markerless 3D Object Tracking Apparatus and Method therefor KR20160057024A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140157267A KR20160057024A (en) 2014-11-12 2014-11-12 Markerless 3D Object Tracking Apparatus and Method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140157267A KR20160057024A (en) 2014-11-12 2014-11-12 Markerless 3D Object Tracking Apparatus and Method therefor

Publications (1)

Publication Number Publication Date
KR20160057024A true KR20160057024A (en) 2016-05-23

Family

ID=56104064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140157267A KR20160057024A (en) 2014-11-12 2014-11-12 Markerless 3D Object Tracking Apparatus and Method therefor

Country Status (1)

Country Link
KR (1) KR20160057024A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767410A (en) * 2017-10-27 2018-03-06 中国电子科技集团公司第三研究所 The multi-band image method for registering of the multispectral system acquisition of polyphaser parallel optical axis
CN107944455A (en) * 2017-11-15 2018-04-20 天津大学 A kind of image matching method based on SURF
US20210303920A1 (en) * 2020-03-30 2021-09-30 Wipro Limited Method and system for detecting and tracking objects in a rotational environment
CN114822781A (en) * 2022-04-24 2022-07-29 唐山启奥科技股份有限公司 Medical image desensitization method based on examination images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767410A (en) * 2017-10-27 2018-03-06 中国电子科技集团公司第三研究所 The multi-band image method for registering of the multispectral system acquisition of polyphaser parallel optical axis
CN107944455A (en) * 2017-11-15 2018-04-20 天津大学 A kind of image matching method based on SURF
CN107944455B (en) * 2017-11-15 2020-06-02 天津大学 Image matching method based on SURF
US20210303920A1 (en) * 2020-03-30 2021-09-30 Wipro Limited Method and system for detecting and tracking objects in a rotational environment
US11586844B2 (en) * 2020-03-30 2023-02-21 Wipro Limited Method and system for detecting and tracking objects in a rotational environment
CN114822781A (en) * 2022-04-24 2022-07-29 唐山启奥科技股份有限公司 Medical image desensitization method based on examination images

Similar Documents

Publication Publication Date Title
US11877843B2 (en) Human body measurement using thermographic images
KR101572487B1 (en) System and Method For Non-Invasive Patient-Image Registration
CN108720862B (en) Registering anatomical images and position tracking coordinate systems based on proximity to bone tissue
US20180064496A1 (en) Devices, systems and methods for natural feature tracking of surgical tools and other objects
Gsaxner et al. Markerless image-to-face registration for untethered augmented reality in head and neck surgery
KR102105974B1 (en) Medical imaging system
EP3195823B1 (en) Optical tracking system
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
Wengert et al. Markerless endoscopic registration and referencing
CN111588467B (en) Method for converting three-dimensional space coordinates into two-dimensional image coordinates based on medical images
JP6806655B2 (en) Radiation imaging device, image data processing device and image processing program
KR20160057024A (en) Markerless 3D Object Tracking Apparatus and Method therefor
KR100346363B1 (en) Method and apparatus for 3d image data reconstruction by automatic medical image segmentation and image guided surgery system using the same
US9633433B1 (en) Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images
Comlekciler et al. Artificial 3-D contactless measurement in orthognathic surgery with binocular stereo vision
CN114283179A (en) Real-time fracture far-near end space pose acquisition and registration system based on ultrasonic images
KR102184001B1 (en) Medical image registration apparatus and method for surgical navigation
JP6795744B2 (en) Medical support method and medical support device
CN110269679B (en) Medical technology system and method for non-invasively tracking objects
KR102247545B1 (en) Surgical Location Information Providing Method and Device Thereof
EP4321101A1 (en) Patient motion detection in diagnostic imaging
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
US20230298186A1 (en) Combining angiographic information with fluoroscopic images
US20230015717A1 (en) Anatomical scanning, targeting, and visualization
WO2020240995A1 (en) Matching device, method, and program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid