KR101699844B1 - Motion-compensated three dimension filtering method and apparatus - Google Patents

Motion-compensated three dimension filtering method and apparatus Download PDF

Info

Publication number
KR101699844B1
KR101699844B1 KR1020100044334A KR20100044334A KR101699844B1 KR 101699844 B1 KR101699844 B1 KR 101699844B1 KR 1020100044334 A KR1020100044334 A KR 1020100044334A KR 20100044334 A KR20100044334 A KR 20100044334A KR 101699844 B1 KR101699844 B1 KR 101699844B1
Authority
KR
South Korea
Prior art keywords
motion
image
motion information
filtering
extracting
Prior art date
Application number
KR1020100044334A
Other languages
Korean (ko)
Other versions
KR20110124892A (en
Inventor
이승규
임화섭
최욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100044334A priority Critical patent/KR101699844B1/en
Publication of KR20110124892A publication Critical patent/KR20110124892A/en
Application granted granted Critical
Publication of KR101699844B1 publication Critical patent/KR101699844B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

TOF 방식의 뎁스 카메라에서 생성되는 영상의 정밀도를 향상시키기 위한 움직임 보상 3차원 필터링 방법 및 장치에 관한 것입니다. 움직임 보상 3차원 필터링 장치는 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하고, 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하고, 상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링함으로써, 영상의 정밀도를 향상시킬 수 있다.Dimensional filtering method and apparatus for enhancing the accuracy of an image generated by a TOF-based depth camera. The motion compensation 3D filtering apparatus obtains a depth point cloud of each frame included in an image generated by a camera and extracts motion information in the image with reference to the relation between the obtained depth point clouds, The motion information is compensated for and time-filtered, thereby improving the accuracy of the image.

Description

움직임 보상 3차원 필터링 방법 및 장치{MOTION-COMPENSATED THREE DIMENSION FILTERING METHOD AND APPARATUS}[0001] MOTION-COMPENSATED THREE DIMENSION FILTERING METHOD AND APPARATUS [0002]

본 발명의 일실시예는 카메라 센서단에서 획득된 3차원 뎁스 데이터를 이용한 3차원 뎁스 영상 처리 방식으로, 뎁스와 같은 3차원 포인트 클라우드 정보를 획득하는 모든 종류의 카메라 정밀도 향상에 이용되도록 하는 기술에 관한 것이다.One embodiment of the present invention is a three-dimensional depth image processing method using three-dimensional depth data obtained from a camera sensor terminal, and is a technology for being used for improving all kinds of camera precision for acquiring three-dimensional point cloud information such as depth .

TOF(Time-of-flight) 방식의 뎁스 카메라(Depth Camera)와 같은 장치에서 얻어진 3차원 뎁스 포인트 값은 컬러 카메라에 비하여 낮은 해상도와 정확성을 보인다. 따라서, 뎁스 카메라에서 생성되는 뎁스 데이터를 이용하여 3차원 캡처링(capturing), 모델링(modeling) 및 인터랙션(interaction) 등을 수행함에 있어, 신뢰도 높은 뎁스 데이터를 복원하는 것은 이후의 데이터 처리 성능에 결정적인 영향을 미치게 된다.The 3D depth point values obtained from a device such as a time-of-flight depth camera show lower resolution and accuracy than a color camera. Therefore, in performing three-dimensional capturing, modeling, and interaction using the depth data generated by the depth camera, restoring reliable depth data is a crucial factor for subsequent data processing performance. .

예컨대, 고해상도 고정밀 뎁스 데이터를 복원하기 위하여, 기존에는 2차원컬러 영상에 적용하였던 중앙값 필터(Median Filter), 공간 양방향 필터(Spatial Bilateral Filter), 시간 평균 필터(Temporal Averaging Filter), 또는 시간 양방향 필터(Temporal Bilateral Filter) 등이 사용되어 왔다. For example, in order to recover high-resolution high-precision depth data, a median filter, a spatial bilateral filter, a temporal averaging filter, or a temporal bidirectional filter Temporal Bilateral Filter) have been used.

하지만, 상기와 같은 필터들은 2차원 정보에 기반한 방식으로 3차원 포인트들로 이루어진 뎁스 데이터의 정밀도를 향상하는데는 효율적으로 수행되지 못한다는 문제점이 있다. However, the above-mentioned filters have a problem in that they can not be efficiently performed to improve the precision of depth data composed of three-dimensional points in a method based on two-dimensional information.

특히, 이웃한 프레임 간의 상관관계(correlation)를 이용하는 시간 양방향 필터의 경우에는 취득한 영상의 움직임 정보를 고려하지 않고 필터링을 수행함으로써, 움직임이 많은 영상의 경우 필터링 효과가 감소한다는 단점이 있다. 또한, 시간 평균 필터와 같은 경우에는 객체들의 움직임에 의한 트레이스(trace)가 심각하게 발생한다는 단점이 있다.In particular, in the case of a temporal bidirectional filter using a correlation between neighboring frames, filtering is performed without considering the motion information of the acquired image, which is disadvantageous in that the filtering effect is reduced in the case of an image having many movements. Also, in the case of a time-averaged filter, there is a disadvantage that traces due to the movement of objects occur severely.

본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 장치는 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 뎁스 포인트 클라우드 획득부, 상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 움직임 추출부, 및 상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행하는 필터링부를 포함한다.The motion compensation three-dimensional filtering apparatus according to an embodiment of the present invention includes a depth point cloud acquisition unit for acquiring a depth point cloud of each frame included in an image generated by a camera, A motion extracting unit for extracting motion information in the image, and a filtering unit for performing time filtering by compensating the extracted motion information in the image.

이때, 상기 움직임 추출부는 상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 검출하는 3차원 키 포인트 검출부, 상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득하는 관련성 획득부, 및 상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 이상값 평가부를 포함한다.The motion extracting unit may include a 3D key point detecting unit for detecting a 3D key point from the depth point cloud, a relevancy acquiring unit for acquiring a relation between the depth point cloud using the local depth point value of the 3D key point, And an ideal value evaluating unit for extracting motion information in the image with reference to the obtained relevance.

이때, 상기 이상값 평가부는 RANSAC 방식을 이용하여 상기 영상으로부터 이상 매치값들을 제거하고, 상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출할 수 있다.At this time, the ideal value evaluation unit may remove the ideal match values from the image using the RANSAC scheme, and extract the motion information in the image from which the ideal match values are removed by referring to the obtained relevance.

또한, 상기 움직임 추출부는 3차원 키 포인트 매칭 방식을 이용하여 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득하고, 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출하는 키 포인트 매칭 평가부를 더 포함할 수 있다.The motion extracting unit may further include a key point matching evaluating unit that obtains 3D matching point pairs between the depth point clouds using a 3D key point matching method and extracts motion information from the obtained 3D matching point pairs .

또한, 상기 움직임 추출부는 ICP(Iterative Closet Point) 방식을 이용하여 상기 추출된 움직임 정보를 보정하여 변환정보를 획득하는 ICP 평가부를 더 포함할 수 있다.The motion extracting unit may further include an ICP evaluating unit that corrects the extracted motion information using an ICP (Iterative Closet Point) method to obtain conversion information.

이때, 현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출할 수 있다. 이 경우, 상기 필터링부는 상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들에 대하여 시간 필터링을 수행하여 정밀도를 향상한다.At this time, motion information between the previous N (N is a natural number) frames from the current frame can be extracted. In this case, the filtering unit compensates the depth point clouds included in the previous N frames using the extracted motion information to the position of the depth point cloud included in the current frame, performs time filtering on the compensated N frames, To improve the accuracy.

상기 움직임 보상 3차원 필터링 장치는 상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 각각의 움직임 영역을 분리하는 영역 분리부를 더 포함할 수 있다. 이때, 상기 필터링부는 상기 분리된 움직임 영역에 포함된 프레임들에 대하여 시간 필터링을 수행할 수 있다. 이 경우, 상기 움직임 추출부는 상기 분리에서 제외된 움직임 영역에 포함된 프레임들의 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다.The motion compensation 3D filtering apparatus may further include a region separator for separating each motion region using a distance between depth point clouds included in the compensated frame when a plurality of motion objects exist in the image . At this time, the filtering unit may perform time filtering on frames included in the separated motion region. In this case, the motion extracting unit extracts motion information in the image by referring to the relation between the depth point clouds of the frames included in the motion region excluded from the separation.

본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 방법은 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 단계, 상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계, 및 상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계를 포함한다.The motion compensation three-dimensional filtering method according to an embodiment of the present invention includes the steps of acquiring a depth point cloud of each frame included in an image generated in a camera, referring to the relation between the acquired depth point clouds, Extracting the extracted motion information from the image, and filtering the extracted motion information.

본 발명의 일실시예에 따르면, 2차원 기반 필터링 방식의 움직임 트레이스에 관한 문제점을 해결하고, 영상 내의 움직임 정보를 이용하여 필터링 성능을 향상시킬 수 있다.According to an embodiment of the present invention, a problem related to a motion trace of a two-dimensional filtering method can be solved, and filtering performance can be improved by using motion information in an image.

본 발명의 일실시예에 따르면, 3차원 키 포인트 매칭 방식과 ICP 방식을 이용하여 뎁스 포인트 클라우드로부터 정확한 움직임 정보를 추출할 수 있다.According to an embodiment of the present invention, accurate motion information can be extracted from a depth point cloud using a 3D key point matching method and an ICP method.

본 발명의 일실시예에 따르면, 프레임에 포함된 뎁스 포인트 클라우드들을 보상하고, 보상된 프레임에 대하여 시간 필터링을 통해 움직임이 많은 영상에서 시간 필터링을 수행함으로써, 높은 정밀도를 가진 영상을 획득할 수 있다.According to an embodiment of the present invention, it is possible to acquire an image with high precision by compensating depth point clouds included in a frame and performing temporal filtering on the motion-rich image through temporal filtering with respect to the compensated frame .

도 1은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 장치의 구성을 도시한 블록도이다.
도 2는 움직임 보상 3차원 필터링 장치에 포함된 움직임 추출부의 상세 구성을 도시한 도면이다.
도 3은 시간 필터링을 통해 움직임이 많은 영상에서 시간 필터링을 수행하는 일례를 도시한 도면이다.
도 4는 기존 필터링 방식과 본 발명의 필터링 방식을 비교한 일례를 도시한 도면이다.
도 5는 2차원 필터링 방식과 본 발명의 3차원 필터링 방식을 비교한 일례를 도시한 도면이다.
도 6은 기존 필터링 방식들과 본 발명의 필터링 방식의 정밀도를 그래프로 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 방법의 순서를 도시한 흐름도이다.1 is a block diagram illustrating a configuration of a motion compensation 3D filtering apparatus according to an embodiment of the present invention.
2 is a diagram showing a detailed configuration of a motion extraction unit included in a motion-compensated three-dimensional filtering apparatus.
3 is a diagram illustrating an example of performing temporal filtering on an image having many motions through temporal filtering.
FIG. 4 is a diagram showing an example of comparison between the conventional filtering method and the filtering method of the present invention.
5 is a diagram illustrating an example of a comparison between a two-dimensional filtering method and a three-dimensional filtering method of the present invention.
FIG. 6 is a graph showing the accuracy of the conventional filtering methods and the filtering method of the present invention.
7 is a flowchart illustrating a procedure of a motion compensation 3D filtering method according to an embodiment of the present invention.

이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.

도 1은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 장치의 구성을 도시한 블록도이다.1 is a block diagram illustrating a configuration of a motion compensation 3D filtering apparatus according to an embodiment of the present invention.

도 1을 참고하면, 움직임 보상 3차원 필터링 장치(100)는 뎁스 포인트 클라우드 획득부(110), 움직임 추출부(120), 필터링부(130), 및 영역 분리부(140)를 포함할 수 있다.1, the motion compensation 3D filtering apparatus 100 may include a depth point cloud acquisition unit 110, a motion extraction unit 120, a filtering unit 130, and a region separation unit 140 .

뎁스 포인트 클라우드 획득부(110)는 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드(Depth Point Cloud)를 획득한다. 여기서, 카메라는 칼라 카메라(Color Camera) 또는 TOF(Time of Flight) 방식의 뎁스 카메라(Depth Camera)일 수 있다.The depth point cloud obtaining unit 110 obtains a depth point cloud of each frame included in the image generated by the camera. Here, the camera may be a color camera or a depth camera of a Time of Flight (TOF) method.

움직임 추출부(120)는 상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다. 예컨대, 움직임 추출부(120)는 상기 뎁스 포인트 클라우드로부터 3차원 코너(corner)와 같은 3차원 키 포인트들을 추출하고, 상기 3차원 키 포인트들 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득할 수 있다.The motion extracting unit 120 extracts motion information in the image by referring to the relevance between the acquired depth point clouds. For example, the motion extracting unit 120 may extract three-dimensional key points such as a three-dimensional corner from the depth point cloud, and obtain the relevance between the depth point clouds using the three-dimensional key points.

도 2는 움직임 보상 3차원 필터링 장치에 포함된 움직임 추출부의 상세 구성을 도시한 도면이다.2 is a diagram showing a detailed configuration of a motion extraction unit included in a motion-compensated three-dimensional filtering apparatus.

도 2를 참조하면, 움직임 추출부(120)는 3차원 키 포인트 검출부(210), 관련성 획득부(220), 이상값 평가부(230), 키 포인트 매핑 평가부(240), 및 ICP 평가부(250)를 포함할 수 있다.2, the motion extraction unit 120 includes a 3D key point detection unit 210, a relevance acquisition unit 220, an ideal value evaluation unit 230, a key point mapping evaluation unit 240, (250).

3차원 키 포인트 검출부(210)는 상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 검출한다. 예컨대, 3차원 키 포인트는 3차원 시프트(SIFT: Scale-Invariant Feature Transform)나 3차원 코너(3D corner) 같은 영상에 대한 특징 포인트들을 나타내는 것을 의미한다.The 3D key point detection unit 210 detects a 3D key point from the depth point cloud. For example, a 3D key point represents a feature point for an image such as a Scale-Invariant Feature Transform (SIFT) or a 3D corner.

관련성 획득부(220)는 상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성(correspondence)을 획득한다.The relevancy acquiring unit 220 acquires a correspondence between the depth point clouds using the local depth point value of the 3D key point.

이상값 평가부(230)는 상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다. 실시예로, 이상값 평가부(230)는 RANSAC(Random Sampling Consensus) 방식을 이용하여 상기 영상으로부터 이상 매치값(Outlier Match)들을 제거하고, 상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출할 수 있다.The ideal value evaluation unit 230 extracts motion information in the image with reference to the acquired relevance. In an embodiment, the ideal value evaluator 230 may remove outlier matches from the image using a Random Sampling Consensus (RANSAC) scheme and refer to the obtained relevance to remove the ideal match values The motion information in the image can be extracted.

키 포인트 매핑 평가부(240)는 3차원 키 포인트 매칭(3D Key Point Matching) 방식을 이용하여 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어(3D Matching Point pair)들을 획득하고, 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출한다. 즉, 키 포인트 매핑 평가부(240)는 상기 뎁스 포인트 클라우드 간의 대략적인 1차 움직임 정보를 빠르게 얻어낼 수 있다.The key point mapping evaluation unit 240 obtains 3D matching point pairs between the depth point clouds using a 3D key point matching method, And extracts motion information from the point pairs. That is, the key point mapping evaluation unit 240 can quickly obtain approximate first-order motion information between the depth point clouds.

ICP 평가부(250)는 ICP(Iterative Closet Point) 방식을 이용하여 상기 추출된 움직임 정보를 보정하여 변환정보를 획득한다. 키 포인트 매핑 평가부(240)에서 얻어낸 움직임 정보는 조잡한(coarse) 3차원 매칭 포인트 페어들로부터 얻어낸 정보이므로 대략의 중요한 움직임 정보만을 알 수 있다. 따라서, 보다 정확한 움직임 정보를 획득하기 위하여, ICP 평가부(250)는 ICP 방식을 이용하여 상기 추출된 움직임 정보를 보정함으로써, 변환정보를 획득할 수 있다. 변환정보(Transformation)는 회전(Rotation)과 평행이동(translation)에 관한 정보를 포함할 수 있다. The ICP evaluation unit 250 corrects the extracted motion information using an ICP (Interactive Closet Point) method to obtain conversion information. Since the motion information obtained by the key point mapping evaluating unit 240 is information obtained from coarse three-dimensional matching point pairs, only significant motion information is known. Therefore, in order to obtain more accurate motion information, the ICP evaluating unit 250 can obtain the conversion information by correcting the extracted motion information using the ICP method. The transformation information may include information about rotation and translation.

따라서, 움직임 추출부(120)는 상기 변환정보를 이용하여 정확한 움직임 정보를 추출할 수 있다.Accordingly, the motion extracting unit 120 can extract accurate motion information using the conversion information.

움직임 추출부(120)는 도 2와 같은 프로세스를 수행하면서, 현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출한다.The motion extracting unit 120 extracts motion information between the previous N (N is a natural number) frames from the current frame while performing the process as shown in FIG.

필터링부(130)는 상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들을 이용하여 상기 영상을 필터링한다. 이 때, 매번 N개의 이전 프레임과의 변환정보를 계산하는 방식은 계산량이 많다는 단점이 있다. 따라서, 필터링부(130)는 계산량 감소를 위해 이전 한 개의 프레임과의 변환정보만 계산하여 저장하고, 이를 다른 프레임에서 사용하는 방식으로 계산량을 줄일 수 있다.The filtering unit 130 compensates the depth point clouds included in the previous N frames to the positions of the depth point clouds included in the current frame using the extracted motion information, Lt; / RTI > At this time, the method of calculating the conversion information with N previous frames every time has a disadvantage of a large amount of calculation. Accordingly, the filtering unit 130 may calculate and store only the conversion information with respect to the previous one frame in order to reduce the amount of calculation, and reduce the amount of calculation by using it in another frame.

영역 분리부(140)는 상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 움직임 영역(주요한(Major) 움직임 영역)을 분리한다.When there are a plurality of motion objects in the image, the region separation unit 140 separates the motion region (major motion region) using the distance between the depth point clouds included in the compensated frame.

필터링부(130)는 각 프레임의 상기 분리된 움직임 영역에 대하여 시간 필터링(Temporal Filtering)을 수행할 수 있다. The filtering unit 130 may perform temporal filtering on the separated motion regions of each frame.

움직임 추출부(120)는 상기 분리에서 제외된 움직임 영역(마이너 움직임 영역)에 포함된 프레임들의 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다. 이에 따라, 필터링부(130)는 상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행한다.The motion extracting unit 120 extracts motion information in the image by referring to the relation between the depth point clouds of the frames included in the motion region (minor motion region) excluded from the separation. Accordingly, the filtering unit 130 performs temporal filtering by compensating the extracted motion information in the image.

움직임 보상 3차원 필터링 장치(100)는 다수의 움직임이 존재하는 마이너 움직임 영역에 포함된 영상의 필터링을 반복적으로 수행함으로써, 움직임이 많은 영상에서도 시간 필터링을 수행할 수 있다.The motion compensation 3D filtering apparatus 100 may perform temporal filtering even in an image having many movements by repeatedly filtering an image included in a minor motion region in which a plurality of motions exist.

도 3은 시간 필터링을 통해 움직임이 많은 영상에서 시간 필터링을 수행하는 일례를 도시한 도면이다.3 is a diagram illustrating an example of performing temporal filtering on an image having many motions through temporal filtering.

도 3을 참조하면, 필터링부(130)는 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드(~t(3), t(2), t(1))들을 현재 프레임에 포함된 뎁스 포인트 클라우드(t(0))의 위치로 보상한다. 이후, 필터링부(130)는 상기 보상된 N개의 프레임들에 대하여 시간 필터링함으로써, 움직임 트레이스(trace)가 없고, 디테일한 뎁스 데이터가 살아있으면서도, 랜덤 노이즈를 제거하여 뎁스 데이터의 정밀도를 향상시킬 수 있다.3, the filtering unit 130 converts the depth point clouds (t (3), t (2), t (1)) included in the previous N frames into a depth point cloud (0)). Thereafter, the filtering unit 130 performs time filtering on the compensated N frames, thereby improving precision of depth data by eliminating random noise while there is no motion trace and detailed depth data is alive have.

도 4는 기존 필터링 방식과 본 발명의 필터링 방식을 비교한 일례를 도시한 도면이다.FIG. 4 is a diagram showing an example of comparison between the conventional filtering method and the filtering method of the present invention.

도 4를 참조하면, 기존 필터링 방식(410)은 시간 필터링을 통해 필터링을 수행하지만, 객체의 위치가 달라 정밀도가 떨어진다. 즉, 기존 필터링 방식(410)은 제2 프레임(t(2))에 포함된 객체, 제1 프레임(t(1))에 포함된 객체, 제0 프레임(t(0))에 포함된 객체의 위치가 서로 달라 움직임 트레이스가 발생한다는 단점이 있다.Referring to FIG. 4, the conventional filtering method 410 performs filtering through time filtering, but the position of the object is different and the precision is reduced. That is, the existing filtering method 410 can be applied to an object included in the second frame t (2), an object included in the first frame t (1), an object included in the 0th frame t (0) So that movement traces are generated.

이에 비하여, 본 발명의 필터링 방식(420)은 영상 내의 움직임 정보를 이용하여 움직이는 객체의 상대적 위치를 보정하고, 유효한 데이터들을 대상으로 시간 필터링을 수행함으로써, 보다 정밀한 필터링 결과를 얻을 수 있다. 즉, 본 발명의 필터링 방식(420)은 이전 2개의 프레임에 포함된 뎁스 포인트(t(2), t(1))들을 현재 프레임에 포함된 뎁스 포인트(t(0))의 위치로 보상함으로써, 보다 정밀한 뎁스 데이터를 얻을 수 있는 것이다.On the other hand, the filtering method 420 of the present invention can obtain more precise filtering results by correcting the relative position of moving objects using motion information in the image, and performing time filtering on the valid data. That is, the filtering method 420 of the present invention compensates the depth points t (2), t (1) included in the previous two frames by the position of the depth point t (0) included in the current frame , More precise depth data can be obtained.

도 5는 2차원 필터링 방식과 본 발명의 3차원 필터링 방식을 비교한 일례를 도시한 도면이다.5 is a diagram illustrating an example of a comparison between a two-dimensional filtering method and a three-dimensional filtering method of the present invention.

도 5를 참조하면, 종래의 2차원 필터링 방식(510)은 시간에 따른 객체의 3차원 위치가 변경되어, 움직임 트레이스가 발생하지만, 본 발명의 3차원 필터링 방식(520)은 시간에 따라 움직이는 객체의 3차원 위치를 보상하여 필터링을 수행함으로써, 고정밀의 3차원 뎁스 데이터를 충실히 복원할 수 있다.Referring to FIG. 5, in the conventional two-dimensional filtering method 510, a three-dimensional position of an object changes with time, and a motion trace occurs. However, in the three-dimensional filtering method 520 of the present invention, Dimensional depth data of the high-resolution image data can be faithfully restored by performing filtering by compensating the three-dimensional position of the three-dimensional depth data.

도 6은 기존 필터링 방식들과 본 발명의 필터링 방식의 정밀도를 그래프로 나타낸 도면이다.FIG. 6 is a graph showing the accuracy of the conventional filtering methods and the filtering method of the present invention.

도 6을 참조하면, 입력되는 뎁스 데이터에 대하여, 종래의 시간 평균(Temporal Averaging) 필터링 방식과 시간 양방향(Temporal Bilateral) 필터링 방식의 정밀도에 비해 본 발명의 필터링 방식의 정밀도가 더 좋게 나오는 것을 알 수 있다.Referring to FIG. 6, it can be seen that the precision of the filtering method of the present invention is better than that of the conventional temporal averaging filtering method and the temporal bilateral filtering method for the input depth data have.

도 7은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 방법의 순서를 도시한 흐름도이다.7 is a flowchart illustrating a procedure of a motion compensation 3D filtering method according to an embodiment of the present invention.

단계 710에서, 움직임 보상 3차원 필터링 방법은 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득한다. 여기서, 여기서, 카메라는 칼라 카메라 또는 TOF 방식의 뎁스 카메라일 수 있다.In step 710, the motion compensated three-dimensional filtering method acquires a depth point cloud of each frame included in the image generated in the camera. Here, the camera may be a color camera or a TOF depth camera.

단계 720에서, 상기 움직임 보상 3차원 필터링 방법은 3차원 키 포인트 매칭 방식에 따라 획득한 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득한다.In step 720, the motion-compensated 3D filtering method obtains 3D matching point pairs between depth point clouds obtained according to a 3D key point matching method.

단계 730에서, 상기 움직임 보상 3차원 필터링 방법은 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출한다. 즉, 상기 움직임 보상 3차원 필터링 방법은 상기 뎁스 포인트 클라우드 간의 대략적인 1차 움직임 정보를 빠르게 얻어낼 수 있다.In step 730, the motion-compensated three-dimensional filtering method extracts motion information from the obtained three-dimensional matching point pairs. That is, the motion compensation 3D filtering method can quickly obtain approximate first-order motion information between the depth point clouds.

단계 740에서, 상기 움직임 보상 3차원 필터링 방법은 ICP 방식에 따라 상기 움직임 정보를 보정한다. 예컨대, 상기 단계 730에서 얻어낸 움직임 정보는 조잡한 3차원 매칭 포인트 페어들로부터 얻어낸 정보이므로 대략의 주요한 움직임 정보만을 알 수 있다. 따라서, 보다 정확한 움직임 정보를 획득하기 위하여, 상기 움직임 보상 3차원 필터링 방법은 상기 ICP 방식을 이용하여 상기 추출된 움직임 정보를 보정함으로써, 변환정보를 획득할 수 있다. 변환정보(Transformation)는 회전과 평행이동에 관한 정보를 포함할 수 있다. 따라서, 상기 움직임 보상 3차원 필터링 방법은 상기 변환정보를 이용하여 정확한 움직임 정보를 얻을 수 있다.In step 740, the motion compensation 3D filtering method corrects the motion information according to the ICP method. For example, since the motion information obtained in step 730 is information obtained from coarse three-dimensional matching point pairs, only the main motion information is known. Therefore, in order to obtain more accurate motion information, the motion compensation three-dimensional filtering method can obtain the conversion information by correcting the extracted motion information using the ICP method. The transformation information may include information about rotation and translation. Therefore, the motion compensation three-dimensional filtering method can obtain accurate motion information using the conversion information.

단계 750에서, 상기 움직임 보상 3차원 필터링 방법은 상기 영상에서 상기 보정된 움직임 정보를 필터링한다. 예컨대, 상기 움직임 보상 3차원 필터링 방법은 상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들에 대하여 시간 필터링을 수행할 수 있다.In step 750, the motion compensated three-dimensional filtering method filters the corrected motion information in the image. For example, the motion compensated three-dimensional filtering method compensates the depth point clouds included in the previous N frames using the extracted motion information to the position of the depth point cloud included in the current frame, Lt; / RTI > can be performed.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 움직임 보상 3차원 필터링 장치
110: 뎁스 포인트 클라우드 획득부
120: 움직임 추출부
130: 필터링부
140: 영역 분리부100: motion compensation three-dimensional filtering device
110: Depth point cloud acquisition section
120:
130:
140:

Claims (15)

카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 뎁스 포인트 클라우드 획득부;
상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 움직임 추출부; 및
상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행하는 필터링부
를 포함하는 움직임 보상 3차원 필터링 장치.A depth point cloud acquisition unit for acquiring a depth point cloud of each frame included in the image generated by the camera;
A motion extracting unit for extracting motion information in the image by referring to the relevance between the acquired depth point clouds; And
A filtering unit for performing temporal filtering by compensating the extracted motion information in the image,
And a motion compensated three-dimensional filtering device. 제1항에 있어서,
상기 움직임 추출부는,
상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 검출하는 3차원 키 포인트 검출부;
상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득하는 관련성 획득부; 및
상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 이상값 평가부
를 포함하는 움직임 보상 3차원 필터링 장치.The method according to claim 1,
Wherein the motion extracting unit comprises:
A 3D key point detector for detecting a 3D key point from the depth point cloud;
A relevancy acquiring unit for acquiring a relationship between the depth point clouds using the local depth point value of the 3D key point; And
An ideal value evaluating unit for extracting motion information in the image with reference to the acquired relevance,
And a motion compensated three-dimensional filtering device. 제2항에 있어서,
상기 이상값 평가부는,
RANSAC 방식을 이용하여 상기 영상으로부터 이상 매치값들을 제거하고, 상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출하는, 움직임 보상 3차원 필터링 장치.3. The method of claim 2,
Wherein the abnormality evaluation unit comprises:
And removes the ideal match values from the image using the RANSAC scheme and extracts motion information in the image from which the ideal match values have been removed with reference to the obtained relevance. 제1항에 있어서,
상기 움직임 추출부는,
3차원 키 포인트 매칭 방식을 이용하여 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득하고, 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출하는 키 포인트 매칭 평가부
를 포함하는 움직임 보상 3차원 필터링 장치.The method according to claim 1,
Wherein the motion extracting unit comprises:
A key point matching evaluation unit which obtains 3D matching point pairs between the depth point clouds using a 3D key point matching method and extracts motion information from the obtained 3D matching point pairs,
And a motion compensated three-dimensional filtering device. 제4항에 있어서,
상기 움직임 추출부는,
ICP(Iterative Closet Point) 방식을 이용하여 상기 추출된 움직임 정보를 보정하여 변환정보를 획득하는 ICP 평가부
를 더 포함하는 움직임 보상 3차원 필터링 장치.5. The method of claim 4,
Wherein the motion extracting unit comprises:
An ICP evaluating unit for correcting the extracted motion information using ICP (Iterative Closet Point)
Further comprising a motion compensated three-dimensional filtering device. 제1항에 있어서,
상기 움직임 추출부는,
현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출하고,
상기 필터링부는,
상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들에 대하여 시간 필터링을 수행하는, 움직임 보상 3차원 필터링 장치.The method according to claim 1,
Wherein the motion extracting unit comprises:
Extracts motion information between previous N frames (N is a natural number) frames from the current frame,
Wherein the filtering unit comprises:
Compensating the depth point clouds included in the previous N frames with the position of the depth point cloud included in the current frame using the extracted motion information, and performing time filtering on the compensated N frames, 3D filtering device. 제6항에 있어서,
상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 움직임 영역을 분리하는 영역 분리부
를 더 포함하고,
상기 필터링부는,
각 프레임의 상기 분리된 움직임 영역에 대하여 시간 필터링을 수행하는, 움직임 보상 3차원 필터링 장치.The method according to claim 6,
And a region separator for separating the motion region using the distance between the depth point clouds included in the compensated frame when a plurality of motion objects exist in the image,
Further comprising:
Wherein the filtering unit comprises:
And performs temporal filtering on the separated motion regions of each frame. 제7항에 있어서,
상기 움직임 추출부는,
상기 분리에서 제외된 움직임 영역에 포함된 프레임들의 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는, 움직임 보상 3차원 필터링 장치.8. The method of claim 7,
Wherein the motion extracting unit comprises:
And extracts motion information in the image with reference to a relation between depth points clouds of frames included in a motion region excluded from the separation. 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 단계;
상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계; 및
상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.Acquiring a depth point cloud of each frame included in an image generated by a camera;
Extracting motion information in the image with reference to a relation between the acquired depth point clouds; And
Filtering the extracted motion information from the image
Wherein the motion compensated three-dimensional filtering method comprises: 제9항에 있어서,
상기 영상 내의 움직임 정보를 추출하는 단계는,
상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 추출하는 단계;
상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득하는 단계; 및
상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.10. The method of claim 9,
Wherein the step of extracting motion information in the image comprises:
Extracting a 3D key point from the depth point cloud;
Acquiring a relationship between the depth point clouds using the local depth point value of the 3D key point; And
Extracting motion information in the image with reference to the acquired relevance
Wherein the motion compensated three-dimensional filtering method comprises: 제10항에 있어서,
상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계는,
RANSAC 방식을 이용하여 상기 영상으로부터 이상 매치값들을 제거하는 단계; 및
상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.11. The method of claim 10,
The step of extracting motion information in the image with reference to the acquired relevance may include:
Removing the ideal match values from the image using the RANSAC scheme; And
Extracting motion information in the image from which the ideal match values have been removed with reference to the acquired relevance
Wherein the motion compensated three-dimensional filtering method comprises: 제9항에 있어서,
상기 영상 내의 움직임 정보를 추출하는 단계는,
3차원 키 포인트 매칭 방식에 따라 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득하는 단계;
상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출하는 단계; 및
ICP(Iterative Closet Point) 방식에 따라 상기 움직임 정보를 보정하는 단계
를 포함하는, 움직임 보상 3차원 필터링 방법.10. The method of claim 9,
Wherein the step of extracting motion information in the image comprises:
Obtaining three-dimensional matching point pairs between the depth point clouds according to a three-dimensional key point matching method;
Extracting motion information from the acquired 3D matching point pairs; And
Correcting the motion information according to an ICP (Iterative Closure Point)
Wherein the motion compensated three-dimensional filtering method comprises: 제9항에 있어서,
상기 영상 내의 움직임 정보를 추출하는 단계는,
현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출하는 단계
를 포함하는, 움직임 보상 3차원 필터링 방법.10. The method of claim 9,
Wherein the step of extracting motion information in the image comprises:
Extracting motion information between previous N (N is a natural number) frames from the current frame
Wherein the motion compensated three-dimensional filtering method comprises: 제13항에 있어서,
상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계는,
상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하는 단계; 및
상기 보상된 N개의 프레임들에 대하여 시간 필터링을 통해 상기 영상에서 상기 움직임 정보를 필터링하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.14. The method of claim 13,
Wherein the filtering the extracted motion information comprises:
Compensating the depth point clouds included in the previous N frames with the position of the depth point cloud included in the current frame using the extracted motion information; And
Filtering the motion information in the image through temporal filtering for the compensated N frames
Wherein the motion compensated three-dimensional filtering method comprises: 제14항에 있어서,
상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계는,
상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 움직임 영역을 분리하는 단계; 및
상기 분리된 움직임 영역에 포함된 프레임들에 대하여 시간 필터링을 수행하는 단계
를 더 포함하는, 움직임 보상 3차원 필터링 방법.15. The method of claim 14,
Wherein the filtering the extracted motion information comprises:
Separating a motion region using a distance between depth point clouds included in the compensated frame when a plurality of motion objects exist in the image; And
Performing time filtering on frames included in the separated motion region
Further comprising: a motion compensated three-dimensional filtering method.
KR1020100044334A 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus KR101699844B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100044334A KR101699844B1 (en) 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100044334A KR101699844B1 (en) 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus

Publications (2)

Publication Number Publication Date
KR20110124892A KR20110124892A (en) 2011-11-18
KR101699844B1 true KR101699844B1 (en) 2017-01-25

Family

ID=45394503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044334A KR101699844B1 (en) 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus

Country Status (1)

Country Link
KR (1) KR101699844B1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150747A (en) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 Point cloud registration algorithm based on topological characteristic
CN105701862A (en) * 2014-11-28 2016-06-22 星际空间（天津）科技发展有限公司 Ground object key point extraction method based on point cloud
KR102457724B1 (en) 2015-09-22 2022-10-24 삼성전자주식회사 Method for performing image process and electronic device thereof
KR101854461B1 (en) * 2016-10-12 2018-05-03 전자부품연구원 Camera system and method for recognizing object thereof
EP3631508A4 (en) 2017-07-31 2020-06-24 SZ DJI Technology Co., Ltd. Correction of motion-based inaccuracy in point clouds
CN109031339B (en) * 2018-05-23 2020-11-10 北京控制工程研究所 Three-dimensional point cloud motion compensation method
CN109559338B (en) * 2018-11-20 2020-10-27 西安交通大学 Three-dimensional point cloud registration method based on weighted principal component analysis method and M estimation
CN109886323B (en) * 2019-01-31 2020-10-30 中国地质大学（武汉） Device for testing motion trail filtering algorithm
KR102240054B1 (en) 2019-08-30 2021-04-14 (주)미래컴퍼니 Image processing apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. Spinello, et al. "Multimodal detection and tracking of pedestrians in urban environments with explicit ground plane extraction." Intelligent Robots and Systems, 2008. IEEE/RSJ International Conf.
Swadzba, Agnes, et al. "Tracking objects in 6D for reconstructing static scenes." Computer Vision and Pattern Recognition Workshops, 2008. CVPRW'08. IEEE Computer Society Conference on. IEEE, 2008.

Also Published As

Publication number Publication date
KR20110124892A (en) 2011-11-18

Similar Documents

Publication Publication Date Title
KR101699844B1 (en) Motion-compensated three dimension filtering method and apparatus
JP5977591B2 (en) Image processing apparatus, imaging apparatus including the same, image processing method, and computer-readable recording medium recording an image processing program
KR101758058B1 (en) Apparatus and method for estimating camera motion using depth information, augmented reality system
TWI485632B (en) Image alignment method and image alignment system
US20170069071A1 (en) Apparatus and method for extracting person region based on red/green/blue-depth image
KR101706216B1 (en) Apparatus and method for reconstructing dense three dimension image
KR20110127899A (en) Temporal interpolation of three dimension depth image method and apparatus
KR101524548B1 (en) Apparatus and method for alignment of images
CN104079912A (en) Image processing apparatus and image processing method
KR20130084849A (en) Method and apparatus for camera tracking
CN112880687A (en) Indoor positioning method, device, equipment and computer readable storage medium
WO2014002692A1 (en) Stereo camera
WO2015035462A1 (en) Point feature based 2d-3d registration
KR101537559B1 (en) Device for detecting object, device for detecting object for vehicle and method thereof
KR101966920B1 (en) Method and apparatus for estimating motion of image using disparity information of multi view image
JP2015524946A (en) Method and measuring apparatus for forming a super-resolution image with improved image resolution
KR20140134090A (en) Apparatus and method of processing a depth image using a relative angle between an image sensor and a target object
JP2017130067A (en) Automatic image processing system for improving position accuracy level of satellite image and method thereof
JP2022151676A (en) System and method for image stitching using robust camera pose estimation
WO2018025006A1 (en) Method and apparatus for generating an enhanced digital image of a physical object or environment
CN106709941A (en) Key point screening method for spectrum image sequence registration
Sun et al. Rolling shutter distortion removal based on curve interpolation
KR101681197B1 (en) Method and apparatus for extraction of depth information of image using fast convolution based on multi-color sensor
KR101973460B1 (en) Device and method for multiview image calibration
WO2014199824A1 (en) Image processing method, image processing device, and image processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4