KR20110124892A - Motion-compensated three dimension filtering method and apparatus - Google Patents

Motion-compensated three dimension filtering method and apparatus Download PDF

Info

Publication number
KR20110124892A
KR20110124892A KR1020100044334A KR20100044334A KR20110124892A KR 20110124892 A KR20110124892 A KR 20110124892A KR 1020100044334 A KR1020100044334 A KR 1020100044334A KR 20100044334 A KR20100044334 A KR 20100044334A KR 20110124892 A KR20110124892 A KR 20110124892A
Authority
KR
South Korea
Prior art keywords
motion
image
filtering
motion information
dimensional
Prior art date
Application number
KR1020100044334A
Other languages
Korean (ko)
Other versions
KR101699844B1 (en
Inventor
이승규
임화섭
최욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100044334A priority Critical patent/KR101699844B1/en
Publication of KR20110124892A publication Critical patent/KR20110124892A/en
Application granted granted Critical
Publication of KR101699844B1 publication Critical patent/KR101699844B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A motion-compensated 3D filtering method and device thereof are provided to improve a filtering performance through movement information in an image. CONSTITUTION: A depth point cloud obtaining unit(110) obtains the depth point cloud of a frame in an image which is generated from a camera. By referring the relationship between the obtained depth point clouds, a motion extracting unit(120) extracts the movement information in the image. A filtering unit(130) compensates the extracted motion information in the image. The filtering unit performs a temporal filtering.

Description

움직임 보상 3차원 필터링 방법 및 장치{MOTION-COMPENSATED THREE DIMENSION FILTERING METHOD AND APPARATUS}Motion compensation 3D filtering method and apparatus {MOTION-COMPENSATED THREE DIMENSION FILTERING METHOD AND APPARATUS}

본 발명의 일실시예는 카메라 센서단에서 획득된 3차원 뎁스 데이터를 이용한 3차원 뎁스 영상 처리 방식으로, 뎁스와 같은 3차원 포인트 클라우드 정보를 획득하는 모든 종류의 카메라 정밀도 향상에 이용되도록 하는 기술에 관한 것이다.One embodiment of the present invention is a three-dimensional depth image processing method using the three-dimensional depth data obtained from the camera sensor, the technique to be used to improve the accuracy of all kinds of cameras to obtain three-dimensional point cloud information, such as depth It is about.

TOF(Time-of-flight) 방식의 뎁스 카메라(Depth Camera)와 같은 장치에서 얻어진 3차원 뎁스 포인트 값은 컬러 카메라에 비하여 낮은 해상도와 정확성을 보인다. 따라서, 뎁스 카메라에서 생성되는 뎁스 데이터를 이용하여 3차원 캡처링(capturing), 모델링(modeling) 및 인터랙션(interaction) 등을 수행함에 있어, 신뢰도 높은 뎁스 데이터를 복원하는 것은 이후의 데이터 처리 성능에 결정적인 영향을 미치게 된다.Three-dimensional depth point values obtained in devices such as time-of-flight depth cameras exhibit lower resolution and accuracy than color cameras. Therefore, in performing 3D capturing, modeling, and interaction using depth data generated by the depth camera, restoring the depth data with high reliability is critical to subsequent data processing performance. Will be affected.

예컨대, 고해상도 고정밀 뎁스 데이터를 복원하기 위하여, 기존에는 2차원컬러 영상에 적용하였던 중앙값 필터(Median Filter), 공간 양방향 필터(Spatial Bilateral Filter), 시간 평균 필터(Temporal Averaging Filter), 또는 시간 양방향 필터(Temporal Bilateral Filter) 등이 사용되어 왔다. For example, in order to reconstruct high-resolution high-depth depth data, a median filter, a spatial bilateral filter, a temporal averaging filter, or a temporal bidirectional filter, which have been conventionally applied to two-dimensional color images, Temporal Bilateral Filter) and the like have been used.

하지만, 상기와 같은 필터들은 2차원 정보에 기반한 방식으로 3차원 포인트들로 이루어진 뎁스 데이터의 정밀도를 향상하는데는 효율적으로 수행되지 못한다는 문제점이 있다. However, the above filters have a problem in that they cannot be efficiently performed to improve the precision of depth data composed of 3D points in a 2D-based manner.

특히, 이웃한 프레임 간의 상관관계(correlation)를 이용하는 시간 양방향 필터의 경우에는 취득한 영상의 움직임 정보를 고려하지 않고 필터링을 수행함으로써, 움직임이 많은 영상의 경우 필터링 효과가 감소한다는 단점이 있다. 또한, 시간 평균 필터와 같은 경우에는 객체들의 움직임에 의한 트레이스(trace)가 심각하게 발생한다는 단점이 있다.In particular, in the case of the temporal bidirectional filter using correlation between neighboring frames, filtering is performed without considering motion information of the acquired image, and thus, the filtering effect is reduced in the case of the image having a lot of motion. In addition, in the case of a time average filter, there is a disadvantage in that a trace due to the movement of objects occurs seriously.

본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 장치는 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 뎁스 포인트 클라우드 획득부, 상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 움직임 추출부, 및 상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행하는 필터링부를 포함한다.3D filtering apparatus according to an embodiment of the present invention is a depth point cloud acquisition unit for obtaining a depth point cloud of each frame included in the image generated by the camera, by referring to the relationship between the obtained depth point cloud A motion extractor for extracting motion information in the image, and a filtering unit for performing time filtering by compensating the extracted motion information in the image.

이때, 상기 움직임 추출부는 상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 검출하는 3차원 키 포인트 검출부, 상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득하는 관련성 획득부, 및 상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 이상값 평가부를 포함한다.In this case, the motion extracting unit is a three-dimensional key point detection unit for detecting a three-dimensional key point from the depth point cloud, a relevance obtaining unit for obtaining a relationship between the depth point cloud using the local depth point value of the three-dimensional key point, And an outlier evaluator configured to extract motion information in the image by referring to the obtained relevance.

이때, 상기 이상값 평가부는 RANSAC 방식을 이용하여 상기 영상으로부터 이상 매치값들을 제거하고, 상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출할 수 있다.In this case, the abnormal value evaluator may remove abnormal match values from the image by using the RANSAC method, and extract motion information in the image from which the abnormal match values are removed by referring to the obtained relevance.

또한, 상기 움직임 추출부는 3차원 키 포인트 매칭 방식을 이용하여 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득하고, 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출하는 키 포인트 매칭 평가부를 더 포함할 수 있다.The motion extractor further acquires three-dimensional matching point pairs between the depth point clouds using a three-dimensional key point matching method, and extracts motion information from the obtained three-dimensional matching point pairs. It may include.

또한, 상기 움직임 추출부는 ICP(Iterative Closet Point) 방식을 이용하여 상기 추출된 움직임 정보를 보정하여 변환정보를 획득하는 ICP 평가부를 더 포함할 수 있다.The motion extractor may further include an ICP evaluator configured to correct the extracted motion information by using an iterative closet point (ICP) method to obtain transform information.

이때, 현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출할 수 있다. 이 경우, 상기 필터링부는 상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들에 대하여 시간 필터링을 수행하여 정밀도를 향상한다.In this case, motion information between previous N frames may be extracted from the current frame. In this case, the filtering unit compensates the depth point clouds included in the previous N frames with the location of the depth point cloud included in the current frame by using the extracted motion information and temporally filters the compensated N frames. To improve precision.

상기 움직임 보상 3차원 필터링 장치는 상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 각각의 움직임 영역을 분리하는 영역 분리부를 더 포함할 수 있다. 이때, 상기 필터링부는 상기 분리된 움직임 영역에 포함된 프레임들에 대하여 시간 필터링을 수행할 수 있다. 이 경우, 상기 움직임 추출부는 상기 분리에서 제외된 움직임 영역에 포함된 프레임들의 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다.The motion compensation 3D filtering apparatus may further include an area separator that separates each motion area by using a distance between depth point clouds included in the compensated frame when there are a plurality of motion objects in the image. . In this case, the filtering unit may perform time filtering on the frames included in the separated motion region. In this case, the motion extractor extracts motion information in the image by referring to the relationship between depth point clouds of frames included in the motion region excluded from the separation.

본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 방법은 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 단계, 상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계, 및 상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계를 포함한다.In the motion compensation 3D filtering method according to an embodiment of the present invention, the method further comprises: obtaining a depth point cloud of each frame included in an image generated by a camera, and referring to the relation between the obtained depth point clouds, motion information in the image. And extracting the extracted motion information from the image.

본 발명의 일실시예에 따르면, 2차원 기반 필터링 방식의 움직임 트레이스에 관한 문제점을 해결하고, 영상 내의 움직임 정보를 이용하여 필터링 성능을 향상시킬 수 있다.According to an embodiment of the present invention, it is possible to solve the problem related to the motion trace of the 2D based filtering method and to improve the filtering performance by using the motion information in the image.

본 발명의 일실시예에 따르면, 3차원 키 포인트 매칭 방식과 ICP 방식을 이용하여 뎁스 포인트 클라우드로부터 정확한 움직임 정보를 추출할 수 있다.According to an embodiment of the present invention, accurate motion information may be extracted from a depth point cloud using a 3D key point matching method and an ICP method.

본 발명의 일실시예에 따르면, 프레임에 포함된 뎁스 포인트 클라우드들을 보상하고, 보상된 프레임에 대하여 시간 필터링을 통해 움직임이 많은 영상에서 시간 필터링을 수행함으로써, 높은 정밀도를 가진 영상을 획득할 수 있다.According to an embodiment of the present invention, an image with high precision may be obtained by compensating for depth point clouds included in a frame and performing time filtering on an image having a lot of motion through time filtering on the compensated frame. .

도 1은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 장치의 구성을 도시한 블록도이다.
도 2는 움직임 보상 3차원 필터링 장치에 포함된 움직임 추출부의 상세 구성을 도시한 도면이다.
도 3은 시간 필터링을 통해 움직임이 많은 영상에서 시간 필터링을 수행하는 일례를 도시한 도면이다.
도 4는 기존 필터링 방식과 본 발명의 필터링 방식을 비교한 일례를 도시한 도면이다.
도 5는 2차원 필터링 방식과 본 발명의 3차원 필터링 방식을 비교한 일례를 도시한 도면이다.
도 6은 기존 필터링 방식들과 본 발명의 필터링 방식의 정밀도를 그래프로 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 방법의 순서를 도시한 흐름도이다.1 is a block diagram showing the configuration of a motion compensation three-dimensional filtering apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a detailed configuration of a motion extractor included in the motion compensation 3D filtering apparatus.
3 is a diagram illustrating an example of performing temporal filtering on an image having a lot of motion through temporal filtering.
4 is a diagram illustrating an example in which a conventional filtering method is compared with a filtering method of the present invention.
5 is a diagram illustrating an example in which a two-dimensional filtering method and a three-dimensional filtering method of the present invention are compared.
6 is a graph illustrating the precision of existing filtering schemes and the filtering scheme of the present invention.
7 is a flowchart illustrating a procedure of a motion compensation 3D filtering method according to an embodiment of the present invention.

이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.

도 1은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a motion compensation three-dimensional filtering apparatus according to an embodiment of the present invention.

도 1을 참고하면, 움직임 보상 3차원 필터링 장치(100)는 뎁스 포인트 클라우드 획득부(110), 움직임 추출부(120), 필터링부(130), 및 영역 분리부(140)를 포함할 수 있다.Referring to FIG. 1, the motion compensation 3D filtering apparatus 100 may include a depth point cloud acquirer 110, a motion extractor 120, a filter 130, and an area separator 140. .

뎁스 포인트 클라우드 획득부(110)는 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드(Depth Point Cloud)를 획득한다. 여기서, 카메라는 칼라 카메라(Color Camera) 또는 TOF(Time of Flight) 방식의 뎁스 카메라(Depth Camera)일 수 있다.The depth point cloud obtaining unit 110 obtains a depth point cloud of each frame included in the image generated by the camera. Here, the camera may be a color camera or a depth camera of a time of flight (TOF) method.

움직임 추출부(120)는 상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다. 예컨대, 움직임 추출부(120)는 상기 뎁스 포인트 클라우드로부터 3차원 코너(corner)와 같은 3차원 키 포인트들을 추출하고, 상기 3차원 키 포인트들 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득할 수 있다.The motion extractor 120 extracts motion information in the image by referring to the relation between the obtained depth point clouds. For example, the motion extractor 120 may extract three-dimensional key points, such as a three-dimensional corner, from the depth point cloud, and obtain a relationship between the depth point clouds using the three-dimensional key points.

도 2는 움직임 보상 3차원 필터링 장치에 포함된 움직임 추출부의 상세 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of a motion extractor included in the motion compensation 3D filtering apparatus.

도 2를 참조하면, 움직임 추출부(120)는 3차원 키 포인트 검출부(210), 관련성 획득부(220), 이상값 평가부(230), 키 포인트 매핑 평가부(240), 및 ICP 평가부(250)를 포함할 수 있다.Referring to FIG. 2, the motion extractor 120 includes a three-dimensional key point detector 210, a relevance obtainer 220, an outlier evaluator 230, a key point mapping evaluator 240, and an ICP evaluator. 250 may be included.

3차원 키 포인트 검출부(210)는 상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 검출한다. 예컨대, 3차원 키 포인트는 3차원 시프트(SIFT: Scale-Invariant Feature Transform)나 3차원 코너(3D corner) 같은 영상에 대한 특징 포인트들을 나타내는 것을 의미한다.The 3D key point detector 210 detects a 3D key point from the depth point cloud. For example, a three-dimensional key point means to represent feature points for an image such as a three-dimensional shift (SIFT) or a three-dimensional corner (3D corner).

관련성 획득부(220)는 상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성(correspondence)을 획득한다.The relevance acquisition unit 220 obtains a correlation between the depth point clouds using the local depth point value of the 3D key point.

이상값 평가부(230)는 상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다. 실시예로, 이상값 평가부(230)는 RANSAC(Random Sampling Consensus) 방식을 이용하여 상기 영상으로부터 이상 매치값(Outlier Match)들을 제거하고, 상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출할 수 있다.The outlier evaluator 230 extracts motion information in the image by referring to the obtained relevance. In an embodiment, the abnormality evaluator 230 may remove outlier matches from the image using a random sampling consensus (RANSAC) method, and remove the abnormal match values with reference to the obtained relevance. The motion information in the image may be extracted.

키 포인트 매핑 평가부(240)는 3차원 키 포인트 매칭(3D Key Point Matching) 방식을 이용하여 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어(3D Matching Point pair)들을 획득하고, 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출한다. 즉, 키 포인트 매핑 평가부(240)는 상기 뎁스 포인트 클라우드 간의 대략적인 1차 움직임 정보를 빠르게 얻어낼 수 있다.The key point mapping evaluation unit 240 acquires 3D matching point pairs between the depth point clouds by using a 3D key point matching method, and obtains the obtained 3D matching points. Extract motion information from point pairs. That is, the key point mapping evaluator 240 may quickly obtain approximate first motion information between the depth point clouds.

ICP 평가부(250)는 ICP(Iterative Closet Point) 방식을 이용하여 상기 추출된 움직임 정보를 보정하여 변환정보를 획득한다. 키 포인트 매핑 평가부(240)에서 얻어낸 움직임 정보는 조잡한(coarse) 3차원 매칭 포인트 페어들로부터 얻어낸 정보이므로 대략의 중요한 움직임 정보만을 알 수 있다. 따라서, 보다 정확한 움직임 정보를 획득하기 위하여, ICP 평가부(250)는 ICP 방식을 이용하여 상기 추출된 움직임 정보를 보정함으로써, 변환정보를 획득할 수 있다. 변환정보(Transformation)는 회전(Rotation)과 평행이동(translation)에 관한 정보를 포함할 수 있다. The ICP evaluation unit 250 obtains the conversion information by correcting the extracted motion information using an iterative closet point (ICP) method. Since the motion information obtained by the key point mapping evaluation unit 240 is information obtained from coarse three-dimensional matching point pairs, only significant motion information can be known. Therefore, in order to obtain more accurate motion information, the ICP evaluation unit 250 may obtain the conversion information by correcting the extracted motion information using the ICP method. Transformation may include information about rotation and translation.

따라서, 움직임 추출부(120)는 상기 변환정보를 이용하여 정확한 움직임 정보를 추출할 수 있다.Therefore, the motion extractor 120 may extract accurate motion information by using the conversion information.

움직임 추출부(120)는 도 2와 같은 프로세스를 수행하면서, 현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출한다.The motion extractor 120 performs the process as shown in FIG. 2 and extracts motion information between previous N frames (where N is a natural number) from the current frame.

필터링부(130)는 상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들을 이용하여 상기 영상을 필터링한다. 이 때, 매번 N개의 이전 프레임과의 변환정보를 계산하는 방식은 계산량이 많다는 단점이 있다. 따라서, 필터링부(130)는 계산량 감소를 위해 이전 한 개의 프레임과의 변환정보만 계산하여 저장하고, 이를 다른 프레임에서 사용하는 방식으로 계산량을 줄일 수 있다.The filtering unit 130 compensates for the depth point clouds included in the previous N frames using the extracted motion information to the position of the depth point cloud included in the current frame, and uses the compensated N frames to perform the image. To filter. In this case, the method of calculating conversion information with N previous frames every time has a disadvantage in that a large amount of calculation is required. Therefore, the filtering unit 130 may reduce the amount of calculation by calculating and storing only conversion information with one previous frame in order to reduce the amount of calculation and using the same in another frame.

영역 분리부(140)는 상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 움직임 영역(주요한(Major) 움직임 영역)을 분리한다.When there are a plurality of moving objects in the image, the area separator 140 separates a motion area (major motion area) by using a distance between depth point clouds included in the compensated frame.

필터링부(130)는 각 프레임의 상기 분리된 움직임 영역에 대하여 시간 필터링(Temporal Filtering)을 수행할 수 있다. The filtering unit 130 may perform temporal filtering on the separated motion region of each frame.

움직임 추출부(120)는 상기 분리에서 제외된 움직임 영역(마이너 움직임 영역)에 포함된 프레임들의 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출한다. 이에 따라, 필터링부(130)는 상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행한다.The motion extractor 120 extracts motion information in the image by referring to the relationship between depth point clouds of frames included in the motion region (minor motion region) excluded from the separation. Accordingly, the filtering unit 130 performs time filtering by compensating the extracted motion information in the image.

움직임 보상 3차원 필터링 장치(100)는 다수의 움직임이 존재하는 마이너 움직임 영역에 포함된 영상의 필터링을 반복적으로 수행함으로써, 움직임이 많은 영상에서도 시간 필터링을 수행할 수 있다.The motion compensation 3D filtering apparatus 100 may perform temporal filtering on an image having a lot of motion by repeatedly filtering an image included in a minor motion region in which a plurality of motions exist.

도 3은 시간 필터링을 통해 움직임이 많은 영상에서 시간 필터링을 수행하는 일례를 도시한 도면이다.3 is a diagram illustrating an example of performing temporal filtering on an image having a lot of motion through temporal filtering.

도 3을 참조하면, 필터링부(130)는 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드(~t(3), t(2), t(1))들을 현재 프레임에 포함된 뎁스 포인트 클라우드(t(0))의 위치로 보상한다. 이후, 필터링부(130)는 상기 보상된 N개의 프레임들에 대하여 시간 필터링함으로써, 움직임 트레이스(trace)가 없고, 디테일한 뎁스 데이터가 살아있으면서도, 랜덤 노이즈를 제거하여 뎁스 데이터의 정밀도를 향상시킬 수 있다.Referring to FIG. 3, the filtering unit 130 stores the depth point clouds (˜t (3), t (2), and t (1)) included in the previous N frames in the current frame. To the position of (0)). Afterwards, the filtering unit 130 performs time filtering on the compensated N frames so that there is no motion trace and detailed depth data is live, and random noise is removed to improve precision of the depth data. have.

도 4는 기존 필터링 방식과 본 발명의 필터링 방식을 비교한 일례를 도시한 도면이다.4 is a diagram illustrating an example in which a conventional filtering method is compared with a filtering method of the present invention.

도 4를 참조하면, 기존 필터링 방식(410)은 시간 필터링을 통해 필터링을 수행하지만, 객체의 위치가 달라 정밀도가 떨어진다. 즉, 기존 필터링 방식(410)은 제2 프레임(t(2))에 포함된 객체, 제1 프레임(t(1))에 포함된 객체, 제0 프레임(t(0))에 포함된 객체의 위치가 서로 달라 움직임 트레이스가 발생한다는 단점이 있다.Referring to FIG. 4, the conventional filtering method 410 performs filtering through time filtering, but the precision of the object is different due to the location of the object. That is, the existing filtering method 410 includes an object included in the second frame t (2), an object included in the first frame t (1), and an object included in the zeroth frame t (0). There is a disadvantage in that the movement traces are different due to the different positions of.

이에 비하여, 본 발명의 필터링 방식(420)은 영상 내의 움직임 정보를 이용하여 움직이는 객체의 상대적 위치를 보정하고, 유효한 데이터들을 대상으로 시간 필터링을 수행함으로써, 보다 정밀한 필터링 결과를 얻을 수 있다. 즉, 본 발명의 필터링 방식(420)은 이전 2개의 프레임에 포함된 뎁스 포인트(t(2), t(1))들을 현재 프레임에 포함된 뎁스 포인트(t(0))의 위치로 보상함으로써, 보다 정밀한 뎁스 데이터를 얻을 수 있는 것이다.In contrast, the filtering method 420 of the present invention can obtain a more precise filtering result by correcting a relative position of a moving object by using motion information in the image and performing time filtering on valid data. That is, the filtering method 420 of the present invention compensates the depth points t (2) and t (1) included in the previous two frames by the positions of the depth points t (0) included in the current frame. More precise depth data can be obtained.

도 5는 2차원 필터링 방식과 본 발명의 3차원 필터링 방식을 비교한 일례를 도시한 도면이다.5 is a diagram illustrating an example in which a two-dimensional filtering method and a three-dimensional filtering method of the present invention are compared.

도 5를 참조하면, 종래의 2차원 필터링 방식(510)은 시간에 따른 객체의 3차원 위치가 변경되어, 움직임 트레이스가 발생하지만, 본 발명의 3차원 필터링 방식(520)은 시간에 따라 움직이는 객체의 3차원 위치를 보상하여 필터링을 수행함으로써, 고정밀의 3차원 뎁스 데이터를 충실히 복원할 수 있다.Referring to FIG. 5, in the conventional two-dimensional filtering method 510, a three-dimensional position of an object is changed according to time, and a movement trace is generated. By performing filtering by compensating the three-dimensional position of, high-precision three-dimensional depth data can be faithfully restored.

도 6은 기존 필터링 방식들과 본 발명의 필터링 방식의 정밀도를 그래프로 나타낸 도면이다.6 is a graph illustrating the precision of existing filtering schemes and the filtering scheme of the present invention.

도 6을 참조하면, 입력되는 뎁스 데이터에 대하여, 종래의 시간 평균(Temporal Averaging) 필터링 방식과 시간 양방향(Temporal Bilateral) 필터링 방식의 정밀도에 비해 본 발명의 필터링 방식의 정밀도가 더 좋게 나오는 것을 알 수 있다.Referring to FIG. 6, it can be seen that the precision of the filtering method of the present invention is better than that of the conventional temporal averaging filtering method and the temporal bilateral filtering method with respect to the input depth data. have.

도 7은 본 발명의 일실시예에 따른 움직임 보상 3차원 필터링 방법의 순서를 도시한 흐름도이다.7 is a flowchart illustrating a procedure of a motion compensation 3D filtering method according to an embodiment of the present invention.

단계 710에서, 움직임 보상 3차원 필터링 방법은 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득한다. 여기서, 여기서, 카메라는 칼라 카메라 또는 TOF 방식의 뎁스 카메라일 수 있다.In operation 710, the motion compensation 3D filtering method acquires a depth point cloud of each frame included in an image generated by a camera. Here, the camera may be a color camera or a depth camera of the TOF method.

단계 720에서, 상기 움직임 보상 3차원 필터링 방법은 3차원 키 포인트 매칭 방식에 따라 획득한 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득한다.In operation 720, the motion compensation 3D filtering method acquires 3D matching point pairs between depth point clouds acquired according to a 3D key point matching scheme.

단계 730에서, 상기 움직임 보상 3차원 필터링 방법은 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출한다. 즉, 상기 움직임 보상 3차원 필터링 방법은 상기 뎁스 포인트 클라우드 간의 대략적인 1차 움직임 정보를 빠르게 얻어낼 수 있다.In operation 730, the motion compensation 3D filtering method extracts motion information from the obtained 3D matching point pairs. That is, the motion compensation three-dimensional filtering method can quickly obtain the rough primary motion information between the depth point cloud.

단계 740에서, 상기 움직임 보상 3차원 필터링 방법은 ICP 방식에 따라 상기 움직임 정보를 보정한다. 예컨대, 상기 단계 730에서 얻어낸 움직임 정보는 조잡한 3차원 매칭 포인트 페어들로부터 얻어낸 정보이므로 대략의 주요한 움직임 정보만을 알 수 있다. 따라서, 보다 정확한 움직임 정보를 획득하기 위하여, 상기 움직임 보상 3차원 필터링 방법은 상기 ICP 방식을 이용하여 상기 추출된 움직임 정보를 보정함으로써, 변환정보를 획득할 수 있다. 변환정보(Transformation)는 회전과 평행이동에 관한 정보를 포함할 수 있다. 따라서, 상기 움직임 보상 3차원 필터링 방법은 상기 변환정보를 이용하여 정확한 움직임 정보를 얻을 수 있다.In step 740, the motion compensation three-dimensional filtering method corrects the motion information according to an ICP method. For example, since the motion information obtained in step 730 is obtained from coarse three-dimensional matching point pairs, only the main motion information can be known. Therefore, in order to obtain more accurate motion information, the motion compensation three-dimensional filtering method can obtain the conversion information by correcting the extracted motion information using the ICP method. Transformation may include information about rotation and parallel movement. Accordingly, the motion compensation 3D filtering method may obtain accurate motion information using the transform information.

단계 750에서, 상기 움직임 보상 3차원 필터링 방법은 상기 영상에서 상기 보정된 움직임 정보를 필터링한다. 예컨대, 상기 움직임 보상 3차원 필터링 방법은 상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들에 대하여 시간 필터링을 수행할 수 있다.In operation 750, the motion compensation 3D filtering method filters the corrected motion information in the image. For example, the motion compensation 3D filtering method compensates the depth point clouds included in the previous N frames by using the extracted motion information with the position of the depth point cloud included in the current frame, and compensates for the compensated N frames. Time filtering may be performed on.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

100: 움직임 보상 3차원 필터링 장치
110: 뎁스 포인트 클라우드 획득부
120: 움직임 추출부
130: 필터링부
140: 영역 분리부100: motion compensation three-dimensional filtering device
110: depth point cloud acquisition unit
120: motion extraction unit
130: filtering unit
140: region separator

Claims (15)

카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 뎁스 포인트 클라우드 획득부;
상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 움직임 추출부; 및
상기 영상에서 상기 추출된 움직임 정보를 보상하여 시간 필터링을 수행하는 필터링부
를 포함하는 움직임 보상 3차원 필터링 장치.A depth point cloud obtaining unit obtaining a depth point cloud of each frame included in an image generated by a camera;
A motion extracting unit extracting motion information in the image by referring to the relation between the obtained depth point clouds; And
A filtering unit configured to perform time filtering by compensating the extracted motion information in the image
Motion compensation three-dimensional filtering device comprising a. 제1항에 있어서,
상기 움직임 추출부는,
상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 검출하는 3차원 키 포인트 검출부;
상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득하는 관련성 획득부; 및
상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 이상값 평가부
를 포함하는 움직임 보상 3차원 필터링 장치.The method of claim 1,
The motion extractor,
A three-dimensional key point detector for detecting a three-dimensional key point from the depth point cloud;
A relevance obtaining unit obtaining relevance between the depth point clouds using a local depth point value of the three-dimensional key point; And
Outlier evaluator for extracting motion information in the image by referring to the obtained relevance
Motion compensation three-dimensional filtering device comprising a. 제2항에 있어서,
상기 이상값 평가부는,
RANSAC 방식을 이용하여 상기 영상으로부터 이상 매치값들을 제거하고, 상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출하는, 움직임 보상 3차원 필터링 장치.The method of claim 2,
The abnormal value evaluation unit,
And anomaly match values are removed from the image by using a RANSAC method, and motion information in the image from which the abnormal match values are removed is referenced with respect to the obtained relevance. 제1항에 있어서,
상기 움직임 추출부는,
3차원 키 포인트 매칭 방식을 이용하여 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득하고, 상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출하는 키 포인트 매칭 평가부
를 포함하는 움직임 보상 3차원 필터링 장치.The method of claim 1,
The motion extractor,
A key point matching evaluator for obtaining 3D matching point pairs between the depth point clouds using a 3D key point matching method and extracting motion information from the obtained 3D matching point pairs.
Motion compensation three-dimensional filtering device comprising a. 제4항에 있어서,
상기 움직임 추출부는,
ICP(Iterative Closet Point) 방식을 이용하여 상기 추출된 움직임 정보를 보정하여 변환정보를 획득하는 ICP 평가부
를 더 포함하는 움직임 보상 3차원 필터링 장치.The method of claim 4, wherein
The motion extractor,
ICP evaluation unit to obtain the conversion information by correcting the extracted motion information using an iterative closet point (ICP) method
Motion compensation three-dimensional filtering device further comprising. 제1항에 있어서,
상기 움직임 추출부는,
현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출하고,
상기 필터링부는,
상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하고, 상기 보상된 N개의 프레임들에 대하여 시간 필터링을 수행하는, 움직임 보상 3차원 필터링 장치.The method of claim 1,
The motion extractor,
Extracts motion information between previous N frames (N is a natural number) from the current frame,
The filtering unit,
Using the extracted motion information, the depth point clouds included in the previous N frames are compensated to the position of the depth point cloud included in the current frame, and time compensation is performed on the compensated N frames. 3D filtering device. 제6항에 있어서,
상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 움직임 영역을 분리하는 영역 분리부
를 더 포함하고,
상기 필터링부는,
각 프레임의 상기 분리된 움직임 영역에 대하여 시간 필터링을 수행하는, 움직임 보상 3차원 필터링 장치.The method of claim 6,
If there are a plurality of motion objects in the image, an area separation unit for separating the motion area by using the distance between the depth point cloud included in the compensated frame
Further comprising:
The filtering unit,
And performing temporal filtering on the separated motion regions of each frame. 제7항에 있어서,
상기 움직임 추출부는,
상기 분리에서 제외된 움직임 영역에 포함된 프레임들의 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는, 움직임 보상 3차원 필터링 장치.The method of claim 7, wherein
The motion extractor,
And extracting motion information in the image by referring to a relationship between depth point clouds of frames included in the motion region excluded from the separation. 카메라에서 생성되는 영상에 포함된 각 프레임의 뎁스 포인트 클라우드를 획득하는 단계;
상기 획득한 뎁스 포인트 클라우드 간의 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계; 및
상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.Obtaining a depth point cloud of each frame included in the image generated by the camera;
Extracting motion information in the image by referring to the relation between the obtained depth point clouds; And
Filtering the extracted motion information from the image
Motion compensation three-dimensional filtering method comprising a. 제9항에 있어서,
상기 영상 내의 움직임 정보를 추출하는 단계는,
상기 뎁스 포인트 클라우드로부터 3차원 키 포인트를 추출하는 단계;
상기 3차원 키 포인트의 로컬 뎁스 포인트값을 이용하여 상기 뎁스 포인트 클라우드 간의 관련성을 획득하는 단계; 및
상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.10. The method of claim 9,
Extracting motion information in the image,
Extracting a three-dimensional key point from the depth point cloud;
Acquiring a relationship between the depth point clouds using a local depth point value of the three-dimensional key point; And
Extracting motion information in the image by referring to the obtained relevance
Motion compensation three-dimensional filtering method comprising a. 제10항에 있어서,
상기 획득한 관련성을 참조하여 상기 영상 내의 움직임 정보를 추출하는 단계는,
RANSAC 방식을 이용하여 상기 영상으로부터 이상 매치값들을 제거하는 단계; 및
상기 획득한 관련성을 참조하여 상기 이상 매치값들이 제거된 영상 내의 움직임 정보를 추출하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.The method of claim 10,
Extracting motion information in the image by referring to the obtained relevance,
Removing abnormal match values from the video using a RANSAC scheme; And
Extracting motion information in the image from which the abnormal match values are removed by referring to the obtained relevance
Motion compensation three-dimensional filtering method comprising a. 제9항에 있어서,
상기 영상 내의 움직임 정보를 추출하는 단계는,
3차원 키 포인트 매칭 방식에 따라 상기 뎁스 포인트 클라우드 간의 3차원 매칭 포인트 페어들을 획득하는 단계;
상기 획득한 3차원 매칭 포인트 페어들로부터 움직임 정보를 추출하는 단계; 및
ICP(Iterative Closet Point) 방식에 따라 상기 움직임 정보를 보정하는 단계
를 포함하는, 움직임 보상 3차원 필터링 방법.10. The method of claim 9,
Extracting motion information in the image,
Acquiring three-dimensional matching point pairs between the depth point clouds according to a three-dimensional key point matching scheme;
Extracting motion information from the obtained three-dimensional matching point pairs; And
Correcting the motion information according to an iterative closet point (ICP) method;
A motion compensation three-dimensional filtering method comprising a. 제9항에 있어서,
상기 영상 내의 움직임 정보를 추출하는 단계는,
현재 프레임으로부터 이전 N(N은 자연수)개의 프레임 간의 움직임 정보들을 추출하는 단계
를 포함하는, 움직임 보상 3차원 필터링 방법.10. The method of claim 9,
Extracting motion information in the image,
Extracting motion information between previous N frames (where N is a natural number) from the current frame
A motion compensation three-dimensional filtering method comprising a. 제13항에 있어서,
상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계는,
상기 추출된 움직임 정보들을 이용하여 이전 N개의 프레임에 포함된 뎁스 포인트 클라우드들을 현재 프레임에 포함된 뎁스 포인트 클라우드의 위치로 보상하는 단계; 및
상기 보상된 N개의 프레임들에 대하여 시간 필터링을 통해 상기 영상에서 상기 움직임 정보를 필터링하는 단계
를 포함하는 움직임 보상 3차원 필터링 방법.The method of claim 13,
The filtering of the extracted motion information from the image may include:
Compensating for the depth point clouds included in the previous N frames with the location of the depth point clouds included in the current frame by using the extracted motion information; And
Filtering the motion information in the image through temporal filtering on the compensated N frames.
Motion compensation three-dimensional filtering method comprising a. 제14항에 있어서,
상기 영상에서 상기 추출된 움직임 정보를 필터링하는 단계는,
상기 영상 내의 다수의 움직임 객체가 존재하는 경우, 상기 보상된 프레임에 포함된 뎁스 포인트 클라우드 간의 거리를 이용하여 움직임 영역을 분리하는 단계; 및
상기 분리된 움직임 영역에 포함된 프레임들에 대하여 시간 필터링을 수행하는 단계
를 더 포함하는, 움직임 보상 3차원 필터링 방법.The method of claim 14,
The filtering of the extracted motion information from the image may include:
When there are a plurality of moving objects in the image, separating a moving area by using a distance between depth point clouds included in the compensated frame; And
Performing temporal filtering on the frames included in the separated motion region
Further comprising, the motion compensation three-dimensional filtering method.
KR1020100044334A 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus KR101699844B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100044334A KR101699844B1 (en) 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100044334A KR101699844B1 (en) 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus

Publications (2)

Publication Number Publication Date
KR20110124892A true KR20110124892A (en) 2011-11-18
KR101699844B1 KR101699844B1 (en) 2017-01-25

Family

ID=45394503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044334A KR101699844B1 (en) 2010-05-12 2010-05-12 Motion-compensated three dimension filtering method and apparatus

Country Status (1)

Country Link
KR (1) KR101699844B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150747A (en) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 Point cloud registration algorithm based on topological characteristic
CN105701862A (en) * 2014-11-28 2016-06-22 星际空间（天津）科技发展有限公司 Ground object key point extraction method based on point cloud
KR101854461B1 (en) * 2016-10-12 2018-05-03 전자부품연구원 Camera system and method for recognizing object thereof
CN109031339A (en) * 2018-05-23 2018-12-18 北京控制工程研究所 A kind of three-dimensional point cloud motion compensation process
CN109559338A (en) * 2018-11-20 2019-04-02 西安交通大学 A kind of three-dimensional point cloud method for registering estimated based on Weighted principal component analysis and M
CN109886323A (en) * 2019-01-31 2019-06-14 中国地质大学（武汉） It is a kind of for testing the device of motion profile filtering algorithm
US10341641B2 (en) 2015-09-22 2019-07-02 Samsung Electronics Co., Ltd. Method for performing image process and electronic device thereof
KR20200015722A (en) * 2017-07-31 2020-02-12 에스지 디제이아이 테크놀러지 코., 엘티디 Motion-based Inaccuracy Correction in Point Clouds
KR20210026535A (en) 2019-08-30 2021-03-10 (주)미래컴퍼니 Image processing apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. Spinello, et al. "Multimodal detection and tracking of pedestrians in urban environments with explicit ground plane extraction." Intelligent Robots and Systems, 2008. IEEE/RSJ International Conf. *
Swadzba, Agnes, et al. "Tracking objects in 6D for reconstructing static scenes." Computer Vision and Pattern Recognition Workshops, 2008. CVPRW'08. IEEE Computer Society Conference on. IEEE, 2008. *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150747A (en) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 Point cloud registration algorithm based on topological characteristic
CN105701862A (en) * 2014-11-28 2016-06-22 星际空间（天津）科技发展有限公司 Ground object key point extraction method based on point cloud
US10341641B2 (en) 2015-09-22 2019-07-02 Samsung Electronics Co., Ltd. Method for performing image process and electronic device thereof
KR101854461B1 (en) * 2016-10-12 2018-05-03 전자부품연구원 Camera system and method for recognizing object thereof
CN110914703A (en) * 2017-07-31 2020-03-24 深圳市大疆创新科技有限公司 Correction of motion-based inaccuracies in point clouds
US11961208B2 (en) 2017-07-31 2024-04-16 SZ DJI Technology Co., Ltd. Correction of motion-based inaccuracy in point clouds
US11238561B2 (en) 2017-07-31 2022-02-01 SZ DJI Technology Co., Ltd. Correction of motion-based inaccuracy in point clouds
KR20200015722A (en) * 2017-07-31 2020-02-12 에스지 디제이아이 테크놀러지 코., 엘티디 Motion-based Inaccuracy Correction in Point Clouds
CN109031339A (en) * 2018-05-23 2018-12-18 北京控制工程研究所 A kind of three-dimensional point cloud motion compensation process
CN109031339B (en) * 2018-05-23 2020-11-10 北京控制工程研究所 Three-dimensional point cloud motion compensation method
CN109559338B (en) * 2018-11-20 2020-10-27 西安交通大学 Three-dimensional point cloud registration method based on weighted principal component analysis method and M estimation
CN109559338A (en) * 2018-11-20 2019-04-02 西安交通大学 A kind of three-dimensional point cloud method for registering estimated based on Weighted principal component analysis and M
CN109886323A (en) * 2019-01-31 2019-06-14 中国地质大学（武汉） It is a kind of for testing the device of motion profile filtering algorithm
KR20210026535A (en) 2019-08-30 2021-03-10 (주)미래컴퍼니 Image processing apparatus

Also Published As

Publication number Publication date
KR101699844B1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
KR20110124892A (en) Motion-compensated three dimension filtering method and apparatus
TWI485632B (en) Image alignment method and image alignment system
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
JP4883223B2 (en) Motion vector generation apparatus and motion vector generation method
KR20110127899A (en) Temporal interpolation of three dimension depth image method and apparatus
KR102563750B1 (en) Method and Device of Image Deblurring
JP5977591B2 (en) Image processing apparatus, imaging apparatus including the same, image processing method, and computer-readable recording medium recording an image processing program
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
JP6570296B2 (en) Image processing apparatus, image processing method, and program
CN104079912A (en) Image processing apparatus and image processing method
KR20130112311A (en) Apparatus and method for reconstructing dense three dimension image
KR20110123744A (en) Detecting potential changed objects in images
JP2014009975A (en) Stereo camera
KR100951309B1 (en) New Calibration Method of Multi-view Camera for a Optical Motion Capture System
Zuo et al. Registration method for infrared images under conditions of fixed-pattern noise
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
WO2015035462A1 (en) Point feature based 2d-3d registration
JP2015524946A (en) Method and measuring apparatus for forming a super-resolution image with improved image resolution
KR101537559B1 (en) Device for detecting object, device for detecting object for vehicle and method thereof
JP2008216127A (en) Distance image generation device, distance image generation method, and program
JP2022151676A (en) System and method for image stitching using robust camera pose estimation
JP2014116012A (en) Method and apparatus for color transfer between images
KR101681197B1 (en) Method and apparatus for extraction of depth information of image using fast convolution based on multi-color sensor
CN115294358A (en) Feature point extraction method and device, computer equipment and readable storage medium
CN101473350A (en) Global motion estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4