KR101129220B1 - 레인지 영상의 노이즈 제거장치 및 방법 - Google Patents

레인지 영상의 노이즈 제거장치 및 방법 Download PDF

Info

Publication number
KR101129220B1
KR101129220B1 KR1020090105563A KR20090105563A KR101129220B1 KR 101129220 B1 KR101129220 B1 KR 101129220B1 KR 1020090105563 A KR1020090105563 A KR 1020090105563A KR 20090105563 A KR20090105563 A KR 20090105563A KR 101129220 B1 KR101129220 B1 KR 101129220B1
Authority
KR
South Korea
Prior art keywords
range image
noise
coordinate
observation points
constraint
Prior art date
Application number
KR1020090105563A
Other languages
English (en)
Other versions
KR20110048829A (ko
Inventor
최광남
김정헌
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020090105563A priority Critical patent/KR101129220B1/ko
Priority to US12/844,229 priority patent/US8565551B2/en
Publication of KR20110048829A publication Critical patent/KR20110048829A/ko
Application granted granted Critical
Publication of KR101129220B1 publication Critical patent/KR101129220B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

레인지 영상의 노이즈 제거장치 및 방법이 개시된다. 최대우도 검출부는 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출한다. 선형화부는 각각의 관측점에 대해 산출된 조건식들을 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환한다. 제약조건 검출부는 레인지 영상의 각 좌표축에 대해 상기 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출한다. 노이즈 제거부는 제약조건식과 함께 최소 자승 형태로 나타낸 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 레인지 영상에서 각각의 관측점의 위치에 적용하여 레인지 영상의 노이즈를 제거한다. 본 발명에 따르면, 노이즈가 고르게 분포되지 않은 레인지 영상에 대하여도 우수하게 노이즈를 제거하여 안정된 곡률의 매끈한 곡면을 얻을 수 있다.
레인지 영상, 노이즈, 최대 우도, 단위 접벡터, 정규방정식

Description

레인지 영상의 노이즈 제거장치 및 방법{Apparatus and method for noise reduction of range images}
본 발명은 레인지 영상의 노이즈 제거장치 및 방법에 관한 것으로, 보다 상세하게는, 3차원 좌표 정보로 표현되는 레인지 영상에 포함된 노이즈를 제거하여 곡면을 매끄럽게 표현하는 장치 및 방법에 관한 것이다.
영상 처리는 컴퓨터 비전(computer vision)에 있어서 기본적인 분야이다. 영상 기술의 발전은 다양한 방식으로 영상을 획득할 수 있는 기회를 제공하며, 이러한 영상으로부터 획득한 3D 정보의 처리는 시각화(visualization) 및 비전 분야에서 중요한 이슈가 되었다. 3D 센싱 기술의 발전으로 고해상도 레인지 영상(range image)의 생성이 가능해졌으며, 그에 따라 노이즈로 인한 문제가 지속되었다. 즉, 노이즈가 있는 영상 데이터로부터 관심대상 곡면이 추출되어야 한다. 결과적으로 3D 영상 처리에서의 노이즈 감소 기법에 대한 필요성이 증대되었다.
영상의 노이즈 제거 또는 스무딩(smoothing)은 영상 처리에 있어서 가장 일반적으로 행해지는 작업의 하나이다. 전통적으로 2D 영상의 노이즈 제거 기법들은 수량 필드(quantity field)의 지역값(local value)에 초점을 맞춘다. 더 나아가 3D 객체의 부드러운 곡면을 형상화하기 위해서는 지역의 기하학적 관계가 고려된다. 이러한 지역의 기하학적 관계의 고려로 인하여 3D 객체는 미분기하학의 곡면곡률과 같은 곡면의 모양에 기반한 특징의 안정적인 분포를 갖게 된다.
곡률은 곡면을 표현하기 위한 변환에 불변인 우수한 특징 중의 하나이다. 이러한 불변성은 객체인식, 자세나 움직임 예측 및 영상정합과 같은 컴퓨터 비전을 위한 좋은 특성이다. 곡률은 곡선 또는 곡면의 가파른 정도를 나타내며, 3D 유클리드 공간에서 1차 및 2차 편미분으로부터 산출된다. 그러나 곡률은 이러한 미분에 기반한 특성 때문에 노이즈에 매우 민감하다. 3D 영상 센서로부터 얻어진 노이즈가 포함된 곡면은 관측된 객체의 전 영역에 걸쳐 고르지 않은 곡률을 보인다. 이는 대부분의 지점이 매우 가파르게 구부러져 있다는 것을 나타낸다. 즉, 노이즈가 포함된 곡면은 평평한 면에서도 일정하지 않은 곡률을 야기하여 예상과 다른 결과를 보인다. 따라서 가파른 지점과 평평한 지점이 구별되지 않는다. 구별을 위해 유용한 곡률은 매끈한 곡면으로부터 얻어지므로 노이즈가 포함된 곡면을 매끄럽게 하는 스무딩 기법이 필요하다.
비전 기술의 발전으로 인해 레인지 영상 획득을 위한 야외용 모바일 기기가 출현하게 되었고, 그로 인해 언제 어디서나 쉽고 빠르게 레인지 영상을 얻을 수 있게 되었으나 더욱 많아지고 편향된 노이즈가 레인지 영상에 존재하게 되었다. 기기에 의하여 노이즈의 크기와 방향이 편향되어 노이즈는 각 방향으로 서로 다르게 분포된다. 이와 같은 이유로, 관측되는 곡면은 고르지 못하며 노이즈는 비등방 분포를 가진다. 이러한 온더플라이(on-the-fly) 방식의 기기를 사용하는 응용기기를 위 해 특별한 스무딩 기법이 요구된다.
방사 함수(Radial Basis Function : RBF)를 이용한 곡면 재구성은 일반적인 기법 중의 하나로서, RBF의 값을 구할 때 흩어진 레인지 데이터를 스무딩 커널, 즉 저역 통과 필터에 의해 컨벌루션하여 평탄하게 한다. 또한 스무딩 커널의 이산 근사는 비등방적이고 공간 가변적인 필터를 포함한 임의의 필터 커널을 가능하게 한다. 또한 이동 최소 제곱법(Moving Least Squares : MLS) 근사에 의한 부드러운 보간 역시 강력한 수단 중의 하나이다. 일반적인 곡면 보간을 위한 메쉬(mesh) 독립적인 MLS 기반 투영 방법이 제안된 바 있다. 이 방법은 d≥2일 때 Rd에서 (d-1)차원의 다양체에 적용 가능하고, 그 결과 곡면은 C∞ 스무드이다. 한편, 확산에 의한 영상 스무딩 기술은 일반적인 것으로, 레벨셋 곡면 모델과 법선벡터의 비등방 확산을 통한 곡면 스무딩 방법은 노이즈 제거에 있어서 저역 통과 필터처럼 동작하는 등방 확산보다 나은 방법이다.
그러나 온더플라이 3D 이미징 기기에 의해 획득한 레인지 영상은 일반적인 3D 영상에 비해 훨씬 많은 노이즈를 포함하며, 동일 프레임에 걸쳐 다양한 노이즈 레벨을 가지므로 앞에서 설명한 방법들은 온더플라이 레인지 영상에 적용되기에는 적합하지 않다. 따라서 레인지 영상에 대한 노이즈 제거 성능이 우수한 스무딩 기법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 3D 이미징 센서로부터 얻어진 레인지 영상의 고르지 않은 곡률을 안정화시켜 매끈한 곡면을 얻을 수 있는 레인지 영상의 노이즈 제거장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 3D 이미징 센서로부터 얻어진 레인지 영상의 고르지 않은 곡률을 안정화시켜 매끈한 곡면을 얻을 수 있는 레인지 영상의 노이즈 제거방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 레인지 영상의 노이즈 제거장치는, 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 상기 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 상기 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출하는 최대우도 검출부; 상기 각각의 관측점에 대해 산출된 조건식들을 상기 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환하는 선형화부; 상기 레인지 영상의 각 좌표축에 대해 상기 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출하는 제약조건 검출부; 및 상기 제약조건식과 함께 최소 자승 형태로 나타낸 상기 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 상기 레인지 영상에서 상기 각각의 관측점의 위치에 적용하여 상기 레인지 영상의 노이즈를 제거하는 노이즈 제거부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 레인지 영상의 노이즈 제거방법은, 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 상기 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 상기 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출하는 최대우도 검출단계; 상기 각각의 관측점에 대해 산출된 조건식들을 상기 좌표공간의 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환하는 선형화단계; 상기 레인지 영상의 각 좌표축에 대해 상기 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출하는 제약조건 검출단계; 및 상기 제약조건식과 함께 최소 자승 형태로 나타낸 상기 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 상기 레인지 영상에서 상기 각각의 관측점의 위치에 적용하여 상기 레인지 영상의 노이즈를 제거하는 노이즈 제거단계;를 갖는다.
본 발명에 따른 레인지 영상의 노이즈 제거장치 및 방법에 의하면, 격자 형태의 레인지 영상에 위치하는 관측점들 각각에 대해 적응적으로 적용되는 정규방정식의 해를 최대 로그우도의 조건식 및 단위 접벡터를 균일화하는 제약조건식으로부터 산출함으로써, 노이즈가 고르게 분포되지 않은 레인지 영상에 대하여도 우수하게 노이즈를 제거하여 안정된 곡률의 매끈한 곡면을 얻을 수 있다. 또한 레인지 영 상을 생성하는 3차원 이미징 장치의 내부에 구비되어 이미징 장치의 성능을 향상시킬 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 레인지 영상의 노이즈 제거장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 레인지 영상의 노이즈 제거장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 노이즈 제거장치는 최대우도 검출부(110), 선형화부(120), 제약조건 검출부(130) 및 노이즈 제거부(140)를 구비한다.
최대우도 검출부(110)는 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출한다.
스테레오 카메라, 플래쉬 레이더(flash radar) 및 구조광 3D 스캐너와 같은 3차원 이미징 장치는 온 더 플라이 방식에 의해 빠르게 레인지 영상을 생성한다. 레인지 영상은 영상에 포함된 객체의 3차원 좌표 정보, 즉 이미징 장치로부터의 거리 및 3차원 공간에서의 위치 정보를 나타내는 영상으로, 복수의 격자로 이루어진다. 레인지 영상을 구성하는 각각의 격자에는 좌표값이 부여된 관측점이 위치한다. 레인지 영상을 생성하는 장치의 특성상 모든 격자에 관측점이 위치하지는 않으며, 객체의 각 부분에 대해 실시간으로 측정된 좌표값이 레인지 영상에서 그에 대응하 는 부분의 격자에 위치하는 관측점에 부여된다.
최대우도 검출부(110)는 관측점들 각각에 대해, 그리고 레인지 영상이 나타내는 실제 좌표공간의 각 좌표축에 대해 최대 로그우도를 만족시키기 위한 조건식을 산출한다. 이때 각 관측점은 실제 좌표에서 가우시안 분포를 가지고 관측된 랜덤변수라 한다. 관측점들 중에서 순차적으로 선택되는 하나의 관측점인 중심 관측점
Figure 112009067618753-pat00001
와 그에 이웃하는 이웃 관측점들을 포함하는 집합을 'Ν'으로 정의하고, Ν에 속한 관측점들에 부여된 좌표값들이 독립적인 확률분포를 가진다고 가정한다. 따라서 중심 관측점
Figure 112009067618753-pat00002
에서 각 좌표축으로의 확률분포 역시 독립적이다. 집합 Ν이 중심 관측점과 이웃 관측점들을 포함하는 k개의 관측점인
Figure 112009067618753-pat00003
,…,
Figure 112009067618753-pat00004
를 포함한다고 하면 레인지 영상이 나타내는 좌표공간의 한 좌표축에 대한 Ν의 우도는 다음의 수학식 1과 같이 표현된다.
Figure 112009067618753-pat00005
여기서, p(Ν|μ,σ2)는 집합 Ν의 우도, xi는 i번째 관측점에 부여된 좌표값, μi는 i번째 관측점의 실제 좌표공간에서의 좌표값, 그리고 σi 2는 i번째 관측점에 부여되는 분산값으로 3D 이미징 장치의 정확도로부터 유도되는 값이다. 또한 장치의 정확도는 장치의 상세한 동작환경이 기재된 명세서를 기반으로 하여 얻을 수 있다.
바람직하게는, 집합 Ν에 포함되는 관측점들은 중심 관측점
Figure 112009067618753-pat00006
와 8개의 이웃 관측점들로 이루어져 총 k=9개의 관측점들에 대해 우도를 표현할 수 있다. 따라서 최대우도 검출부(110)는 레인지 영상에 위치하는 각각의 관측점에 대해 해당 관측점을 포함하는 9개의 관측점들로 이루어진 집합 Ν으로부터 최대 로그우도를 추정할 수 있다.
수학식 1로부터 최대 로그우도를 추정하기 위한 조건식을 산출하면 다음의 수학식 2를 거쳐 수학식 3이 얻어진다.
Figure 112009067618753-pat00007
Figure 112009067618753-pat00008
즉, 최대우도 검출부(110)는 레인지 영상의 각각의 격자에 위치하는 관측점 및 레인지 영상이 나타내는 좌표공간의 각 좌표축에 대해 각각 수학식 3과 같이 표현되는 조건식을 산출한다.
수학식 3에서 실제 좌표공간에서의 좌표값인 μi는 미지의 값이고, 나아가 실제 좌표로부터 나오는 정확도 역시 미지의 값에 해당한다. 따라서 관측점에 부여 된 좌표값인 xi로부터 나오는 정확도가 μi로부터 나오는 정확도와 유사하다고 가정하고, 정확도를 3σ로 정의한다. 따라서 수학식 1에서 미지의 변수는 좌표공간에서 실제 좌표값인 μi 뿐이며, 이를 구하기 위해 이하의 과정이 수행된다.
선형화부(120)는 각각의 관측점에 대해 산출된 조건식들을 좌표공간의 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환한다.
레인지 영상으로부터 순차적으로 선택된 중심 관측점
Figure 112009067618753-pat00009
및 그 이웃 관측점들을 포함하는 k개의 관측점들에 대해 수학식 3으로 표현되는 최대 로그우도의 조건식을 선형대수식으로 표현하면 다음의 수학식 4와 같이 표현된다.
Figure 112009067618753-pat00010
여기서, 벡터
Figure 112009067618753-pat00011
이다.
수학식 4는 레인지 영상에 위치하는 모든 관측점들에 대해, 그리고 레인지 영상이 나타내는 좌표공간의 각 좌표축에 대해 얻어진다.
다음으로 레인지 영상의 크기가 세로 m개, 가로 n개의 총 l개의 격자로 이루어져 있다고 하면, 각각의 관측점에 대해 얻어진 수학식 4는 l개의 격자 내에 위치하는 k개의 관측점들에 대해 표현되는 다음의 수학식 5와 같이 나타낼 수 있다.
Figure 112009067618753-pat00012
여기서, 벡터
Figure 112009067618753-pat00013
이다. 벡터
Figure 112009067618753-pat00014
의 요소 ai는 다음과 같이 결정된다.
Figure 112009067618753-pat00015
즉, l개의 요소들 중에서 k개의 관측점에 해당하는 요소에는
Figure 112009067618753-pat00016
의 값이 부여되고, 나머지 요소들의 값은 0이 된다. 수학식 5 역시 수학식 4와 마찬가지로 레인지 영상에 위치하는 모든 관측점들에 대해, 그리고 레인지 영상이 나타내는 좌표공간의 각 좌표축에 대해 얻어진다.
마지막으로 레인지 영상이 총 s개의 관측점들을 포함한다면 수학식 5는 모든 관측점을 포함하도록 다음의 수학식 6과 같이 다시 나타낼 수 있다.
Figure 112009067618753-pat00017
여기서, 행렬
Figure 112009067618753-pat00018
이다.
선형화부는 레인지 영상이 나타내는 좌표공간의 각 좌표축에 대해 수학식 6으로 표현되는 선형관계식을 산출한다. 각 좌표축에 대해 얻어진 선형관계식은 레인지 영상에 위치하는 모든 관측점을 포함한다. 레인지 영상은 3차원의 좌표공간을 표현하는 영상이므로 수학식 6과 같은 선형관계식은 모두 세 개가 얻어진다. 이러한 선형관계식은 뒤에 정규 방정식에 의해 풀이되어 레인지 영상의 노이즈를 제거하는 데 사용된다.
제약조건 검출부(130)는 레인지 영상의 각 좌표축에 대해 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출한다.
곡률은 곡면의 법벡터로부터 계산되며, 곡면 위의 한 점에서의 단위 접벡터는 곡면의 법벡터를 결정하는 요소에 해당한다. 따라서 레인지 영상에 위치하는 관측점들에 대한 단위 접벡터의 변화가 최소화되면 곡률 변화가 최소화되므로 안정화된 곡률을 가지는 매끈한 곡면을 얻을 수 있다. 이하에서는 레인지 영상의 각 좌표축 방향으로의 단위 접벡터를 균일하게 하기 위한 제약조건식을 산출하는 과정을 설명한다.
미분기하학에서 곡면은 좌표조각사상(coordinate patch)
Figure 112009067618753-pat00019
에 의해 2차원 유클리드 공간 R2 상의 열린 집합 D를 3차원 유클리드 공간 R3로 매핑함으로써 표현된다. 이때 D는 레인지 영상에 위치하는 관측점들의 집합을 의미한다. 좌표조각사상 μ를 D 상의 함수로 표현하면 다음의 수학식 7과 같이 표현된다.
Figure 112009067618753-pat00020
여기서, f1(u,v), f2(u,v) 및 f3(u,v)는 임의의 함수이고, u 및 v는 각각 레인지 영상에서의 x축 및 y축에 대응하는 좌표이다.
점의 집합 D의 각 점 (u0,v0)에서 곡선 μ(u,v0)를 μ의 v=v0에서의 u-매개변 수곡선이라 하고, 곡선 μ(u0,v)를 μ의 u=u0에서의 v-매개변수곡선이라 한다. 이때 u0, v0에서 u-매개변수곡선과 v-매개변수곡선의 접벡터 μu 및 μv는 각 방향으로의 편미분으로 구한다. 레인지 영상의 편미분은 다음의 수학식 8과 같다.
Figure 112009067618753-pat00021
스무딩을 위한 제약조건인 u=방향 접벡터의 방정식은 다음의 수학식 9 및 수학식 10이다.
Figure 112009067618753-pat00022
Figure 112009067618753-pat00023
만약 실제 좌표공간에서의 좌표값인
Figure 112009067618753-pat00024
와
Figure 112009067618753-pat00025
이 주어진다면 μ에 관한 선형 결합으로 정리할 수 있고, 점 관측 우도의 최대 로그우도 추정과 같은 방식으로 전체 레인지 영상에 대해서 선형 시스템으로 나타낼 수 있다. 그러나 현실적으로
Figure 112009067618753-pat00026
와
Figure 112009067618753-pat00027
은 알 수 없기 때문에 해당 관측점에 부여된 좌표값
Figure 112009067618753-pat00028
로부터 추정한다. 노이즈 데이터의 편미분
Figure 112009067618753-pat00029
는 매우 민감하게 변화하므로 스무드한 곡면으 로부터 얻어질 μu의 정확한 추정을 어렵게 한다. 따라서 전체 레인지 영상에 대하여
Figure 112009067618753-pat00030
를 이웃과 이웃이 아닌 두 범주로 분류한다. 그 후
Figure 112009067618753-pat00031
를
Figure 112009067618753-pat00032
의 범주의 대표값으로 정의한다.
다음으로 v 방향으로의 접벡터가 동일하게 되도록 하는 선형방정식에 대하여도 위와 동일한 방식으로 정리한다. u 방향과 v 방향에 대해 얻어진 두 선형방정식을 합치면 다음의 수학식 11과 같이 표현되는, 단위 접벡터를 균일하게 하기 위한 제약조건식을 얻게 된다.
Figure 112009067618753-pat00033
여기서 μ는 u 방향과 v 방향에 대해 얻어지는 μ 값들을 모두 포함하는 행렬의 형태로 표현된다.
노이즈 제거부(140)는 제약조건식과 함께 최소 자승 형태로 나타낸 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 레인지 영상에서 각 관측점의 위치에 적용하여 레인지 영상의 노이즈를 제거한다.
정규화는 과적합을 방지하기 위한 일반적인 기술로서, 노이즈가 포함된 곡면을 부드럽게 만들 수 있다. 이때 수학식 11과 같이 표현되는 제약조건식이 사용된다. 본 발명에서는 가장 일반적이고 잘 알려진 정규화 형식인 티호노프(Tikhonov) 정규화 방식을 사용한다.
티호노프 정규화에 의한 선형 시스템의 해 μλ는 잔여 놈(residual norm)과 부가제약조건(side constraint)의 가중치 합을 최소화하는 값으로 정의된다. 따라서 노이즈 제거부(140)는 수학식 6으로 표현되는 선형관계식과 수학식 11로 표현되는 제약조건식을 정규화 형태로 나타낸다. 이는 다음의 수학식 12와 같이 표현된다.
Figure 112009067618753-pat00034
여기서, 정규화 매개변수 λ는 잔여 놈과 부가제약조건 사이의 최소화의 균형을 조절하며, 레인지 영상에 포함된 노이즈의 정도에 비례하는 값으로 설정된다. 즉, 레인지 영상에 포함된 노이즈의 양이 많을수록 λ의 값을 증가시키면 영상의 스무딩 정도가 커지게 된다.
수학식 12의 정규화 표현식은 레인지 영상이 나타내는 좌표공간의 각 좌표축에 대해 각각 얻어지며, 다음의 수학식 13과 같은 등가의 표현식으로 나타낼 수 있다.
Figure 112009067618753-pat00035
이러한 최소 자승 문제(least squares problem)의 해는 정규방정식을 풀면 얻어지게 되며, 정규방정식은 다음의 수학식 14와 같이 표현된다.
Figure 112009067618753-pat00036
수학식 14와 같이 표현된 정규방정식의 해 μλ는 레인지 영상에 위치하는 관측점에 이미 부여되어 있는 좌표값에 적용된다.
앞에서 설명한 바와 같이 수학식 6의 선형관계식은 좌표공간의 각 좌표축에 대해 얻어지므로 수학식 14의 정규방정식 역시 세 개가 얻어진다. 따라서 좌표공간의 각 좌표축에 대해 정규방정식을 풀어 얻어진 세 개의 μλ 값이 모두 관측점의 각각의 좌표값에 적용되고, 그 결과 새로운 좌표값이 관측점에 부여되어 레인지 영상의 노이즈가 제거되고 곡면이 매끈하게 표현된다.
이와 같이 본 발명에서는 각각의 관측점에 적응적으로 노이즈 제거를 위한 결과값을 적용함으로써, 레인지 영상에 포함된 노이즈의 정도가 다양한 경우에도 우수한 노이즈 제거 성능을 보이게 된다.
도 2는 본 발명에 따른 레인지 영상의 노이즈 제거방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 2를 참조하면, 최대우도 검출부(110)는 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출한다(S210). 다음으로 선형화부(120)는 각각의 관측점에 대해 산출된 조건식들을 좌표공간의 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환하여 수학식 6과 같이 표현되는 관계식을 얻는다(S220). 수학식 6의 선형관계식은 좌표공간의 각 좌표축에 대응하여 얻어지며, 레인지 영상에 위치하는 모든 관측점들에 대한 조건식을 포함한다.
제약조건 검출부(130)는 레인지 영상의 각 좌표축에 대해 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출한다(S230). 제약조건식은 레인지 영상의 각 좌표축의 방향으로의 편미분에 의해 얻어진 접벡터의 방정식으로부터 수학식 11과 같이 산출된다. 마지막으로 노이즈 제거부(140)는 제약조건식과 함께 최소 자승 형태로 나타낸 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 레인지 영상에서 각각의 관측점의 위치에 적용하여 레인지 영상의 노이즈를 제거한다(S240). 수학식 14와 같은 정규방정식으로부터 얻어지는 결과값이 각각의 관측점에 부여되어 있던 좌표값에 적용됨으로써 새로운 좌표값이 관측점에 부여되고, 결과적으로 레인지 영상의 노이즈가 제거되어 매끈한 곡면이 얻어진다.
도 3a 내지 도 3c는 노이즈가 포함된 레인지 영상에 가우시안 필터 및 본 발명을 적용하였을 때 얻어진 결과를 비교하여 나타낸 도면이다. 도 3a는 스테레오 카메라로부터 얻어진 레인지 영상의 일부를 확대한 영상이고, 평균 곡률의 값을 색으로 나타내었다. 도 3a의 영상에 나타난 곡면은 곡률이 큰 변화를 보이며 많은 노이즈를 포함하고 있다. 도 3b는 도 3a의 영상에 가우시안 필터를 적용하여 얻어진 결과를 나타낸 영상으로, 도 3a의 영상에 포함된 노이즈가 상당 부분 제거되기는 하였으나 곡면이 매끈하지 않아 불안정한 곡률을 보이며, 곡면의 일부가 누락되어 나타난다. 반면, 도 3c는 도 3a의 영상에 본 발명을 적용하여 얻어진 결과를 나타낸 영상으로, 누락된 부분 없이 모든 부분에서 안정적인 곡률을 보인다. 휘어지지 않은 부분은 평평하게 표현되었으며, 구부러지는 부분은 부드럽게 스무딩되어 본 발명의 노이즈 제거 성능이 우수함을 알 수 있다.
앞에서 설명한 이동 최소 제곱법(MLS)을 사용하여 레인지 영상의 노이즈를 제거하는 실험을 수행하였다. 이동 최소 제곱법은 레이저 스캐너로 얻어진 영상의 노이즈를 제거하기 위해 일반적으로 사용되는 방법이며, 신호 대 잡음비가 낮은 영역에 대해서만 노이즈 제거를 수행한다. 따라서 노이즈가 많이 포함된 영상에는 적합하지 않은 방법이다. MLS에서는 거리 d에 관한 가우시안 함수인
Figure 112009067618753-pat00037
를 사용하며, h는 이웃하는 관측점들 사이의 예상 거리를 나타내는 매개변수이다.
도 4는 매개변수 h의 값에 따라 레인지 영상에 MLS를 적용하여 얻어진 결과 영상들을 나타낸 도면이다. 도 4의 (a)는 전체 영상에 걸쳐 다양한 신호 대 잡음비를 보이는 원본 레인지 영상을 나타낸 도면이고, 도 4의 (b)는 h=0.003일 때, (c)는 h=0.004일 때, 그리고 (d)는 h=0.006일 때 얻어진 결과 영상을 나타낸 도면이다. 도 4의 (b)를 참조하면, 노이즈가 비교적 적은 윗부분에서는 노이즈가 잘 제거되었으나, 노이즈가 심한 아랫부분은 노이즈 제거가 제대로 이루어지지 않았음을 알 수 있다. 또한 도 4의 (c) 및 (d)를 참조하면, h의 값이 증가함에 따라 노이즈가 심한 영역의 노이즈도 어느 정도 제거되지만, 노이즈가 적은 영역은 과도하게 스무딩되어 영상에 포함된 객체가 원래의 형태를 잃어버리게 된다. 따라서 기존의 MLS 방식은 다양한 신호 대 잡음비를 포함하는 레인지 영상에는 적합하지 않다.
도 5는 가우시안 노이즈가 추가된 레인지 영상에 가우시안 필터링 및 본 발명을 적용한 결과를 나타낸 도면이다. 도 5의 (a)는 노이즈가 없는 원본 레인지 영상이며, (b)는 가우시안 노이즈가 추가된 레인지 영상이다. 영상의 각 부분에서 곡률의 값은 색으로 나타내었다. 가우시안 노이즈는 영상의 Y축에 따라 증가하는 분산으로 추가되었으며, 본 발명의 노이즈 제거 성능을 명확하게 확인하기 위해 사용된 것이다. 레인지 영상으로부터 노이즈를 제거하기 위한 가우시안 필터링은 3×3 크기의 윈도우와 0.5의 표준편차로 반복하여 적용된다. 도 5의 (c)는 가우시안 필터링이 10번 반복적으로 적용된 결과 영상이고, (d)는 20번 반복적으로 적용된 결과 영상이다. 도 5의 (c)를 참조하면, 노이즈가 적은 위쪽 부분은 노이즈가 잘 제거되었으나, 아래쪽에는 여전히 노이즈가 남아 있다. 반면, 도 5의 (d)를 참조하면, 가우시안 필터링의 적용 횟수가 증가함에 따라 노이즈가 많은 아래쪽에서 노이즈가 잘 제거되었으나, 위쪽에는 과도하게 스무딩이 이루어졌다. 도 5의 (e)는 본 발명을 적용하여 노이즈를 제거한 결과 영상이며, 영상의 전 부분에 걸쳐 스무딩이 잘 이루어졌음을 확인할 수 있다.
또한 본 발명에 따른 노이즈 제거장치는 레인지 영상을 생성하는 3차원 이미징 장치 내부에 구비될 수 있다. 앞에서 설명한 바와 같이 3차원 이미징 장치는 빠른 속도로 레인지 영상을 생성하는 반면, 생성된 레인지 영상에 많은 노이즈가 포함되어 있다는 문제를 가진다. 그러나 본 발명에 따른 노이즈 제거장치가 이미징 장치 내부에 구비됨에 따라 레인지 영상이 생성되는 즉시 실시간으로 노이즈를 제 거함으로써 3차원 이미징 장치의 성능도 향상시킬 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 발명에 따른 레인지 영상의 노이즈 제거장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 레인지 영상의 노이즈 제거방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 3a 내지 도 3c는 노이즈가 포함된 레인지 영상에 가우시안 필터 및 본 발명을 적용하였을 때 얻어진 결과를 비교하여 나타낸 도면,
도 4는 매개변수 h의 값에 따라 레인지 영상에 MLS를 적용하여 얻어진 결과 영상들을 나타낸 도면, 그리고,
도 5는 가우시안 노이즈가 추가된 레인지 영상에 가우시안 필터링 및 본 발명을 적용한 결과를 나타낸 도면이다.

Claims (11)

  1. 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 상기 레인지 영상을 생성하는 이미징 장치의 정확도로부터 유도된 분산값에 대한 상기 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 비와 상기 분산값에 대한 상기 각각의 관측점 및 이웃하는 관측점들에 대응하는 실제 좌표값의 비가 동일하게 되도록 상기 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 상기 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출하는 최대우도 검출부;
    상기 각각의 관측점에 대해 산출된 조건식들을 상기 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환하는 선형화부;
    상기 레인지 영상의 각 좌표축에 대해 상기 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출하는 제약조건 검출부; 및
    상기 제약조건식과 함께 최소 자승 형태로 나타낸 상기 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 상기 레인지 영상에서 상기 각각의 관측점의 위치에 적용하여 상기 레인지 영상의 노이즈를 제거하는 노이즈 제거부;를 포함하는 것을 특징으로 하는 레인지 영상의 노이즈 제거장치.
  2. 제 1항에 있어서,
    상기 최대우도 검출부는 상기 관측점들로부터 순차적으로 선택되는 중심 관측점 및 상기 중심 관측점에 인접하는 이웃 관측점들에 부여된 좌표값의 확률분포를 기초로 상기 중심 관측점에 대한 조건식을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거장치.
  3. 제 2항에 있어서,
    상기 최대우도 검출부는 상기 좌표공간의 각 좌표축에 대해 하기 수학식으로 표현되는 조건식을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거장치:
    Figure 112009067618753-pat00038
    여기서, k는 상기 중심 관측점과 상기 이웃 관측점들의 총 개수,
    Figure 112009067618753-pat00039
    는 k개의 관측점들 중 i번째 관측점의 상기 좌표공간에서의 실제 좌표값, xi는 i번째 관측점에 부여된 좌표값, 그리고
    Figure 112009067618753-pat00040
    은 상기 레인지 영상을 생성하는 이미징 장치의 정확도로부터 유도되는 분산값이다.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 제약조건 검출부는 상기 레인지 영상의 각 좌표축의 방향으로의 편미분에 의해 얻어진 접벡터의 방정식으로부터 상기 제약조건식을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거장치.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 노이즈 제거부는 상기 선형관계식 및 상기 제약조건식을 티호노 프(Tikhonov) 정규화 형식으로 표현하여 상기 결과값을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거장치.
  6. 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 복수의 격자 내에 각각 위치하는 관측점들에 대해 상기 레인지 영상을 생성하는 이미징 장치의 정확도로부터 유도된 분산값에 대한 상기 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 비와 상기 분산값에 대한 상기 각각의 관측점 및 이웃하는 관측점들에 대응하는 실제 좌표값의 비가 동일하게 되도록 상기 각각의 관측점 및 이웃하는 관측점들에 부여된 좌표값의 확률분포를 기초로 상기 레인지 영상이 나타내는 좌표공간의 각 좌표축으로의 최대 로그우도를 만족시키기 위한 조건식을 산출하는 최대우도 검출단계;
    상기 각각의 관측점에 대해 산출된 조건식들을 상기 좌표공간의 각 좌표축에 대한 선형 시스템인 선형관계식으로 변환하는 선형화단계;
    상기 레인지 영상의 각 좌표축에 대해 상기 각각의 관측점과 이웃하는 관측점에서의 단위 접벡터가 동일하게 되도록 하는 제약조건식을 산출하는 제약조건 검출단계; 및
    상기 제약조건식과 함께 최소 자승 형태로 나타낸 상기 선형관계식의 해를 정규방정식에 의해 산출하여 얻어진 결과값을 상기 레인지 영상에서 상기 각각의 관측점의 위치에 적용하여 상기 레인지 영상의 노이즈를 제거하는 노이즈 제거단계;를 포함하는 것을 특징으로 하는 레인지 영상의 노이즈 제거방법.
  7. 제 6항에 있어서,
    상기 최대우도 검출단계에서, 상기 관측점들로부터 순차적으로 선택되는 중심 관측점 및 상기 중심 관측점에 인접하는 이웃 관측점들에 부여된 좌표값의 확률 분포를 기초로 상기 중심 관측점에 대한 조건식을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거방법.
  8. 제 7항에 있어서,
    상기 최대우도 검출단계에서, 상기 좌표공간의 각 좌표축에 대해 하기 수학식으로 표현되는 조건식을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거방법:
    Figure 112009067618753-pat00041
    여기서, k는 상기 중심 관측점과 상기 이웃 관측점들의 총 개수,
    Figure 112009067618753-pat00042
    는 k개의 관측점들 중 i번째 관측점의 상기 좌표공간에서의 실제 좌표값, xi는 i번째 관측점에 부여된 좌표값, 그리고
    Figure 112009067618753-pat00043
    은 상기 레인지 영상을 생성하는 이미징 장치의 정확도로부터 유도되는 분산값이다.
  9. 제 6항 내지 제 8항 중 어느 한 항에 있어서,
    상기 제약조건 검출단계에서, 상기 레인지 영상의 각 좌표축의 방향으로의 편미분에 의해 얻어진 접벡터의 방정식으로부터 상기 제약조건식을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거방법.
  10. 제 6항 내지 제 8항 중 어느 한 항에 있어서,
    상기 노이즈 제거단계에서, 상기 선형관계식 및 상기 제약조건식을 티호노프(Tikhonov) 정규화 형식으로 표현하여 상기 결과값을 산출하는 것을 특징으로 하는 레인지 영상의 노이즈 제거방법.
  11. 제 6항 내지 제 8항 중 어느 한 항에 기재된 레인지 영상의 노이즈 제거방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020090105563A 2009-11-03 2009-11-03 레인지 영상의 노이즈 제거장치 및 방법 KR101129220B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090105563A KR101129220B1 (ko) 2009-11-03 2009-11-03 레인지 영상의 노이즈 제거장치 및 방법
US12/844,229 US8565551B2 (en) 2009-11-03 2010-07-27 Apparatus and method of reducing noise in range images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090105563A KR101129220B1 (ko) 2009-11-03 2009-11-03 레인지 영상의 노이즈 제거장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110048829A KR20110048829A (ko) 2011-05-12
KR101129220B1 true KR101129220B1 (ko) 2012-03-26

Family

ID=43925519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090105563A KR101129220B1 (ko) 2009-11-03 2009-11-03 레인지 영상의 노이즈 제거장치 및 방법

Country Status (2)

Country Link
US (1) US8565551B2 (ko)
KR (1) KR101129220B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5895569B2 (ja) * 2012-02-08 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
FR2989518A1 (fr) * 2012-04-13 2013-10-18 St Microelectronics Crolles 2 Procede de fabrication d'un capteur d'image a surface courbe
FR2989519A1 (fr) 2012-04-13 2013-10-18 St Microelectronics Crolles 2 Procede de fabrication d'un capteur d'image a surface courbe.
WO2014144443A2 (en) * 2013-03-15 2014-09-18 Yale University Techniques for processing imaging data having sensor-dependent noise
CN107563974B (zh) * 2017-08-15 2020-04-14 深圳云天励飞技术有限公司 图像去噪方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100810294B1 (ko) 2006-09-12 2008-03-06 삼성전자주식회사 3차원 메쉬 데이터의 특징-유지 간략화 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4163294B2 (ja) * 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3861808B2 (ja) * 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
JP4389489B2 (ja) * 2003-05-06 2009-12-24 ソニー株式会社 画像処理方法、および画像処理装置
US7941002B2 (en) * 2006-12-01 2011-05-10 Hewlett-Packard Development Company, L.P. Apparatus and methods of producing photorealistic image thumbnails
US8005295B2 (en) * 2007-03-06 2011-08-23 Panasonic Corporation Apparatus and method for image processing, image processing program and image processor
JP2009265925A (ja) * 2008-04-24 2009-11-12 Canon Inc 画像処理装置及びその方法
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100810294B1 (ko) 2006-09-12 2008-03-06 삼성전자주식회사 3차원 메쉬 데이터의 특징-유지 간략화 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:한국정보과학회*
논문2:한국정보과학회

Also Published As

Publication number Publication date
KR20110048829A (ko) 2011-05-12
US8565551B2 (en) 2013-10-22
US20110103710A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
Karaali et al. Edge-based defocus blur estimation with adaptive scale selection
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
US8773550B2 (en) Range measurement using multiple coded apertures
EP2538242B1 (en) Depth measurement quality enhancement.
US8385630B2 (en) System and method of processing stereo images
US8582820B2 (en) Coded aperture camera with adaptive image processing
US8330852B2 (en) Range measurement using symmetric coded apertures
KR101854048B1 (ko) 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
US10540750B2 (en) Electronic device with an upscaling processor and associated method
EP2564234A1 (en) Range measurement using a coded aperture
US11651581B2 (en) System and method for correspondence map determination
CN116310219A (zh) 一种基于条件扩散模型的三维脚型生成方法
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
CN106502379A (zh) 一种交互方法及交互系统、相对深度的获取方法
JP2019211914A (ja) 物体らしさ推定装置、方法、およびプログラム
US8526760B2 (en) Multi-scale representation of an out of focus image
JP2018205030A (ja) 距離測定装置、距離測定方法および距離測定プログラム
JP5773935B2 (ja) シーンにおけるオブジェクトを分類する方法
Choi et al. Discrete and continuous optimizations for depth image super-resolution
CN111476821B (zh) 基于在线学习的目标跟踪方法
JPWO2020075237A1 (ja) 画像処理装置および画像処理方法
CN117830392B (zh) 一种环境物体识别方法和成像系统
CN110599504B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee