KR20150145950A - 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 - Google Patents

포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 Download PDF

Info

Publication number
KR20150145950A
KR20150145950A KR1020140075527A KR20140075527A KR20150145950A KR 20150145950 A KR20150145950 A KR 20150145950A KR 1020140075527 A KR1020140075527 A KR 1020140075527A KR 20140075527 A KR20140075527 A KR 20140075527A KR 20150145950 A KR20150145950 A KR 20150145950A
Authority
KR
South Korea
Prior art keywords
region
regions
feature
voxel
feature region
Prior art date
Application number
KR1020140075527A
Other languages
English (en)
Other versions
KR102238693B1 (ko
Inventor
황효석
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140075527A priority Critical patent/KR102238693B1/ko
Priority to US14/559,393 priority patent/US9984308B2/en
Priority to JP2015034805A priority patent/JP6622972B2/ja
Priority to CN201510105244.0A priority patent/CN105205441B/zh
Priority to EP15163246.0A priority patent/EP2958049A3/en
Publication of KR20150145950A publication Critical patent/KR20150145950A/ko
Application granted granted Critical
Publication of KR102238693B1 publication Critical patent/KR102238693B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치가 개시된다. 일 실시예에 따른 특징 영역 추출 장치는 포인트 클라우드를 복수의 영역들로 분할하고, 복수의 영역들 중 적어도 하나의 특징 영역을 추출한다.

Description

포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING FEATURE REGIONS IN POINT CLOUD}
아래 실시예들은 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치에 관한 것이다.
2차원 영상의 경우, 밝기 값이 가장 크게 변하는 포인트나 픽셀의 밝기 값의 변화를 이용하여 추출된 외곽선이 서로 교차하는 포인트가 특징 포인트로 추출되어 사용되고 있다.
일 측에 따른 특징 영역 추출 방법은 포인트 클라우드(point cloud)를 복수의 영역들로 분할하는 단계; 및 포인트 인텐시티(point intensity)에 기초하여 상기 복수의 영역들 중 적어도 하나의 특징 영역(feature region)을 추출하는 단계를 포함한다.
이 때, 상기 포인트 인텐시티는 상기 포인트 클라우드에 포함된 복수의 포인트들이 밀집된 정도와 관련될 수 있다. 또한, 상기 포인트 인텐시티는 상기 복수의 영역들에 대응하여 계산될 수 있다. 또한, 상기 복수의 영역들 중 어느 하나의 영역에 대응하는 포인트 인텐시티는 상기 어느 하나의 영역에 포함된 포인트들의 수로 결정될 수 있다.
또한, 상기 적어도 하나의 특징 영역을 추출하는 단계에서, 상기 복수의 영역들을 계층화하는 계층 구조(hierarchical structure)가 생성되고, 상기 계층 구조에 따라 상기 복수의 영역들이 탐색될 수 있다.
또한, 상기 계층 구조의 상위 레벨에 포함된 영역은 상기 계층 구조의 하위 레벨에 포함된 영역들에 대응하는 포인트 인텐시티들에 관한 정보를 포함할 수 있다. 또한, 상기 계층 구조의 상위 레벨에 포함된 제1 영역이 탐색된 이후 상기 제1 영역의 하위 레벨에 포함된 제2 영역이 탐색될 수 있다. 또한, 상기 상위 레벨에서 상기 제1 영역이 특징 영역이 아니라고 판단되는 경우, 상기 제2 영역은 탐색되지 않을 수 있다.
또한, 상기 계층 구조는 상기 복수의 영역들에 이산 웨이브릿 변환(discrete wavelet transform, DWT)을 적용함으로써 생성될 수 있다. 또한, 현재 탐색 중인 영역에 대응되는 DWT 서브 밴드들에 기초하여 상기 현재 탐색 중인 영역이 특징 영역인지 여부가 판단될 수 있다.
또한, 현재 탐색 중인 영역의 고 주파수 특징과 관련된 제1 조건; 상기 현재 탐색 중인 영역과 이웃 영역이 연결되는지 여부와 관련된 제2 조건; 및 상기 현재 탐색 중인 영역과 이웃 영역이 유사한지 여부와 관련된 제3 조건 중 적어도 하나에 기초하여 상기 현재 탐색 중인 영역이 특징 영역인지 여부가 판단될 수 있다.
또한, 상기 포인트 클라우드의 산포(distribution) 및 상기 복수의 영역들을 계층화하는 계층 구조의 깊이 중 적어도 하나에 기초하여 상기 복수의 영역들의 크기가 결정될 수 있다. 또한, 상기 복수의 영역들은 정육면체의 영역들일 수 있다.
또한, 상기 특징 영역 추출 방법은 상기 적어도 하나의 특징 영역에서 특징 포인트를 추출하는 단계를 더 포함할 수 있다. 또한, 상기 특징 영역 추출 방법은 상기 특징 포인트에 기초하여 상기 포인트 클라우드에 대응하는 객체 및 상기 포인트 클라우드에 대응하는 동작 중 적어도 하나를 인식하는 단계를 더 포함할 수 있다.
다른 일 측에 따른 특징 영역 추출 장치는 포인트 클라우드(point cloud)를 수신하는 수신부; 상기 포인트 클라우드를 복수의 영역들로 분할하는 분할부; 상기 복수의 영역들을 계층화하는 계층 구조를 생성하는 생성부; 및 상기 계층 구조에 따라 상기 복수의 영역들을 탐색함으로써 적어도 하나의 특징 영역을 추출하는 추출부를 포함한다.
이 때, 상기 추출부는 상기 계층 구조의 최상위 레벨에서 상기 적어도 하나의 특징 영역에 대응되는 영역을 추출하고, 상기 추출된 영역의 하위 레벨에 포함된 복수의 영역들을 탐색 대상에 포함시키며, 상기 하위 레벨에서 상기 탐색 대상에 포함된 영역들을 탐색할 수 있다.
또한, 상기 추출부는 상기 하위 레벨에서 상기 탐색 대상에 포함되지 않은 영역을 탐색하지 않을 수 있다. 또한, 상기 추출부는 상기 하위 레벨에서 상기 탐색 대상에 포함된 영역들 중 상기 적어도 하나의 특징 영역에 대응되는 영역의 다음 하위 레벨에 포함된 복수의 영역들을 탐색 대상에 포함시킬 수 있다. 또한, 상기 추출부는 상기 계층 구조의 최하위 레벨에서 탐색 대상에 포함된 영역들을 상기 적어도 하나의 특징 영역으로 결정할 수 있다.
또한, 상기 특징 영역 추출 장치는 상기 복수의 영역들에 대응하는 복수의 포인트 인텐시티들을 계산하는 계산부를 더 포함할 수 있다. 여기서, 상기 계층 구조의 상위 레벨에 포함된 영역은 상기 계층 구조의 하위 레벨에 포함된 영역들에 대응하는 포인트 인텐시티들에 관한 정보를 포함할 수 있다.
또한, 상기 특징 영역 추출 장치는 상기 적어도 하나의 특징 영역에서 특징 포인트를 추출하는 추출부를 더 포함할 수 있다. 또한, 상기 특징 영역 추출 장치는 상기 특징 포인트에 기초하여 상기 포인트 클라우드에 대응하는 객체 및 상기 포인트 클라우드에 대응하는 동작 중 적어도 하나를 인식하는 인식부를 더 포함할 수 있다.
도 1은 일 실시예에 따른 포인트 클라우드에서 특징 영역을 추출하는 방법을 설명하는 도면.
도 2는 일 실시예에 따른 포인트 인텐시티 기반 복셀 그리드를 설명하는 도면.
도 3 내지 도 8은 일 실시예에 따른 이산 웨이브릿 변환을 설명하는 도면들.
도 9는 일 실시예에 따른 계층 구조에 따라 특징 영역을 추출하는 방법을 나타낸 동작 흐름도.
도 10은 일 실시예에 따른 계층 구조에 따라 특징 영역을 추출하는 방법을 설명하는 도면.
도 11 및 도 12는 일 실시예에 따른 돌극성 조건을 설명하는 도면들.
도 13 및 도 14는 일 실시예에 따른 연결성 조건을 설명하는 도면들.
도 15 및 도 16은 일 실시예에 따른 유사성 조건을 설명하는 도면들.
도 17은 일 실시예에 따른 복셀 그리드의 범위를 설정하는 방법을 설명하는 도면.
도 18은 일 실시예에 따른 특징 영역 추출 방법을 나타낸 동작 흐름도.
도 19는 일 실시예에 따른 특징 영역 추출 장치를 나타낸 블록도.
도 20은 다른 실시예에 따른 특징 영역 추출 장치를 나타낸 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 포인트 클라우드에서 특징 영역을 추출하는 방법을 설명하는 도면이다.
포인트 클라우드는 임의의 좌표계에 속한 포인트들의 집합이다. 예를 들어, 포인트 클라우드는 3차원 좌표계에 속한 복수의 포인트들의 집합일 수 있다. 3차원 좌표계에서 포인트들은 (x좌표, y좌표, z좌표)로 정의될 수 있고, 포인트들 각각은 표현하고자 하는 3차원 오브젝트의 겉면을 따라 분포될 수 있다. 포인트 클라우드는 3차원 스캐너 등을 이용하여 생성될 수 있다.
특징 영역(feature region)은 특징 포인트(feature point)를 포함하는 영역이다. 특징 포인트는 영상 내에서 추출되는 포인트로서 필요에 따라 다르게 정의될 수 있다. 일부의 특징 포인트는 크기, 시점, 조명 변화 등에 영향을 받지 않고 영상 내에서 반복적으로 추출되기도 한다. 특징 포인트는 오브젝트 인식, 3차원 복원, 네비게이션 등에 이용될 수 있다. 이하, 특징 영역은 주어진 포인트 클라우드에서 특징 포인트를 포함할 가능성이 높은 일부 포인트 클라우드를 지칭할 수 있다.
도 1을 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 포인트 클라우드(point cloud)(110)를 복수의 영역들(120)로 분할하고, 복수의 영역들(120) 중 적어도 하나의 특징 영역(131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142)을 추출할 수 있다. 특징 영역 추출 장치는 소프트웨어로 구현된 프로그램을 프로세서 및 메모리를 이용하여 수행하거나, 하드웨어 가속기(hardware accelerator, HWA) 또는 FPGA(field-programmable gate array) 등을 이용하여 하드웨어로 구현된 기능을 수행할 수 있다. 물론, 특징 영역 추출 장치는 소프트웨어로 구현된 프로그램 및 하드웨어로 구현된 기능을 함께 수행할 수도 있다.
복수의 영역들(120) 각각은 복셀(voxel)로 지칭될 수 있다. 복셀은 3차원 공간에서 정규 그리드(regular grid)의 값을 표현하는 요소(element)로, 2차원 공간에서 정규 그리드의 값을 표현하는 픽셀에 대응될 수 있다. 예를 들어, 특징 영역 추출 장치는 포인트 클라우드(110)를 커버하는 복셀 그리드를 생성하고, 복셀 그리드에서 특징 영역에 대응하는 적어도 하나의 복셀을 추출할 수 있다.
특징 영역 추출 장치는 포인트 클라우드(110) 전체에서 특징 포인트를 추출하는 대신, 추출된 특징 영역들(131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142)에서 집중적으로 특징 포인트를 추출할 수 있다. 이로 인하여, 특징 영역 추출 장치는 특징 포인트 추출을 위한 연산량을 감소시키는 기술을 제공할 수 있다. 또한, 특징 영역 추출 장치는 연산량 감소로 인하여 발생되는 여분의 컴퓨팅 파워를 이용하여 복잡한 특징 포인트 추출 알고리즘을 수행할 수 있다. 이로 인하여, 특징 영역 추출 장치는 보다 성능이 좋은 특징 포인트를 추출하는 기술을 제공할 수 있다.
추출된 특징 포인트는 삼차원 정합, 삼차원 물체 인식 등에 활용될 수 있다. 예를 들어, 추출된 특징 포인트를 이용하여 3차원 영상 처리, 라이트 필드 디스플레이에서 3차원 정합의 성능을 향상시킬 수 있다. 실시예들은 카메라의 알고리즘 칩, 라이트 필드 디스플레이, 스마트 폰의 유저 인터페이스 등에 적용될 수 있다.
도 2는 일 실시예에 따른 포인트 인텐시티 기반 복셀 그리드를 설명하는 도면이다.
도 2를 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 복셀 그리드(210)를 생성하고, 복셀 그리드에 속한 복셀들 각각에 인텐시티(intensity)를 설정할 수 있다. 임의의 복셀의 인텐시티는 해당 복셀에 속하는 포인트들의 질량에 비례할 수 있다. 이하, 복셀의 인텐시티는 복셀 인텐시티(voxel intensity) 또는 포인트 인텐시티(point intensity)라고 지칭될 수 있다.
예를 들어, 포인트 클라우드에 속하는 포인트들의 질량이 모두 동일하다고 가정하면, 임의의 복셀의 복셀 인텐시티는 해당 복셀에 속하는 포인트들의 수로 정의될 수 있다. 이 경우, 복셀 인텐시티는 수학식 1로 계산될 수 있다.
Figure pat00001
여기서, P는 포인트 클라우드를 나타내고, p는 포인트를 나타낸다. V0(i, j, k)는 레벨 0에서 (i, j, k)번째 복셀을 나타내고, VI0(i, j, k)는 레벨 0에서 (i, j, k)번째 복셀의 복셀 인텐시티를 나타낸다. 레벨과 관련된 보다 상세한 내용은 후술한다.
특징 영역 추출 장치는 복셀 그리드에 속한 복셀들 각각에 복셀 인텐시티를 설정하기 위하여, 포인트 클라우드에 속한 포인트들을 탐색할 수 있다. 특징 영역 추출 장치는 탐색 중인 포인트가 속하는 복셀의 복셀 인텐시티를 증가시킬 수 있다.
복셀 그리드에 속한 복셀들 각각의 복셀 인텐시티는 포인트 클라우드에 속하는 포인트들이 밀집된 정도와 관련될 수 있다. 예를 들어, 복셀(211)의 복셀 인텐시티는 20이므로, 복셀(211)은 20개의 포인트들을 포함할 수 있다. 복셀(212)의 복셀 인텐시티는 2이므로, 복셀(212)은 2개의 포인트들을 포함할 수 있다. 복셀(212)의 복셀 인텐시티보다 복셀(211)의 복셀 인텐시티가 더 크다는 것은 복셀(212)보다 복셀(211)에 포인트들이 더 밀집되어 있다는 것을 나타낼 수 있다.
특징 영역 추출 장치는 포인트 인텐시티 기반의 복셀 그리드를 생성함으로써, 복셀 기반의 신호 처리를 가능하게 한다. 특징 영역 추출 장치는 3차원 공간 상에서 특징 포인트를 연산하므로, 특징 포인트 연산을 위하여 3차원 오브젝트가 2차원 영상으로 투영될 필요가 없다. 이로 인하여, 특징 영역 추출 장치는 투영 왜곡에 영향을 받지 않으므로, 보다 신뢰도 높은 특징 포인트를 추출할 수 있다.
도 3 내지 도 7은 일 실시예에 따른 이산 웨이브릿 변환을 설명하는 도면들이다.
도 3을 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 이산 웨이브릿 변환(discrete wavelet transform, DWT)을 이용하여 포인트 클라우드의 변화율에 따라 계층 구조(hierarchical structure)를 생성할 수 있다. 이산 웨이브릿 변환은 웨이브릿(wavelet)들이 불연속적으로(discretely) 샘플링 되는 변환이다. 여기서, 웨이브릿은 0을 중심으로 증가와 감소를 반복하는 진폭을 수반한 파도와 같은 진동이다. 웨이브릿은 신호 처리에 유용한 특정 성질을 가진다. 이산 웨이브릿 변환은 주파수 성분과 위치 성분을 캡처(capture)할 수 있다. 특징 영역 추출 장치는 다양한 이산 웨이브릿 변환들 중 Harr 웨이브릿 변환을 이용할 수 있다.
특징 영역 추출 장치는 미리 정해진 수의 인접한 복셀들에 이산 웨이브릿 변환을 적용할 수 있다. 예를 들어, 도 3을 참조하면, 특징 영역 추출 장치는 8개의 인접한 복셀들(310)에 이산 웨이브릿 변환을 적용할 수 있다. 8개의 인접한 복셀들(310)은 제1 층의 복셀들(311)과 제2 층의 복셀들(312)로 분류될 수 있다. 제1 층의 복셀들(311)과 제2 층의 복셀들(312)에 이산 웨이브릿 변환이 적용되면, 기준 복셀(315)을 기준으로 x축, y축, z축 각각에 대한 변화율의 높은 값과 낮은 값이 정해질 수 있다.
보다 구체적으로, 제1 층의 복셀들(311)과 제2 층의 복셀들(312)에 이산 웨이브릿 변환이 적용되면, 제1 층의 복셀들(311) 각각의 인텐시티와 제2 층의 복셀들(312) 각각의 인텐시티에 기초하여 저주파 성분과 고주파 성분이 계산된다. 예를 들어, VLLL 복셀(321)은 x축 방향으로 저주파 성분, y축 방향으로 저주파 성분, z축 방향으로 저주파 성분인 특성 값을 가진다. VHLL 복셀(322)은 x축 방향으로 고주파 성분, y축 방향으로 저주파 성분, z축 방향으로 저주파 성분인 특성 값을 가진다. VLHL 복셀(323)은 x축 방향으로 저주파 성분, y축 방향으로 고주파 성분, z축 방향으로 저주파 성분인 특성 값을 가진다. VHHL 복셀(324)은 x축 방향으로 고주파 성분, y축 방향으로 고주파 성분, z축 방향으로 저주파 성분인 특성 값을 가진다.
또한, VLLH 복셀(325)은 x축 방향으로 저주파 성분, y축 방향으로 저주파 성분, z축 방향으로 고주파 성분인 특성 값을 가진다. VHLH 복셀(326)은 x축 방향으로 고주파 성분, y축 방향으로 저주파 성분, z축 방향으로 고주파 성분인 특성 값을 가진다. VLHH 복셀(327)은 x축 방향으로 저주파 성분, y축 방향으로 고주파 성분, z축 방향으로 고주파 성분인 특성 값을 가진다. VHHH 복셀(328)은 x축 방향으로 고주파 성분, y축 방향으로 고주파 성분, z축 방향으로 고주파 성분인 특성 값을 가진다.
이하, VLLL 복셀(321), VHLL 복셀(322), VLHL 복셀(323), VHHL 복셀(324), VLLH 복셀(325), VHLH 복셀(326), VLHH 복셀(327), 및 VHHH 복셀(328) 각각은 서브 밴드들로 지칭될 수 있다.
도 4는 이산 웨이브릿 변환의 개념도이다. 일 실시예에 따른 이산 웨이브릿 변환은 3차원 복셀들을 대상으로 하므로, 3차원 이산 웨이브릿 변환이라고 지칭될 수 있다.
도 4를 참조하면, 입력 신호는 x축 방향 필터(411), y축 방향 필터(412), 및 z축 방향 필터(413)를 거치면서 8개의 특성들로 출력될 수 있다. 예를 들어, LLL 특성(421)은 x축 방향으로 저주파 성분, y축 방향으로 저주파 성분, z축 방향으로 저주파 성분을 포함한다. LLH 특성(422)은 x축 방향으로 저주파 성분, y축 방향으로 저주파 성분, z축 방향으로 고주파 성분을 포함한다. LHL 특성(423)은 x축 방향으로 저주파 성분, y축 방향으로 고주파 성분, z축 방향으로 저주파 성분을 포함한다. LHH 특성(424)은 x축 방향으로 저주파 성분, y축 방향으로 고주파 성분, z축 방향으로 고주파 성분을 포함한다.
또한, HLL 특성(425)은 x축 방향으로 고주파 성분, y축 방향으로 저주파 성분, z축 방향으로 저주파 성분을 포함한다. HLH 특성(426)은 x축 방향으로 고주파 성분, y축 방향으로 저주파 성분, z축 방향으로 고주파 성분을 포함한다. HHL 특성(427)은 x축 방향으로 고주파 성분, y축 방향으로 고주파 성분, z축 방향으로 저주파 성분을 포함한다. HHH 특성(428)은 x축 방향으로 고주파 성분, y축 방향으로 고주파 성분, z축 방향으로 고주파 성분을 포함한다.
여기서, LLL 특성(421)은 도 3의 VLLL 복셀(321)에 대응하고, LLH 특성(422)은 도 3의 VLLH 복셀(325)에 대응하며, LHL 특성(423)은 도 3의 VLHL 복셀(323)에 대응하고, LHH 특성(424)은 도 3의 VLHH 복셀(327)에 대응한다. 또한, HLL 특성(425)은 도 3의 VHLL 복셀(322)에 대응하고, HLH 특성(426)은 도 3의 VHLH 복셀(326)에 대응하며, HHL 특성(427)은 도 3의 VHHL 복셀(324)에 대응하고, HHH 특성(428)은 도 3의 VHHH 복셀(328)에 대응한다.
다시 도 3을 참조하면, 이산 웨이브릿 변환된 8개의 인접 복셀들(320)은 VLLL 복셀(321)을 기준으로 나머지 7개의 고주파 성분 복셀들(322, 323, 324, 325, 326, 327, 328)을 포함할 수 있다. 예를 들어, VHLL 복셀(322)은 x축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 x축 방향의 좌표가 증가하는 위치에 배치될 수 있다. VLHL 복셀(323)은 y축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 y축 방향의 좌표가 증가하는 위치에 배치될 수 있다. VHHL 복셀(324)은 x축 방향 및 y축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 x축 방향 및 y축 방향의 좌표가 증가하는 위치에 배치될 수 있다.
또한, VLLH 복셀(325)은 z축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 z축 방향의 좌표가 증가하는 위치에 배치될 수 있다. VHLH 복셀(326)은 x축 방향 및 z축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 x축 방향 및 z축 방향의 좌표가 증가하는 위치에 배치될 수 있다. VLHH 복셀(327)은 y축 방향 및 z축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 y축 방향 및 z축 방향의 좌표가 증가하는 위치에 배치될 수 있다. VHHH 복셀(328)은 x축 방향, y축 방향 및 z축 방향으로 고주파 성분을 포함하므로, VLLL 복셀(321)을 기준으로 x축 방향, y축 방향 및 z축 방향의 좌표가 증가하는 위치에 배치될 수 있다.
특징 영역 추출 장치는 이산 웨이브릿 변환된 8개의 인접 복셀들(320) 중 기준이 되는 VLLL 복셀(321)만을 다음 레벨의 이산 웨이브릿 변환에 이용할 수 있다. 이는 복셀의 크기를 1/8로 다운 샘플링 하는 것과 같은 의미이며, 레벨이 높아짐에 따라 복셀은 더 넓은 영역에 대한 변화율을 나타낼 수 있다.
아래에서 상세히 설명하겠으나, VLLL 복셀(321)의 값은 8개의 인접 복셀들(310)을 대표하는 값일 수 있다. 예를 들어, VLLL 복셀(321)의 값은 8개의 인접 복셀들(310)의 인텐시티들의 평균일 수 있다. 특징 영역 추출 장치는 하위 레벨의 이산 웨이브릿 변환 값들 중 대표 값들만 다음 상위 레벨의 이산 웨이브릿 변환에 이용함으로써, 계층 구조를 생성할 수 있다.
도 5를 참조하면, 특징 영역 추출 장치는 현재 한 축의 길이가 w인 복셀들(510)의 레벨을 0으로 설정하고, 이산 웨이브릿 변환을 수행할 수 있다. 특징 영역 추출 장치는 레벨 0에서 이산 웨이브릿 변환된 값들 중 LLL 특성에 대응하는 대표 값들만을 레벨 1로 전파(propagation)할 수 있다. 이 경우, 레벨 1의 복셀들(520)의 한 축의 길이는 2w일 수 있다. 특징 영역 추출 장치는 레벨 1에서 이산 웨이브릿 변환을 수행하고, 이산 웨이브릿 변환된 값들 중 LLL 특성에 대응하는 대표 값들만을 레벨 2로 전파할 수 있다. 이 경우, 레벨 2의 복셀들(530)의 한 축의 길이는 4w일 수 있다.
레벨이 증가할수록 복셀들의 한 축의 길이는 증가하고, 해당 레벨의 복셀 그리드를 구성하는 복셀들의 수는 감소할 수 있다. 레벨이 증가할수록 하나의 복셀에 의하여 커버되는 영역의 크기는 증가할 수 있다.
도 6을 참조하면, 반복적인 이산 웨이브릿 변환의 결과 복수의 레벨들을 가지는 계층 구조(600)가 생성될 수 있다. 계층 구조(600)는 트리 형태로 표현될 수 있다. 깊이가 1인 노드들(610)은 도 5의 레벨 2의 복셀들(530)에 대응할 수 있다. 깊이가 2인 노드들(620)은 도 5의 레벨 1의 복셀들(520)에 대응할 수 있다. 또한, 깊이가 3인 노드들(630)은 도 5의 레벨 0의 복셀들(510)에 대응할 수 있다.
아래에서 상세히 설명하겠으나, 특징 영역 추출 장치는 생성된 계층 구조(600)를 이용함으로써, 넓은 영역에서부터 좁은 영역으로 계층적 탐색을 수행할 수 있다. 예를 들어, 특징 영역 추출 장치는 넓은 영역에서부터 시작하여 특징 포인트를 포함할 가능성이 낮은 부분들을 사전에 탐색 영역에서 제외할 수 있다. 이 경우, 넓은 영역의 탐색 중 탐색 영역에서 제외된 부분들은 좁은 영역의 탐색에서 배제되므로, 특징 영역을 추출하기 위한 총 탐색 시간이 감소될 수 있다.
도 7을 참조하면, 특징 영역 추출 장치는 8개의 인접한 복셀들(710) 각각의 인텐시티에 기초하여 이산 웨이브릿 변환을 수행할 수 있다. 예를 들어, 8개의 인접한 복셀들(710)에 포함된 제1 복셀(711)의 인텐시티는 a이고, 제2 복셀(712)의 인텐시티는 b이며, 제3 복셀(713)의 인텐시티는 c이고, 제4 복셀(714)의 인텐시티는 d일 수 있다. 또한, 8개의 인접한 복셀들(710)에 포함된 제5 복셀(715)의 인텐시티는 e이고, 제6 복셀(716)의 인텐시티는 f이며, 제7 복셀(717)의 인텐시티는 g이고, 제8 복셀(718)의 인텐시티는 h일 수 있다.
이 때, VLLL 복셀(721)의 값은 (a+b+c+d+e+f+g+h)/8로 계산될 수 있다. VHLL 복셀(722)의 값은 (a-b)로 계산될 수 있다. VLHL 복셀(723)의 값은 (a-c)로 계산될 수 있다. VHHL 복셀(724)의 값은 (a-d)로 계산될 수 있다. VLLH 복셀(725)의 값은 (a-e)로 계산될 수 있다. VHLH 복셀(726)의 값은 (a-f)로 계산될 수 있다. VLHH 복셀(727)의 값은 (a-g)로 계산될 수 있다. VHHH 복셀(728)의 값은 (a-h)로 계산될 수 있다.
도 8은 도 2의 복셀들(210) 중 V0(0, 0, 0), V0(1, 0, 0), V0(0, 1, 0), V0(1, 1, 0), V0(0, 0, 1), V0(1, 0, 1), V0(0, 1, 1), V0(1, 1, 1)이 이산 웨이브릿 변환되는 과정을 설명하는 도면이다. 여기서, Vl(i, j, k)는 레벨 l에서 (i, j, k)번째 복셀을 나타낸다. V0(0, 0, 0)의 인텐시티는 0이고, V0(1, 0, 0)의 인텐시티는 0이며, V0(0, 1, 0)의 인텐시티는 0이고, V0(1, 1, 0)의 인텐시티는 0일 수 있다. 또한, V0(0, 0, 1)의 인텐시티는 12이고, V0(1, 0, 1)의 인텐시티는 10이며, V0(0, 1, 1)의 인텐시티는 3이고, V0(1, 1, 1)의 인텐시티는 7일 수 있다.
이산 웨이브릿 변환 결과, V0 LLL(0, 0, 0)의 값은 4이고, V0 HLL(0, 0, 0)의 값은 0이며, V0 LHL(0, 0, 0)의 값은 0이고, V0 HHL(0, 0, 0)의 값은 0일 수 있다. 또한, V0 LLH(0, 0, 0)의 값은 -12이고, V0 HLH(0, 0, 0)의 값은 -10이며, V0 LHH(0, 0, 0)의 값은 -3이고, V0 HHH(0, 0, 0)의 값은 -7일 수 있다. 여기서 V0 LLL(0, 0, 0)는 V0(0, 0, 0)을 기준으로 LLL 특성의 서브밴드를 나타내고, V0 HLL(0, 0, 0)는 V0(0, 0, 0)을 기준으로 HLL 특성의 서브밴드를 나타내며, V0 LHL(0, 0, 0)는 V0(0, 0, 0)을 기준으로 LHL 특성의 서브밴드를 나타내고, V0 HHL(0, 0, 0)는 V0(0, 0, 0)을 기준으로 HHL 특성의 서브밴드를 나타낸다. 또한, V0 LLH(0, 0, 0)는 V0(0, 0, 0)을 기준으로 LLH 특성의 서브밴드를 나타내고, V0 HLH(0, 0, 0)는 V0(0, 0, 0)을 기준으로 HLH 특성의 서브밴드를 나타내며, V0 LHH(0, 0, 0)는 V0(0, 0, 0)을 기준으로 LHH 특성의 서브밴드를 나타내고, V0 HHH(0, 0, 0)는 V0(0, 0, 0)을 기준으로 HHH 특성의 서브밴드를 나타낸다.
특징 영역 추출 장치는 V0 LLL(0, 0, 0)의 값을 다음 레벨로 전파할 수 있다. 예를 들어, 다음 레벨인 레벨 1에서 V1 LLL(0, 0, 0)의 인텐시티는 V0 LLL(0, 0, 0)의 값인 4일 수 있다. 1 이상의 레벨 l에서 복셀 인텐시티는 수학식 2와 같이 표현될 수 있다.
Figure pat00002
도 9는 일 실시예에 따른 계층 구조에 따라 특징 영역을 추출하는 방법을 나타낸 동작 흐름도이다.
도 9를 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 생성된 계층 구조를 이용하여 특징 영역을 추출할 수 있다. 단계(910)에서 특징 영역 추출 장치는 초기화를 수행할 수 있다. 예를 들어, 특징 영역 추출 장치는 복셀의 레벨을 지시하는 파라미터 level을 최상위 레벨로 설정한다. 단계(920)에서 특징 영역 추출 장치는 레벨 내 이터레이션의 시작을 위하여 복셀의 인덱스를 지시하는 파라미터 voxel index를 0으로 설정한다. voxel index는 (i, j, k) = (0, 0, 0)부터 (i, j, k) = (복셀 그리드의 x축 사이즈, 복셀 그리드의 y축 사이즈, 복셀 그리드의 z축 사이즈)까지 순서대로 나타내는 값이며, 그 순서는 무관하다.
단계(930)에서 특징 영역 추출 장치는 레벨 내 이터레이션의 종료를 위하여 voxel index가 이터레이션의 종료를 지시하는 final index인지 여부를 판단한다. Voxel index가 final index이지 않은 경우, 단계(940)에서 특징 영역 추출 장치는 voxel index에 대응하는 복셀이 마크(mark)되어 있는지 여부를 판단한다. 여기서, 최상위 레벨에서는 모든 복셀이 마크되어 있을 수 있다. 예를 들어, 도 10에서 최상위 레벨은 레벨 2일 수 있고, 도 10의 레벨 2의 복셀들(1010)은 모두 마크되어 있을 수 있다. Voxel index에 대응하는 복셀이 마크되어 있지 않다면, 단계(980)에서 특징 영역 추출 장치는 voxel index를 다음 값으로 갱신한다.
Voxel index에 대응하는 복셀이 마크되어 있다면, 단계(950)에서 특징 영역 추출 장치는 해당 복셀이 특징 영역인지 여부를 판단한다. 예를 들어, 특징 영역 추출 장치는 상위 레벨의 복셀들의 서브밴드들을 이용하여 특징 영역에 대한 기대치를 계산할 수 있다. 특징 영역 추출 장치는 특징 영역에 대한 기대치가 임계 값 이상인 경우, 해당 복셀이 특징 영역이라고 판단할 수 있다. Voxel index에 대응하는 복셀이 특징 영역인지 여부를 판단하는 방법은 도 11 내지 도 16을 참조하여 상세하게 후술한다.
Voxel index에 대응하는 복셀이 특징 영역이라고 판단되는 경우, 단계(960)에서 특징 영역 추출 장치는 level이 0인지 여부를 판단한다. Level이 0이 아니라면, 단계(970)에서 특징 영역 추출 장치는 voxel index에 대응하는 복셀의 하위 레벨 복셀들을 마크한다. 예를 들어, 상위 레벨의 복셀 하나는 다음 하위 레벨의 복셀 8개에 대응될 수 있다. 특징 영역 추출 장치는 다음 하위 레벨의 복셀 8개를 마크할 수 있다. 일 예로, 도 10의 레벨 1의 복셀들(1020)은 특징 영역이라고 판단된 복셀들이다. 특징 영역 추출 장치는 복셀들(1020) 각각의 하위 레벨 복셀들을 마크할 수 있다.
Voxel index에 대응하는 복셀이 특징 영역이 아니라고 판단되는 경우, 단계(980)에서 특징 영역 추출 장치는 voxel index를 다음 값으로 갱신한다. 특징 영역 추출 장치는 특징 영역이 아니라고 판단된 복셀의 하위 레벨 복셀들을 마크하지 않음으로써, 하위 레벨 복셀들을 탐색 대상에서 제외시킬 수 있다.
Level이 0인 경우, 단계(965)에서 특징 영역 추출 장치는 특징 영역을 출력한다. 단계(950)에서 voxel index에 대응하는 복셀이 특징 영역이라고 판단되었으므로, 특징 영역 추출 장치는 voxel index에 대응하는 복셀을 출력할 수 있다. 예를 들어, 도 10의 레벨 0의 복셀들(1030)은 특징 영역이라고 판단된 복셀들이다. 특징 영역 추출 장치는 복셀들(1030)을 출력할 수 있다.
단계(980)에서 특징 영역 추출 장치는 voxel index를 다음 값으로 갱신한다. 특징 영역 추출 장치는 voxel index가 final index가 될 때까지 단계(930) 내지 단계(980)을 반복한다. Level에서의 이터레이션이 종료되면 voxel index는 final index와 같아진다. 단계(990)에서 특징 영역 추출 장치는 level이 0인지 여부를 판단한다. Level이 0이 아닌 경우, 단계(995)에서 특징 영역 추출 장치는 level을 감소시킨다. 특징 영역 추출 장치는 감소된 level에서 단계(920) 내지 단계(980)을 반복한다. Level이 0인 경우, 특징 영역 추출 알고리즘이 종료된다.
실시예들은 라이트 필드 디스플레이에도 적용될 수 있다. 예를 들어, 다중 영상으로 만들어진 3차원 구조를 서로 정합하거나, 다중 영상 내 특정 부분을 인식하기 위하여 실시예들이 적용될 수 있다.
특징 영역 추출 장치는 추출된 특징 영역들로부터 특징 포인트를 추출할 수 있다. 예를 들어, 특징 영역 추출 장치는 단계(965)에서 특징 영역을 출력하는 대신, 해당 특징 영역으로부터 특징 포인트를 추출할 수 있다. 특징 영역 추출 장치는 특징 영역 내 하나의 포인트에 대하여 미리 정해진 수의 최 근접 이웃 포인트들을 찾을 수 있다. 특징 영역 추출 장치는 하나의 포인트 및 이웃 포인트들을 임시 세트로 묶을 수 있다. 특징 영역 추출 장치는 특징 영역에 포함된 복수의 포인트들 각각에 대응하는 임시 세트를 설정할 수 있다. 특징 영역 추출 장치는 수학식 3을 이용하여 임시 세트의 중심 포인트를 계산할 수 있다.
Figure pat00003
여기서, k는 임시 세트에 포함되는 포인트들의 수이고, pi는 임시 세트 내 i번째 포인트이며,
Figure pat00004
는 임시 세트의 중심 포인트이다.
특징 영역 추출 장치는 수학식 4를 이용하여 매트릭스 C를 계산할 수 있다. 특징 영역 추출 장치는 중심 포인트로부터 임시 세트에 포함된 각각의 포인트로 향하는 벡터들을 이용하여 매트릭스 C를 계산할 수 있다. 매트릭스 C는 대칭적이고, 양수로 정의되는 매트릭스(symmetric, positive define matrix)일 수 있다. 또한, 특징 영역 추출 장치는 매트릭스 C를 고유 분석(Eigen analysis)함으로써, 고유 값(Eigen value)을 계산 할 수 있다.
Figure pat00005
여기서, k는 임시 세트에 포함되는 포인트들의 수이고, pi는 임시 세트 내 i번째 포인트이며,
Figure pat00006
는 임시 세트의 중심 포인트이다.
Figure pat00007
는 고유 값이고,
Figure pat00008
는 고유 값에 대응하는 고유 벡터이다.
특징 영역 추출 장치는 수학식 5를 이용하여 특징 포인트를 추출할 수 있다. 예를 들어, 특징 영역 추출 장치는 복수의 임시 세트들 각각에서 가장 작은 고유 값을 구할 수 있다. 특징 영역 추출 장치는 가장 작은 고유 값들 중 최대 값을 가지는 임시 세트를 검출할 수 있다. 특징 영역 추출 장치는 검출된 임시 세트에 대응하는 포인트를 특징 포인트로 설정할 수 있다.
Figure pat00009
여기서,
Figure pat00010
는 t번째 임시 세트를 이용하여 계산된 고유 값들이다.
Figure pat00011
는 t번째 임시 세트를 이용하여 계산된 고유 값들 중 가장 작은 고유 값이다. m은 가장 작은 고유 값들 중 최대 값을 가지는 임시 세트의 인덱스이다. pm은 m번째 임시 세트에 대응하는 포인트이고, fp는 특징 포인트이다.
도 11 및 도 12는 일 실시예에 따른 돌극성 조건을 설명하는 도면들이다.
도 11을 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 특징 영역인지 여부를 판단하기 위하여 돌극성(saliency) 조건을 계산할 수 있다. 특징 영역 추출 장치는 수학식 6 및 수학식 7을 이용하여 돌극성 조건을 계산할 수 있다.
Figure pat00012
여기서, a1a2a3는 Vl(i, j, k) 복셀의 고주파 서브 밴드들을 지시하기 위한 변수로, 예를 들어 a1a2a3는 {HLL, LHL, HHL, LLH, HLH, LHH, HHH} 중 하나의 값을 가질 수 있다. 특징 영역 추출 장치는 Vl(i, j, k) 복셀의 고주파 서브 밴드들이 제1 임계 값인 threshold1보다 큰 값을 가지는지 여부를 판단할 수 있다.
Figure pat00013
특징 영역 추출 장치는 Vl(i, j, k) 복셀의 고주파 서브 밴드들 중 threshold1보다 큰 값을 가지는 서브 밴드들의 수가 제2 임계 값인 threshold2보다 큰지 여부를 판단할 수 있다. 돌극성 조건은 Vl(i, j, k) 복셀 내 포인트들의 인텐시티 변화율이 threshold1보다 큰 방향들의 수가 threshold2보다 큰 때 만족될 수 있다.
예를 들어, threshold2는 2로 설정될 수 있다. 이 경우, Vl(i, j, k) 복셀의 7개의 고주파 서브 밴드들 중 threshold1보다 큰 값을 가지는 서브 밴드들의 수가 3개 이상일 때 돌극성 조건이 만족된다. 이는 적어도 3 방향 이상으로 Vl(i, j, k) 복셀 내 포인트들의 인텐시티의 변화율이 커야 한다는 것을 의미한다. 이는 Vl(i, j, k) 복셀 내 꼭지점을 가지거나 변화량이 많은 표면을 가진 오브젝트가 있음을 의미한다. 도 12를 참조하면, 복셀(1210) 내 포인트들의 인텐시티 변화율이 threshold1보다 큰 방향(1211)은 한 개이므로, 복셀(1210)의 돌극성 조건은 만족되지 않는다. 반면, 복셀(1220) 내 포인트들의 인텐시티 변화율이 threshold1보다 큰 방향(1221, 1222, 1223)은 세 개이므로, 복셀(1220)의 돌극성 조건은 만족된다.
도 13 및 도 14는 일 실시예에 따른 연결성 조건을 설명하는 도면들이다.
도 13을 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 특징 영역인지 여부를 판단하기 위하여 연결성(connectivity) 조건을 계산할 수 있다. 특징 영역 추출 장치는 Vl(i, j, k) 복셀이 주변 복셀들과 연결되어 있는지 여부를 판단할 수 있다. 특징 영역 추출 장치는 Vl(i, j, k) 복셀이 주변 복셀들과 연결되어 있지 않다면, Vl(i, j, k) 복셀의 돌극성 조건이 만족되더라도 Vl(i, j, k) 복셀을 특징 영역이 아니라고 판단할 수 있다.
예를 들어, 도 14를 참조하면, 복셀(1410)은 포인트 클라우드에서 노이즈 등으로 인하여 생성된 것일 수 있다. 복셀(1410)은 주된 오브젝트(1420)의 특징을 표현하지 않으므로, 특징 포인트 또는 특징 영역으로서의 가치가 낮다. 복셀(1410) 내 포인트들의 인텐시티 변화율이 threshold1보다 큰 방향은 세 개이므로, 복셀(1410)의 돌극성 조건은 만족된다. 특징 영역 추출 장치는 연결성 조건을 이용하여 복셀(1410)을 특징 영역이 아니라고 판단할 수 있다.
특징 영역 추출 장치는 수학식 8 및 수학식 9를 이용하여 연결성 조건을 계산할 수 있다.
Figure pat00014
여기서, b1b2b3는 Vl(i, j, k) 복셀의 인접 복셀들을 지시하기 위한 변수로, 예를 들어, b1, b2, b3 각각은 {-1, 0, 1} 중 어느 하나의 값을 가질 수 있다. 물론 b1, b2, b3 각각이 가지는 값의 범위는 다양하게 변형될 수 있다. 특징 영역 추출 장치는 Vl(i, j, k) 복셀의 인접 복셀의 인텐시티에 기초하여 Vl(i, j, k) 복셀이 인접 복셀과 연결되는지 여부를 판단할 수 있다. 예를 들어, 인접 복셀의 인텐시티가 제3 임계 값인 threshold3보다 큰 경우, 특징 영역 추출 장치는 Vl(i, j, k) 복셀이 해당 인접 복셀과 연결된다고 판단할 수 있다.
Figure pat00015
연결성 조건은 Vl(i, j, k) 복셀이 threshold4보다 큰 수의 인접 복셀들과 연결될 때 만족될 수 있다. 예를 들어, threshold4는 3으로 설정될 수 있다. 이 경우, Vl(i, j, k) 복셀이 4개 이상의 인접 복셀들과 연결될 때, 연결성 조건이 만족된다.
도 15 및 도 16은 일 실시예에 따른 유사성 조건을 설명하는 도면들이다.
도 15를 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 특징 영역인지 여부를 판단하기 위하여 유사성(similarity) 조건을 계산할 수 있다. 유사성은 Vl(i, j, k) 복셀이 주변 복셀과 비슷한 정도를 나타낼 수 있다. Vl(i, j, k) 복셀이 주변 복셀과 비슷할수록 Vl(i, j, k) 복셀은 특징 영역 또는 특징 포인트로의 가치가 낮아질 수 있다.
예를 들어, 도 16을 참조하면, 복셀(1610)은 y축 방향의 주변 복셀들과 유사성이 높다. 또한, 복셀(1620)은 x축 방향 및 z축 방향의 주변 복셀들과 유사성이 높다. 이 경우, 특징 영역 추출 장치는 복셀(1610)과 복셀(1620)이 특징 영역이 아니라고 판단할 수 있다. 반면, 복셀(1630)은 주변 복셀들과의 유사성이 낮다. 이 경우, 특징 영역 추출 장치는 복셀(1630)이 특징 영역이라고 판단할 수 있다.
특징 영역 추출 장치는 수학식 10 및 수학식 11을 이용하여 유사성 조건을 계산할 수 있다.
Figure pat00016
여기서, a1a2a3는 Vl(i, j, k) 복셀의 서브 밴드들을 지시하기 위한 변수로, 예를 들어 a1a2a3는 {LLL, HLL, LHL, HHL, LLH, HLH, LHH, HHH} 중 하나의 값을 가질 수 있다. 또한, b1b2b3는 Vl(i, j, k) 복셀의 주변 복셀들을 지시하기 위한 변수로, 예를 들어, b1, b2, b3 각각은 {-1, 0, 1} 중 어느 하나의 값을 가질 수 있다. 물론 b1, b2, b3 각각이 가지는 값의 범위는 다양하게 변형될 수 있다.
특징 영역 추출 장치는 Vl(i, j, k) 복셀의 제1 서브 밴드와 주변 복셀의 제1 서브 밴드 사이의 차이부터 Vl(i, j, k) 복셀의 제8 서브 밴드와 주변 복셀의 제8 서브 밴드 사이의 차이를 합산할 수 있다. 합산된 값이 제5 임계 값인 threshold5보다 작은 경우, 특징 영역 추출 장치는 Vl(i, j, k) 복셀이 주변 복셀과 유사하다고 판단할 수 있다.
Figure pat00017
유사성 조건은 Vl(i, j, k) 복셀과 유사한 주변 복셀들의 수가 threshold6보다 작을 때 만족될 수 있다. 예를 들어, threshold6은 3으로 설정될 수 있다. 이 경우, Vl(i, j, k) 복셀과 유사한 주변 복셀들의 수가 2개 이하일 때, 유사성 조건이 만족된다.
특징 영역 추출 장치는 돌극성 조건, 연결성 조건, 및 유사성 조건의 조합으로 특징 영역인지 여부를 최종적으로 판단할 수 있다. 예를 들어, 특징 영역 추출 장치는 돌극성 조건, 연결성 조건, 및 유사성 조건을 모두 만족하는 복셀을 특징 영역이라고 판단할 수 있다. 이 경우, 특징 영역 추출 장치는 수학식 12를 이용할 수 있다.
Figure pat00018
여기서, FR(Vl(i, j, k))은 Vl(i, j, k) 복셀이 특징 영역인지 여부를 나타낸다. 예를 들어, FR(Vl(i, j, k))의 값이 1인 경우 Vl(i, j, k) 복셀은 특징 영역이고, FR(Vl(i, j, k))의 값이 0인 경우 Vl(i, j, k) 복셀은 특징 영역이 아닐 수 있다.
도 17은 일 실시예에 따른 복셀 그리드의 범위를 설정하는 방법을 설명하는 도면이다.
도 17을 참조하면, 일 실시예에 따른 특징 영역 추출 장치는 수학식 13, 수학식 14, 및 수학식 15를 이용하여 복셀 그리드의 범위를 설정할 수 있다.
Figure pat00019
여기서, P는 포인트 클라우드를 나타낸다. lu(P)는 직육면체 영역(1710)의 x축 방향의 변(1711), y축 방향의 변(1712), z축 방향의 변(1713)의 길이를 나타낸다.
Figure pat00020
여기서, qml(P)는 포인트 클라우드를 커버하는 직육면체 영역(1710)의 세 변의 길이 중 가장 긴 변의 길이를 나타낸다. qml(P)는 포인트 클라우드의 준 최소 길이(quasi-minimum length)를 나타낼 수 있다. 특징 영역 추출 장치는 qml(P)를 한 변의 길이로 하는 정육면체 영역(1720)을 생성할 수 있다.
Figure pat00021
여기서, n은 이산 웨이브릿 변환을 반복할 레벨의 수를 나타내고, w는 레벨 0에서 복셀의 최소 길이를 나타낼 수 있다. m은 임의의 양의 정수이다. 특징 영역 추출 장치는 2nw(m-1) < qml(p) < 2nwm을 만족하는 2nwm을 ml(P)의 값으로 설정할 수 있다. 설정된 ml(P)는 qml(P)보다 크거나 같으면서, 2nw의 배수가 되는 값을 가진다. 예를 들어, n이 3이고 w가 8인 경우, ml(P)는 64(= 23 x 8)의 배수들 중 qml(P)보다 큰 최소의 값으로 설정될 수 있다.
특징 영역 추출 장치는 ml(P)를 한 변의 길이로 하는 정육면체 영역(1730)을 생성할 수 있다. 이산 웨이브릿은 연산이 거듭될 때마다 대상 영역의 각 변의 길이를 반으로 줄이므로, 최상위 레벨에 대응하는 변의 길이가 2n의 배수로 설정되는 경우, 최하위 레벨에 대응하는 변의 길이가 정수가 된다. 특징 영역 추출 장치는 정육면체 영역(1730)의 한 변의 길이를 2n의 배수로 설정함으로써, 이산 웨이브릿 연산의 속도를 증가시킬 수 있다. 예를 들어, 특징 영역 추출 장치는 도 1의 복수의 영역들(120)을 ml(P)를 한 변의 길이로 하는 정육면체 모양으로 생성할 수 있다.
도 18은 일 실시예에 따른 특징 영역 추출 방법을 나타낸 동작 흐름도이다.
도 18을 참조하면, 일 실시예에 따른 특징 영역 추출 방법은 포인트 클라우드를 수신하는 단계(1810), 포인트 클라우드를 복수의 영역들로 분할하는 단계(1820), 복수의 영역들 각각의 포인트 인텐시티를 계산하는 단계(1830), 포인트 인텐시티에 기초하여 계층 구조를 생성하는 단계(1840), 및 계층 구조를 이용하여 특징 영역을 추출하는 단계(1850)를 포함한다.
도 19는 일 실시예에 따른 특징 영역 추출 장치를 나타낸 블록도이다.
도 19를 참조하면, 특징 영역 추출 장치(1900)는 수신부(1910), 분할부(1920), 생성부(1930), 및 추출부(1940)를 포함한다. 수신부(1910)는 포인트 클라우드를 수신할 수 있다. 분할부(1920)는 포인트 클라우드를 복수의 영역들로 분할할 수 있다. 생성부(1930)는 복수의 영역들을 계층화하는 계층 구조를 생성할 수 있다. 추출부(1940)는 계층 구조에 따라 복수의 영역들을 탐색함으로써 적어도 하나의 특징 영역을 추출할 수 있다.
도 20은 다른 실시예에 따른 특징 영역 추출 장치를 나타낸 블록도이다.
도 20을 참조하면, 특징 영역 추출 장치(2000)는 수신부(2010), 분할부(2020), 생성부(2030), 및 추출부(2040)를 포함한다. 수신부(2010)는 포인트 클라우드를 수신할 수 있다. 분할부(2020)는 포인트 클라우드를 복수의 영역들로 분할할 수 있다. 생성부(2030)는 복수의 영역들을 계층화하는 계층 구조를 생성할 수 있다. 추출부(2040)는 계층 구조에 따라 복수의 영역들을 탐색함으로써 적어도 하나의 특징 영역을 추출할 수 있다.
특징 영역 추출 장치(2000)는 계산부(2050)를 더 포함할 수 있다. 계산부(2050)는 복수의 영역들 각각에 대응하는 포인트 인텐시티를 계산할 수 있다. 또한, 특징 영역 추출 장치(2000)는 추출부(2060)를 더 포함할 수 있다. 추출부(2060)는 추출된 특징 영역에서 특징 포인트를 추출할 수 있다. 또한, 특징 영역 추출 장치(2000)는 인식부(2070)를 더 포함할 수 있다. 인식부(2070)는 추출된 특징 포인트에 기초하여 포인트 클라우드에 대응하는 객체 및 포인트 클라우드에 대응하는 동작 중 적어도 하나를 인식할 수 있다.
도 18 내지 도 20에 도시된 각 단계들 또는 각 모듈들에는 도 1 내지 도 17을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 실시예들이 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (38)

  1. 포인트 클라우드(point cloud)를 복수의 영역들로 분할하는 단계; 및
    포인트 인텐시티(point intensity)에 기초하여 상기 복수의 영역들 중 적어도 하나의 특징 영역(feature region)을 추출하는 단계
    를 포함하는 특징 영역 추출 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 특징 영역은 상기 포인트 클라우드의 특징 포인트를 포함하는, 특징 영역 추출 방법.
  3. 제1항에 있어서,
    상기 포인트 인텐시티는 상기 포인트 클라우드에 포함된 복수의 포인트들이 밀집된 정도와 관련되는, 특징 영역 추출 방법.
  4. 제1항에 있어서,
    상기 포인트 인텐시티는 상기 복수의 영역들에 대응하여 계산되는, 특징 영역 추출 방법.
  5. 제4항에 있어서,
    상기 복수의 영역들 중 어느 하나의 영역에 대응하는 포인트 인텐시티는 상기 어느 하나의 영역에 포함된 포인트들의 수로 결정되는, 특징 영역 추출 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 특징 영역을 추출하는 단계에서,
    상기 복수의 영역들을 계층화하는 계층 구조(hierarchical structure)가 생성되고, 상기 계층 구조에 따라 상기 복수의 영역들이 탐색되는, 특징 영역 추출 방법.
  7. 제6항에 있어서,
    상기 계층 구조의 상위 레벨에 포함된 영역은 상기 계층 구조의 하위 레벨에 포함된 영역들에 대응하는 포인트 인텐시티들에 관한 정보를 포함하는, 특징 영역 추출 방법.
  8. 제6항에 있어서,
    상기 계층 구조의 상위 레벨에 포함된 제1 영역이 탐색된 이후 상기 제1 영역의 하위 레벨에 포함된 제2 영역이 탐색되는, 특징 영역 추출 방법.
  9. 제8항에 있어서,
    상기 상위 레벨에서 상기 제1 영역이 특징 영역이 아니라고 판단되는 경우, 상기 제2 영역은 탐색되지 않는, 특징 영역 추출 방법.
  10. 제6항에 있어서,
    상기 계층 구조는 상기 복수의 영역들에 이산 웨이브릿 변환(discrete wavelet transform, DWT)을 적용함으로써 생성되는, 특징 영역 추출 방법.
  11. 제10항에 있어서,
    현재 탐색 중인 영역에 대응되는 DWT 서브 밴드들에 기초하여 상기 현재 탐색 중인 영역이 특징 영역인지 여부가 판단되는, 특징 영역 추출 방법.
  12. 제1항에 있어서,
    현재 탐색 중인 영역의 고 주파수 특징과 관련된 제1 조건;
    상기 현재 탐색 중인 영역과 이웃 영역이 연결되는지 여부와 관련된 제2 조건; 및
    상기 현재 탐색 중인 영역과 이웃 영역이 유사한지 여부와 관련된 제3 조건
    중 적어도 하나에 기초하여 상기 현재 탐색 중인 영역이 특징 영역인지 여부가 판단되는, 특징 영역 추출 방법.
  13. 제12항에 있어서,
    상기 현재 탐색 중인 영역에 대응되는 복수의 고 주파수 특징들 중 제1 임계 값보다 큰 고 주파수 특징들의 수가 제2 임계 값보다 큰 경우 상기 제1 조건이 만족되는, 특징 영역 추출 방법.
  14. 제12항에 있어서,
    상기 현재 탐색 중인 영역에 대응되는 복수의 이웃 영역들 중 제1 임계 값보다 큰 포인트 인텐시티를 가지는 이웃 영역들의 수가 제2 임계 값보다 큰 경우 상기 제2 조건이 만족되는, 특징 영역 추출 방법.
  15. 제12항에 있어서,
    상기 현재 탐색 중인 영역에 대응되는 복수의 이웃 영역들 중 제1 임계 값보다 작은 고 주파수 특징 차이-상기 고 주파수 특징 차이는 상기 현재 탐색 중인 영역의 고 주파수 특징과 이웃 영역의 고 주파수 특징 사이의 차이임-를 가지는 이웃 영역들의 수가 제2 임계 값보다 작은 경우 상기 제3 조건이 만족되는, 특징 영역 추출 방법.
  16. 제1항에 있어서,
    상기 포인트 클라우드의 산포(distribution) 및 상기 복수의 영역들을 계층화하는 계층 구조의 깊이 중 적어도 하나에 기초하여 상기 복수의 영역들의 크기가 결정되는, 특징 영역 추출 방법.
  17. 제16항에 있어서,
    상기 복수의 영역들은 정육면체의 영역들인, 특징 영역 추출 방법.
  18. 제1항에 있어서,
    상기 적어도 하나의 특징 영역에서 특징 포인트를 추출하는 단계
    를 더 포함하는 특징 영역 추출 방법.
  19. 제18항에 있어서,
    상기 특징 포인트에 기초하여 상기 포인트 클라우드에 대응하는 객체 및 상기 포인트 클라우드에 대응하는 동작 중 적어도 하나를 인식하는 단계
    를 더 포함하는 특징 영역 추출 방법.
  20. 제1항 내지 제19항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  21. 포인트 클라우드(point cloud)를 수신하는 수신부;
    상기 포인트 클라우드를 복수의 영역들로 분할하는 분할부;
    상기 복수의 영역들을 계층화하는 계층 구조를 생성하는 생성부; 및
    상기 계층 구조에 따라 상기 복수의 영역들을 탐색함으로써 적어도 하나의 특징 영역을 추출하는 추출부
    를 포함하는 특징 영역 추출 장치.
  22. 제21항에 있어서,
    상기 적어도 하나의 특징 영역은 상기 포인트 클라우드의 특징 포인트를 포함하는, 특징 영역 추출 장치.
  23. 제21항에 있어서,
    상기 추출부는
    상기 계층 구조의 최상위 레벨에서 상기 적어도 하나의 특징 영역에 대응되는 영역을 추출하고, 상기 추출된 영역의 하위 레벨에 포함된 복수의 영역들을 탐색 대상에 포함시키며, 상기 하위 레벨에서 상기 탐색 대상에 포함된 영역들을 탐색하는, 특징 영역 추출 장치.
  24. 제23항에 있어서,
    상기 추출부는
    상기 하위 레벨에서 상기 탐색 대상에 포함되지 않은 영역을 탐색하지 않는, 특징 영역 추출 장치.
  25. 제23항에 있어서,
    상기 추출부는
    상기 하위 레벨에서 상기 탐색 대상에 포함된 영역들 중 상기 적어도 하나의 특징 영역에 대응되는 영역의 다음 하위 레벨에 포함된 복수의 영역들을 탐색 대상에 포함시키는, 특징 영역 추출 장치.
  26. 제23항에 있어서,
    상기 추출부는
    상기 계층 구조의 최하위 레벨에서 탐색 대상에 포함된 영역들을 상기 적어도 하나의 특징 영역으로 결정하는, 특징 영역 추출 장치.
  27. 제21항에 있어서,
    상기 생성부는
    상기 복수의 영역들에 이산 웨이브릿 변환(discrete wavelet transform, DWT)을 적용함으로써 상기 계층 구조를 생성하는, 특징 영역 추출 장치.
  28. 제27항에 있어서,
    상기 추출부는
    현재 탐색 중인 영역에 대응되는 DWT 서브 밴드들에 기초하여 상기 현재 탐색 중인 영역이 특징 영역인지 여부를 판단하는, 특징 영역 추출 장치.
  29. 제21항에 있어서,
    상기 추출부는
    현재 탐색 중인 영역의 고 주파수 특징과 관련된 제1 조건;
    상기 현재 탐색 중인 영역과 이웃 영역이 연결되는지 여부와 관련된 제2 조건; 및
    상기 현재 탐색 중인 영역과 이웃 영역이 유사한지 여부와 관련된 제3 조건
    중 적어도 하나에 기초하여 상기 현재 탐색 중인 영역이 특징 영역인지 여부를 판단하는, 특징 영역 추출 장치.
  30. 제29항에 있어서,
    상기 현재 탐색 중인 영역에 대응되는 복수의 고 주파수 특징들 중 제1 임계 값보다 큰 고 주파수 특징들의 수가 제2 임계 값보다 큰 경우 상기 제1 조건이 만족되는, 특징 영역 추출 장치.
  31. 제29항에 있어서,
    상기 현재 탐색 중인 영역에 대응되는 복수의 이웃 영역들 중 제1 임계 값보다 큰 포인트 인텐시티를 가지는 이웃 영역들의 수가 제2 임계 값보다 큰 경우 상기 제2 조건이 만족되는, 특징 영역 추출 장치.
  32. 제29항에 있어서,
    상기 현재 탐색 중인 영역에 대응되는 복수의 이웃 영역들 중 제1 임계 값보다 작은 고 주파수 특징 차이-상기 고 주파수 특징 차이는 상기 현재 탐색 중인 영역의 고 주파수 특징과 이웃 영역의 고 주파수 특징 사이의 차이임-를 가지는 이웃 영역들의 수가 제2 임계 값보다 작은 경우 상기 제3 조건이 만족되는, 특징 영역 추출 장치.
  33. 제21항에 있어서,
    상기 분할부는
    상기 포인트 클라우드의 산포(distribution) 및 상기 계층 구조의 깊이 중 적어도 하나에 기초하여 상기 복수의 영역들의 크기를 결정하는, 특징 영역 추출 장치.
  34. 제33항에 있어서,
    상기 복수의 영역들은 정육면체의 영역들인, 특징 영역 추출 장치.
  35. 제21항에 있어서,
    상기 복수의 영역들에 대응하는 복수의 포인트 인텐시티들을 계산하는 계산부
    를 더 포함하고,
    상기 계층 구조의 상위 레벨에 포함된 영역은 상기 계층 구조의 하위 레벨에 포함된 영역들에 대응하는 포인트 인텐시티들에 관한 정보를 포함하는, 특징 영역 추출 장치.
  36. 제35항에 있어서,
    상기 계산부는
    상기 복수의 영역들 중 어느 하나의 영역에 대응하는 포인트 인텐시티를 상기 어느 하나의 영역에 포함된 포인트들의 수로 결정하는, 특징 영역 추출 장치.
  37. 제21항에 있어서,
    상기 적어도 하나의 특징 영역에서 특징 포인트를 추출하는 추출부
    를 더 포함하는 특징 영역 추출 장치.
  38. 제37항에 있어서,
    상기 특징 포인트에 기초하여 상기 포인트 클라우드에 대응하는 객체 및 상기 포인트 클라우드에 대응하는 동작 중 적어도 하나를 인식하는 인식부
    를 더 포함하는 특징 영역 추출 장치.
KR1020140075527A 2014-06-20 2014-06-20 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 KR102238693B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140075527A KR102238693B1 (ko) 2014-06-20 2014-06-20 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
US14/559,393 US9984308B2 (en) 2014-06-20 2014-12-03 Method and apparatus for extracting feature regions from point cloud
JP2015034805A JP6622972B2 (ja) 2014-06-20 2015-02-25 ポイントクラウドで特徴領域を抽出する方法及び装置
CN201510105244.0A CN105205441B (zh) 2014-06-20 2015-03-11 用于从点云提取特征区域的方法和设备
EP15163246.0A EP2958049A3 (en) 2014-06-20 2015-04-10 Method and apparatus for extracting feature regions from point cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140075527A KR102238693B1 (ko) 2014-06-20 2014-06-20 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150145950A true KR20150145950A (ko) 2015-12-31
KR102238693B1 KR102238693B1 (ko) 2021-04-09

Family

ID=53015514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140075527A KR102238693B1 (ko) 2014-06-20 2014-06-20 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치

Country Status (5)

Country Link
US (1) US9984308B2 (ko)
EP (1) EP2958049A3 (ko)
JP (1) JP6622972B2 (ko)
KR (1) KR102238693B1 (ko)
CN (1) CN105205441B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203523A1 (ko) * 2018-04-17 2019-10-24 삼성전자 주식회사 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치
WO2020013661A1 (ko) * 2018-07-13 2020-01-16 한국전자통신연구원 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치
KR20200053499A (ko) * 2017-09-29 2020-05-18 소니 주식회사 정보 처리 장치 및 방법
KR20210074353A (ko) * 2019-02-25 2021-06-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20220075794A (ko) * 2020-11-30 2022-06-08 (주)심스리얼리티 3차원 지도의 생성 방법
WO2023114037A1 (en) * 2021-12-13 2023-06-22 Zoox, Inc. Lidar point cloud alignment validator in hd mapping

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826368B2 (ja) * 2016-01-14 2021-02-03 キヤノン株式会社 符号化装置及びその制御方法
JP6945785B2 (ja) 2016-03-14 2021-10-06 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ ３ｄポイントクラウドの処理方法
US10078333B1 (en) * 2016-04-17 2018-09-18 X Development Llc Efficient mapping of robot environment
WO2017217191A1 (ja) 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
JP6637855B2 (ja) 2016-08-22 2020-01-29 株式会社ソニー・インタラクティブエンタテインメント データ処理装置、データ処理方法およびコンピュータプログラム
US10410403B1 (en) * 2018-03-05 2019-09-10 Verizon Patent And Licensing Inc. Three-dimensional voxel mapping
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US10762592B2 (en) * 2018-07-31 2020-09-01 Intel Corporation Point-based rendering and removal of projection noise
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
GB2578485A (en) * 2018-09-18 2020-05-13 Univ Oxford Innovation Ltd Radiomic signature of a perivascular region
GB2577349B (en) * 2018-09-18 2023-06-14 Univ Oxford Innovation Ltd Radiomic signature of adipose
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
KR102319036B1 (ko) * 2019-01-30 2021-10-28 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 포인트 클라우드 고스트 효과 검출 시스템
CN110222742B (zh) * 2019-05-23 2022-12-02 星际空间（天津）科技发展有限公司 基于分层多回波的点云分割方法、装置、存储介质及设备
EP3975130A4 (en) 2019-07-01 2022-06-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. POINT CLOUD SEGMENTATION METHOD AND DEVICE AND COMPUTER READABLE STORAGE MEDIA
US10977855B1 (en) 2019-09-30 2021-04-13 Verizon Patent And Licensing Inc. Systems and methods for processing volumetric data using a modular network architecture
US11610423B2 (en) 2019-11-15 2023-03-21 Waymo Llc Spatio-temporal-interactive networks
CN111340935A (zh) * 2020-01-23 2020-06-26 北京市商汤科技开发有限公司 点云数据处理方法、智能行驶方法及相关装置、电子设备
US11957974B2 (en) 2020-02-10 2024-04-16 Intel Corporation System architecture for cloud gaming
CN111814679B (zh) * 2020-07-08 2023-10-13 上海雪湖科技有限公司 一种体素化3D网络voxel-encoder与VFE基于FPGA的实现算法
KR102461283B1 (ko) * 2021-06-15 2022-11-01 이마고웍스 주식회사 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20230169690A1 (en) * 2021-11-30 2023-06-01 Verizon Patent And Licensing Inc. Methods and Systems for Scalable Compression of Point Cloud Data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010003590A (ko) * 1999-06-24 2001-01-15 윤종용 영상분할 장치 및 방법
JP2001076158A (ja) * 1999-09-01 2001-03-23 Sanyo Electric Co Ltd 画像処理方法及び装置並びに媒体
KR20060019913A (ko) * 2004-08-30 2006-03-06 삼성전자주식회사 영상 분할 방법
KR20110050143A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 계층적 공간 분할 구조의 부분 업데이트 장치 및 방법
KR20110093073A (ko) * 2010-02-11 2011-08-18 중앙대학교 산학협력단 점묘 기법의 회화적 렌더링 장치 및 방법
US20110205338A1 (en) * 2010-02-24 2011-08-25 Samsung Electronics Co., Ltd. Apparatus for estimating position of mobile robot and method thereof
KR20130028978A (ko) * 2010-11-24 2013-03-20 인디언 스터티스티컬 인스티튜트 러프 웨이블릿 그래뉼러 공간 및 다중스펙트럼 원격 감지 이미지의 분류

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
KR100795570B1 (ko) 2006-09-01 2008-01-21 전자부품연구원 영상의 특징점 추출방법
KR100797400B1 (ko) 2006-12-04 2008-01-28 한국전자통신연구원 주성분분석 및 자동상관을 이용한 단백질 구조 비교 장치및 그 방법
CN101610719B (zh) 2007-02-07 2014-02-26 皇家飞利浦电子股份有限公司 治疗计划中的运动估计
US8396284B2 (en) 2007-10-23 2013-03-12 Leica Geosystems Ag Smart picking in 3D point clouds
US8406487B2 (en) 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification
US20110257545A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Imaging based symptomatic classification and cardiovascular stroke risk score estimation
KR101054736B1 (ko) 2010-05-04 2011-08-05 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 방법
EP2437220A1 (en) 2010-09-29 2012-04-04 Alcatel Lucent Method and arrangement for censoring content in three-dimensional images
KR101740259B1 (ko) 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
CN103164842A (zh) * 2011-12-14 2013-06-19 鸿富锦精密工业（深圳）有限公司 点云提取系统及方法
KR101348931B1 (ko) 2011-12-29 2014-01-09 광운대학교 산학협력단 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법
US8670591B2 (en) * 2012-03-01 2014-03-11 Exelis, Inc. Foliage penetration based on 4D LIDAR datasets
CN102607459B (zh) * 2012-03-06 2014-11-19 中国矿业大学(北京) Lidar测量数据的拼接方法和装置
US20140172377A1 (en) * 2012-09-20 2014-06-19 Brown University Method to reconstruct a surface from oriented 3-d points
US9265434B2 (en) * 2013-12-18 2016-02-23 Biosense Webster (Israel) Ltd. Dynamic feature rich anatomical reconstruction from a point cloud
CN103727898B (zh) * 2014-01-21 2017-01-18 成都天拓众成科技有限公司 利用查找表修正非线性畸变的快速三维测量系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010003590A (ko) * 1999-06-24 2001-01-15 윤종용 영상분할 장치 및 방법
JP2001076158A (ja) * 1999-09-01 2001-03-23 Sanyo Electric Co Ltd 画像処理方法及び装置並びに媒体
KR20060019913A (ko) * 2004-08-30 2006-03-06 삼성전자주식회사 영상 분할 방법
KR20110050143A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 계층적 공간 분할 구조의 부분 업데이트 장치 및 방법
KR20110093073A (ko) * 2010-02-11 2011-08-18 중앙대학교 산학협력단 점묘 기법의 회화적 렌더링 장치 및 방법
US20110205338A1 (en) * 2010-02-24 2011-08-25 Samsung Electronics Co., Ltd. Apparatus for estimating position of mobile robot and method thereof
KR20130028978A (ko) * 2010-11-24 2013-03-20 인디언 스터티스티컬 인스티튜트 러프 웨이블릿 그래뉼러 공간 및 다중스펙트럼 원격 감지 이미지의 분류

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A. Flint, et al, "Local 3D structure recognition in range images." IET Computer Vision 2.4 (2008.12.31.)* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053499A (ko) * 2017-09-29 2020-05-18 소니 주식회사 정보 처리 장치 및 방법
WO2019203523A1 (ko) * 2018-04-17 2019-10-24 삼성전자 주식회사 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치
WO2020013661A1 (ko) * 2018-07-13 2020-01-16 한국전자통신연구원 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치
KR20210074353A (ko) * 2019-02-25 2021-06-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20220080060A (ko) * 2020-04-10 2022-06-14 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20220075794A (ko) * 2020-11-30 2022-06-08 (주)심스리얼리티 3차원 지도의 생성 방법
WO2023114037A1 (en) * 2021-12-13 2023-06-22 Zoox, Inc. Lidar point cloud alignment validator in hd mapping
US11803977B2 (en) 2021-12-13 2023-10-31 Zoox, Inc. LIDAR point cloud alignment validator in HD mapping

Also Published As

Publication number Publication date
KR102238693B1 (ko) 2021-04-09
US20150371110A1 (en) 2015-12-24
CN105205441B (zh) 2020-05-12
JP2016009484A (ja) 2016-01-18
EP2958049A3 (en) 2016-04-20
EP2958049A2 (en) 2015-12-23
US9984308B2 (en) 2018-05-29
JP6622972B2 (ja) 2019-12-18
CN105205441A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
KR102238693B1 (ko) 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
US11107272B2 (en) Scalable volumetric 3D reconstruction
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
US9633483B1 (en) System for filtering, segmenting and recognizing objects in unconstrained environments
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
EP2927877A2 (en) Method and apparatus for rendering same regions of multi frames
Leeper et al. Point clouds can be represented as implicit surfaces for constraint-based haptic rendering
CN110838122B (zh) 点云的分割方法、装置及计算机存储介质
Pan et al. Superpixels of RGB-D images for indoor scenes based on weighted geodesic driven metric
US10169874B2 (en) Surface-based object identification
Ribal et al. Efficient graph cut optimization for shape from focus
JP5928240B2 (ja) ３次元形状解釈装置及びプログラム
Crosby et al. Object identification in 3D flash lidar images
US11907846B2 (en) Learning and propagating visual attributes
Zhang et al. Stereo matching cost computation based on nonsubsampled contourlet transform
KR101417714B1 (ko) 이중 모드의 정점 분할 기법을 이용한 실시간 지형 렌더링을 위한 사진트리 삼각화의 가속화 방법
KR20140103407A (ko) 이중모드 정점 분할기법을 이용한 지형 렌더링 가속화 방법
KR101993010B1 (ko) 시공간 패턴에 기반한 비디오 분석 장치 및 방법
US20160104319A1 (en) Method and apparatus for modeling target object to represent smooth silhouette
Achanccaray et al. A free software tool for automatic tuning of segmentation parameters
Yu et al. Think globally, cluster locally: A unified framework for range segmentation
BUCHAU et al. A meshfree isosurface computation method for boundary element methods
Brandt et al. MTStereo 2.0: Accurate Stereo Depth Estimation via Max-Tree Matching
Xu et al. Scale adaptive supervoxel segmentation of RGB-D image
McGraw et al. Shape modeling with fractals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant