KR101804840B1 - 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치 - Google Patents
컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR101804840B1 KR101804840B1 KR1020160125345A KR20160125345A KR101804840B1 KR 101804840 B1 KR101804840 B1 KR 101804840B1 KR 1020160125345 A KR1020160125345 A KR 1020160125345A KR 20160125345 A KR20160125345 A KR 20160125345A KR 101804840 B1 KR101804840 B1 KR 101804840B1
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- mesh
- surface image
- spatial filter
- convolution
- Prior art date
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 54
- 238000001914 filtration Methods 0.000 claims abstract description 92
- 238000003672 processing method Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims description 69
- 239000013598 vector Substances 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G06T3/0043—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은, 3차원 표면에 적용되는 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법은, 컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 입력받고, 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 단계 및 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 상기 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계를 포함한다.
Description
본 발명은 기계 학습(machine learning)을 통한 영상 처리에 관한 것으로서, 특히 컨벌루션 신경망(CNN; convolutional neural network) 기반의 영상 처리 방법 및 장치에 대한 것이다.
기계 학습은 인터넷 정보검색, 텍스트 마이닝, 음성인식, 로보틱스, 서비스업 등 거의 모든 분야에서 이용되는 핵심 기술이다. 최근 기계 학습의 일 분야인 딥러닝(Deep learning) 기술이 다양한 분야에서 각광받고 있으며, 특히 영상 기반의 객체 인식(recognition) 분야에서는 딥러닝 기술의 일종으로서 컨벌루션 신경망(CNN; convolutional neural network)을 이용한 기계 학습 기법이 주목 받고 있다.
컨벌루션 신경망 기술은, 회선 신경망 기술이라고도 하며, 입력된 이미지를 계산을 거쳐 이해하고, 특징을 추출하여 정보를 획득하거나, 새로운 이미지를 생성하는 등 다양한 영상 처리 내지 컴퓨터 비전 분야에서 활발히 연구되고 있으며, 사람의 신경 계통을 모사하여 설계되는 인공신경망 기술의 일종이다.
종래 컨벌루션 신경망 기술은, 2차원의 영상에 대하여 컨벌루션 필터를 적용하여 2차원 영상의 특징점을 기계학습을 통하여 추출하는 것이 주를 이루었으며, 2차원 영상의 패턴을 인식하기에 적합하게 발전되어왔다. 다만 2차원의 컨벌루션 신경망 기술은, 2차원의 영상의 형태로 표시되는 자료에 한하여만 적용될 수 있고, 구(sphere)형태를 포함하는 임의의 3차원의 기하학적 표면에 대하여 적용되지 아니하였다. 그러나, 자연 현상의 많은 경우 기하학적 표면 위에서 표현되기 때문에 기하학적 표면 위의 패턴을 표상하고 처리할 수 있도록 하는 기술이 필요하다. 또한, 여러 자연 현상을 기술하기 위하여, 표면이 다층 구조를 가지는 경우를 표현할 수 있는 컨벌루션 신경망 기술의 개발이 요구된다.
본 발명은 컨벌루션 신경망 기술에 기초하여 표면 영상을 처리하는 방법 및 장치를 제공하는 것을 목적으로 한다. 보다 상세하게는, 임의의 3차원 표면 위의 영상 자료에 있어서 컨벌루션 신경망 기술에 기초하여 영상을 처리하는 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컨벌루션 기반의 표면 영상 처리 방법은, 3차원 표면에 적용되는 컨벌루션 신경망 기반의 영상 처리 방법으로서, 컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터 입력받고, 3차원 공간에 위치한 복수개의 메쉬 노드 (mesh node)를 가지는 메쉬 (mesh) 형태로 변환하는 단계 및 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계를 포함한다.
이때, 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하는 사각형의 공간 필터로 구현되거나, 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 각각의 노드로부터 일정한 거리들을 가지도록 방사 형으로 배치된 필터 점들을 가지며, 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터로 구현될 수 있다.
위 경우에, 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고, 필터 점들은, 사각형의 공간 필터가 구표면의 경도 그리드의 방향과 평행하도록 배치되거나, 필터 점들은, 원형의 공간 필터가 구표면의 경도 그리드의 방향과 평행하도록 배치되는 것을 특징으로 할 수 있다.
또한 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하는 메쉬 형태의 공간 필터로 구현될 수 있다.
한편, 미리 정의된 공간 필터는 복수개의 필터 점들을 정의하기 위한 공간 필터 벡터이고, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것은, 복수개의 메쉬 노드 각각에 대하여 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행할 수 있다. 이때, 복수개의 메쉬 노드 각각에 대하여 컨벌루션 연산을 수행하는 것은 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로, 공간 필터에 포함된 필터 점들의 위치에 대응되는 인텐시티값에 대하여, 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행하는 것으로 할 수 있다. 여기서, 각각의 필터 점들의 위치에 대응되는 인텐시티 값은, 각각의 필터 점들의 위치 주변의 메쉬 노드들이 갖는 인텐시티값을 인터폴레이션하여 예측하는 것을 특징으로 할 수 있다.
이때, 인텐시티값을 인터폴레이션하는 것은,필터 점들의 위치와 필터 점들의 위치 주변의 메쉬 노드들의 위치 관계 정보를 포함하고, 미리 구비된 변환 행렬을 이용하여 인텐시티값을 인터폴레이션하는 것으로 구현될 수 있다.
한편, 컨벌루션 필터링 하는 단계 이후에, 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 단계를 더 포함할 수 있다. 이는 종래 2차원 영상에서 컨벌루션 기법에서 풀링(pooling) 단계에 해당이 된다. 이때, 제8항에 있어서, 소정의 단위 영역에 대하여 서브샘플링하는 것은, 정20면체의 확장 특성을 이용하여 확장 전 단계로 돌아가도록 서브샘플링하는 것을 특징으로 할 수 있다.
이때, 소정의 단위 영역에 대하여 서브샘플링하는 것은, 소정의 단위 영역으로 메쉬를 분할하여 각 단위영역에 대하여 서브샘플링 하는 것으로 정의될 수 있다.
소정의 단위 영역에 대하여 서브샘플링하는 것은, 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 소정의 단위 영역에 속하는 컨벌루션 필터링된 데이터에 대하여, 평균값 또는 최대값을 획득하여 서브샘플링하는 것으로 할 수 있고, 이는 획득된 평균값 또는 최대값을 축소된 메쉬 노드의 각 점에 대응시키는 것으로 할 수 있다.
이때, 소정의 단위 영역에 대하여 서브샘플링하는 단계 이후에, 서브샘플링된 3차원 표면 영상 데이터에 대하여, 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행하는 단계를 더 포함할 수 있다.
또한 공간 필터 벡터는, 복수개의 메쉬 노드 각각에 대하여 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터이고, 서브샘플링하는 단계 이후에, 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 공간 필터 벡터를 보정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 3차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것은, 3차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 구표면의 메쉬 형태로 변환하는 것으로 할 수 있다.
또한, 3차원 표면 영상 데이터는, 복수개의 표면을 포함하는 다층 구조를 가지는 영상 데이터이고, 메쉬 형태로 변환하는 것은, 복수개의 표면 각각을 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것이고, 컨벌루션 필터링 하는 것은, 메쉬 형태로 변환된 복수개의 3차원 표면 영상 데이터 각각에 대하여, 복수개의 메쉬 노드 각각에 대하여, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것으로 할 수 있다.
본 발명의 목적을 달성하기 위한 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 장치는, 컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 입력받고, 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 영상 데이터 변환부 및 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 필터링부를 포함할 수 있다.
이때 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하는 사각형의 공간 필터일 수 있다. 또한 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 각각의 메쉬 노드로부터 일정한 거리들을 가지도록 방사형으로 배치된 필터 점들을 가지며, 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터이거나, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하는 메쉬 형태의 공간 필터인 것으로 구현될 수 있다.
위 경우에, 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고, 필터 점들은, 사각형의 공간 필터가 구표면의 경도 그리드의 방향과 평행하도록 배치되거나, 필터 점들은, 원형의 공간 필터가 구표면의 경도 그리드의 방향과 평행하도록 배치되는 것을 특징으로 할 수 있다.
한편, 미리 정의된 공간 필터는 복수개의 필터 점들을 정의하기 위한 공간 필터 벡터이고, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것은, 복수개의 메쉬 노드 각각에 대하여 공간 필터 벡터을 이용하여 컨벌루션 연산을 수행할 수 있다.
복수개의 노드 각각에 대하여 컨벌루션 연산을 수행하는 것은, 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로, 공간 필터에 포함된 필터 점들의 위치에 대응되는 인텐시티값에 대하여, 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행하는 것을 특징으로 할 수 있다.
한편, 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 장치는, 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 서브샘플링부를 더 포함할 수 있다. 이때, 필터링부 및 서브샘플링부는, 서브샘플링된 3차원 표면 영상 데이터에 대하여, 필터링 및 서브샘플링을 반복 수행하도록 할 수 있다.
소정의 단위 영역에 대하여 서브샘플링하는 것은, 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 평균값 또는 최대값을 획득하여 서브샘플링하는 것으로 할 수 있다.
공간 필터 벡터는, 복수개의 메쉬 노드 각각에 대하여 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터이고, 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 가중치 벡터를 보정하는 보정부를 더 포함하도록 할 수 있다.
3차원 표면 영상 데이터는, 복수개의 표면을 포함하는 다층 구조를 가지는 영상 데이터이고, 메쉬 형태로 변환하는 것은, 복수개의 표면 각각을 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것이고, 컨벌루션 필터링 하는 것은, 메쉬 형태로 변환된 복수개의 3차원 표면 영상 데이터 각각에 대하여, 복수개의 메쉬 노드 각각에 대하여, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것으로 구현될 수 있다..
도 1은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 장치를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법의 개략적인 구성을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법의 일부 단계에 대하여 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 소정의 단위 영역에 대하여 서브샘플링하는 단계의 일부 내용을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 컨벌루션 필터링하는 단계 및 서브샘플링하는 단계에 대하여 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법으로서, 다층 구조를 가지는 영상 데이터에 대한 실시예를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 미리 정의된 형태의 공간 필터의 일예를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 미리 정의된 형태의 공간 필터의 일예를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 미리 정의된 형태의 공간 필터의 일예를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 장치를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법의 개략적인 구성을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법의 일부 단계에 대하여 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 소정의 단위 영역에 대하여 서브샘플링하는 단계의 일부 내용을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 컨벌루션 필터링하는 단계 및 서브샘플링하는 단계에 대하여 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법으로서, 다층 구조를 가지는 영상 데이터에 대한 실시예를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 미리 정의된 형태의 공간 필터의 일예를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 미리 정의된 형태의 공간 필터의 일예를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 미리 정의된 형태의 공간 필터의 일예를 도시한 것이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서는 컨벌루션 신경망(CNN; convolutional neural network)을 이용하여 임의의 3차원 표면에서의 패턴을 분석하기 위한 기계학습 기법을 개시한다. 컨벌루션 신경망 기술은, 컨볼루션을 사용하여 로컬 피쳐를 획득하는 모형으로서, 영상 인식 분야에서 뛰어난 성능을 가지는 모형이다. 종래 이용되어온 컨벌루션 신경망 기법은, 2차원 단면 영상에 적용되었고, 구 형태나 다양한 기하학적 표면의 형태 내지 패턴으로 표현될 수 있는 많은 경우의 자연현상, 예컨대, 지구 표면의 기상 변화 내지는 대뇌 피질에서 일어나는 뇌 활동 패턴을 검출하여 분석하는 것과 같은 경우에 대하여는 적용이 어려웠다. 이에 본 명세서에서는 3차원 표면 영상 및 패턴에 대하여도 컨벌루션 신경망을 이용하여 패턴 분석을 할 수 있도록 하는 컨벌루션 신경망 기법으로서, 컨벌루션 신경망 기반의 영상 처리 방법을 개시한다.
한편, 본 발명 부분을 제외한 부분은 종래의 컨벌루션 신경망의 학습 기법을 사용한다. 가령, 컨벌루션 필터 이후 그 값을 변환하는 기법, 가령, ReLU 등을 사용할 수 있고 각 단계에서 컨벌루션 필터 벡터를 학습시키는 과정도 오차 역전파 기법을 그대로 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법을 도시한 것이다. 본 발명의 컨벌루션 신경망 기반의 영상 처리 방법은, 3차원 표면 영상 데이터를 입력받고 메쉬 형태로 변환하는 단계(S100)및 메쉬 노드 각각에 대하여 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계(S200)를 포함한다. 본 발명의 컨벌루션 신경망 기반의 영상 처리 방법은, 임의의 3차원 표면 형태의 영상 데이터를 입력 받고, 영상 데이터를 메쉬 형태로 변환하고, 메쉬 형태의 데이터의 메쉬 노드 각각에 대하여 공간 필터를 이용하여 컨벌루션 필터링 하여, 임의의 3차원 표면에 대한 컨벌루션 필터링을 수행하도록 할 수 있으며, 필터링을 수행하여 획득한 특징맵 등의 자료를 다양한 응용 목적에 따라 이용되도록 할 수 있다.
3차원 표면 영상 데이터를 입력받고 메쉬 형태로 변환하는 단계(S100)에서는, 컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 입력받고, 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환할 수 있다. 여기서 데이터가 변환되는 메쉬의 단위 메쉬 형태는, 통상적으로, 일정한 사이즈를 가지는 삼각형으로 정의되고 이용될 수 있으나, 이에 한정하지는 아니한다. 예컨대, 삼각형 단위 메쉬의 경우, 삼각형의 꼭지점에 해당하는 노드에 해당하는 인텐시티 값들이 패턴을 형성하며, 이를 이용하여 컨벌루션 필터링을 수행할 수 있다. 한편 본 단계는, 미리 메쉬 형태로 변환되어 변환된 데이터를 입력받아 다음 단계를 수행하는 것으로 대체될 수 있다.
메쉬 노드 각각에 대하여 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계(S200)에서는, 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링할 수 있다.
본 실시예에 있어서, 미리 정의된 공간 필터는 복수개의 필터 점들을 정의하기 위한 공간 필터 벡터이고, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것은, 복수개의 메쉬 노드 각각에 대하여 공간 필터 벡터을 이용하여 컨벌루션 연산을 수행하여 컨벌루션 필터링 하는 것으로 구현될 수 있다. 미리 정의된 공간 필터는, 인텐시티 값을 획득하여 컨벌루션 연산을 수행하기 위한 복수개의 필터 점들을 포함하며, 소정의 형태로 미리 정해질 수 있고, 정해진 소정의 형태들 중에서 선택적으로 또는 복합적으로 이용될 수 있다. 컨벌루션 필터링 하는 것은, 복수개의 메쉬 노드 전체에 대하여, 각각 공간 필터를 이용하여 컨벌루션 연산을 수행하여, 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대응하는 컨벌루션 필터링된 표면 데이터를 획득할 수 있다.
여기서, 복수개의 노드 각각에 대하여 컨벌루션 연산을 수행하는 것은 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로, 공간 필터에 포함된 필터 점들의 위치에 대응되는 인텐시티값에 대하여, 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행할 수 있다. 즉, 각각의 필터 점들의 위치 주변의 메쉬 노드들이 갖는 인텐시티값을 인터폴레이션하여 컨벌루션 연산을 수행하는 것으로서, 보다 상세하게는, 메쉬 표면위의 좌표값을 인근 메쉬 노드들의 인텐시티 값을 이용하여 구하고, 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행하는 것으로 할 수 있다. 한편, 본 발명에서 공간 필터에 포함되는 필터 점들의 위치는, 가상의 메쉬 노드로 정의되고, 필터 점들의 위치에 대응되는 인텐시티값은, 가상의 메쉬노드에 해당하는 인텐시티 값으로 정의될 수 있다.
보다 상세하게는, 각 메쉬 노드에 대하여 컨벌루션 연산을 수행하는 것은, 컨벌루션 연산의 대상이 되는 메쉬 노드에 대하여, 미리 정해지고, 해당 메쉬 노드에 대응하는 필터 공간에 포함되는 각각의 필터 점들의 위치에 해당하는 인텐시티 값을 획득하고, 각각의 필터 점들에 대응하는 가중치 값을 각각 대응하는 인텐시티 값에 곱하고, 곱해진 값들을 더하여 수행하는 것으로 정의될 수 있다. 이와 관련하여, 도 7에서 보다 상세히 후술한다.
각 메쉬 노드에 해당하는 필터 점들에 해당하는 인텐시티를 구하기 위해서 각 필터점의 주변 메쉬 노드들이 갖는 인텐시티값을 인터폴레이션 하는 것은, 각 필터 점의 위치와 주변 메쉬노드들의 위치 관계, 그리고 메쉬노드들이 갖는 인텐시티값을 고려하여 수행할 수 있다. 이때, 주변 메쉬노드들과 각 필터 점의 위치관계를 고려하여 데이터를 인터폴레이션 샘플링하여 인텐시티 샘플링 할 때, 위치 관계에 따른 샘플링 매트릭스를 미리 계산하여 사용할 수 있다. 여기서의 샘플링(sampling) 매트릭스는 위치 관계를 고려하여 계산된 값들을 구성요소로 하는 매트릭스로서, 각 메쉬 노드들의 인텐시티가 주어지면 용이하게 필터 점의 위치에 대응되는 인텐시티를 계산하는 방법으로서, 후술하는 소정의 단위 영역에 대한 서브샘플링(subsampling)과는 구별된다.
여기서, 샘플링 매트릭스를 이용하여 필터 점의 위치에 대응되는 인텐시티를 획득하는 것은, 필터 점들의 위치와 필터 점들의 위치 주변의 메쉬 노드들의 위치 관계 정보를 포함하고, 미리 구비된 변환 행렬을 이용하여 인텐시티값을 인터폴레이션하는 것으로 구현될 수 있다. 또한, 인터폴레이션의 방식은 B-spline과 같은 종래의 인터폴레이션 방법에 의할 수 있으나 이에 한정되지 아니한다.
이때, 컨벌루션 필터링에 이용되는 미리 정의된 공간 필터는, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하는 사각형의 공간 필터인 것으로 구현될 수 있다. 이와 관련하여, 도 11에서 보다 상세히 후술한다.
또한, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 각각의 메쉬 노드로부터 일정한 거리들을 가지도록 방사형으로 배치된 필터 점들을 가지며, 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터이거나, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하는 메쉬 형태의 공간 필터인 것으로 구현될 수 있다. 이와 관련하여, 도 12 및 도 13에서 보다 상세히 후술한다.
본 실시예의 일예에 있어서, 3 차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것은, 3차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 구표면의 메쉬 형태로 변환하는 것으로 구현될 수 있다. 본 발명은 일반적인 임의의 표면 메쉬에 대하여도 적용될 수 있다. 그러나, 일반적인 임의의 비구면 메쉬의 경우에도 구면으로 변환될 수 있고, 본 발명의 일 실시예로서, 입력받은 3차원 표면 영상 데이터를 구면으로 변환된 메쉬 형태로 변환하는 것으로 할 수 있으며, 변환된 형태의 메쉬 데이터를 입력으로 하여 영상 처리를 수행할 수 있다.
본 실시예의 다른 일예에 따르면, 차원 표면 영상 데이터는, 복수개의 표면을 포함하는 다층 구조를 가지는 영상 데이터이고, 메쉬 형태로 변환하는 것은, 복수개의 표면 각각을 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것이고, 컨벌루션 필터링 하는 것은, 메쉬 형태로 변환된 복수개의 3차원 표면 영상 데이터 각각에 대하여, 복수개의 메쉬 노드 각각에 대하여, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것으로 구현될 수 있다. 이와 관련하여, 도 10에서 보다 상세히 후술한다.
도 2는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법을 도시한 것이다. 본 발명의 컨벌루션 신경망 기반의 영상 처리 방법은, 도 1에서 도시하는 3차원 표면 영상 데이터를 입력받고 메쉬 형태로 변환하는 단계(S100)및 메쉬 노드 각각에 대하여 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계(S200) 이후에, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 단계(S300)를 더 포함할 수 있다. 본 실시예에서는, 메쉬 형태의 컨벌루션 필터링된 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역으로 나누고, 각각의 단위 영역에 대하여 서브샘플링 하여, 획득한 값을 해당 단위 영역에 할당할 수 있다. 소정의 단위 영역에 대하여 서브샘플링을 수행하는 것은, 전체에 대하여 소정의 비율로 서브샘플링하는 것으로서, 소정의 비율로 데이터 차원이 축소된다. 예컨대, N개의 메쉬 노드에 대하여 R의 비율로 서브샘플링 하는 경우, 메쉬 노드의 수는 N/R로 줄어들게 되고, 데이터 역시 함께 축소된다.
복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 단계(S300)에서는, 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링(subsampling)할 수 있다. 이때, 소정의 단위 영역에 대하여 서브샘플링 하는 것은, 각각의 단위 영역에 포함되는 메쉬 노드들에 대한 컨벌루션 필터링 된 값들로부터 대표값을 결정하여, 결정된 대표값을 해당 단위 영역에 할당하는 것으로 구현될 수 있다. 서브샘플링을 통하여, 중요하다고 판단되는 정보만을 남겨 데이터의 차원을 축소시킬 수 있다.
이때, 소정의 단위 영역을 결정하는 것은 정20면체의 확장 특성을 이용하여 결정될 수 있으며, 보다 상세하게는, 데이터의 메쉬는 확장된 정20면체의 형태를 가지고, 메쉬에 포함되는 복수개의 메쉬 노드는 확장된 정20면체의 각 꼭지점에 대응되며, 소정의 단위 영역에 대하여 서브샘플링하는 것은, 정20면체의 확장 특성을 이용하여 확장 전 단계로 돌아가도록 서브샘플링하는 것으로 할 수 있다. 이와 관련하여, 도 8에서 보다 상세히 후술한다. 한편, 확장된 정20면체 기반으로 설명하였으나 인터폴레이션을 통해서 정20면체 확장 메쉬에 한정하지 않는다.
또한, 서브샘플링하는 것은, 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 평균값 또는 최대값을 획득하여 대표값으로 결정하여 서브샘플링하는 것으로 할 수 있다. 보다 상세하게는, 컨벌루션 필터링된 3차원 표면 영상의 메쉬 데이터에 있어서, 소정의 단위 영역에 포함되는 메쉬 노드들에 대한 컨벌루션 필터링 된 값들로부터, 평균값을 결정하거나, 최대값을 결정하여 결정된 값을 대표값으로 하여 해당 단위 영역에 할당할 수 있다. 이와 같이 각 단위 영역에 할당된 대표값들로부터 컨벌루션 필터링되고 서브샘플링된 메쉬 데이터를 획득할 수 있다. 한편, 최대값을 결정하여 할당하는 경우 맥스 풀링(max-pooling) 및 평균값을 결정하여 할당하는 경우 평균 풀링(average-pooling)으로 정의될 수 있다. 맥스 풀링에 의할 경우, 이미지가 평행이동하더라도 결과값이 변하지 아니하는 특징을 가진다.
도 3은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법을 도시한 것이다. 본 발명의 컨벌루션 신경망 기반의 영상 처리 방법은, 도 2에서 도시하는 3차원 표면 영상 데이터를 입력받고 메쉬 형태로 변환하는 단계(S100), 메쉬 노드 각각에 대하여 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계(S200) 및 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 단계(S300)에 이어서, 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행하는 단계(S400)를 더 포함할 수 있다.
필터링하는 단계 및 서브샘플링하는 단계를 반복 수행하는 단계(S400)에서는, 서브샘플링된 3차원 표면 영상 데이터에 대하여, 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행할 수 있다.
보다 상세하게는, 도 2에서와 같이, 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 소정의 단위 영역에 포함되는 메쉬 노드들에 대한 컨벌루션 필터링 된 값들로부터 대표값을 결정하여 서브샘플링 함으로써 얻어진 서브샘플링된 메쉬 데이터를 컨벌루션 필터링의 입력으로 하여 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행할 수 있다. 이때, 후술하는 바와 같이 각 단계를 반복 수행할 때 마다 컨벌루션 필터링에 이용되는 공간 필터 벡터를 보정하여 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법을 도시한 것이다. 본 발명의 컨벌루션 신경망 기반의 영상 처리 방법은, 도 2에서 도시하는 3차원 표면 영상 데이터를 입력받고 메쉬 형태로 변환하는 단계(S100), 메쉬 노드 각각에 대하여 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계(S200) 및 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 단계(S300)에 이어서, 공간 필터 벡터를 보정하는 단계(S500)를 더 포함할 수 있다.
이때, 가중치 벡터는, 컨벌루션 필터링을 수행하는 경우에 이용되는 벡터이며, 컨벌루션 연산을 수행하는 것은, 
로 나타낼 수 있으며, i,j 는 필터 점의 위치가 (i,j)임을 의미하며 n은 n번째 메쉬 노드에 대한 연산임을 의미하고, f는 f번째 공간 필터임을 의미한다. 이때, n번째 노드에서의 f번째 가중치 벡터는 Wijf에 해당한다.
본 실시예에 따르면, 공간 필터 벡터는, 복수개의 메쉬 노드 각각에 대하여 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터이고, 공간 필터 벡터를 보정하는 단계(S500)에서는, 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 공간 필터 벡터를 보정할 수 있다. 여기서 공간 필터 벡터를 보정하는 것은, 컨벌루션 필터링에 의한 학습을 수행함에 따라 성능을 향상시키는 방향으로 보정하는 것으로 구현될 수 있다.
또한, 공간 필터 벡터를 보정하는 단계(S500)는, 도 3에서 도시하는, 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행하는 단계(S400)와 함께 수행될 수 있고, 이경우, 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행하는 단계(S400)에 있어서, 필터링하는 단계 및 서브샘플링하는 단계를 반복 수행할 때 마다 공간 필터 벡터를 보정하는 단계(S500)를 수행하여, 보정된 공간 필터 벡터로 필터링을 수행하도록 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 장치를 도시한 것이다. 본 발명의 컨벌루션 기반의 영상 처리 장치(10)는, 영상 데이터 변환부(100) 및 필터링부(200)를 포함할 수 있다. 본 발명의 일 실시예에 따른 컨벌루션 기반의 영상 처리 장치(10)는, 서브샘플링부(300) 및 보정부(400) 중 하나 이상을 더 포함하여 구현될 수 있다. 본 발명의 컨벌루션 신경망 기반의 영상 처리 장치는, 임의의 3차원 표면 형태의 영상 데이터를 입력 받고, 영상 데이터를 메쉬 형태로 변환하고, 메쉬 형태의 데이터의 메쉬 노드 각각에 대하여 공간 필터를 이용하여 컨벌루션 필터링 하여, 임의의 3차원 표면에 대한 컨벌루션 필터링을 수행하도록 할 수 있으며, 필터링을 수행하여 획득한 특징맵 등의 자료를 다양한 응용 목적에 따라 이용되도록 할 수 있다.
영상 데이터 변환부(100)에서는, 컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 입력받고, 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환할 수 있다. 여기서 데이터가 변환되는 메쉬의 단위 메쉬 형태는, 통상적으로, 일정한 사이즈를 가지는 삼각형으로 정의되고 이용될 수 있으나, 이에 한정하지는 아니한다. 예컨대, 삼각형 단위 메쉬의 경우, 삼각형의 꼭지점에 해당하는 노드에 해당하는 인텐시티 값들이 패턴을 형성하며, 이를 이용하여 컨벌루션 필터링을 수행할 수 있다. 한편 영상 데이터 변환부(100)는, 미리 메쉬 형태로 변환되어 변환된 데이터를 입력받도록 구현될 수 있다.
필터링부(200)는, 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링할 수 있다.
본 실시예에 있어서, 미리 정의된 공간 필터는 복수개의 필터 점들을 정의하기 위한 공간 필터 벡터이고, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것은, 복수개의 메쉬 노드 각각에 대하여 공간 필터 벡터을 이용하여 컨벌루션 연산을 수행하여 컨벌루션 필터링 하는 것으로 구현될 수 있다. 미리 정의된 공간 필터는, 인텐시티 값을 획득하여 컨벌루션 연산을 수행하기 위한 복수개의 필터 점들을 포함하며, 소정의 형태로 미리 정해질 수 있고, 정해진 소정의 형태들 중에서 선택적으로 또는 복합적으로 이용될 수 있다. 컨벌루션 필터링 하는 것은, 복수개의 메쉬 노드 전체에 대하여, 각각 공간 필터를 이용하여 컨벌루션 연산을 수행하여, 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대응하는 컨벌루션 필터링된 표면 데이터를 획득할 수 있다.
여기서, 복수개의 노드 각각에 대하여 컨벌루션 연산을 수행하는 것은 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로, 공간 필터에 포함된 필터 점들의 위치에 해당하는 인텐시티값에 대하여, 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행하는 것으로 할 수 있다. 이때, 각각의 필터 점들의 위치에 대응되는 인텐시티 값은, 각각의 필터 점들의 위치 주변의 메쉬 노드들이 갖는 인텐시티값을 인터폴레이션하여 예측할 수 있다.
보다 상세하게는, 각 메쉬 노드에 대하여 컨벌루션 연산을 수행하는 것은, 컨벌루션 연산의 대상이 되는 메쉬 노드에 대하여, 미리 정해지고, 해당 메쉬 노드에 대응하는 필터 공간에 포함되는 각각의 필터 점들의 위치에 대응되는 인텐시티 값을 획득하고, 각각의 필터 점들에 대응하는 가중치 값을 각각 대응하는 인텐시티 값에 곱하고, 곱해진 값들을 더하여 수행하는 것으로 정의될 수 있다. 이와 관련하여, 도 7에서 보다 상세히 후술한다.
또한 각 메쉬 노드에 해당하는 공간 필터의 필터 점들의 위치에 대응되는 인텐시티 값을 주변 메쉬 노드들이 갖는 인텐시티값을 이용하여 인터폴레이션 하는 것은, 각각의 필터 점들의 위치와, 주변 메쉬노드들의 인텐시티값 및 주변 메쉬노드들과 각각의 필터 점들의 위치관계를 고려하여 수행할 수 있다. 이때, 주변 메쉬노드들과 각각의 필터 점들의 위치 관계를 고려하여 데이터를 인터폴레이션 샘플링하여 인텐시티 샘플링 할 때, 위치 관계에 따른 샘플링 매트릭스를 미리 계산하여 사용할 수 있다. 여기서의 샘플링(sampling) 매트릭스는 위치 관계를 고려하여 계산된 인텐시티 값들을 구성요소로 하는 매트릭스로서, 후술하는 소정의 단위 영역에 대한 서브샘플링(subsampling)과는 구별된다. 또한, 인터폴레이션의 방식은 B-spline과 같은 종래의 인터폴레이션 방법에 의할 수 있으나 이에 한정되지 아니한다.
이때, 컨벌루션 필터링에 이용되는 미리 정의된 공간 필터는, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하는 사각형의 공간 필터인 것으로 구현될 수 있다. 또한 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 각각의 메쉬 노드로부터 일정한 거리들을 가지도록 방사형으로 배치된 필터 점들을 가지며, 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터로 구현될 수 있다. 이때, 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고, 필터 점들은, 사각형의 공간 필터 또는 원형의 공간 필터가 구표면의 경도 그리드의 방향과 평행하도록 배치될 수 있다. 이와 관련하여, 도 11 및 12에서 보다 상세히 후술한다.
또한, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하는 메쉬 형태의 공간 필터인 것으로 구현될 수 있다. 이와 관련하여, 도 13에서 보다 상세히 후술한다.
본 실시예의 일예에 있어서, 3 차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것은, 3차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 구표면의 메쉬 형태로 변환하는 것으로 구현될 수 있다. 본 발명은 일반적인 임의의 표면 메쉬에 대하여도 적용될 수 있다. 그러나, 일반적인 임의의 비구면 메쉬의 경우에도 구면으로 변환될 수 있고, 본 발명의 일 실시예로서, 입력받은 3차원 표면 영상 데이터를 구면으로 변환된 메쉬 형태로 변환하는 것으로 할 수 있으며, 변환된 형태의 메쉬 데이터를 입력으로 하여 영상 처리를 수행할 수 있다.
본 실시예의 다른 일예에 따르면, 3 차원 표면 영상 데이터는, 복수개의 표면을 포함하는 다층 구조를 가지는 영상 데이터이고, 메쉬 형태로 변환하는 것은, 복수개의 표면 각각을 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것이고, 컨벌루션 필터링 하는 것은, 메쉬 형태로 변환된 복수개의 3차원 표면 영상 데이터 각각에 대하여, 복수개의 메쉬 노드 각각에 대하여, 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것으로 구현될 수 있다. 이와 관련하여, 도 10에서 보다 상세히 후술한다.
서브샘플링부(300)는, 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링할 수 있다. 서브샘플링부(300)는, 메쉬 형태의 컨벌루션 필터링된 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역으로 나누고, 각각의 단위 영역에 대하여 서브샘플링 하여, 획득한 값을 해당 단위 영역에 할당할 수 있다.
또한 서브샘플링부(300)는, 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링(subsampling)할 수 있다. 이때, 소정의 단위 영역에 대하여 서브샘플링 하는 것은, 각각의 단위 영역에 포함되는 메쉬 노드들에 대한 컨벌루션 필터링 된 값들로부터 대표값을 결정하여, 결정된 대표값을 해당 단위 영역에 할당하는 것으로 구현될 수 있다. 서브샘플링을 통하여, 중요하다고 판단되는 정보만을 남겨 데이터의 차원을 축소시킬 수 있다. 소정의 단위 영역에 대하여 서브샘플링을 수행하는 것은, 전체에 대하여 소정의 비율로 서브샘플링하는 것으로서, 소정의 비율로 데이터 차원이 축소된다. 예컨대, N개의 메쉬 노드에 대하여 R의 비율로 서브샘플링 하는 경우, 메쉬 노드의 수는 N/R로 줄어들게 되고, 데이터 역시 함께 축소된다.
이때, 소정의 단위 영역을 결정하는 것은 정20면체의 확장 특성을 이용하여 결정될 수 있으며, 보다 상세하게는, 데이터의 메쉬는 확장된 정20면체의 형태를 가지고, 메쉬에 포함되는 복수개의 메쉬 노드는 확장된 정20면체의 각 꼭지점에 대응되며, 소정의 단위 영역에 대하여 서브샘플링하는 것은, 정20면체의 확장 특성을 이용하여 확장 전으로 돌아가도록 서브샘플링하는 것으로 할 수 있다. 이와 관련하여, 도 8에서 보다 상세히 후술한다.
또한, 서브샘플링하는 것은, 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 평균값 또는 최대값을 획득하여 대표값으로 결정하여 서브샘플링하는 것으로 할 수 있다. 보다 상세하게는, 컨벌루션 필터링된 3차원 표면 영상의 메쉬 데이터에 있어서, 소정의 단위 영역에 포함되는 메쉬 노드들에 대한 컨벌루션 필터링 된 값들로부터, 평균값을 결정하거나, 최대값을 결정하여 결정된 값을 대표값으로 하여 해당 단위 영역에 할당할 수 있다. 이와 같이 각 단위 영역에 할당된 대표값들로부터 컨벌루션 필터링되고 서브샘플링된 메쉬 데이터를 획득할 수 있다. 한편, 최대값을 결정하여 할당하는 경우 맥스 풀링(max-pooling) 및 평균값을 결정하여 할당하는 경우 평균 풀링(average-pooling)으로 정의될 수 있다. 맥스 풀링에 의할 경우, 이미지가 평행이동하더라도 결과값이 변하지 아니하는 특징을 가진다.
한편, 본 발명의 일 실시예에 따르면, 컨벌루션 필터링 및 서브샘플링을 반복하여 수행하도록 할 수 있다, 보다 상세하게는, 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 소정의 단위 영역에 포함되는 메쉬 노드들에 대한 컨벌루션 필터링 된 값들로부터 대표값을 결정하여 서브샘플링 함으로써 얻어진 서브샘플링된 메쉬 데이터를 컨벌루션 필터링의 입력으로 하여 필터링 및 서브샘플링을 반복 수행할 수 있다. 이때, 후술하는 바와 같이 필터링 및 서브샘플링을 반복하여 수행할 때 마다 컨벌루션 필터링에 이용되는 공간 필터 벡터를 보정하여 수행할 수 있다.
보정부(400)는, 공간 필터 벡터는, 복수개의 메쉬 노드 각각에 대하여 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터인 경우에, 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 가중치 벡터를 보정할 수 있다.
이때, 가중치 벡터는, 컨벌루션 필터링을 수행하는 경우에 이용되는 벡터이며, 컨벌루션 연산을 수행하는 것은, 
로 나타낼 수 있으며, i,j 는 필터 점의 위치가 (i,j)임을 의미하며 n은 n번째 메쉬 노드에 대한 연산임을 의미하고, f는 f번째 공간 필터임을 의미한다. 이때, n번째 노드에서의 f번째 가중치 벡터는 Wijf에 해당한다.
본 실시예에 따르면, 공간 필터 벡터는, 복수개의 메쉬 노드 각각에 대하여 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터인 경우에, 보정부(400)는, 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 공간 필터 벡터를 보정할 수 있다. 여기서 공간 필터 벡터를 보정하는 것은, 컨벌루션 필터링에 의한 학습을 수행함에 따라 성능을 향상시키는 방향으로 보정하는 것으로 구현될 수 있다.
또한 본 발명의 일 실시예에 따르면, 보정부(400)는, 필터링 및 서브샘플링을 반복 수행하는 경우, 필터링 및 서브샘플링을 반복 수행할 때 마다 공간 필터 벡터의 보정을 수행하여, 보정된 공간 필터 벡터로 필터링을 수행하도록 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법의 개략적인 구성을 도시한 것이다. 도 1 내지 5를 참조하여 설명하면 다음과 같다.
도 6의 (a)는, 본 발명의 컨벌루션 신경망 기반의 영상 처리 방법에 있어서, 입력받은 컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 N1의 메쉬 노드를 가지는 메쉬 형태로 변환하고, 컨벌루션 필터링을 수행하여 획득된, N1 메쉬 노드를 가지는 메쉬 형태의 제1 컨벌루션 레이어(1st convolution layer)를 도시한 것이다. 3차원 표면 영상 데이터는 메쉬 형태로 변환되어, 메쉬의 노드에서 인텐시티 값을 가지는 메쉬 데이터의 형태로 취급된다.
도 6의 (b)는, (a)와 같은 메쉬 형태의 데이터에 대하여, 제1 풀링(1st pooling) 및 컨벌루션 필터링을 수행하여 획득한 피쳐 맵(feature map)들을 도시한 것이다. 풀링은, 상술한 서브샘플링에 대응되는 것으로서 필요에 따라 맥스 풀링 내지 평균 풀링 등이 이용될 수 있다. 여기서의 피쳐 맵들은, 소정의 비율로 각각 풀링되고, 서로 다른 각각의 공간 필터 벡터에 따라 컨벌루션 필터링된 메쉬 형태의 데이터로서, 제2 컨벌루션 레이어(2nd convolution layer)에 해당한다.
도 6의 (c)는, (b)와 같이 획득한 제2 컨벌루션 레이어에 대하여, 소정의 비율로 제2 풀링(2nd pooling) 및 컨벌루션 필터링을 수행하여 획득한 피쳐 맵들로서 제3 컨벌루션 레이어(3rd convolution layer)를 도시한 것이다.
도 6의 (d)는, 입력받은 3차원 표면 영상 데이터를 N1의 메쉬 노드를 가지는 메쉬 형태로 변환한 것에 대하여, L번의 풀링(2nd pooling) 및 N번의 컨벌루션 필터링을 수행하여 획득한 피쳐 맵들로서 제L 컨벌루션 레이어(Lth convolution layer)를 도시한 것이다.
도 6의 (e)는, (d)와 같이, 획득한 피쳐 맵들의 일 활용예를 도시한 것으로서, 다층 퍼셉트론(multilayer perceptron)의 형식 등을 이용하여 다양한 응용 목적에 따라 결과를 이용하도록 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법의 일부 단계로서, 컨벌루션 필터링하는 단계의 일예를 도시한 것이다. 도 1 내지 5를 참조하여 설명하면 다음과 같다. 본 실시예에서는 사각형의 공간 필터를 이용하는 경우를 예로 들었으나, 이에 한정되지 아니한다.
도 7의 (a)는, N개의 메쉬 노드를 포함하는 메쉬 형태의 입력 데이터로부터, 각 메쉬 노드에서의 인텐시티 값을 획득하는 것을 도시한 것이다. I(1) 부터 I(N)은, 첫번째 메쉬 노드부터 N번째 메쉬 노드에 각각 해당하는 인텐시티 값이다.
도 7의 (b)는, 컨벌루션 필터링의 대상이 되는 메쉬노드에 대하여, 미리 정해진 공간 필터의 필터 점들의 위치에 대응되는 인텐시티 값을 획득하는 것을 도시한 것이다. 공간 필터의 필터 점들의 위치가, 메쉬 노드의 위치와 일치하지 않는 경우에는 주변의 메쉬 노드의 인텐시티 값들을 인터폴레이션 하여 필터 점들의 위치에 해당하는 인텐시티 값을 획득할 수 있다. (1,1)i는 i번째 메쉬 노드에 있어서, (1,1)의 위치를 가지는 필터 점을, (1,S)i는 i번째 메쉬 노드에 있어서, (1,S)의 위치를 가지는 필터 점을, (S,S)i는 i번째 메쉬 노드에 있어서, (S,S)의 위치를 가지는 필터 점을 각각 의미한다.
도 7의 (c)는, (a) 및 (b)로부터 획득한 정보들에 대하여, 컨벌루션 연산을 수행하기 위하여, 노드를 매트릭스로 변환하는 것을 도시한 것이다. 보다 상세하게는, 첫번째 메쉬 노드 (node 1)부터 N번째 메쉬 노드 (node N)까지, (1,1)부터 (S,S)까지의 필터 점들의 위치에 해당하는 인텐시티 값으로서, I(1,1)n 내지 I(S,S)n를 도시한 것이다. 이때, n은 n번째 노드에 대한 것임을 의미하며, Wijf는 공간 필터f의 (i,j)에 위치하는 필터 점에서의 가중치 값을 의미한다. 이때 f는, 1 내지 F의 서로 다른 가중치 배열을 가지는 컨벌루션 공간 필터들 중 f번째 공간 필터에 대한 가중치 배열임을 의미한다.
도 7의 (d)는, (c)와 같이 변환된 매트릭스를 이용하여, 컨벌루션을 수행하여 획득한 출력값을 도시한 것이다. Of(1)은, f번째 공간 필터를 이용하여 N번째 메쉬 노드에 대하여 수행한 컨벌루션 필터링 값을 의미한다. 이와 같이 변환된 매트릭스를 이용하여 컨벌루션 연산을 수행하는 것은, 
로 나타낼 수 있으며, i,j 는 필터 점의 위치가 (i,j)임을 의미하며 n은 n번째 메쉬 노드에 대한 연산임을 의미하고, f는 f번째 공간 필터임을 의미한다.
도 8은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법에 있어서, 소정의 단위 영역에 대하여 서브샘플링하는 단계의 일부 내용을 도시한 것이다. 도 1 내지 5를 참조하여 설명하면 다음과 같다.
소정의 단위 영역에 대하여 N개의 메쉬 노드에 대하여 R의 비율로 서브샘플링 하는 경우, 메쉬 노드의 수는 N/R로 줄어들게 되고, 데이터 역시 함께 축소된다. 이와 같이 서브샘플링함에 있어서, 정20면체(icosahedron)의 확장 특성을 이용할 수 있다.
정20면체는 12개의 노드를 가지는 것인데, 각각의 삼각형 면을 이루는 모서리의 중심에 새로운 노드를 추가하고 새로 추가된 노드들을 연결하여 노드 및 면의 수를 늘릴 수 있으며, 이 과정을 반복하여 확장하면 세밀한 근사 구표면을 획득할 수 있다. 도 8에서는 이를 역순으로 도시하고 있으며, 도 8에서와 같이 노드의 수를 줄여가면서 서브샘플링 하게 되면, 확장 전 단계의 구표면을 획득할 수 있다. 이때 노드 수는 각각 n=65532, 163842, 40962, 10242, 2562, 642, 162, 42개의 순으로 축소된다.
본 발명에서 서브샘플링을 위하여 소정의 단위 영역을 결정하는 것은 위와 같은 정20면체의 확장 특성을 이용하여 결정될 수 있으며, 보다 상세하게는, 데이터의 메쉬는 확장된 정20면체의 형태를 가지고, 메쉬에 포함되는 복수개의 메쉬 노드는 확장된 정20면체의 각 꼭지점에 대응되며, 소정의 단위 영역에 대하여 서브샘플링하는 것은, 정20면체의 확장 특성을 이용하여, 메쉬 노드의 수가 확장 전 단계로 돌아가도록 서브샘플링하는 것으로 할 수 있다.
도 9는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서, 컨벌루션 필터링하는 단계 및 서브샘플링하는 단계의 일예에 대하여 도시한 것이다. 도 1 내지 7을 참조하여 설명하면 다음과 같다. 본 실시예에서는 사각형의 공간 필터를 이용하고, 맥스 풀링하는 경우를 예로 들었으나, 이에 한정되지 아니한다.
도 9의 (a)는, 도 7에서와 같이 컨벌루션 필터링하는 단계를 간략히 도시한 것으로서, 첫번째 메쉬 노드부터 N번째 메쉬 노드에 각각 해당하는 인텐시티 값인 I(1) 부터 I(N)를 입력으로 하여 f번째 공간 필터를 이용하여 컨벌루션 필터링 하는 것을 도시한 것이다.
도 9의 (b)는, 도 7에서와 같이 컨벌루션 필터링하여 획득된 출력값을 입력으로 하여 서브샘플링 하는 것을 도시한 것이다. 보다 상세하게는, 서브샘플링의 일예인 맥스 풀링하는 일 실시예로서, 인접하는 메쉬 노드의 인텐시티 값들을 비교하여 큰 값을 선택하고, 선택된 값들만이 남도록 서브샘플링 하는 것을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법으로서, 복수개의 표면을 포함하는 영상 데이터, 즉 다층 구조의 경우의 실시예를 도시한 것이다. 도 1 내지 7을 참조하여 설명하면 다음과 같다. 본 실시예에서는 사각형의 공간 필터를 이용하는 경우와 2층 구조를 가지는 경우를 예로 들었으나, 이에 한정되지 아니한다. 본 발명에 따른 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치는, 다층 구조를 가지는 영상 데이터의 경우에도 아래와 같이 적용될 수 있으며, 도 10은, 다층 구조를 가지는 영상 데이터의 일예로서, 지구의 표면(B)과 지구의 내부(A)에 대응하는 패턴에 의하여 다층 구조(C)를 가지는 경우를 예시하였다.
도 10의 (a)는, 도 7의 (a)와 같이 N개의 메쉬 노드를 포함하는 메쉬 형태의 입력 데이터로부터, 각 메쉬 노드에서의 인텐시티 값을 획득하는 것을 2개의 표면을 포함하는 영상 데이터에 대하여 수행하는 것을 도시한 것이다. 도 10의 (b)는, 도 7의 (b)와 같이 컨벌루션 필터링의 대상이 되는 메쉬노드에 대하여, 미리 정해진 공간 필터의 필터 점들의 위치에 해당하는 인텐시티 값을 획득하는 것을 2개의 표면을 포함하는 영상 데이터에 수행하는 것을 도시한 것이다. 도 10의 (c)는, 도 7의 (c)와 같이, 컨벌루션 연산을 수행하기 위하여, 노드를 매트릭스로 변환하는 것을 것을 2개의 표면을 포함하는 영상 데이터에 수행하는 것을 도시한 것이다. 도 10의 (d)는, 도 7의 (d)와 같이 변환된 매트릭스를 이용하여, 컨벌루션을 수행하여 획득한 출력값을 2개의 표면을 포함하는 영상 데이터에 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법에 있어서, 미리 정의된 공간 필터의 일예를 도시한 것이다. 특히 사각형의 공간 필터를 이용하는 경우를 도시한 것이다. 도 1 내지 5를 참조하여 설명하면 다음과 같다.
도 11의 (a)는, 복수개(N개)의 메쉬 노드를 포함하는 메쉬와, 임의의 메쉬 노드에 적용되는 사각형의 공간 필터를 도시한 것이다. 컨벌루션 필터링은 공간 필터를 각 메쉬 노드에 대하여 컨벌루션 연산하여 수행할 수 있다.
본 실시예에서 이용되는 사각형의 공간 필터는 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하도록 구현된다.
도 11의 (b)는, 컨벌루션 필터링의 대상이 되는 i번째 메쉬노드에 대하여, 사각형의 공간 필터의 필터 점들의 위치에 해당하는 인텐시티 값을 획득하는 것을 도시한 것이다. 필터 점들의 위치가, 메쉬 노드의 위치와 일치하지 않는 경우에는 주변의 메쉬 노드의 인텐시티 값들을 인터폴레이션 하여 필터 점들의 위치에 대응되는 인텐시티 값을 획득할 수 있다. (1,1)i는 i번째 메쉬 노드에 있어서, (1,1)의 위치를 가지는 필터 점을, (1,S)i는 i번째 메쉬 노드에 있어서, (1,S)의 위치를 가지는 필터 점을, (S,S)i는 i번째 메쉬 노드에 있어서, (S,S)의 위치를 가지는 필터 점을 각각 의미한다. 한편, 사각형의 필터 공간의 크기와 관련하여 Sx는 x좌표에서의 노드 수이며, Sy는 y좌표에서의 노드 수를 의미한다.
도 11의 (c)는, 노드를 매트릭스로 변환하고, 컨벌루션을 수행하여 출력값을 획득하는 것을 도시한 것이다. 도 7에서 설명한 바와 같이, 첫번째 메쉬 노드 (node 1)부터 N번째 메쉬 노드 (node N)까지, (1,1)부터 (Sx,Sy)까지의 필터 점들의 위치에 해당하는 인텐시티 값으로서, I(1,1)n 내지 I(Sx,Sy)n를 도시한 것이다. 이때, n은 n번째 노드에 대한 것임을, Wijf는 공간 필터f의 (i,j)에 위치하는 필터 점들에서의 가중치 값임을, f는 1 내지 F의 서로 다른 가중치 배열을 가지는 컨벌루션 공간 필터들 중 f번째 공간 필터에 대한 가중치 배열임을 의미한다.
또한, Of(1)은, f번째 공간 필터를 이용하여 N번째 메쉬 노드에 대하여 수행한 컨벌루션 필터링 값을 의미한다. 이와 같이 변환된 매트릭스를 이용하여 컨벌루션 연산을 수행하는 것은, 
로 나타낼 수 있으며, i,j 는 필터 점의 위치가 (i,j)임을 의미하며 n은 n번째 메쉬 노드에 대한 연산임을 의미하고, f는 f번째 공간 필터임을 의미한다.
도 12는 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법에 있어서, 미리 정의된 공간 필터의 일예를 도시한 것이다. 특히 원형의 공간 필터를 이용하는 경우를 도시한 것이다. 도 1 내지 5를 참조하여 설명하면 다음과 같다.
도 12의 (a)는, 복수개(N개)의 메쉬 노드를 포함하는 메쉬와, 임의의 메쉬 노드에 적용되는 원형의 공간 필터를 도시한 것이다. 컨벌루션 필터링은 공간 필터를 각 메쉬 노드에 대하여 컨벌루션 연산하여 수행할 수 있다.
본 실시예에서의 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 각각의 메쉬 노드로부터 일정한 거리들을 가지도록 방사형으로 배치된 필터 점들을 가지며, 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터이며, 원형의 공간 필터에 포함되는 필터 점들은 복수 개의 동심원을 형성할 수 있다.
도 12의 (b)는, 컨벌루션 필터링의 대상이 되는 i번째 메쉬노드에 대하여, 삼각형의 공간 필터의 필터 점들의 위치에 해당하는 인텐시티 값을 획득하는 것을 도시한 것이다. 필터 점들의 위치가, 메쉬 노드의 위치와 일치하지 않는 경우에는 주변의 메쉬 노드의 인텐시티 값들을 인터폴레이션 하여 필터 점들의 위치에 대응되는 인텐시티 값을 획득할 수 있다. (1,1)i는 i번째 메쉬 노드에 있어서, (1,1)의 위치를 가지는 필터 점을, (1,S)i는 i번째 메쉬 노드에 있어서, (1,S)의 위치를 가지는 필터 점을, (R,S)i는 i번째 메쉬 노드에 있어서, (R,S)의 위치를 가지는 필터 점을 각각 의미한다. 한편, 원형의 필터 공간의 크기와 관련하여 R은 동심원의 수이자, 해당 필터 점이 해당 메쉬 노드로부터 떨어진 거리를 의미하며, S는 동심원에 대한 분할의 수이자, 동일한 동심원 내에서 해당 필터 점의 위치를 의미한다.
도 12의 (c)는, 노드를 매트릭스로 변환하고, 컨벌루션을 수행하여 출력값을 획득하는 것을 도시한 것이다. 첫번째 메쉬 노드 (node 1)부터 N번째 메쉬 노드 (node N)까지, (1,1)부터 (R,S)까지의 필터 점들의 위치에 해당하는 인텐시티 값으로서, I(1,1)n 내지 I(R,S)n를 도시한 것이다. 이때, n은 n번째 점에 대한 것임을, Wijf는 공간 필터f의 (i,j)에 위치하는 필터 점에서의 가중치 값임을, f는 1 내지 F의 서로 다른 가중치 배열을 가지는 컨벌루션 공간 필터들 중 f번째 공간 필터에 대한 가중치 배열임을 의미한다.
또한, Of(1)은, f번째 공간 필터를 이용하여 N번째 메쉬 노드에 대하여 수행한 컨벌루션 필터링 값을 의미한다. 이와 같이 변환된 매트릭스를 이용하여 컨벌루션 연산을 수행하는 것은, 
로 나타낼 수 있으며, i,j 는 필터 점의 위치가 (i,j)임을 의미하며 n은 n번째 메쉬 노드에 대한 연산임을 의미하고, f는 f번째 공간 필터임을 의미한다.
도 13은 본 발명의 일 실시예에 따른 컨벌루션 신경망 기반의 영상 처리 방법에 있어서, 미리 정의된 공간 필터의 일예를 도시한 것이다. 특히 메쉬 형태의 공간 필터를 이용하는 경우를 도시한 것이다. 도 1 내지 5를 참조하여 설명하면 다음과 같다.
도 13의 (a)는, 복수개(N개)의 메쉬 노드를 포함하는 메쉬와, 임의의 메쉬 노드에 적용되는 메쉬 형태의 공간 필터를 도시한 것이다. 컨벌루션 필터링은 공간 필터를 각 메쉬 노드에 대하여 컨벌루션 연산하여 수행할 수 있다.
본 실시예에서의 메쉬 형태의 공간 필터는, 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하도록 구현된다. 메쉬 형태의 공간 필터는, 해당 노드의 1차 이웃 노드, 2차 이웃 노드 등 차수를 설정하여 만들어진 공간이다.
도 13의 (b)는, 컨벌루션 필터링의 대상이 되는 i번째 메쉬노드에 대하여, 삼각형의 공간 필터의 필터 점들의 위치에 해당하는 인텐시티 값을 획득하는 것을 도시한 것이다. 공간 필터의 필터 점들의 위치가, 메쉬 노드의 위치와 일치하지 않는 경우에는 주변의 메쉬 노드의 인텐시티 값들을 인터폴레이션 하여 필터 점들의 위치에 해당하는 인텐시티 값을 획득할 수 있다. (1,1)i는 i번째 메쉬 노드에 있어서, (1,1)의 위치를 가지는 필터 점을, (1,S)i는 i번째 메쉬 노드에 있어서, (1,S)의 위치를 가지는 필터 점을, (R,S)i는 i번째 메쉬 노드에 있어서, (R,S)의 위치를 가지는 필터 점을 각각 의미한다. 한편, 메쉬 형태의 필터 공간의 크기와 관련하여 R은 필터 공간의 크기이자 해당 필터 점의 해당 메쉬 노드에 대한 차수를 의미하며, S는 분할의 수이자, 동일한 차수를 가지는 필터 점들 중 해당 필터 점의 위치를 의미한다.
도 13의 (c)는, 노드를 매트릭스로 변환하고, 컨벌루션을 수행하여 출력값을 획득하는 것을 도시한 것이다. 첫번째 메쉬 노드 (node 1)부터 N번째 메쉬 노드 (node N)까지, (1,1)부터 (R,S)까지의 필터 점들의 위치에 해당하는 인텐시티 값으로서, I(1,1)n 내지 I(R,S)n를 도시한 것이다. 이때, n은 n번째 노드에 대한 것임을, Wijf는 공간 필터f의 (i,j)에 위치하는 필터 점에서의 가중치 값임을, f는 1 내지 F의 서로 다른 가중치 배열을 가지는 컨벌루션 공간 필터들 중 f번째 공간 필터에 대한 가중치 배열임을 의미한다.
또한, Of(1)은, f번째 공간 필터를 이용하여 N번째 메쉬 노드에 대하여 수행한 컨벌루션 필터링 값을 의미한다. 이와 같이 변환된 매트릭스를 이용하여 컨벌루션 연산을 수행하는 것은, 
로 나타낼 수 있으며, i,j 는 필터 점의 위치가 (i,j)임을 의미하며 n은 n번째 메쉬 노드에 대한 연산임을 의미하고, f는 f번째 공간 필터임을 의미한다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 변환되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 변환장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 변환되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (31)
- 컨벌루션 신경망 기반의 표면 영상 처리 방법에 있어서,
컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 입력받고, 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 단계; 및
상기 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 상기 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 단계;를 포함하며,
상기 3차원 표면 영상 데이터는, 복수개의 표면을 포함하는 다층 구조를 가지는 영상 데이터이고,
상기 메쉬 형태로 변환하는 것은, 상기 복수개의 표면 각각을 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것이고,
상기 컨벌루션 필터링 하는 것은, 상기 메쉬 형태로 변환된 복수개의 3차원 표면 영상 데이터 각각에 대하여, 상기 복수개의 메쉬 노드 각각에 대하여, 상기 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제1항에 있어서,
상기 공간 필터는, 상기 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 상기 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하는 사각형의 공간 필터인 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제2항에 있어서,
상기 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고,
상기 필터 점들은, 상기 사각형의 공간 필터가 상기 구표면의 경도 그리드의 방향과 평행하도록 배치되는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제1항에 있어서,
상기 공간 필터는, 상기 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 상기 각각의 메쉬 노드로부터 일정한 거리들을 가지도록 방사형으로 배치된 상기 필터 점들을 가지며, 상기 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터인 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제4항에 있어서,
상기 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고,
상기 필터 점들은, 상기 원형의 공간 필터가 상기 구표면의 경도 그리드의 방향과 평행하도록 배치되는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제1항에 있어서,
상기 공간 필터는, 상기 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 상기 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하는 메쉬 형태의 공간 필터인 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제1항에 있어서,
상기 미리 정의된 공간 필터는 상기 복수개의 필터 점들을 정의하기 위한 공간 필터 벡터이고,
상기 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것은, 상기 복수개의 메쉬 노드 각각에 대하여 상기 공간 필터 벡터을 이용하여 컨벌루션 연산을 수행하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법 - 제7항에 있어서,
상기 복수개의 노드 각각에 대하여 컨벌루션 연산을 수행하는 것은
상기 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로, 상기 공간 필터에 포함된 필터 점들의 위치에 대응되는 인텐시티값에 대하여, 상기 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행하는 것을 특징으로 하는 신경망 기반의 표면 영상 처리 방법. - 제8항에 있어서,
상기 각각의 필터 점들의 위치에 대응되는 인텐시티 값은, 상기 각각의 필터 점들의 위치 주변의 메쉬 노드들이 갖는 인텐시티값을 인터폴레이션하여 예측하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법 - 제9항에 있어서,
상기 인텐시티값을 인터폴레이션 하는 것은,
상기 필터 점들의 위치와 상기 필터 점들의 위치 주변의 메쉬 노드들의 위치 관계 정보를 포함하고, 미리 구비된 변환 행렬을 이용하여 상기 인텐시티값을 인터폴레이션하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제1항에 있어서,
상기 컨벌루션 필터링 하는 단계에 이후에,
상기 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 상기 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 단계;를 더 포함하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제11항에 있어서,
상기 소정의 단위 영역에 대하여 서브샘플링하는 것은,
정20면체의 확장 특성을 이용하여 확장 전 단계로 돌아가도록 서브샘플링하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제11항에 있어서,
상기 소정의 단위 영역에 대하여 서브샘플링하는 단계 이후에,
상기 서브샘플링된 3차원 표면 영상 데이터에 대하여, 상기 필터링하는 단계 및 상기 서브샘플링하는 단계를 반복 수행하는 단계;를 더 포함하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제11항에 있어서,
상기 소정의 단위 영역에 대하여 서브샘플링하는 것은,
상기 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 상기 소정의 단위 영역에 속하는 컨벌루션 필터링된 데이터에 대하여, 평균값 또는 최대값을 획득하여 서브샘플링하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제11항에 있어서,
상기 공간 필터 벡터는, 상기 복수개의 메쉬 노드 각각에 대하여 상기 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터이고,
상기 서브샘플링하는 단계 이후에,
상기 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 상기 공간 필터 벡터를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 제1항에 있어서,
상기 3차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환 하는 것은,
상기 3차원 표면 영상 데이터를 복수개의 메쉬 노드를 가지는 구표면의 메쉬 형태로 변환하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 방법. - 삭제
- 컨벌루션 신경망 기반의 표면 영상 처리 장치에 있어서,
컨벌루션 신경망 기반의 영상 처리의 대상이 되는 3차원 표면 영상 데이터를 입력받고, 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 영상 데이터 변환부; 및
상기 메쉬 형태로 변환된 3차원 표면 영상 데이터에 대하여, 상기 복수개의 메쉬 노드 각각에 대하여, 소정의 형태를 가지고 복수개의 필터 점들을 포함하며 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 필터링부;를 포함하며,
상기 3차원 표면 영상 데이터는, 복수개의 표면을 포함하는 다층 구조를 가지는 영상 데이터이고,
상기 메쉬 형태로 변환하는 것은, 상기 복수개의 표면 각각을 복수개의 메쉬 노드를 가지는 메쉬 형태로 변환하는 것이고,
상기 컨벌루션 필터링 하는 것은, 상기 메쉬 형태로 변환된 복수개의 3차원 표면 영상 데이터 각각에 대하여, 상기 복수개의 메쉬 노드 각각에 대하여, 상기 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제18항에 있어서,
상기 공간 필터는, 상기 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 상기 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 사각형의 단위 공간 필터를 복수개 포함하는 사각형의 공간 필터인 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제19항에 있어서,
상기 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고,
상기 필터 점들은, 상기 사각형의 공간 필터가 상기 구표면의 경도 그리드의 방향과 평행하도록 배치되는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제18항에 있어서,
상기 공간 필터는, 상기 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 상기 각각의 메쉬 노드로부터 일정한 거리들을 가지도록 방사형으로 배치된 상기 필터 점들을 가지며, 상기 메쉬 노드로부터 일정한 거리를 가지는 필터 점들은 일정한 간격으로 배치되는, 원형의 공간 필터인 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제21항에 있어서,
상기 3차원 표면 영상은, 경도 그리드를 포함하는 3차원의 구표면 영상이고,
상기 필터 점들은, 상기 원형의 공간 필터가 상기 구표면의 경도 그리드의 방향과 평행하도록 배치되는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제18항에 있어서,
상기 공간 필터는, 상기 각각의 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로 하고, 일정한 간격으로 배치된 상기 필터 점들을 가지며, 각 필터 점들에 의하여 형성되는 삼각형의 단위 공간 필터를 복수개 포함하는 메쉬 형태의 공간 필터인 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제18항에 있어서,
상기 미리 정의된 공간 필터는 상기 복수개의 필터 점들을 정의하기 위한 공간 필터 벡터이고,
상기 미리 정의된 공간 필터를 이용하여 컨벌루션 필터링 하는 것은, 상기 복수개의 메쉬 노드 각각에 대하여 상기 공간 필터 벡터을 이용하여 컨벌루션 연산을 수행하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제24항에 있어서,
상기 복수개의 노드 각각에 대하여 컨벌루션 연산을 수행하는 것은
상기 컨벌루션 연산을 수행하고자 하는 메쉬 노드를 중심으로, 상기 공간 필터에 포함된 필터 점들의 위치에 대응되는 인텐시티값에 대하여, 상기 공간 필터 벡터를 이용하여 컨벌루션 연산을 수행하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제18항에 있어서,
상기 컨벌루션 필터링된 3차원 표면 영상 데이터에 대하여, 상기 복수개의 메쉬 노드를 포함하는 소정의 단위 영역에 대하여 서브샘플링하는 서브샘플링부;를 더 포함하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제26항에 있어서,
상기 필터링부 및 상기 서브샘플링부는, 상기 서브샘플링된 3차원 표면 영상 데이터에 대하여, 상기 필터링 및 상기 서브샘플링을 반복 수행하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제26항에 있어서,
상기 소정의 단위 영역에 대하여 서브샘플링하는 것은,
상기 컨벌루션 필터링된 3차원 표면 영상 데이터에 있어서, 평균값 또는 최대값을 획득하여 서브샘플링하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 제26항에 있어서,
상기 공간 필터 벡터는, 상기 복수개의 메쉬 노드 각각에 대하여 상기 공간 필터 행렬을 이용하여 컨벌루션 연산을 수행하기 위한 가중치 벡터이고,
상기 필터링 및 서브샘플링 된 3차원 표면 영상 데이터를 이용하여 상기 가중치 벡터를 보정하는 보정부;를 더 포함하는 것을 특징으로 하는 컨벌루션 신경망 기반의 표면 영상 처리 장치. - 삭제
- 컴퓨터 판독 가능 기록 매체로서,
청구항 1 내지 16 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160125345A KR101804840B1 (ko) | 2016-09-29 | 2016-09-29 | 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160125345A KR101804840B1 (ko) | 2016-09-29 | 2016-09-29 | 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101804840B1 true KR101804840B1 (ko) | 2017-12-05 |
Family
ID=60920927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160125345A KR101804840B1 (ko) | 2016-09-29 | 2016-09-29 | 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101804840B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102063562B1 (ko) * | 2019-10-28 | 2020-01-08 | 인천대학교 산학협력단 | 포인터 네트워크의 학습을 통해 고품질의 메쉬 구조의 생성을 지원하기 위한 그래픽 처리 장치 및 그 동작 방법 |
| KR20200017188A (ko) | 2018-08-08 | 2020-02-18 | 부산대학교 산학협력단 | 기계 학습을 통한 격자간섭계에서의 민감도 및 해상도 향상을 위한 장치 |
| KR102111043B1 (ko) | 2019-10-08 | 2020-05-14 | 전제항 | 전자 장비 및 기계 장비의 제조를 위한 제어 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003141567A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | ３次元都市モデル生成装置及び３次元都市モデル生成方法 |
| US20080201282A1 (en) | 2005-03-31 | 2008-08-21 | France Telecom | System and Method for Locating Points of Interest in an Object Image Implementing a Neural Network |
| CN105069779A (zh) | 2015-07-20 | 2015-11-18 | 童垸林 | 一种建筑陶瓷表面花纹图案质量检测方法 |
-
2016
- 2016-09-29 KR KR1020160125345A patent/KR101804840B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003141567A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | ３次元都市モデル生成装置及び３次元都市モデル生成方法 |
| US20080201282A1 (en) | 2005-03-31 | 2008-08-21 | France Telecom | System and Method for Locating Points of Interest in an Object Image Implementing a Neural Network |
| CN105069779A (zh) | 2015-07-20 | 2015-11-18 | 童垸林 | 一种建筑陶瓷表面花纹图案质量检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| "3D surface filtering using spherical harmonics." Computer-Aided Design 36.4 (2004)* |
| "Three dimensional face recognition using wavelet decomposition of range images." Image Processing, ICIP 2007. IEEE International Conference on. Vol.1(2007)* |
| "UberNet, Training a Universal Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory", Computer Vision Pattern Recognition (cs.CV)(2016.09.07.)* |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200017188A (ko) | 2018-08-08 | 2020-02-18 | 부산대학교 산학협력단 | 기계 학습을 통한 격자간섭계에서의 민감도 및 해상도 향상을 위한 장치 |
| KR102111043B1 (ko) | 2019-10-08 | 2020-05-14 | 전제항 | 전자 장비 및 기계 장비의 제조를 위한 제어 방법 |
| KR102063562B1 (ko) * | 2019-10-28 | 2020-01-08 | 인천대학교 산학협력단 | 포인터 네트워크의 학습을 통해 고품질의 메쉬 구조의 생성을 지원하기 위한 그래픽 처리 장치 및 그 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728682B (zh) | 一种基于残差金字塔池化神经网络的语义分割方法 | |
| JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| KR101804840B1 (ko) | 컨벌루션 신경망 기반의 표면 영상 처리 방법 및 장치 | |
| CN107564009B (zh) | 基于深度卷积神经网络的室外场景多目标分割方法 | |
| CN111028335B (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
| CN109461177B (zh) | 一种基于神经网络的单目图像深度预测方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN111401436A (zh) | 一种融合网络和双通道注意力机制的街景图像分割方法 | |
| WO2021219835A1 (en) | Pose estimation method and apparatus | |
| CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| CN111415300A (zh) | 一种用于全景图像的拼接方法和系统 | |
| CN109934911A (zh) | 基于OpenGL的移动端高精度倾斜摄影三维建模方法 | |
| CN116993826A (zh) | 一种基于局部空间聚合神经辐射场的场景新视图生成方法 | |
| JP2021096850A (ja) | 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体 | |
| US20190172226A1 (en) | System and method for generating training images | |
| CN116476070B (zh) | 大型筒件局部特征机器人扫描测量路径调整方法 | |
| KR102358854B1 (ko) | 얼굴 이미지 색상 합성 장치 및 방법 | |
| Iglesias et al. | Hybridizing mesh adaptive search algorithm and artificial immune systems for discrete rational Bézier curve approximation | |
| CN112561947A (zh) | 一种图像自适应运动估计方法及应用 | |
| JP2018124990A (ja) | モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム | |
| CN113989680B (zh) | 建筑三维场景自动构建方法及系统 | |
| KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| Kazemi et al. | Deriving multi‐scale GEODATA from TOPO‐250K road network Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |