KR102627659B1 - 후면 영상정보 생성 장치 및 방법 - Google Patents
후면 영상정보 생성 장치 및 방법 Download PDFInfo
- Publication number
- KR102627659B1 KR102627659B1 KR1020210170530A KR20210170530A KR102627659B1 KR 102627659 B1 KR102627659 B1 KR 102627659B1 KR 1020210170530 A KR1020210170530 A KR 1020210170530A KR 20210170530 A KR20210170530 A KR 20210170530A KR 102627659 B1 KR102627659 B1 KR 102627659B1
- Authority
- KR
- South Korea
- Prior art keywords
- patch
- sub
- average
- map
- groups
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000926 separation method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하는 단계와, 상기 제 1영상정보로부터 레이블 맵을 생성하는 단계와, 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하는 단계와, 상기 제 1인체 레이블을 생성하는 단계를 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하는 단계와, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성하는 단계와, 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하는 단계와, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하는 단계와, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하는 단계와, 상기 제 1서브패치군을 생성하는 단계를 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 수행하여, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하는 단계와, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하는 단계와, 상기 제 1평균서브패치군을 생성하는 단계를 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 단계와, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계 및 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계를 포함하고, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보인, 후면 영상정보 생성 방법 및 장치에 관한 것이다.
Description
본 발명은 전면 영상을 이용하여 후면 영상정보를 생성하는 방법 및 장치에 관한 것으로서, 인공신경망 기술을 적용하여 후면 영상을 추출 또는생성하여 입체영상을 제공하는 방법 및 장치에 관한 것이다.
콘텐츠 개발 분야는, 하드웨어 및 소프트웨어의 전반적인 성능의 발전으로 인해, 2D 캐릭터 콘텐츠 개발에서 시작하여 3D 캐릭터를 이용한 콘텐츠의 개발 및 활용하려는 시도가 증가하고 있다. 3D 캐릭터를 활용할 경우, 기존에 제작한 3D 캐릭터를 여러 소프트웨어에서 재사용할 수 있는 장과, 입체적인 애니메이션 표현 및 다양한 제어 방법을 적용할 수 있는 등 다양한 장점이 있다. 그러나 3D 캐릭터 제작의 기술적인 한계가 있어, 이를 극복하기 위한 다양한 연구 및 개발이 이루어지고 있다.
특히, 사람 등 촬영된 전면 영상을 인공신경망을 이용하여 3D 메쉬를 생성하는 방법이 존재하는데, 후면 영상이 없는 경우, 3D 메쉬 영상을 생성하는데 어려움이 있다.
이러한 문제점을 해결하기 위해, 사람 등 촬영된 전면 영상을 기초로 후면 영상을 추출하고 생성하는 후면 영상정보를 생성하는 방법 및 장치가 필요하다.
본 발명은 사람 등 촬영된 전면 영상을 기초로 후면 영상을 추출하고 생성하는 후면 영상정보를 생성하는 방법 및 장치를 제공하는 것을 과제로 한다.
상기 과제를 해결하기 위한 후면 영상정보 생성 방법 및 장치는,
제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하는 단계와, 상기 제 1영상정보로부터 레이블 맵을 생성하는 단계와, 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하는 단계와, 상기 제 1인체 레이블을 생성하는 단계를 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하는 단계와, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성하는 단계와, 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하는 단계와, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하는 단계와, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하는 단계와, 상기 제 1서브패치군을 생성하는 단계를 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 수행하여, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하는 단계와, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하는 단계와, 상기 제 1평균서브패치군을 생성하는 단계를 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 단계와, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계 및 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계를 포함하고, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있는 것을 특징으로 한다.
또한, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계는, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계는, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, T개의 제 2후면서브패치군을 생성하여, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 것을 특징으로 한다.
또한, 상기 복수개의 제 1인접 평균서브패치군은, 상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 것을 특징으로 한다.
또한, 상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고,
상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고, 상기 제 1 가중치인 C는 이고,
상기 제 2 가중치인 w는 이고,
상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은
이고,
상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합인 것을 특징으로 한다.
또한, 후면 영상정보 추출 장치는 상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하는 휴먼포즈 생성부와, 상기 제 1영상정보로부터 레이블 맵을 생성하는 레이블 맵 생성부와 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵과의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 M개의 모든 관절 좌표에 대해서 순차적으로 M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성하는 인체레이블 맵 생성부와, 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하고, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하고, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하고, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하여 서브 패치 맵을 생성하고, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하고, 상기 N개의 모든 서브패치군에 대해 순차적으로 N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 패치 맵 생성부를 포함하고, 상기 패치 맵 생성부는, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 T개의 제 2후면서브패치군을 생성하고, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하고, 상기 복수개의 제 1인접 평균서브패치군은, 상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표이고, 상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합이고, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있는 것을 특징으로 한다.
본 발명은 입력된 전면 영상정보을 이용하여 후면 영상정보를 생성하는 방법 및 장치를 제공하여 전면 영상정보 기반 3D 입체영상을 제공하는 장점이 있다.
또한, 본 발명은 입력된 전면 영상정보을 이용하여 후면 영상정보를 생성 시, 인체 레이블 맵을 적용하여 처리 연산량을 감소시키는 장점이 있다.
도 1은 본 발명에 따른 후면 영상정보를 생성하는 장치 및 시스템도이다.
도 2는 본 발명에 따른 후면 영상정보를 생성하는 방법을 나타내는 흐름도이다.
도 3은 본 발명에 따른 후면 영상정보를 생성하는 방법을 나타내는 개념도이다.
도 4는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성하는 개념도이다.
도 5는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표에 대한 도면이다.
도 6은 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 세그멘테이션하여 레이블 맵을 생성하는 개념도이다.
도 7은 본 발명에 일실시예에 따른 제 1영상정보와 제 2영상정보를 이용하여 패치 정보를 생성하는 세부 흐름도이다.
도 8은 본 발명에 일시예에 따른 인체 레이블 맵과 비인체 레이블 맵을 나타내는 일 예시도이다.
도 9는 본 발명에 일시예에 따른 제 1입력영상과, 제 2입력영상이 복수개의 패치들로 분리되고, 생성되는 후면 서브패치맵을 나타내는 개념도이다.
도 10은 본발명에 일시예에 따른 제 1입력영상의 분리된 제 1영상패치를 서브패치로 분리된 서브패치군을 나타내는 개념도이다.
도 11은 본발명에 일시예에 따른 서브패치군을 구성하는 서브패치의 픽셀 정보 및 평균 연산을 수행하여 제 1평균서브패치군을 생성하는 개념도이다.
도 12는 본발명에 일시예에 따른 제 1평균서브패치군과, 제 1인접평균서브패치군에 제 1 및 제 2 가중치를 부여하는 개념도이다.
도 13은 본발명에 일시예에 따른 제 1 및 제 2 가중치를 부여하여 후면서브패치 맵을 생성하는 개념도이다.
도 2는 본 발명에 따른 후면 영상정보를 생성하는 방법을 나타내는 흐름도이다.
도 3은 본 발명에 따른 후면 영상정보를 생성하는 방법을 나타내는 개념도이다.
도 4는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성하는 개념도이다.
도 5는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표에 대한 도면이다.
도 6은 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 세그멘테이션하여 레이블 맵을 생성하는 개념도이다.
도 7은 본 발명에 일실시예에 따른 제 1영상정보와 제 2영상정보를 이용하여 패치 정보를 생성하는 세부 흐름도이다.
도 8은 본 발명에 일시예에 따른 인체 레이블 맵과 비인체 레이블 맵을 나타내는 일 예시도이다.
도 9는 본 발명에 일시예에 따른 제 1입력영상과, 제 2입력영상이 복수개의 패치들로 분리되고, 생성되는 후면 서브패치맵을 나타내는 개념도이다.
도 10은 본발명에 일시예에 따른 제 1입력영상의 분리된 제 1영상패치를 서브패치로 분리된 서브패치군을 나타내는 개념도이다.
도 11은 본발명에 일시예에 따른 서브패치군을 구성하는 서브패치의 픽셀 정보 및 평균 연산을 수행하여 제 1평균서브패치군을 생성하는 개념도이다.
도 12는 본발명에 일시예에 따른 제 1평균서브패치군과, 제 1인접평균서브패치군에 제 1 및 제 2 가중치를 부여하는 개념도이다.
도 13은 본발명에 일시예에 따른 제 1 및 제 2 가중치를 부여하여 후면서브패치 맵을 생성하는 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 후면 영상정보를 생성하는 장치 및 시스템도이다. 도 1을 참조하면, 본 발명에 따른 후면 영상정보를 생성하는 장치 또는 시스템은, 서버(100) 또는 단말(200), 서버(100) 및 단말(200)로 구성될 수 있다. 일반적으로는 서버(100)로 후면 영상정보를 생성하는 장치 및 시스템을 구성하는 것이 바람직하다.
상기 서버(100)는 영상부(110), 휴먼포즈 생성부(120), 레이블 맵 생성부(130), 인체 레이블 맵 생성부(140), 패치 맵 생성부(150)를 포함하여 구성되고, 통신부(160)는 선택적으로 적용하여 구성할 수 있다.
영상부(110)는 제 1영상정보를 촬영하여 생성한 후, 저장할 수 도 있고, 이미 저장되어 있는 영상정보를 저장할 수 도 있다.
휴먼포즈 생성부(120)는 입력된 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성한다.
레이블 맵 생성부(130)는 상기 제 1영상정보로부터 레이블 맵을 생성한다.
인체 레이블 맵 생성부(140)는 상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵과의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 M개의 모든 관절 좌표에 대해서 순차적으로 M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고, 상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성한다.
패치 맵 생성부(150)는 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하고, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하고, 상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하고, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하여 서브 패치 맵을 생성하고, 상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하고, 상기 N개의 모든 서브패치군에 대해 순차적으로 N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성한다.
또한, 상기 패치 맵 생성부(150)는 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 S개의 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 T개의 제 2후면서브패치군을 생성하고, 상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.
또한, 상기 패치 맵 생성부(150)는, 상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인, 상기 복수개의 제 1인접 평균서브패치군을 설정한다.
또한, 상기 패치 맵 생성부(150)는 상기 제 1가중치를 상기 제 2가중치 보다 큰 값으로 설정하고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1로 설정하고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합으로 설정한다.
여기서, 상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있다.
통신부(160)는 일반적인 통신 기술이 적용되고, 서버(200)와 단말(100)간 구성된 시스템에 한해서, 특정 정보를 전달하는 기능을 수행하고, 유선 또는 무선 통신을 이용할 수 있다.
여기서, 특정정보는 제 1영상정보, 제 2영상정보, 제 1패치 맵, 제 2패치 맵, 후면 패치 맵 등 데이터를 의미한다.
단말(200)도 서버(100)와 동일한 구성으로 되어 있어, 이에 대한 기재를 생략한다. 상기 서버(100)의 구체적인 동작 관련 설명은 후술하기로 한다.
도 2는 본 발명에 따른 후면 영상정보를 생성하는 방법을 나타내는 흐름도이다. 도 3은 본 발명에 따른 후면 영상정보를 생성하는 방법을 나타내는 개념도이다. 도 2 및 도3을 참조하면, 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성하는 단계(S210), 상기 제 1영상정보를 이용하여 레이블 맵 데이터를 생성하는 단계(S220), 상기 휴먼포즈 데이터를 이용하여 상기 인체 레이블 맵을 생성하는 단계(S230), 상기 인체 레이블 맵 및 비인체 레이블 맵을 이용하여 제 2영상정보를 생성하는 단계(S240), 상기 제 1영상정보와 상기 제 2영상정보를 이용하여 패치 정보를 생성하는 단계(S250) 및 상기 패치 정보를 이용하여 후면 영상정보 생성하는 단계(S260)를 포함하여 구성될 수 있다.
제 1영상정보를 이용하여 휴먼포즈 데이터를 생성하는 단계(S210)는, 단말(200) 또는 서버(100)내 영상부(110, 210)가 카메라로부터 획득된 영상을 제 1영상정보 또는 상기 단말(200) 또는 서버(100) 내에 저장되어 있는 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성한다.
상기 제 1영상정보는, 일반적으로 데이터를 저장하는 파일형식인 JPG 파일 등 다양한 형태로 영상 또는 이미지를 저장하는 데이터 또는 데이터 파일을 의미한다. 또한, 상기 제 1영상정보는, 상기 제 1영상정보 내에 인체 관련 정보를 포함하는 이미지 영상을 포함할 수 있고, 특히, 상기 인체 관련 정보는 전면 영상을 포함하고, 후면 영상을 포함하지 않을 수 도 있고, 반대로 후면 영상을 포함하고, 전면 영상을 포함하지 않을 수도 있다.
도 4는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성하는 개념도이다. 도 4를 참조하면, 휴먼포즈 생성부(120, 220)는 상기 제 1영상정보를 이용하여 휴먼포즈 데이터를 생성한다.
공지의 휴먼포즈 생성 알고리즘을 이용하고, 상기 공지의 휴먼포즈 생성 알고리즘이 적용되어, 심층신경망의 한 종류인 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 반복 학습하여 최종적으로 휴먼포즈 백터 맵을 생성한다. 여기서, 상기 합성곱 신경망(CNN, Convolutional Neural Network)은 상기 제 1영상정보에 저장되어 있는 인체 관련 정보를 추출하고, 상기 추출된 인체정보를 이용하여 각 인체 관절의 좌표를 출력하고, 상기 출력된 인체의 관절 좌표 중 예측 정확도가 높은 좌표를 선택해서 2차원 관절 좌표를 설정한다. 이후, 상기 2차원 관절 좌표를 이용하여 3차원 관절 좌표를 생성하는데, 3차원 표준 인체 메쉬 데이터 모델(SMPL, Skinned Multi-Person Linear Model)을 이용하여, 상기 2차원 관절 좌표를 상기 3차원 표준 인체 메쉬 데이터 모델에 적용하여 매칭된 3차원 관절좌표, 즉, 휴먼포즈 백터 맵을 생성한다.
여기서, 일반적으로 휴먼포즈의 의미는, 입력된 원본 이미지 상에서 검출된 사람에 대해 코, 팔꿈치, 발목 등의 지정된 개수의 관절과 각각의 이미지 좌표 체계 상에서의 3차원 좌표 벡터를 의미하고, 상기 좌표는 0~1 사이의 값으로 정규화 되어 있는 공지된 기술이다. 여기서, 상기 생성된 휴먼포즈 백터 맵은 도 4를 참조한다.
도 5는 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 휴먼포즈 데이터인 관절좌표에 대한 도면이다. 도 5를 참조하면, 일 실시예로, 상기 휴먼포즈 데이터는 23개의 관절좌표로 구성되고, 각각의 관절좌표에는 명칭 및 고유번호가 부여되어, 이후 인체 레이블 맵을 생성시, 상기 관절좌표가 이용될 수 있다. 상기 관절좌표는 필요에 따라 임의로 설정될 수 있다. 또한, 필요에 따라, 3차원 좌표인 휴먼포즈 백터 맵을 이용할 수 있다.
도 6은 본 발명에 일실시예에 따른 입력된 제 1영상정보를 이용하여 세그멘테이션하여 레이블 맵을 생성하는 개념도이다. 도 6을 참조하면, 휴먼포즈 생성부(120, 220)가 상기 제 1 영상정보를 이용하여 휴먼포즈 데이터를 생성하면, 레이블 맵 생성부(130, 230)는 상기 제 1영상정보를 이용하여 레이블 맵 데이터를 생성하는 단계(S220)를 수행한다.
일반적으로 세그멘테이션(Semantic Image Segmentation)의 의미는 영상정보 상에서 인체정보를 검출하고, 검출된 인체정보가 존재하는 픽셀을 참(True)으로, 검출된 인체정보가 존재하지 않는 픽셀을 거짓(False)으로 픽셀 값을 지정하여 원본과 같은 크기로 레이블 맵(Label Map)을 구성하는 기술을 의미한다.
공지의 레이블 맵 생성 알고리즘을 이용하고, 상기 공지의 레이블 맵생성 알고리즘이 적용되어, 심층신경망의 한 종류인 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 반복 학습하여 최종적으로 레이블 맵을 생성한다.
여기서, 레이블 맵 추출방법은 상기 레이블 맵이 상기 영상 정보의 이미지 크기와 동일한 이미지 크기로 설정하고, 일반적인 RGB 채널이 아닌 흑백 채널을 사용하여 0~255의 값을 사용하도록 설정한다.
상기 영상정보 중 인체정보에 해당되는 픽셀은 255로 설정하고, 상기 영상정보 중 인체정보에 해당되지 않는 픽셀은 0으로 설정하여 레이블 맵을 생성하고, 저장한다.
상기 레이블 맵 추출방법을 합성곱 신경망(CNN, Convolutional Neural Network)에 적용하여, 인체 영역에 해당되는 픽셀의 정보만 분리하여 레이블 맵을 추출하도록 반복하여 학습한다. 상기 추출된 레이블 맵은 상기 전달된 영상정보와 비교해 데이터 크기가 작아진다.
이러한 데이터 손실을 보상하기 위해, 공지의 합성곱 신경망(인코더-디코더 구조로 합성곱 신경망)을 적용하여 최종적으로 레이블 맵을 생성한다. 여기서, 세그멘테이션 결과 레이블 맵은 도 6을 참조한다.
레이블 맵 생성부(130, 230)가 상기 제 1영상정보를 이용하여 레이블 맵 데이터를 생성한 이후, 인체 레이블 맵 생성부(140,240)은 상기 휴먼포즈 데이터를 이용하여 상기 인체 레이블 맵을 생성하는 단계(S230)를 수행한다.
도 8은 본 발명에 일시예에 따른 인체 레이블 맵과 비인체 레이블 맵을 나타내는 일 예시도이다.
도 5 및 도 8을 참조하여 기술하면, 인체 레이블 맵 생성부(140,240)는 상기 휴먼데이터의 관절 좌표와, 상기 레이블 맵과의 거리를 측정하고, 상기 측정된 거리가 기 설정된 거리보다 작은 경우, 해당 관절좌표와 대응되는 레이블을 인체 레이블로 설정한다.
여기서, 인체 레이블 맵 생성부(140,240)는 기 설정된 거리는 임의로 설정할 수 있으며, 상기 설정 값에 따라 인체 레이블 수 변경 될 수 있다. 여기서는, 기 설정된 거리는 관절좌표에 대응되는 인체 레이블 수가 결정될 수 있도록 설정하는 것이 바람직하다.
또한, 관절좌표가 H개로 구성된 경우, H개의 관절좌표에 대해서, 상기 각각의 관절좌표와, 상기 레이블 맵과의 거리를 측정하고, 상기 측정된 거리가 기 설정된 거리보다 작은 경우, 해당 관절좌표와 대응되는 레이블을 인체 레이블로 설정하고, 이를 순차적으로 반복 수행하여 H개의 인체 레이블을 생성하고, 상기 생성된 H개의 인체 레이블로 구성된 인체 레이블 맵(810)을 생성한다.
여기서, 상기 거리는 일반적인 거리특정 용어인, 유클리디안 거리(Euclidean distance)를 의미한다.
또한, 앞에서 기술된 상기 휴먼데이터인 관절 좌표가 23개인 경우에 이에 대응되는 23개의 인체 레이블이 생성된다. 즉, H개의 관절좌표가 이용될 경우, H개의 인체 레이블이 생성되고, 생성된 H개의 인체 레이블로 구성되는 인체 레이블 맵(810)이 생성된다.
인체 레이블 맵 생성부(140,240)가 인체 레이블 맵이 생성된 이후, 상기 인체 레이블 맵 및 비인체 레이블 맵을 이용하여 제 2영상정보를 생성하는 단계(S240)를 수행한다.
여기서, 비인체 레이블 맵(820)은 상기 관절 좌표와 기설정된 거리보다 큰 경우에 해당하는 영역을 의미한다.
여기서, 기설정된 거리는 임의로 설정될 수 있다.
즉, 제 2 영상정보는 제 1영상정보의 인체영역에 해당되는 인체 레이블 맵(810)과, 상기 제 1영상정보의 인체영역에 해당되지 않는 비인체 레이블 맵(820)으로 구성된다.
상기 제 2영상정보가 생성된 이후, 패치 맵 생성부(150,250)는 상기 제 1영상정보와 상기 제 2영상정보를 이용하여 패치 정보를 생성하는 단계(S250)를 수행한다.
도 7은 본 발명에 일실시예에 따른 제 1영상정보와 제 2영상정보를 이용하여 패치 정보를 생성하는 세부 흐름도이다. 도 7을 참조하면, 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하는 단계(S710)와, 상기 제 2영상정보를 특정단위로 분리하여 제 2패치 맵을 생성하는 단계(S720) 및 상기 제 1패치 맵, 상기 제 2패치 맵을 이용하여 후면 패치 맵 생성하는 단계(S730)를 포함한다.
먼저, 상기 패치 맵 생성부(150,250)는 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하는 단계(S710)를 수행한다.
도 9는 본 발명에 일시예에 따른 제 1입력영상과, 제 2입력영상이 복수개의 패치들로 분리되고, 생성되는 후면 서브패치맵을 나타내는 개념도이다. 도 10은 본발명에 일시예에 따른 제 1입력영상의 분리된 제 1영상패치를 서브패치로 분리된 서브패치군을 나타내는 개념도이다.
도 9 및 도 10을 참조하여, 상기 분리된 특정단위인 패치 및 서브 패치에 관해 기술한다.
도9를 참조하면, 패치 맵 생성부(150, 250)는 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성한다.
여기서, 패치 맵 생성부(150, 250)는 P와 Q를 임의로 설정할 수 있고, P와 Q를 동일하게 또는 다르게 설정할 수 있다. 일반적으로 영상이미지는 각각의 픽셀 단위로 표현되고, 저장되는 구조이어서, P*Q=N개로 분리된 패치도 픽셀 단위로 저장되는 바, 이에 대해서는 공지의 기술이 적용되어 구체적인 기재는 생략한다.
상기 패치 맵 생성부(150, 250)는 상기 제 1영상정보를 분리하여, (1,1)으로 표현되는 제 1패치부터, (P,Q)으로 표현되는 P*Q의 패치를 생성하고, 상기 생성된 P*Q개, 즉, N개의 제 1영상정보패치를 제 1패치 맵으로 규정하여 용어를 정의한다.
또한, 상기 패치 맵 생성부(150, 250)는 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성한다.
상기 패치 맵 생성부(150, 250)는 상기 제 2영상정보를 분리하여, (1,1)으로 표현되는 제 1패치부터, (P,Q)으로 표현되는 P*Q의 패치를 생성하고, 상기 생성된 P*Q개, 즉, N개의 제 2영상정보패치를 제 2패치 맵으로 규정하여 용어를 정의한다.
여기서, 패치 맵 생성부(150, 250)는 P와 Q를 임의로 설정할 수 있고, P와 Q를 동일하게 또는 다르게 설정할 수 있다. 일반적으로 영상이미지는 각각의 픽셀 단위로 표현되고, 저장되고 구조이어서, N개로 분리된 패치도 픽셀 단위로 저장되는 바, 이에 대해서는 공지의 기술이 적용되어 구체적인 기재는 생략한다.
여기서, 상기 픽셀은 공지로 기술된 기술 용어이고, 본 발명에 필요한 범위 내에서 해당 픽셀의 정보에 저장된 정보에 대해 기술한다. 상기 픽셀은 일정정보를 저장하고 있고, 해당 정보를 색상 및 밝기 등으로 표현한다. 상기 일정 정보는 상기 픽셀의 주소 값, 상기 픽셀의 주소 값에 대응되는 위치정보와 색상정보를 포함할 수 있다. 상기 위치정보는 상기 픽셀의 위치한 위치좌표정보를 포함하고, 상기 색상정보는 공지기술인 색상정보 표시 형식 인 RGB 값으로 구성되고, RGB 각각의 값은 0~255 범위로 설정하여 사용될 수 있다.
여기서, 상기 제 1패치 맵의 (1,1) 제 1영상정보패치와, 상기 제 2패치 맵의 (1,1) 제 2영상정보패치를 1:1로 매핑하는 것을 동기화로 표현하고, 상기 제 1패치 맵의 (1,2) 제 1영상정보패치와, 상기 제 2패치 맵의 (1,2) 제 1영상정보패치를 1:1로 매핑하고, 순차적으로 상기 제 1패치 맵의 (P,Q)인 제 1영상정보패치와, 상기 제 2패치 맵의 (P,Q)인 제 2영상정보패치를 1:1로 매핑하여, 상기 제 1패치 맵과 상기 제 2패치 맵의 각각의 구성 패치를 매핑하여 동기화를 수행한다.
여기서, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치의 동기화를 위해, 각각의 패치를 구성하는 위치좌표를 이용할 수 있고, 상기 동기화된 제 1영상정보패치와, 상기 제 2영상정보패치는 동일한 위치좌표를 가지고 매핑되어 동기화 된다. 이로 인해, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치 각각은 동일한 위치정보를 저장하고 있다.
여기서, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치는 N개의 서브패치군으로 구성된다.
상기 서브 패치는 한 개 또는 복수 개의 픽셀로 구성된다.
여기서, 상기 픽셀은 공지로 기술된 기술 용어이고, 본 발명에 필요한 범위 내에서 해당 픽셀의 정보에 저장된 정보에 대해 기술한다. 상기 픽셀은 일정정보를 저장하고 있고, 해당 정보를 색상 및 밝기 등으로 표현한다. 상기 일정 정보는 상기 픽셀의 주소 값, 상기 픽셀의 주소 값에 대응되는 위치정보와 색상정보를 포함할 수 있다. 상기 위치정보는 상기 픽셀의 위치한 위치좌표정보를 포함하고, 상기 색상정보는 공지기술인 색상정보 표시 형식 인 RGB 값으로 구성되고, RGB 각각의 값은 0~255 범위로 설정하여 사용될 수 있다.
상기 서브 패치는 상기 픽셀을 J개로 구성되고, 상기 J개는 임의로 설정될 수 있다. 바람직하게는 J=4로 설정할 수 있으나, 이에 한정되지 않는다. 또한, 상기 패치는 상기 서브패치 K개로 구성될 수 있고, 상기 K개는 임의로 설정될 수 있다. 바람직하게는 K=4로 설정할 수 있으나, 이에 한정되지 않는다. 여기서, 상기 서브 패치를 구성하는 특정단위는, J개로 구성된 픽셀을 의미하고, 상기 패치를 구성하는 특정단위는, K개로 구성된 서브패치를 의미한다.
다시, 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하는 단계(S710)를 기재하면, 상기 패치 맵 생성부(150, 250)는 상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성한다.
또한, 상기 제 1영상정보패치는 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 서브패치군을 생성한다.
또한, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 A개의 서브패치로 분리하고, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성한다.
여기서, 상기 서브 패치맵을 구성하는 N개의 서브패치군과, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치는, 앞에서 기재된 복수개의 픽셀들로 구성되고, 상기 픽셀의 저장정보인 주소 값, 상기 픽셀의 주소 값에 대응되는 위치정보와 색상정보도 함께 저장된다.
상기 서브 패치 맵이 생성된 이후, 상기 제 1서브패치군을 구성하는 A개 서브패치의 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성되어 제 1평균서브패치군을 생성한다.
또한, 상기 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성되어 제 1평균서브패치군을 생성하는 과정을, 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성한다.
도 11은 본발명에 일시예에 따른 서브패치군을 구성하는 서브패치의 픽셀 정보 및 평균 연산을 수행하여 제 1평균서브패치군을 생성하는 개념도이다.
도 11을 참조하면, 1개의 패치가 4개의 서브패치로 구성되고, 상기 서브패치가 4개의 픽셀로 구성된 일 실시예이다.
여기서, 앞서 기재된 바와 같이, 하나의 픽셀은 RGB 형태의 3가지 색상정보를 포함하고 있으며, 각각의 표현 값은 0 ~ 255까지 자연수로 표현된다. 상기 서브패치1을 구성하는 4개 픽셀은 색상정보가 기재되어 있고, 상기 서브패치 2 내지 4를 각각 구성하는 4개의 픽셀은 색상정보 기재되어 있다. 이들 각각의 색상정보를 합산 및 평균 연산을 수행하여, 제 1평균 서브패치군을 생성하고, 상기 생성된 제 1 평균 서브 패치군에는 합산 및 평균 연산이 수행된 색상정보가 반영된다.
앞에서 기술된 바와 같이, 서브 패치는 임의개의 픽셀로 설정할 수 있고, 제 1 패치도 임의개의 서브패치로 설정할 수 있다.
상기 패치 맵 생성부(150, 250)는 상기 제 1영상정보를 특정단위로 분리하여 제 1패치 맵을 생성하면, 상기 패치 맵 생성부(150, 250)는 상기 제 2영상정보를 특정단위로 분리하여 제 2패치 맵을 생성하는 단계(S720)를 수행한다.
보다 구체적으로 기술하면, 상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성한다.
일반적으로, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵의 N개의 제 2영상정보패치는 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 동일한 패치 개수로 구성하는 것이 바람직하다.
결과적으로, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군과, 상기 제 2패치 맵을 구성하는 N개의 제 2영상정보패치는 동일한 N개의 패치 개수로 구성되는 것이 바람직하다.
상기 제 2영상정보를 특정단위로 분리하여 제 2패치 맵이 생성된 이후, 상기 패치 맵 생성부(150, 250)는 상기 제 1패치 맵, 상기 제 2패치 맵을 이용하여 후면 패치 맵 생성하는 단계(S730)를 수행한다.
실시예 중 제 1실시예를 기재한다.
제 1실시예에 대해 기술하면, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하고, 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.
도 9 내지 13을 참조하여 구체적으로 기재하면, 도 9는 제 1패치 맵과, 제 2패치 맵을 이용하여 생성된 후면서브패치 맵을 나타내고 있다.
상기 패치 맵 생성부(150,250)는 상기 제 1패치 맵의 N개의 제 1영상정보패치로부터 생성된 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 이용하여, 즉, 일정 연산을 수행하여 N개의 후면서브패치군을 구성된 후면서브패치 맵을 생성한다.
여기서, 상기 패치 맵 생성부(150,250)는 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 하나인 제 1평균서브패치군을 임의로 선정하여, 상기 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정한다.
도 12를 참조하면, 상기 패치 맵 생성부(150,250)가 중앙에 제 1평균서브패치군(1210)을 설정하면, 인접한 평균서브패치군은 8개가 설정되고, 상기 설정된 8개의 평균서브패치군을 제 1인접평균서브 패치군(1220)으로 한다.
여기서, 상기 패치 맵 생성부(150,250)가 제 1평균 서브패치군(1210)에 제 1가중치를 임의로 설정할 수 있고, 일 예로, 0.4를 설정한 후, 상기 제 1인접평균서브 패치군(1220)에 제 2가중치를 임의로 설정할 수 있고, 일 예로, 0.075를 설정할 수 있다.
제 1평균 서브패치군의 제1 가중치와 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군의 제 2가중치 합을 1로 하는 것이 바람직하고, 제 1평균 서브패치군의 제1 가중치를 제 1인접평균서브 패치군(1220)의 제 2 가중치보다 크게 설정하는 것이 바람직하다. 또한, 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군의 제 2 가중치는 균등하게 설정하는 것이 바람직하다.
일 예로, 상기 제 1 가중치와 상기 제 1인접평균서브 패치군(1220)의 제 2가중치는 아래의 수식조건을 만족한다.
여기서, 상기 제 1가중치를 상기 제 2가중치 보다 큰 값으로 설정하고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1로 설정하고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합으로 설정한다
도 11을 다시 참조하여, 후면서브 패치군을 생성하는 단계를 기술한다. 상기 제 1평균서브패치군(1210)은 RGB 색상정보를 저장하고 있고, 상기 제 1가중치를 적용하여, 각각의 RGB 색상정보 값에 상기 제 1가중치가 적용된 합산 값을 구한다.
또한, 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군도 각각의 RGB 색상정보 값을 저장하고 있고, 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값을 구한다.
제 1평균서브패치군(1210)에 저장된 상기 제 1가중치가 적용된 합산 값과, 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군에 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값의 평균 값을 계산한다.
상기 평균 값을, 상기 제 1평균서브패치군(1210)의 각각의 RGB 색상정보 값으로 대체하여 저장하고, 상기 각각의 RGB 색상정보 값으로 대체된 상기 제 1평균서브패치군(1210)을 제 1 후면서브패치군으로 생성한다.
위에서 기술된 방법을 상기 후면서브패치군을 생성하는 단계를, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.
상기 후면서브패치 맵이 생성된 이후, 상기 패치 정보를 이용 후면 영상정보 생성(S260)한다.
상기 N개의 후면서브패치군 사이의 노이즈 제거를 위해서, 상기 노이즈는 공지된 엣지 블렌딩 알고리즘을 적용하여, 각각 후면 패치의 가장자리 픽셀을 가우시안 블러(Gaussian Blur) 연산을 수행하여 노이즈를 제거하는 엣지 블렌딩을 수행하고, 최종적인 후면 텍스처 맵을 생성한다.
실시예 중 제 2실시예를 기재한다. 상기 제 2실시예는 데이터 연산량을 감소시키기 위해서, 제 2영상정보 중 인체 레이블 맵에 해당되는 인체 레이블 패치에 대해서만, 제 1실시예의 가중치 기반 연산을 수행하여 제 1후면서브패치군을 생성하고, 비인체레이블 맵의 경우, 별도의 가중치 연산을 수행하지 않고, 평균서브패치군을 적용하여 제 2후면서브패치군을 생성하고, 상기 제 1후면서브패치군과, 상기 제 2후면서브패치군을 적용하여 후면서브패치 맵을 생성한다.
이에 대해 구체적으로 기술하면, 상기 제 1패치 맵의 (1,1)의 제 1영상정보패치와, 상기 제 2패치 맵의 (1,1)의 제 2영상정보패치를 1:1로 매핑하는 것을 동기화로 표현하고, 상기 제 1패치 맵의 (1,2) 제 1영상정보패치와, 상기 제 2패치 맵의 (1,2) 제 1영상정보패치를 1:1로 매핑하고, 순차적으로 상기 제 1패치 맵의 (P,Q) 제 1영상정보패치와, 상기 제 2패치 맵의(P,Q) 제 2영상정보패치를 1:1로 매핑하여, 상기 제 1패치 맵과 상기 제 2패치 맵의 각각의 구성 패치를 매핑하여 동기화를 수행한다.
여기서, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치의 동기화를 위해, 각각의 패치를 구성하는 위치좌표를 이용할 수 있고, 상기 동기화된 제 1영상정보패치와, 상기 제 2영상정보패치는 동일한 위치좌표를 가지고 매핑되어 동기화 된다. 이로 인해, 상기 제 1패치 맵을 구성하는 N개의 제 1영상정보패치와 제 2패치 맵을 구성하는 N개의 제 2영상정보패치 각각은 동일한 위치정보를 저장하고 있다.
또한, 앞서 기술된 바와 같이, 상기 N개의 서브패치군과, 상기 N개의 제 1평균서브패치군은 색상정보 값만 변경되어 저장되어 있고, 상기 N개의 서브패치군과, 상기 N개의 제 1평균서브패치군은 상기 N개의 제 1영상정보패치의 각각의 위치정보를 그대로 저장되어 있다. 따라서, 상기 N개의 제 1평균서브패치군은 상기 제 2패치 맵을 구성하는 N개의 제 2영상정보패치와 동기화 되어 있어, 동일한 위치좌표를 저장하고 있다.
또한, 앞서 기술된 바와 같이, 상기 제 2패치 맵을 구성하는 N개의 제 2영상정보패치도 각각의 위치정보가 저장되어 있고, 상기 각각의 위치정보는 인체 레이블 맵과, 비인체레이블 맵의 각각의 패치에 저장되어 있다.
따라서, 상기 N개의 제 1평균서브패치군은, 상기 인체 레이블 맵과, 비인체레이블 맵의 위치정보를 기초로 동기화 될 수 있다.
상기 N개의 제 1평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우, 가중치 연산을 수행하여 제 1후면서브패치군을 생성하고, 상기 N개의 제 1평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 비인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우, 가중치 연산을 수행하지 않고, 상기 제 1평균서브패치군을 제 2후면서브패치군으로 대체한다.
결과적으로 가중치 연산을 수행하여 생성된 제 1후면서브패치군이 S개, 가중치 연산을 수행하지 않고 생성된 제 2후면서브패치군이 T개라면, S+T=N을 만족하여, 후면서브패치 맵이 생성된다.
이를 상세히 기술하면, 인체 레이블 맵을 구성하는 패치들의 경우, 아래의 과정을 통해 S개의 제 1후면서브패치군이 생성된다.
상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하고, 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 제 1후면서브패치군을 생성한다.
도 9 내지 13을 참조하여 구체적으로 기재하면, 도 9는 제 1패치 맵과, 제 2패치 맵을 이용하여 생성된 후면서브패치 맵을 나타내고 있다.
상기 패치 맵 생성부(150,250)는 상기 제 1패치 맵의 N개의 제 1영상정보패치로부터 생성된 N개의 평균서브패치군을 구성된 평균서브 패치 맵을 이용하여, 즉, 일정 연산을 수행하여 S개의 제 1후면서브패치군을 생성한다.
여기서, 상기 패치 맵 생성부(150,250)는 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 하나인 제 1평균서브패치군을 임의로 선정하여, 상기 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정한다.
도 12를 참조하면, 상기 패치 맵 생성부(150,250)가 중앙에 제 1평균서브패치군(1210)을 설정하면, 인접한 평균서브패치군은 8개가 설정되고, 상기 설정된 8개의 평균서브패치군을 제 1인접평균서브 패치군(1220)으로 한다.
여기서, 상기 패치 맵 생성부(150,250)가 제 1평균 서브패치군(1210)에 제 1가중치를 임의로 설정할 수 있고, 일 예로, 0.4를 설정한 후, 상기 제 1인접평균서브 패치군(1220)에 제 2가중치를 임의로 설정할 수 있고, 일 예로, 0.075를 설정할 수 있다.
제 1평균 서브패치군의 제1 가중치와 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군의 제 2가중치 합을 1로 하는 것이 바람직하고, 제 1평균 서브패치군의 제1 가중치를 제 1인접평균서브 패치군(1220)의 제 2 가중치보다 크게 설정하는 것이 바람직하다. 또한, 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군의 제 2 가중치는 균등하게 설정하는 것이 바람직하다.
여기서, 상기 제 1평균 서브패치군과 인접한 제 1인접평균서브 패치군 중 8개의 평균서브패치군이 상기 인체 레이블 맵을 구성하는 패치의 위치정보 값에 포함되지 않은 영역, 즉, 비인체 레이블 맵을 구성하는 패치인 경우, 해당 가중치인 제 2가중치를 0으로 설정하고, 상기 제 1평균 서브패치군과 인접한 제 1인접평균서브 패치군 중 8개의 평균서브패치군이 상기 인체 레이블 맵을 구성하는 패치의 위치정보 값에 해당되는 영역인 경우, 제 2가중치를 부여한다.
일 예로, 상기 제 1 가중치와 상기 제 1인접평균서브 패치군(1220)의 제 2가중치는 아래의 수식조건을 만족한다. 상기 제 1가중치를 상기 제 2가중치 보다 큰 값으로 설정하고, 상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1로 설정하고, 상기 제 1 가중치인 C는 이고, 상기 제 2 가중치인 w는 이고, 상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은 이고, 상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합으로 설정한다.
도 11을 다시 참조하여, 후면서브 패치군을 생성하는 단계를 기술한다. 상기 제 1평균서브패치군(1210)은 RGB 색상정보를 저장하고 있고, 상기 제 1가중치를 적용하여, 각각의 RGB 색상정보 값에 상기 제 1가중치가 적용된 합산 값을 구한다.
또한, 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군도 각각의 RGB 색상정보 값을 저장하고 있고, 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값을 구한다.
제 1평균서브패치군(1210)에 저장된 상기 제 1가중치가 적용된 합산 값과, 제 1인접평균서브 패치군(1220)을 구성하는 8개의 평균서브패치군에 각각의 RGB 색상정보 값에 상기 제 2가중치가 적용된 합산 값의 평균 값을 계산한다.
상기 평균 값을, 상기 제 1평균서브패치군(1210)의 각각의 RGB 색상정보 값으로 대체하여 저장하고, 상기 각각의 RGB 색상정보 값으로 대체된 상기 제 1평균서브패치군(1210)을 제 1 후면서브패치군으로 생성한다.
위에서 기술된 방법을 상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 후면서브패치군을 생성한다.
비인체 레이블 맵을 구성하는 패치들의 경우, 아래의 과정을 통해 T개의 제 2후면서브패치군이 생성된다.
다시 기술하면, 상기 N개의 제 1평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 비인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우, 가중치 연산을 수행하지 않고, 상기 제 1평균서브패치군을 제 2후면서브패치군으로 대체하여, T개의 제 2후면서브패치군을 생성한다.
상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군을 적용하여 최종적은 S+T=N 개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성한다.
상기 후면서브패치 맵이 생성된 이후, 상기 패치 정보를 이용 후면 영상정보 생성(S260)한다.
상기 N개의 후면서브패치군 사이의 노이즈 제거를 위해서, 상기 노이즈는 공지된 엣지 블렌딩 알고리즘을 적용하여, 각각 후면 패치의 가장자리 픽셀을 가우시안 블러(Gaussian Blur) 연산을 수행하여 노이즈를 제거하는 엣지 블렌딩을 수행하고, 최종적인 후면 텍스처 맵을 생성한다.
100 : 서버 200 : 단말
110 : 영상부 210 : 영상부
120 : 휴먼포즈 생성부 220 : 휴먼포즈 생성부
130 : 레이블 맵 생성부 230 : 레이블 맵 생성부
140 : 인체 레이블 맵 생성부 240 : 인체 레이블 맵 생성부
150 : 패치 맵 생성부 250 : 패치 맵 생성부
160 : 통신부 260 : 통신부
1000: 영상정보 1010: 패치
1020: 서브 패치군 1210: 제 1평균서브패치군
1220: 제 1인접서브패치군
110 : 영상부 210 : 영상부
120 : 휴먼포즈 생성부 220 : 휴먼포즈 생성부
130 : 레이블 맵 생성부 230 : 레이블 맵 생성부
140 : 인체 레이블 맵 생성부 240 : 인체 레이블 맵 생성부
150 : 패치 맵 생성부 250 : 패치 맵 생성부
160 : 통신부 260 : 통신부
1000: 영상정보 1010: 패치
1020: 서브 패치군 1210: 제 1평균서브패치군
1220: 제 1인접서브패치군
Claims (5)
- 후면 영상정보 생성 장치를 이용하고, 인공신경망 소프트웨어를 이용하여, 정면의 인체 영상이 포함된 제 1영상정보의 후면 영상정보를 생성하는 후면 영상정보 생성 방법에 있어서,
상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하는 단계;
상기 제 1영상정보로부터 레이블 맵을 생성하는 단계;
상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하는 단계;
상기 제 1인체 레이블을 생성하는 단계를 상기 M개의 모든 관절 좌표에 대해 순차적으로 수행하여, M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하는 단계;
상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성하는 단계;
상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하는 단계;
상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하는 단계;
상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하는 단계;
상기 제 1서브패치군을 생성하는 단계를 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 수행하여, 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하는 단계;
상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하는 단계;
상기 제 1평균서브패치군을 생성하는 단계를 상기 N개의 모든 서브패치군에 대해 순차적으로 수행하여, N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 단계;
상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계; 및
상기 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, N개의 후면서브패치군을 생성하고, 상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계;를 포함하고,
상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있는 것을 특징으로 하는, 후면 영상정보 생성 방법. - 제1항에 있어서,
상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계는, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고,
상기 N개의 후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 단계는,
상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 후면 색상정보 값이 반영된 후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, S개의 제 1후면서브패치군을 생성하고,
상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하는 단계를 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 수행하여, T개의 제 2후면서브패치군을 생성하여,
상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하는 것을 특징으로 하는 후면 영상정보 생성 방법. - 제 2항에 있어서,
상기 복수개의 제 1인접 평균서브패치군은,
상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 것을 특징으로 하는 , 후면 영상정보 생성 방법. - 제3항에 있어서,
상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고,
상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고,
상기 제 1 가중치인 C는
이고,
상기 제 2 가중치인 w는
이고,
상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은
이고,
상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합인 것을 특징으로 하는, 후면 영상정보 생성 방법 - 인공신경망 소프트웨어를 이용하여, 정면의 인체 영상이 포함된 제 1영상정보의 후면 영상정보를 추출하는 후면 영상정보 추출 장치에 있어서,
상기 제 1영상정보로부터 M개의 관절 좌표로 구성된 휴먼포즈 데이터를 생성하는 휴먼포즈 생성부;
상기 제 1영상정보로부터 레이블 맵을 생성하는 레이블 맵 생성부;
상기 M개의 관절 좌표 중 제 1 관절 좌표와 상기 레이블 맵과의 이격 거리가 기 설정된 이격 거리 이하인 경우, 상기 레이블 맵을 상기 제 1 관절 좌표에 대응되는 제 1인체 레이블로 생성하고, 상기 M개의 모든 관절 좌표에 대해서 순차적으로 M개의 인체 레이블을 생성하고, 상기 M개의 인체 레이블로 구성된 인체 레이블 맵을 생성하고,
상기 M개의 관절 좌표와 상기 레이블 맵의 이격 거리가 기 설정된 이격 거리를 초과한 경우, 비인체 레이블 맵을 생성하고, 상기 인체 레이블 맵과 상기 비인체 레이블 맵으로 구성되는 제 2영상 정보를 생성하는 인체레이블 맵 생성부;
상기 제 1영상정보를 N개의 패치로 분리하여 N개의 제 1영상정보패치를 생성하고, 상기 N개의 제 1영상정보패치로 구성되는 제 1패치 맵을 생성하고,
상기 제 2영상정보를 N개의 패치로 분리하여 N개의 제 2영상정보패치를 생성하고, 상기 N개의 제 2영상정보패치로 구성되는 제 2패치 맵을 생성하고,
상기 N개의 제 1영상정보패치 중 제 1영상정보패치를 A개의 서브패치로 분리하고, 상기 제 1영상정보패치와 대응되는 상기 A개의 서브패치로 구성된 제 1서브패치군을 생성하고, 상기 N개의 모든 제 1영상정보패치에 대해 순차적으로 상기 N개의 모든 제 1영상정보패치 각각에 대응되는 N개의 서브패치군을 생성하고, 상기 N개의 서브패치군으로 구성된 서브 패치 맵을 생성하여 서브 패치 맵을 생성하고,
상기 제 1서브패치군을 구성하는 A개의 서브패치 색상정보 값을 합산하여 평균 값을 계산하고, 상기 평균 값을 상기 A개의 서브패치의 색상정보 값으로 변경하고, 상기 변경된 색상정보 값이 반영된 A개의 서브패치로 구성된 제 1평균서브패치군을 생성하고, 상기 N개의 모든 서브패치군에 대해 순차적으로 N개의 평균서브패치군을 생성하고, 상기 N개의 평균서브패치군으로 구성된 평균서브 패치 맵을 생성하는 패치 맵 생성부를 포함하고,
상기 패치 맵 생성부는,
상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표인 경우에 한해, 상기 N개의 평균서브패치군이 포함된 평균서브 패치 맵 중 제 1평균서브패치군을 둘러싸고 있는 복수개의 제 1 인접평균서브패치군을 설정하고, 상기 제 1평균서브패치군의 제 1가중치와, 상기 제 1평균서브패치군과 상기 복수개의 인접평균서브패치군 간의 이격 거리에 비례하여 상기 복수개의 평균서브패치군의 제 2가중치를 설정하고, 상기 제 1평균서브패치군에 상기 제 1가중치가 반영된 제 1색상정보 값과, 상기 복수개의 인접평균서브패치군의 색상정보에 제 2가중치가 반영된 제 2색상정보 값의 평균 값을 반영하여 후면 색상정보 값을 생성하고, 상기 후면 색상정보 값이 반영된 제 1후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 S개의 제 1후면서브패치군을 생성하고,
상기 평균서브 패치 맵을 구성하는 N개의 평균서브패치군 중 제 1평균서브패치군의 위치좌표가, 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표가 아닌 경우, 상기 제 1평균서브패치군의 색상정보 값이 반영된 제 2후면서브패치군을 생성하고, 상기 평균서브패치 맵을 구성하는 N개의 모든 평균서브패치군에 순차적으로 T개의 제 2후면서브패치군을 생성하고,
상기 S개의 제 1후면서브패치군과, 상기 T개의 제 2후면서브패치군으로 구성되는 후면서브패치 맵을 생성하고,
상기 복수개의 제 1인접 평균서브패치군은,
상기 복수개의 제 1인접 평균서브패치군의 위치좌표가 상기 인체 레이블 맵을 구성하는 패치들의 위치좌표 중 하나의 위치좌표와 동일한 위치 좌표이고,
상기 제 1가중치는 상기 제 2가중치 보다 큰 값으로 설정되고,
상기 제 1가중치와 상기 복수개의 제 1 인접평균서브패치군에 설정된 제 2가중치들의 합이 1이고,
상기 제 1 가중치인 C는
이고,
상기 제 2 가중치인 w는
이고,
상기 제 1가중치와 상기 제 2가중치들의 상관 관계식인 W은
이고,
상기 Z는 상기 제 1평균서브패치군과, 상기 복수개의 제 1 인접평균서브패치군의 패치군수의 합이고,
상기 패치, 서브패치는 복수개의 픽셀로 구성되고, 상기 픽셀은 상기 픽셀의 주소 값, 상기 픽셀의 위치정보 및 상기 픽셀의 색상정보가 저장되어 있는 것을 특징으로 하는, 후면 영상정보 생성 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210170530A KR102627659B1 (ko) | 2021-12-02 | 2021-12-02 | 후면 영상정보 생성 장치 및 방법 |
| PCT/KR2022/014129 WO2023101167A1 (ko) | 2021-12-02 | 2022-09-21 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132264A KR20230145981A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132267A KR20230145982A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132269A KR20230145983A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210170530A KR102627659B1 (ko) | 2021-12-02 | 2021-12-02 | 후면 영상정보 생성 장치 및 방법 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230132269A Division KR20230145983A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132267A Division KR20230145982A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132264A Division KR20230145981A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230083347A KR20230083347A (ko) | 2023-06-12 |
| KR102627659B1 true KR102627659B1 (ko) | 2024-01-24 |
Family
ID=86612582
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210170530A KR102627659B1 (ko) | 2021-12-02 | 2021-12-02 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132267A KR20230145982A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132269A KR20230145983A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132264A KR20230145981A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230132267A KR20230145982A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132269A KR20230145983A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
| KR1020230132264A KR20230145981A (ko) | 2021-12-02 | 2023-10-05 | 후면 영상정보 생성 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (4) | KR102627659B1 (ko) |
| WO (1) | WO2023101167A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102245220B1 (ko) | 2020-11-09 | 2021-04-27 | 주식회사 엔닷라이트 | 딥러닝 기반으로 2차원 이미지로부터 3차원 모델을 복원하는 장치 및 그 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101758064B1 (ko) * | 2013-06-05 | 2017-07-14 | 삼성전자주식회사 | 깊이 영상을 이용하는 추정기 학습 방법 및 자세 추정 방법 |
| KR101464446B1 (ko) * | 2013-10-07 | 2014-11-24 | 재단법인대구경북과학기술원 | 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치 |
| KR102288280B1 (ko) * | 2014-11-05 | 2021-08-10 | 삼성전자주식회사 | 영상 학습 모델을 이용한 영상 생성 방법 및 장치 |
| KR101829733B1 (ko) | 2015-01-16 | 2018-03-29 | 오인환 | 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 |
| KR20180064907A (ko) * | 2016-12-06 | 2018-06-15 | 한국전자통신연구원 | 3차원 인체 부위정보 인식 및 가시화 장치 및 방법 |
| KR101906431B1 (ko) | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템 |
| US10356341B2 (en) * | 2017-10-13 | 2019-07-16 | Fyusion, Inc. | Skeleton-based effects and background replacement |
| KR102491674B1 (ko) * | 2018-11-16 | 2023-01-26 | 한국전자통신연구원 | 가상시점 영상을 생성하는 방법 및 장치 |
| KR102270949B1 (ko) * | 2019-12-04 | 2021-07-01 | 연세대학교 산학협력단 | 3차원 인간 모델 복원 장치 및 방법 |
-
2021
- 2021-12-02 KR KR1020210170530A patent/KR102627659B1/ko active IP Right Grant
-
2022
- 2022-09-21 WO PCT/KR2022/014129 patent/WO2023101167A1/ko unknown
-
2023
- 2023-10-05 KR KR1020230132267A patent/KR20230145982A/ko not_active Application Discontinuation
- 2023-10-05 KR KR1020230132269A patent/KR20230145983A/ko not_active Application Discontinuation
- 2023-10-05 KR KR1020230132264A patent/KR20230145981A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102245220B1 (ko) | 2020-11-09 | 2021-04-27 | 주식회사 엔닷라이트 | 딥러닝 기반으로 2차원 이미지로부터 3차원 모델을 복원하는 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230145981A (ko) | 2023-10-18 |
| WO2023101167A1 (ko) | 2023-06-08 |
| KR20230083347A (ko) | 2023-06-12 |
| KR20230145983A (ko) | 2023-10-18 |
| KR20230145982A (ko) | 2023-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10685454B2 (en) | Apparatus and method for generating synthetic training data for motion recognition | |
| US20180276500A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| US20200151963A1 (en) | Training data set generation apparatus and method for machine learning | |
| US8624901B2 (en) | Apparatus and method for generating facial animation | |
| CN110689599B (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN110929569A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| US11853892B2 (en) | Learning to segment via cut-and-paste | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| CN113850168A (zh) | 人脸图片的融合方法、装置、设备及存储介质 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN114627173A (zh) | 通过差分神经渲染进行对象检测的数据增强 | |
| CN112784621A (zh) | 图像显示方法及设备 | |
| CN115131849A (zh) | 图像生成方法以及相关设备 | |
| KR102482262B1 (ko) | 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| KR102627659B1 (ko) | 후면 영상정보 생성 장치 및 방법 | |
| CN109299777B (zh) | 一种基于人工智能的数据处理方法及其系统 | |
| US20230050535A1 (en) | Volumetric video from an image source | |
| CN116051593A (zh) | 服装图像提取方法及其装置、设备、介质、产品 | |
| CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN115496843A (zh) | 一种基于gan的局部写实感漫画风格迁移系统及方法 | |
| CN109814724A (zh) | 花型图案的展现方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |