KR20210034468A - 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법 - Google Patents
스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법 Download PDFInfo
- Publication number
- KR20210034468A KR20210034468A KR1020200042685A KR20200042685A KR20210034468A KR 20210034468 A KR20210034468 A KR 20210034468A KR 1020200042685 A KR1020200042685 A KR 1020200042685A KR 20200042685 A KR20200042685 A KR 20200042685A KR 20210034468 A KR20210034468 A KR 20210034468A
- Authority
- KR
- South Korea
- Prior art keywords
- sketch
- picture
- character
- image
- mesh
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000000694 effects Effects 0.000 title claims abstract description 59
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 사용자가 임의로 스케치한 2차원적 그림(캐릭터)을 정확하게 추출하고, 추출된 그림의 관절부를 명확하게 추출하여 해당 2차원적 그림에 맞는 최적의 자연스러운 활동 패턴으로 디스플레이되도록 하여 더욱 현실감 있고 사용자의 흥미를 극대화할 수 있는, 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 관한 것이다. 본 발명에 따르면, 사용자가 용지에 그린 스케치 그림과 그 스케치 그림의 배경을 포함하는 전체 이미지를 독취하는 스케치그림 독취 단계; 상기 독취한 전체 이미지 중 스케치 그림만을 추출하는 스케치그림 추출 단계; 상기 추출된 스케치 그림을 분석하여 스케치그림의 종류를 파악하고 결정하는 스케치그림 종류 파악 단계; 상기 결정된 스케치그림의 종류를 기반으로 상기 스케치 그림이 애니메이팅되도록 애니메이팅 정보를 생성하는 그림이미지 애니메이팅용 정보 생성 단계; 상기 생성된 애니메이팅용 정보를 스케치 그림에 맵핑하고, 맵핑된 스케치 그림을 애니메이팅(animating)하는 맵핑-애니메이팅 단계;를 포함하는 것을 특징으로 하는 스케치 기반의 활동캐릭터 생성 방법이 제공된다.
Description
본 발명은 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 관한 것으로, 더욱 상세하게는 사용자가 임의로 스케치한 2차원적 그림(캐릭터)을 정확하게 추출하고, 추출된 그림의 관절부를 명확하게 추출하여 해당 2차원적 그림에 맞는 최적의 자연스러운 활동 패턴으로 디스플레이되도록 하여 더욱 현실감 있고 사용자의 흥미를 극대화할 수 있는, 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 관한 것이다.
본 발명은 한국콘텐츠진흥원이 지원하는 문화기술연구개발사업으로 수행된 연구결과이다(과제번호: 1375026811, 연구과제명: 에듀테인먼트의 창의 미술 인터렉티브 콘텐츠를 위한 증강현실 애니메이션 및 맵핑 기술 개발)
현재 미디어 및 인터넷 관련 기술의 발달로 인하여 컴퓨터 사용자에게 편리하고 컴퓨터 사용자의 이용 효과를 증진시킬 수 있도록 각종 동영상이 구현되는 웹페이지를 구성하는 콘텐츠 구현 방법이 개발되어 실시되고 있으며, 이로 인하여 정적인 이미지 형태에서 벗어나 동적인 이미지가 포함된 형태로 콘텐츠를 구성하여 정보를 제공함으로써 컴퓨터 이용자의 관심과 만족도를 증대시키고 있다.
인터넷을 이용한 서비스는 이제 전자 상거래, 엔터테인먼트, 원격 교육 등의 분야로 그 활용이 증대되고 있으며 이에 따라 각 이용 분야별로 필요한 콘텐츠 정보를 검색하고 제공하는 방법이 개발되고 있다.
특히, 최근 들어 전기전자 기술 및 정보통신 기술의 발전과 스마트폰, 스마트 패드를 비롯한 각종 스마트 기기의 대중적 보급에 따라 직관적인 인터페이스 및 터치스크린 기반으로 된 다양한 형태의 편의기기가 일상생활에 밀접한 영향을 주고 있다. 이에 따라 이용자들은 새롭게 변화되는 미디어 디스플레이 환경 속에서 좀 더 새로운 것을 요구하는 한편, 빠른 적응력으로 새로운 편의기기들을 유용하게 이용하고 있다.
이러한 미디어 디스플레이 환경과 관련하여, 이용자들의 조작에 따른 다양한 미디어 디스플레이 환경을 제공하기 위해서는 일반 영상콘텐츠보다는 캐릭터나 게임 등의 영상콘텐츠가 유리한 측면이 있다.
그러나 이용자들의 실시간 즉각적인 상호작용을 반영하는 영상 콘텐츠는 일반적으로 소형 화면사이즈를 갖는 스마트폰이나 스마트 패드 등의 스마트 기기에 한정되는 단점이 있다.
또한, 종래에는 영상 콘텐츠의 캐릭터는 사전 제작에 의해 캐릭터의 몸동작과 얼굴 표정을 생성하기 때문에, 캐릭터는 정형화된 패턴, 즉 정해진 시나리오대로 동작을 연출하는 수동적인 캐릭터 기능만이 가능한 한계가 있으며, 사용자의 흥미를 유발하는데 한계가 따르는 문제점이 있었다.
이에 따라 최근 날로 발전하고 있는 미디어 디스플레이 환경에서 사용자가 적극적으로 참여하고 흥미를 유발할 수 있고, 사용자가 직접 그린 캐릭터 그대로 반영되면서 그 캐릭터에 맞는 자연스러운 움직음을 구현할 수 있는 콘텐츠의 개발이 필요한 실정이다.
따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 사용자가 임의로 스케치한 2차원적 그림(캐릭터)을 정확하게 추출하고, 추출된 그림의 활동 뼈대와 관절부를 명확하게 추출하여 해당 2차원적 그림에 맞는 최적의 자연스러운 활동 패턴으로 디스플레이되도록 하여 더욱 현실감 있고 사용자의 흥미를 극대화할 수 있는, 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법을 제공하는데 그 목적이 있다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 사용자가 용지에 그린 스케치 그림과 그 스케치 그림의 배경을 포함하는 전체 이미지를 독취하는 스케치그림 독취 단계; 상기 독취한 전체 이미지 중 스케치 그림만을 추출하는 스케치그림 추출 단계; 상기 추출된 스케치 그림을 분석하여 스케치그림의 종류를 파악하고 결정하는 스케치그림 종류 파악 단계; 상기 결정된 스케치그림의 종류를 기반으로 상기 스케치 그림이 애니메이팅되도록 애니메이팅 정보를 생성하는 그림이미지 애니메이팅용 정보 생성 단계; 상기 생성된 애니메이팅용 정보를 스케치 그림에 맵핑하고, 맵핑된 스케치 그림을 애니메이팅(animating)하는 맵핑-애니메이팅 단계;를 포함하는 것을 특징으로 하는 스케치 기반의 활동캐릭터 생성 방법이 제공된다.
본 발명에 있어서, 상기 스케치그림 독취 단계는 이미지 센서를 포함하는 촬영 수단을 통해 독취하고, 상기 스케치그림 추출 단계는 독취된 이미지에서 HSV 색공간의 차원변환을 이용하여 그림의 색상을 바이너리(Binary)화시켜 추출하되, 아래의 RGB to HSV 색공간 변환 공식을 이용하여 추출하도록 이루어지는 것을 특징으로 한다.
(여기에서, H=색상, S=채도, V=명도이며, RGB는 적녹청임)
본 발명에 있어서, 상기 스케치그림 종류 파악 단계는, 미리 구축되어 있는 이미지 데이터베이스의 DB 이미지와 상기 바이너리(Binary)화되어 추출된 스케치그림 이미지를 딥러닝(Deep Learning)으로 비교 실행하여 파악하도록 이루어지며, 상기 애니메이팅용 정보 생성 단계는, 상기 바이너리(Binary)화되어 추출된 스케치 그림이미지를 기준으로 메쉬(mesh)를 생성하는 메쉬 생성 단계와, 상기 바이너리(Binary)화되어 추출된 스케치 그림이미지를 대상으로 뼈대 및 관절포인트를 생성하는 뼈대-관절포인트 생성 단계, 및 상기 생성된 뼈대와 관절포인트가 적용된 최종 뼈대를 상기 생성된 메쉬에 적용하는 메쉬 스키닝 단계를 포함할 수 있다.
본 발명에 있어서, 상기 메쉬 생성 단계는 들로네 삼각분할(Delaunay Triangulation) 기법을 이용하여 폴리곤 메쉬가 적용된 캐릭터 메쉬를 생성하도록 이루어지고, 상기 뼈대-관절포인트 생성 단계는, 상기 이진화된스케치 그림의 모든 픽셀에 대해 하나의 픽셀을 중심으로 주변 픽셀들을 검사하여 설정된 픽셀 검사값에 만족하지 않은 픽셀을 제거하여 뼈대를 추출하며, 상기 추출된 뼈대에 있어서의 하나의 픽셀을 중심으로 주변 픽셀들을 검사하여 설정된 흑백의 이진화 픽셀개수에 기반하여 복수의 관절을 추출하도록 이루어지는 특징으로 한다.
본 발명에 있어서, 상기 뼈대-관절포인트 생성 단계에서 추출된 복수의 관절 간을 세분화하는 관절포인트 세분화 과정을 더 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 관절포인트 세분화 과정은 현재 픽셀을 중심으로 주변에 연결된 픽셀이 있는지 여부를 판정하고, 상기 현재 픽셀에 대하여 주변에 연결된 픽셀이 없는 경우, 분할 점(Segment Point)으로 표시하고, 상기 현재 픽셀에 대하여 주변에 연결된 픽셀이 있는 경우 다른 특징 점인지 여부를 판단하여, 다른 특징 점인 경우 상기 분할점으로 표시하는 과정으로 진행하고, 다른 특징 점이 아닌 것으로 판단하는 경우, 이동거리가 미리 정의된 세그먼트 길이(segment length)보다 큰지 여부를 판단하고, 상기 이동거리가 미리 정의된 세그먼트 길이보다 큰 경우, 분할 점 표시와 이동거리를 초기화하고, 이동거리가 미리 정의된 세그먼트 길이보다 작은 경우, 이동한 픽셀을 삭제하도록 이루어지는 것을 특징으로 한다.
본 발명에 있어서, 상기 메쉬 스키닝 단계는 상기 세분화된 관절포인트 및 세분화된 관절포인트를 포함하는 뼈대를 최종 뼈대로 하여 상기 메쉬 생성 단계에서 생성된 캐릭터 메쉬에 맵핑하도록 이루어질 수 있다.
본 발명에 있어서, 상기 메쉬 스키닝 단계는 상기 메쉬의 버텍스(vertex)에서 어떤 위치의 버텍스의 관절포인트를 기준으로 움직이게 할 것인지 정의하도록 소정 관절포인트에 대하여 가중치(Weight)를 부여한 맵핑 애니메이팅용 정보를 생성하도록 이루어질 수 있다.
본 발명에 있어서, 상기 가중치 부여는 모든 버텍스(V) 중에서 임의의 버텍스(Vi)와 모든 관절포인트 B의 거리를 유클리디안 거리(Euclidean Distance) 공식을 이용하여 구한 뒤 최단 거리 순으로 정렬한 직선 D 집합(NearBoneList)을 구하고, 상기 직선 D의 집합인 NearBoneList에서 가장 가까운 n개의 관절을 임의의 버텍스(Vi)와 연결하고 가중치를 부여하되, 상기 임의의 버텍스와 가까운 관절일수록 큰 가중치를 주도록 이루어지며, 상기 맵핑-애니메이팅 단계는 상기 맵핑 애니메이팅용 정보를 기반으로 애니메이팅 맵핑(animation mapping)하도록 이루어질 수 있다.
본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 의하면, 사용자가 스케치한 캐릭터 자체를 정확히 인식 추출하고, 해당 캐릭터에 최적으로 적합한 활동 뼈대와 관절부를 추출하여 활동성을 부여함으로써 가상환경에서 현실감있고 자연스럽게 활동 캐릭터로 구현될 수 있도록 하여 사용자의 흥미와 몰입감을 극대화할 수 있는 효과가 있다.
또한, 본 발명은 2D 그림의 인식을 위한 인식 용도의 마커가 구비되는 용지를 필요로 하지 않고 어떠한 용지라도 사용할 수 있으며, 게임, 엔터테인먼트, 교육, 홍보, 광고, 전시 등 다양한 미디어 콘텐츠에 적용할 수 있음으로써 미디어 콘텐츠를 더욱 풍부하고 다양하게 구성할 수 있어 제품 경쟁력을 확보할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 과정을 나타내는 플로차트이다.
도 2는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법의 스케치그림 추출 단계에서 HSV 색공간의 차원변환을 이용하여 그림의 색상을 바이너리(Binary)화시켜 추출하는 예시에 대한 전(A)과 후(B)를 나타내는 도면이다.
도 3은 구글이 제작한 Inception v3 Neural Networks의 Architecture의 개요를 나타내는 도면이다.
도 4는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 그림종류 파악 단계에 대한 예시를 나타내는 예시도이다.
도 5는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 애니메이팅용 정보 생성 단계의 메쉬 생성 과정을 통해 폴리곤 메쉬가 적용된 그림 결과물로서, (A)는 들로네 삼각분할 기법이 반영된 그림이며, (B)는 외곽 라인 삼각형 제거 후의 그림이다.
도 6은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 뼈대 추출을 위하여 픽셀을 제거하여 세선화하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 이진화된 스케치그림(A)에서 세선화 알고리즘을 통해 추출한 스케치 그림의 뼈대(B)에 대한 예시를 나타내는 도면이다.
도 8은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 추출을 위한 픽셀 검사 예시 및 기준 픽셀 P1의 함수 결과 값을 예시한 도면이다.
도 9는 도 8에 따른 결과 값에 따라 관절포인트를 추출한 그림의다 예시를 나타내는 도면이다.
도 10은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 세분화 과정을 거쳐 관절 세분화가 적용된 그림의 예시이다.
도 11은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 세분화 과정을 나타내는 플로차트이다.
도 2는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법의 스케치그림 추출 단계에서 HSV 색공간의 차원변환을 이용하여 그림의 색상을 바이너리(Binary)화시켜 추출하는 예시에 대한 전(A)과 후(B)를 나타내는 도면이다.
도 3은 구글이 제작한 Inception v3 Neural Networks의 Architecture의 개요를 나타내는 도면이다.
도 4는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 그림종류 파악 단계에 대한 예시를 나타내는 예시도이다.
도 5는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 애니메이팅용 정보 생성 단계의 메쉬 생성 과정을 통해 폴리곤 메쉬가 적용된 그림 결과물로서, (A)는 들로네 삼각분할 기법이 반영된 그림이며, (B)는 외곽 라인 삼각형 제거 후의 그림이다.
도 6은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 뼈대 추출을 위하여 픽셀을 제거하여 세선화하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 이진화된 스케치그림(A)에서 세선화 알고리즘을 통해 추출한 스케치 그림의 뼈대(B)에 대한 예시를 나타내는 도면이다.
도 8은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 추출을 위한 픽셀 검사 예시 및 기준 픽셀 P1의 함수 결과 값을 예시한 도면이다.
도 9는 도 8에 따른 결과 값에 따라 관절포인트를 추출한 그림의다 예시를 나타내는 도면이다.
도 10은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 세분화 과정을 거쳐 관절 세분화가 적용된 그림의 예시이다.
도 11은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 세분화 과정을 나타내는 플로차트이다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 본원 명세서 전체에서, 어떤 단계가 다른 단계와 "상에"또는 "전에" 위치하고 있다고 할 때, 이는 어떤 단계가 다른 단계와 직접적 시계열적인 관계에 있는 경우 뿐만 아니라, 각 단계 후의 혼합하는 단계와 같이 두 단계의 순서에 시계열적 순서가 바뀔 수 있는 간접적 시계열적 관계에 있는 경우와 동일한 권리를 포함한다.
이하, 본 발명의 바람직한 실시 예에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 대하여 첨부 도면을 참조하여 상세히 설명한다. 아래 설명되는 각 단계와 기법은 공지의 프로그래밍 언어 소프트웨어(예를 들면, C++ 등)를 통해 구현되는 것임을 전제로 한다.
먼저, 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 대하여 도 1을 참조하여 상세히 설명한다. 도 1은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 과정을 나타내는 플로차트이다.
본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법은, 도 1에 나타낸 바와 같이, 사용자가 용지에 그린 스케치 그림 또는 스케치 캐릭터(이하, '스케치 그림'으로 통칭함)와 그 스케치 그림의 배경을 포함하는 전체 이미지를 독취하는 스케치그림 독취 단계(S100); 상기 스케치그림 독취 단계(S100)에서 읽어들인 전체 이미지 중 스케치 그림만을 추출하는 스케치그림 추출 단계(S200); 상기 스케치그림 추출 단계(S200)에서 추출된 스케치 그림을 분석하여 스케치그림의 종류를 파악하고 결정하는 스케치그림 종류 파악 단계(S300); 상기 스케치그림 종류 파악 단계(S300)에서 결정된 스케치그림의 종류를 기반으로 상기 스케치 그림(실제 그림)이 애니메이팅되도록 애니메이팅 정보를 생성하는 그림이미지 애니메이팅용 정보 생성 단계(S400); 상기 애니메이팅용 정보 생성 단계(S400)에서 생성된 애니메이팅용 정보를 스케치 그림(실제 그림)에 맵핑하고, 맵핑된 스케치 그림(실제 그림)이 적용될 가상환경의 콘텐츠의 상태 정보(status)에 따라 맵핑된 스케치 그림을 애니메이팅(animating)하는 맵핑-애니메이팅 단계(S500);를 포함한다.
상기한 각 단계에 대하여 상세히 설명한다.
스케치그림 독취 단계(S100)
상기 스케치그림 독취 단계(S100)는 카메라 이미지 센서 등을 통해 용지의 배경과 스케치 그림을 이미지 데이터로 읽어들이는데, 이때 사전에 정의된 스케치그림 인식 영역에 스케치그림 이미지가 인식되는 경우, 해당 스케치 그림과 그림 용지를 포함하는 전체 이미지에 대한 이미지 데이터로 읽어들이도록 이루어진다. 다시 말해서, 상기 스케치그림 독취 단계(S100)는 스케치 그림과 그림 용지를 포함한 전체 이미지에 대한 이미지 데이터를 독취한다.
또한, 상기 스케치그림 독취 단계(S100)에서 이미지 데이터의 독취는 카메라 이미지 센서, 예를 들면 광학 영상의 강약과 색채를 감지하여 디지털 영상 데이터(이미지 데이터)로 변환해주는 장치로서 CMOS 이미지 센서(Complementary Metal Oxide Semiconductor Image Sensor) 또는 CCD 이미지 센서(Charge Coupled Device)를 포함하는 촬영 수단으로 이루어질 수 있다.
스케치그림 추출 단계(S200)
상기 스케치그림 추출 단계(S200)는 독취된 이미지 데이터에서 스케치 그림(그림 이미지 데이터)만을 추출하기 위하여 흰색의 그림 용지와 스케치 그림의 경계 외곽선을 구분하여 스케치 그림(그림 이미지 데이터)만을 추출하게 된다.
도 2는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법의 스케치그림 추출 단계에서 HSV 색공간의 차원변환을 이용하여 그림의 색상을 바이너리(Binary)화시켜 추출하는 예시에 대한 전(A)과 후(B)를 나타내는 도면이다.
구체적으로, 상기 스케치그림 추출 단계(S200)는 웹캠 등을 통해 입력된 그림 이미지 데이터(영상)에서 사용자가 그린 스케치 그림(그림 이미지 데이터)만을 추출하게 되는데, 본 발명은 아래와 같은 RGB to HSV 색공간 변환 공식을 이용하여 RGB 값으로 입력된 그림 이미지 데이터를 HSV 색공간의 차원 변환하여 그림의 색상을 이진화 또는 바이너리(Binary)화시켜 추출하게 된다.
다시 말해서, 상기 스케치그림 추출 단계(S200)는 위 RGB to HSV 변환 공식을 이용해 입력된 RGB 픽셀 값을 HSV로 변환한다. 여기에서, H=색상, S=채도, V=명도를 의미한다.
이와 같이 HSV로 변환된 픽셀 값 중 S의 값이 지정한 채도 임계 값보다 낮고, V값이 지정한 명도 임계 값보다 높은 픽셀의 경우는 흰색 영역으로 볼 수 있으며, 이러한 흰색 픽셀을 제거하여 도 2에 나타낸 바와 같이 이진화된 영상 결과물(이진화된 스케치그림 이미지)을 얻을 수 있게 된다.
또한, 상기 스케치그림 추출 단계(S200)는 그림의 에지를 인식하여 외곽선을 바탕으로 스케치그림을 분리하는 에지 추출 방식으로 추출하여 이진화된 영상 결과물(이진화된 스케치그림 이미지)을 얻을 수도 있다.
스케치그림 종류 파악 단계(S300)
상기 스케치그림 종류 파악 단계(S300)는 사전에 구축되어 있는 이미지 데이터베이스의 DB 이미지와 상기 추출된 스케치그림 이미지를 비교하고 패턴을 분석하여 가장 근접한 DB 이미지를 파악하고, 해당 DB 이미지로 스케치 그림의 종류(예를 들면, 사람, 개, 고양이, 뱀 등)를 결정하도록 이루어진다.
이러한 스케치그림 종류 파악 단계(S300)는 텐서플로(TensorFlow)와 같은 기계학습 엔진을 이용한 딥러닝(Deep Learning)으로 실행할 수 있다.
구체적으로, 상기 스케치 그림 종류 파악 단계(S300)에 대하여 도 3 및 도 4를 참조하여 설명한다. 도 3은 구글이 제작한 Inception v3 Neural Networks의 Architecture의 개요를 나타내는 도면이고, 도 4는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 그림종류 파악 단계에 대한 예시를 나타내는 예시도이다.
상기 스케치그림 종류 파악 단계(S300)는 도 3에 나타낸 바와 같이, 먼저 추출한 스케치그림 이미지를 기준으로 특징을 잡아 딥러닝 기술(예를 들면, 텐서플로)을 이용하여 추출한 스케치그림 이미지가 어떤 모습의 물체인지를 인식하도록 이루어진다.
여기에서, 인식 및 그림 종류 분석과 추론은 딥러닝 모델 중 검증된 인셉션(inception) 모델을 이용하며, 그림 추론에 사용할 데이터 셋(이미지 데이터베이스)을 리트레이닝(retraining) 과정을 통해 등록하게 한다.
이와 같이 상기 추출된 스케치 그림 이미지를 대상으로 위 딥러닝 모델을 사용하여 스케치그림 추론용 데이터 셋(이미지 데이터베이스)과 비교하여 실제 스케치 그림(그림 이미지 데이터)이 무엇인지 추론하게 되며, 이 추론된 정보(즉, 추론된 이미지 데이터베이스의 이미지)가 가진 메쉬 및 뼈대-관절 데이터를 이용하여 다음 단계인 스케치그림이미지의 애니메이팅용 정보 생성 단계(S400)에서 해당 스케치 그림 이미지가 활동할 수 있는 애니메이팅용 정보를 생성하게 된다.
여기에서, 상기 데이터 셋의 이미지 데이터 각각은 그에 맞는 메쉬 데이터 및 뼈대-관절 데이터를 포함하고 있다.
애니메이팅용 정보 생성 단계(S400)
상기 애니메이팅용 정보 생성 단계(S400)는, 상기 스케치그림 종류 파악 단계(S300)에서 파악된 이미지 데이터베이스의 이미지(2진화 이미지)를 기준으로 메쉬(mesh)(메쉬 데이터)를 생성하는 메쉬 생성 단계(S410)와, 상기 스케치그림 종류 파악 단계(S300)에서 파악된 이미지 데이터베이스의 이미지(2진화 이미지)를 대상으로 뼈대와 관절포인트를 생성하는 뼈대-관절포인트 생성 단계(S420), 및 상기 메쉬 및 뼈대-관절포인트 생성 단계(S420)에서 생성된 뼈대와 관절포인트가 적용된 최종 뼈대를 상기 메쉬 생성 단계(S410)에서 생성된 메쉬에 적용하는 메쉬 스키닝 단계(S430)를 포함한다.
상기 메쉬 생성 단계(S410)에서 메쉬 생성은 들로네 삼각분할(Delaunay Triangulation) 기법을 이용하여 폴리곤 메쉬를 생성하게 된다.
여기에서, 들로네 삼각분할 기법은 평면 위의 점들을 삼각형으로 연결해 분할할 때, 삼각형들의 내각의 최소값이 최대가 되도록 만들어(정삼각형에 가깝게) 분할하는 방법이다.
이러한 들로네 삼각분할을 적용하기 위해 추출한 스케치그림 영역에 임의의 버텍스(Vertex) 또는 점을 삽입한 다음, 들로네 삼각분할 기법을 적용하여 삼각형으로 영역을 분할한다. 이때 그림 영역을 벗어나 삼각형이 연결되는 경우가 발생하는데 이는 스케치그림의 폴리곤 메쉬에 해당되는 영역이 아니므로 제거하게 된다. 도 5는 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 애니메이팅용 정보 생성 단계의 메쉬 생성 과정을 통해 폴리곤 메쉬가 적용된 그림 결과물로서, (A)는 들로네 삼각분할 기법이 반영된 그림이며, (B)는 외곽 라인 삼각형 제거 후의 그림이다.
상기 뼈대-관절포인트 생성 단계(S420)는 상기 스케치그림 종류 파악 단계(S300)에서 파악된 이미지 데이터베이스의 이미지(2진화 이미지)를 대상으로 뼈대를 추출 생성하며 생성된 뼈대에서 관절포인트를 추출 생성하도록 이루어진다.
즉, 상기 뼈대-관절포인트 생성 단계(S420)는 앞서 상기 스케치그림 종류 파악 단계(S300)에서 파악된 이미지 데이터베이스의 이미지(추출한 이진화된(바이너리화 된) 스케치 그림인 2진화된 이미지)에서 세선화 알고리즘을 적용해 뼈대를 추출한다. 이때, 세선화란 입력한 영상에서 두께가 1인 선을 추출하는 알고리즘인데, 이 알고리즘을 이용함으로써 스케치 그림(2진화된 이미지의 그림 데이터)에 대한 뼈대를 추출할 수 있다. 예를 들면, 세선화 알고리즘 중에서 Zhang Suen 알고리즘을 사용하여 병렬 연산을 통해 빠르게 세선화 할 수 있다. 즉, 대상 이미지를 유지하고, 빠른 세선화 연산을 하기 위해 병렬적 처리방식의 알고리즘인 Zhang Suen 알고리즘을 이용한다.
구체적으로, 상기 뼈대-관절포인트 생성 단계(S420)에서 뼈대 추출 생성은, 상기 이진화된(바이너리화된) 스케치 그림의 모든 픽셀에 대해 어떤 픽셀을 기준으로 주변 픽셀들을 참조하여 특정 조건들에 맞는지 맞지 않는지를 모든 픽셀에 대하여 판단하고, 특정 조건에 맞는 픽셀에 대해서 제거를 해 나가면서 세선화된 이진화 그림을 얻게 된다.
예를 들어, 상기 특정 조건과 관련하여 아래의 픽셀 제거 조건 수식들 및 도 6과 도 7을 참조하여 설명한다. 도 6은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 뼈대 추출을 위하여 픽셀을 제거하여 세선화하는 방법을 설명하기 위한 도면이며, 도 7은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 이진화된 스케치 그림에서 세선화 알고리즘을 통해 추출한 스케치 그림의 뼈대에 대한 예시를 나타내는 도면이다.
P1은 중심 픽셀이고, P2 ~ P9는 P1의 주변 픽셀이다. 함수 A(P1)은 P1을 중심으로 주변 픽셀을 시계방향으로 검사하여 0과 1의 순서로 연결된 픽셀의 개수를 출력하는 함수이다. 함수 B(P1)는 이웃한 픽셀의 개수를 출력하는 함수이다.
첫번째 2<=B(P1)<= 6 조건은 끝 부분에 있거나 둘러쌓이지 않은 픽셀을 제거하는 조건이다. 두번째 A(P1) = 1의 조건은 픽셀이 연결된 픽셀인지 검사하고 연결되지 않은 점을 제거하는 조건이다. 세번째 P2*P4*P6 = 0 및 P4*P6*P8 = 0은 모서리인 픽셀을 검사해 제거하는 조건이다.
모든 픽셀에 대해 하나의 중심 픽셀을 기준으로 위 과정을 거치게 되면, 도 7의 (A)와 같이 이진화된 그림을 도 7의 (B)와 같이 세선화된 그림(그림의 뼈대)으로 추출하게 된다. 이렇게 추출한 뼈대는 애니메이션의 기준 뼈대가 된다.
계속해서, 도 8은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 추출을 위한 픽셀 검사 예시 및 기준 픽셀 P1의 함수 결과 값을 예시한 도면이며, 도 9는 도 8에 따른 결과 값에 따라 관절포인트를 추출한 그림의 예시를 나타내는 도면이다.
앞서 설명한 바와 같이, 상기 뼈대-관절포인트 생성 단계(S420)에서 픽셀 제거 방식으로 추출한 뼈대를 중심으로 스케치그림을 움직이게 하려면 관절의 정의 및 관절 결정이 필요하다. 이러한 관절의 결정은 2가지 단계를 거치게 되는데, 첫번째는 끝점과 관절포인트의 정의이고, 두번째는 끝점과 관절포인트 사이의 세분화 과정이다.
먼저, 관절의 결정은 도 8과 같이 뼈대 내 픽셀을 기준으로 주변 픽셀을 시계 방향으로 검사해 흰색 픽셀과 검은색 픽셀이 나타나는 순서의 개수를 계산한다. 계산된 결과값 F(P1)이 1인 경우에는 P1을 끝점으로 정의하고, F(P1)이 3보다 크거나 같은 경우에는 P1을 관절포인트으로 정의한다.
그리고 추가로 전체 그림을 움직이게 하기 위하여 관절포인트에서 끝점으로 가는 벡터값을 이용하여 스케치 그림의 외곽선에 끝점을 연장하여 재정의하는 과정을 거치게 된다. 이러한 과정을 거치면 도 9의 예시로 나타낸 바와 같이 결과물을 도출한다. 도 9에서 붉은 점은 끝점이고, 초록점은 관절포인트이다. 도 9의 (A)는 끝점과 관절포인트를 정의한 그림 예시이고, (B)는 그림 메쉬에 끝점과 관절포인트를 대입한 그림 예시이며, (C)는 관절포인트에서 끝점으로 가는 벡터값을 이용하여 스케치 그림의 외곽선에 끝점을 연장하여 재정의한 그림 예시이다.
계속해서, 끝점과 관절포인트 사이의 세분화 과정을 도 10 및 도 11을 참조하여 설명한다. 도 10은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 세분화 과정을 거쳐 관절 세분화가 적용된 그림의 예시이며, 도 11은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 포함되는 뼈대-관절포인트 생성 단계에서 관절 세분화 과정을 나타내는 플로차트이다.
앞서 과정을 통해 정의한 관절포인트과 끝점으로만 뼈대를 움직일 경우 어색한 움직임이 있게 되는데, 이를 해결하여 자연스러운 움직임을 위하여 끝점과 관절포인트 사이에 있는 뼈대에 대한 관절포인트를 세분화하는 과정을 거치게 된다.
구체적으로, 관절포인트 세분화 과정은 도 10에 나타낸 바와 같이, 특징점 픽셀을 현재 픽셀로 하고, 현재 픽셀에 대하여 주변에 연결된 픽셀이 있는지 여부를 판정한다.
현재 픽셀에 대하여 주변에 연결된 픽셀이 없는 경우, 분할 점(Segment Point)으로 표시한다. 그리고 현재 픽셀에 대하여 주변에 연결된 픽셀이 있는 경우 다른 특징 점인지 여부를 판단하여, 다른 특징 점인 경우 상기 분할점으로 표시하는 과정으로 진행하고, 다른 특징 점이 아닌 것으로 판단하는 경우, 이동거리가 미리 정의된 세그먼트 길이(segment length)보다 큰지 여부를 판단하게 된다.
상기 이동거리가 미리 정의된 세그먼트 길이보다 큰 경우, 분할 점 표시와 이동거리를 초기화하고, 이동거리가 미리 정의된 세그먼트 길이보다 작은 경우, 이동한 픽셀을 삭제하게 된다.
이러한 관절포인트 세분화 과정은 끝점과 관점점 사이에 있는 모든 뼈대(뼈대 픽셀)에 대하여 실행하게 되며, 관절포인트 세분화 과정을 거치게 되면, 도 11에 나타낸 바와 같은 관절이 세분화된 최종 애니메이션 뼈대 결과물을 얻을 수 있게 된다.
다음으로, 상기 메쉬 스키닝 단계(S430)는, 상기와 같이 정의되고 결정된 픽셀 뼈대와 관절포인트의 최종 뼈대를 캐릭터 메쉬에 적용하여 메쉬의 버텍스(vertex)에서 어떤 위치의 버텍스의 관절포인트을 기준으로 움직이게 할 것인지 관절포인트에 가중치(Weight)를 정의하도록 이루어진다.
상기 메쉬 스키닝 단계(S430)는 모든 버텍스 V를 대상으로 한다. V 중 임의의 버텍스 Vi와 모든 관절포인트 B의 거리를 유클리디안 거리(Euclidean Distance) 공식을 이용하여 구한 뒤 최단 거리 순으로 정렬한 직선 D 집합(NearBoneList)을 구한다. 이때 임의의 직선 Di는 그림의 영역을 벗어나지 않는 범위로 된다. 아래 식은 해당 과정의 의사코드(Pseudo Code)의 예로서, 최단거리 집합 의사코드이다.
위 과정을 통해 얻은 직선 D의 집합인 NearBoneList에서 가장 가까운 n개의 관절을 버텍스 Vi와 연결하고 가중치를 부여하되, 버텍스와 가까운 관절일수록 큰 가중치를 주도록 이루어진다. 여기에서, 가까운 관절 B0weight + B1weight … + Bnweight = 1이다.
상기 가중치에 있어서 버텍스와 가까운 관절포인트에 대한 가중치는 아래의 공식을 의해 결정된다.
이러한 과정을 거쳐 결과적으로 관절포인트들은 모든 버텍스들에 대해 상대적인 가중치 값을 갖게 되며, 버텍스들은 자신과 연결된 관절포인트의 위치와 가중치 값에 따라 위치가 변화하여 거시적으로 뼈대가 움직이면 메쉬도 함께 움직이게 이루어진다.
맵핑-애니메이팅 단계(S500)
상기한 각 단계를 통해 사용자가 그린 스케치 그림(그림이미지)에 메쉬, 뼈대, 관절포인트의 정보가 맵핑되어 있으며, 이에 따라 상기 맵핑-애니메이팅 단계(S500)는 맵핑된 애니메이팅용 정보를 기반으로 실제 그림의 동작을 애니메이팅 맵핑(animation mapping)하게 된다.
예를 들면, 토끼의 경우 토끼가 깡총깡총 움직이는 형태를 그린 그림에 있는 관절과 뼈대 정보에 맵핑하여 '움직인다'는 신호에 의해 실제 토끼의 움직임에 가깝게 움직일 수 있도록 구현하게 되며, 실제 그림이 적용되는 가상현실의 콘텐츠의 상태 정보(status)에 따라 애니메이팅을 적용하도록 이루어진다.
이상에서 설명한 바와 같은 본 발명에 따른 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법에 따르면, 사용자가 스케치한 캐릭터 자체를 정확히 인식 추출하고, 해당 캐릭터에 최적으로 적합한 활동 뼈대와 관절부를 추출하여 활동성을 부여함으로써 가상환경에서 현실감있고 자연스럽게 활동 캐릭터로 구현될 수 있도록 하여 사용자의 흥미와 몰입감을 극대화할 수 있고, 2D 그림의 인식을 위한 인식 용도의 마커가 구비되는 용지를 필요로 하지 않고 어떠한 용지라도 사용할 수 있으며, 게임, 엔터테인먼트, 교육, 홍보, 광고, 전시 등 다양한 미디어 콘텐츠에 적용할 수 있음으로써 미디어 콘텐츠를 더욱 풍부하고 다양하게 구성할 수 있어 제품 경쟁력을 확보할 수 있는 이점이 있다.
상기한 바와 같은 실시 예들은 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S100: 스케치그림 독취 단계
S200: 스케치그림 추출 단계
S300: 스케치그림 종류 파악 단계
S400: 애니메이팅용 정보 생성 단계
S410: 메쉬 생성 단계
S420: 뼈대-관절포인트 생성 단계
S430: 메쉬 스키닝 단계
S500: 맵핑-애니메이팅 단계
S200: 스케치그림 추출 단계
S300: 스케치그림 종류 파악 단계
S400: 애니메이팅용 정보 생성 단계
S410: 메쉬 생성 단계
S420: 뼈대-관절포인트 생성 단계
S430: 메쉬 스키닝 단계
S500: 맵핑-애니메이팅 단계
Claims (9)
- 사용자가 용지에 그린 스케치 그림과 그 스케치 그림의 배경을 포함하는 전체 이미지를 독취하는 스케치그림 독취 단계;
상기 독취한 전체 이미지 중 스케치 그림만을 추출하는 스케치그림 추출 단계;
상기 추출된 스케치 그림을 분석하여 스케치그림의 종류를 파악하고 결정하는 스케치그림 종류 파악 단계;
상기 결정된 스케치그림의 종류를 기반으로 상기 스케치 그림이 애니메이팅되도록 애니메이팅 정보를 생성하는 그림이미지 애니메이팅용 정보 생성 단계;
상기 생성된 애니메이팅용 정보를 스케치 그림에 맵핑하고, 맵핑된 스케치 그림을 애니메이팅(animating)하는 맵핑-애니메이팅 단계;를 포함하는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제1항에 있어서,
상기 스케치그림 독취 단계는 이미지 센서를 포함하는 촬영 수단을 통해 독취하며,
상기 스케치그림 추출 단계는 독취된 이미지에서 HSV 색공간의 차원변환을 이용하여 그림의 색상을 바이너리(Binary)화시켜 추출하되, 아래의 RGB to HSV 색공간 변환 공식을 이용하여 추출하도록 이루어지는 것을 특징으로 하는
(여기에서, H=색상, S=채도, V=명도이며, RGB는 적녹청임)
스케치 기반의 활동캐릭터 생성 방법.
- 제1항 또는 제2항에 있어서,
상기 스케치그림 종류 파악 단계는, 미리 구축되어 있는 이미지 데이터베이스의 DB 이미지와 상기 추출된 스케치그림 이미지를 딥러닝(Deep Learning)으로 비교 실행하여 파악하도록 이루어지며,
상기 애니메이팅용 정보 생성 단계는, 상기 상기 바이너리(Binary)화되어 추출된 스케치 그림이미지를 기준으로 메쉬(mesh)를 생성하는 메쉬 생성 단계와, 상기 바이너리(Binary)화되어 추출된 스케치 그림이미지를 대상으로 뼈대 및 관절포인트를 생성하는 뼈대-관절포인트 생성 단계, 및 상기 생성된 뼈대와 관절포인트가 적용된 최종 뼈대를 상기 생성된 메쉬에 적용하는 메쉬 스키닝 단계를 포함하는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제3항에 있어서,
상기 메쉬 생성 단계는 들로네 삼각분할(Delaunay Triangulation) 기법을 이용하여 폴리곤 메쉬가 적용된 캐릭터 메쉬를 생성하도록 이루어지고,
상기 뼈대-관절포인트 생성 단계는, 상기 이진화된 스케치 그림의 모든 픽셀에 대해 하나의 픽셀을 중심으로 주변 픽셀들을 검사하여 설정된 픽셀 검사값에 만족하지 않은 픽셀을 제거하여 뼈대를 추출하며, 상기 추출된 뼈대에 있어서의 하나의 픽셀을 중심으로 주변 픽셀들을 검사하여 설정된 흑백의 이진화 픽셀 개수에 기반하여 복수의 관절을 추출하도록 이루어지는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제4항에 있어서,
상기 뼈대-관절포인트 생성 단계에서 추출된 복수의 관절 간을 세분화하는 관절포인트 세분화 과정을 더 포함하는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제5항에 있어서,
상기 관절포인트 세분화 과정은
현재 픽셀을 중심으로 주변에 연결된 픽셀이 있는지 여부를 판정하고,
상기 현재 픽셀에 대하여 주변에 연결된 픽셀이 없는 경우, 분할 점(Segment Point)으로 표시하고,
상기 현재 픽셀에 대하여 주변에 연결된 픽셀이 있는 경우 다른 특징 점인지 여부를 판단하여, 다른 특징 점인 경우 상기 분할점으로 표시하는 과정으로 진행하고, 다른 특징 점이 아닌 것으로 판단하는 경우, 이동거리가 미리 정의된 세그먼트 길이(segment length)보다 큰지 여부를 판단하고,
상기 이동거리가 미리 정의된 세그먼트 길이보다 큰 경우, 분할 점 표시와 이동거리를 초기화하고, 이동거리가 미리 정의된 세그먼트 길이보다 작은 경우, 이동한 픽셀을 삭제하도록 이루어지는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제5항에 있어서,
상기 메쉬 스키닝 단계는
상기 세분화된 관절포인트, 및 상기 세분화된 관절포인트를 포함하는 뼈대를 최종 뼈대로 하여 상기 메쉬 생성 단계에서 생성된 캐릭터 메쉬에 맵핑하도록 이루어지는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제7항에 있어서,
상기 메쉬 스키닝 단계는
상기 메쉬의 버텍스(vertex)에서 어떤 위치의 버텍스의 관절포인트를 기준으로 움직이게 할 것인지 정의하도록 소정 관절포인트에 대하여 가중치(Weight)를 부여한 맵핑 애니메이팅용 정보를 생성하도록 이루어지는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
- 제8항에 있어서,
상기 가중치 부여는 모든 버텍스(V) 중에서 임의의 버텍스(Vi)와 모든 관절포인트 B의 거리를 유클리디안 거리(Euclidean Distance) 공식을 이용하여 구한 뒤 최단 거리 순으로 정렬한 직선 D 집합(NearBoneList)을 구하고, 상기 직선 D의 집합인 NearBoneList에서 가장 가까운 n개의 관절을 임의의 버텍스(Vi)와 연결하고 가중치를 부여하되, 상기 임의의 버텍스와 가까운 관절일수록 큰 가중치를 주도록 이루어지며,
상기 맵핑-애니메이팅 단계는 상기 맵핑 애니메이팅용 정보를 기반으로 애니메이팅 맵핑(animation mapping)하도록 이루어지는 것을 특징으로 하는
스케치 기반의 활동캐릭터 생성 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190115819 | 2019-09-20 | ||
| KR20190115819 | 2019-09-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210034468A true KR20210034468A (ko) | 2021-03-30 |
| KR102343562B1 KR102343562B1 (ko) | 2021-12-27 |
Family
ID=75265042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200042685A KR102343562B1 (ko) | 2019-09-20 | 2020-04-08 | 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102343562B1 (ko) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100301962B1 (ko) | 1999-05-24 | 2001-09-26 | 박권상 | 실시간 가상캐릭터 시스템 |
| KR20020049384A (ko) | 2000-12-19 | 2002-06-26 | 이형민 | 캐릭터 애니메이션 생성 시스템 및 이를 이용한 캐릭터애니메이션 생성 방법 |
| KR20020086306A (ko) | 2002-05-23 | 2002-11-18 | (주)포도그래픽스 | 무선 통신 기기에서의 실사형 애니메이션캐릭터생성시스템 및 그 방법 |
| KR100915084B1 (ko) | 2007-11-27 | 2009-09-02 | 에스케이 텔레콤주식회사 | 가상공간에서의 캐릭터 이동 전환 방법 및 시스템 |
| KR20130105142A (ko) * | 2012-03-16 | 2013-09-25 | 삼성중공업 주식회사 | 도장전처리 사전검사 시스템 |
| KR20140061951A (ko) | 2012-11-12 | 2014-05-22 | 삼성전자주식회사 | 3d 캐릭터 제공 방법 및 장치 |
| KR101576538B1 (ko) * | 2015-05-12 | 2015-12-21 | 주식회사 아이아라 | 평면 도안 입체화 구현 장치 |
| KR101794731B1 (ko) * | 2016-11-10 | 2017-11-08 | 한국과학기술연구원 | 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치 |
-
2020
- 2020-04-08 KR KR1020200042685A patent/KR102343562B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100301962B1 (ko) | 1999-05-24 | 2001-09-26 | 박권상 | 실시간 가상캐릭터 시스템 |
| KR20020049384A (ko) | 2000-12-19 | 2002-06-26 | 이형민 | 캐릭터 애니메이션 생성 시스템 및 이를 이용한 캐릭터애니메이션 생성 방법 |
| KR20020086306A (ko) | 2002-05-23 | 2002-11-18 | (주)포도그래픽스 | 무선 통신 기기에서의 실사형 애니메이션캐릭터생성시스템 및 그 방법 |
| KR100915084B1 (ko) | 2007-11-27 | 2009-09-02 | 에스케이 텔레콤주식회사 | 가상공간에서의 캐릭터 이동 전환 방법 및 시스템 |
| KR20130105142A (ko) * | 2012-03-16 | 2013-09-25 | 삼성중공업 주식회사 | 도장전처리 사전검사 시스템 |
| KR20140061951A (ko) | 2012-11-12 | 2014-05-22 | 삼성전자주식회사 | 3d 캐릭터 제공 방법 및 장치 |
| KR101576538B1 (ko) * | 2015-05-12 | 2015-12-21 | 주식회사 아이아라 | 평면 도안 입체화 구현 장치 |
| KR101794731B1 (ko) * | 2016-11-10 | 2017-11-08 | 한국과학기술연구원 | 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102343562B1 (ko) | 2021-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4194025B2 (ja) | 照明不変の客体追跡方法及びこれを用いた映像編集装置 | |
| KR100886407B1 (ko) | 정보 처리 장치 및 그 제어방법 | |
| KR100415266B1 (ko) | 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체 | |
| Lindeberg | Scale selection | |
| CN104537705B (zh) | 基于增强现实的移动平台三维生物分子展示系统和方法 | |
| CN113902657A (zh) | 图像拼接方法、装置和电子设备 | |
| WO2024001095A1 (zh) | 面部表情识别方法、终端设备及存储介质 | |
| KR20130120175A (ko) | 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN110458924A (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| JP2003178303A (ja) | 物体認識装置 | |
| Recky et al. | Façade segmentation in a multi-view scenario | |
| Tan | Specularity, specular reflectance | |
| WO2018151043A1 (ja) | 画像処理方法、及びコンピュータプログラム | |
| JP2005071344A (ja) | 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体 | |
| KR20200052812A (ko) | 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법 | |
| KR102343562B1 (ko) | 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법 | |
| CN112132750A (zh) | 一种视频处理方法与装置 | |
| US20230222736A1 (en) | Methods and systems for interacting with 3d ar objects from a scene | |
| Faraji et al. | Simplified active calibration | |
| CN114511877A (zh) | 一种行为识别方法、装置、存储介质及终端 | |
| CN115187497A (zh) | 吸烟检测方法、系统、设备及介质 | |
| Shotton et al. | Semantic image segmentation: Traditional approach | |
| Kanatani | Singular Value Decomposition | |
| CN113674293B (zh) | 图片处理方法、装置、电子设备和计算机可读介质 | |
| KR102316042B1 (ko) | 3d 모형의 마커를 다중으로 인식하는 증강현실 콘텐츠 제공 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200408 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210531 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20211220 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20211222 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20211222 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20250106 Start annual number: 4 End annual number: 4 |