KR100952382B1 - 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법 - Google Patents

사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법 Download PDF

Info

Publication number
KR100952382B1
KR100952382B1 KR1020090069586A KR20090069586A KR100952382B1 KR 100952382 B1 KR100952382 B1 KR 100952382B1 KR 1020090069586 A KR1020090069586 A KR 1020090069586A KR 20090069586 A KR20090069586 A KR 20090069586A KR 100952382 B1 KR100952382 B1 KR 100952382B1
Authority
KR
South Korea
Prior art keywords
animation
degree
value
rotation
user
Prior art date
Application number
KR1020090069586A
Other languages
English (en)
Other versions
KR20090115696A (ko
Inventor
김계영
최형일
김지인
박영재
Original Assignee
숭실대학교산학협력단
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단, 건국대학교 산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020090069586A priority Critical patent/KR100952382B1/ko
Publication of KR20090115696A publication Critical patent/KR20090115696A/ko
Application granted granted Critical
Publication of KR100952382B1 publication Critical patent/KR100952382B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법에 관한 것으로, 인간의 표준 객체를 이용하여 3차원 객체를 기생성한 다음에, 이동통신 단말기로부터 입력되어 만들어진 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 해당 애니메이션에서 추출한 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 이용하여 수행된 3차원 모델링을 이동 및 회전시켜 자동 정합시킴으로써, 현재 IPTV기반의 시스템으로 구성하고 있으며 각종 UCC나 애니메이션 뿐만 아니라 영화, 드라마 등의 영상을 이용할 수 있다. 또한, 본 발명은 IPTV를 기반으로 하여 서비스영역이 다르고 사용자 맞춤형 3D 모델을 생성하여 이를 애니메이션에 정합함으로써 정교한 결과를 얻을 수 있다.
Figure R1020090069586
애니메이션, 생성, 정합, 맞춤

Description

사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법{ANIMATION AUTOMATIC GENERATING APPARATUS OF USER-BASED AND ITS METHOD}
본 발명은 IPTV(Internet Protocol TV)기반의 시스템에서 인간의 표준 객체로 3차원 객체를 기생성하고, 이동통신 단말기로부터 입력되어 만들어진 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 해당 애니메이션에서 추출한 얼굴의 회전 정도를 이용하여 수행된 3차원 모델링에 자동 정합시킬 수 있는 장치 및 그 방법에 관한 것이다.
주지된 바와 같이 애니메이션 주인공에 사용자 얼굴을 정합시킬 경우 장면변화검출을 수행하여야 하며, 이 장면변화검출은 히스토그램 기반의 검출과 블록 기반의 검출로 나누어져 이미 많은 논문들에서 제안되어 있다.
즉, 히스토그램 기반의 검출은 영상 전체의 명암값을 이용하여 히스토그램을 작성한 후 그 히스토그램을 비교하여 장면 변화를 검출하는 것이고, 블록 기반의 검출은 한 프레임을 여러 블록으로 분할한 후 분할된 블록끼리 비교하여 장면 변화를 검출하는 것이다.
다시 말하여, 애니메이션 주인공에 사용자 얼굴을 정합시킨다는 것은 사용자 얼굴 사진을 애니메이션 주인공의 얼굴에 정합시킨다는 기본적인 방법과 동일하다. 애니메이션 주인공은 2차원 기반의 영상이고 사용자 얼굴 사진 또한 2차원 영상으로, 애니메이션 주인공에 사용자 얼굴 사진을 그대로 정합시키면 되는 것이다.
그러나, 상기한 바와 같이 동작되는 종래 기술에서 애니메이션 주인공의 영상은 2차원일 지라도 인간의 감각은 3차원으로 받아들이고 있다. 예컨대, 앞에 있는 사람의 얼굴이 더 크고 뒤에 있는 사람의 얼굴이 더 작다는 점, 같은 도로라고 할지라도 가까이 있는 쪽이 멀리 있는 쪽 보다 폭이 넓다는 점 등 원근법을 사용하고 이러한 기법들을 통해서 착시 현상을 일으키게 되어 애니메이션 주인공에 사용자 얼굴 사진을 그대로 정합시키면 단순 정면 정합으로 정교하지 못한 결과를 얻게되는 문제점이 있다.
이에, 본 발명의 기술적 과제는 상술한 바와 같은 문제점을 해결하기 위해 안출한 것으로, 인간의 표준 객체를 이용하여 3차원 객체를 기생성한 다음에, 이동통신 단말기로부터 입력되어 만들어진 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 해당 애니메이션에서 추출한 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 이용하여 수행된 3차원 모델링을 이동 및 회전시켜 자동 정합시킬 수 있는 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법을 제공한다.
본 발명의 일관점에 따른 사용자 맞춤형 애니메이션 자동 생성장치는, 콘텐츠에 대해 색상모델변환을 수행하여 색상(H)값을 추출하는 전처리부와, 색상값을 이용하여 콘텐츠의 프레임간을 차연산하여 채도(S)를 생성하고, 채도를 기준으로 픽셀을 더하여 S(채도)H(색상)의 값을 생성하는 차연산부와, SH의 값이 기설정된 SH의 값 이상일 경우, 분류된 장면전환 후보군의 히스토그램을 작성하여 프레임 영역별로 색상값의 누적합을 계산하는 히스토그램 작성부와, 누적합에 기설정된 영역별 설정 가중치를 적용하는 가중치 적용부와, 영역별 설정 가중치가 적용된 누적합이 장면전환 설정 임계값 이상일 경우, 장면 전환으로 콘텐츠의 얼굴정보 영역을 찾는 얼굴정보 서치부와, 얼굴정보 영역에 의거하여 얼굴의 회전 정도를 추출하는 회전정보 추출부와, 인간의 표준 객체를 이용하여 3차원 객체를 기생성하고, 다수의 캡쳐 영상으로 만든 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 얼굴의 회전 정도를 3차원 모델링에 정합하는 정합부를 포함한다.
본 발명의 다른 관점에 따른 사용자 맞춤형 애니메이션 자동 생성방법은, 인간의 표준 객체를 이용하여 3차원 객체를 기생성하는 단계와, 콘텐츠에 대해 색상모델변환을 수행하여 색상(H)값을 추출하고, 색상값을 이용하여 콘텐츠의 프레임간을 차연산하여 채도(S)를 생성하는 단계와, 채도를 기준으로 픽셀을 더하여 SH의 값을 생성하고, 생성된 SH의 값이 기설정된 SH의 값 이상일 경우, 분류된 장면전환 후보군의 히스토그램을 작성하여 프레임 영역별로 색상값의 누적합을 계산하는 단계와, 누적합에 기설정된 영역별 설정 가중치를 적용하고, 영역별 설정 가중치가 적용된 누적합이 장면전환 설정 임계값 이상일 경우, 장면 전환으로 콘텐츠의 얼굴정보 영역을 찾고, 얼굴정보 영역에 의거하여 얼굴의 회전 정도를 추출하는 단계와, 다수의 캡쳐 영상으로 만든 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 얼굴의 회전 정도를 3차원 모델링에 정합하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 인간의 표준 객체를 이용하여 3차원 객체를 기생성한 다음에, 이동통신 단말기로부터 입력되어 만들어진 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 해당 애니메이션에서 추출한 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 이용하여 수행된 3차원 모델링을 이동 및 회전시켜 자동 정합시킴으로써, 현재 IPTV기반의 시스템으로 구성하고 있으며 각종 UCC나 애니메이션 뿐만 아니라 영화, 드라마 등의 영상을 이용할 수 있다.
또한, 본 발명은 IPTV를 기반으로 하여 서비스영역이 다르고 사용자 맞춤형 3D 모델을 생성하여 이를 애니메이션에 정합함으로써 정교한 결과를 얻을 수 있는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기 에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 애니메이션을 자동으로 생성하기 위한 전체 시스템도로서, 이동통신 단말기(10)와 콘텐츠 서버(20)와 사용자 맞춤형 애니메이션 자동 생성장치(30)와 출력부(40)를 포함한다. 여기서, 유/무선 통신망(S1)은 이동통신 단말기(10)와 사용자 맞춤형 애니메이션 자동 생성장치(30)간에 원활하게 통신할 수 있도록 하며, 콘텐츠 서버(20)와 사용자 맞춤형 애니메이션 자동 생성장치(30)간에도 통신할 수 있도록 한다.
이동통신 단말기(10)는 사진 캡쳐 및 통신이 가능한 PDA(Personal Digital Assistants) 혹은 휴대폰 등의 단말기로서, 여러 방향에서 촬영한 다수의 캡쳐 영상(예컨대, 사용자 얼굴 사진)을 유/무선 통신망(S1)을 통하거나, 혹은 USB를 통해 사용자 맞춤형 애니메이션 자동 생성장치(30)에 전송한다.
콘텐츠 서버(20)는 사용자 맞춤형 애니메이션 자동 생성장치(30)로부터 유/무선 통신망(S1)을 통해 입력되는 콘텐츠(예컨대, 해당 애니메이션) 요청에 따라 다수의 애니메이션을 검색하여 요청된 해당 애니메이션을 찾아 유/무선 통신망(S1) 을 통해 사용자 맞춤형 애니메이션 자동 생성장치(30)에 제공한다.
사용자 맞춤형 애니메이션 자동 생성장치(30)는 도 2에 도시된 바와 같이 전처리부(31)와 차연산부(32)와 장면전환 후보 판별부(33)와 히스토그램 작성부(34)와 가중치 적용부(35)와 장면전환 판별부(36)와 얼굴정보 서치부(37)와 회전정보 추출부(38)와 정합부(39)를 포함한다.
전처리부(31)는 콘텐츠 서버(20)로부터 유/무선 통신망(S1)을 통해 다운로드되는 해당 애니메이션의 전처리 과정으로 수학식 1 및 수학식 2
Figure 112009046641217-pat00001
Figure 112009046641217-pat00002
을 통해 RGB(적색(Red), 녹색(Green), 청색(Blue), 이하 RGB라 함)모델을 HSI(색상(Hue), 채도(Saturation), 명도(Intensity), 이하 HSI라 함)모델로 변환하는 색상모델변환 과정을 수행하여 색상(H)값을 추출하여 차연산부(32)에 제공한다.
차연산부(32)는 전처리부(31)에 의해 추출되어 입력된 색상(H)값을 이용하여 프레임간에 수학식 3 및 수학식 4
Figure 112009046641217-pat00003
Figure 112009046641217-pat00004
(여기서, H1은 원 영상이며 H2는 다음영상을 색상값으로 변환한 영상을 의미하고, Sub영상은 두 영상(H1과 H2)의 색상값의 차로 만들어진 영상이 되는데 색상값이 HSI모델의 H값이기 때문에 0° ∼ 360°로 나타내어진다.)
를 통해 차연산을 수행한다.
또한, 차연산부(32)는 차연산에 의해 큰 값이 나온 것을 보정하기 위해서 수학식 3을 이용하여 값을 보정하여 채도(S)를 생성하고, 이 생성된 채도(S)의 결과를 바탕으로 수학식 5
Figure 112009046641217-pat00005
를 통해 모든 픽셀을 더하여 SH의 값을 생성하여 장면전환 후보 판별부(33) 에 제공한다.
장면전환 후보 판별부(33)는 차연산부(32)로부터 입력되는 SH의 값이 설정 SH의 값 이상일 경우, 장면전환 후보군으로 분류하여 히스토그램 작성부(34)에 제공한다.
히스토그램 작성부(34)는 장면전환 후보 판별부(33)로부터 입력되는 장면전환 후보군에 도 4에 도시된 프레임을 9등분하여 히스토그램을 작성한 예시도에서와 같이 작성하고, 작성된 히스토그램의 화살표 길이를 통해 각 프레임 영역별로 H값의 누적합을 계산하여 가중치 적용부(35)에 제공한다.
가중치 적용부(35)는 도 5에 도시된 각 프레임 영역별 가중치 도면에서와 같이 각 프레임 영역별 설정 가중치를 설정한 상태에서, 히스토그램 작성부(34)로부터 입력되는 각 프레임 영역별로 H값의 누적합 간의 차이값과 이 설정된 영역별 설정 가중치간을 곱하여 장면전환 판별부(36)에 제공한다.
장면전환 판별부(36)는 가중치 적용부(35)로부터 입력된 곱한 값이 장면전환 설정 임계값 이상이면 장면이 전환된 것으로, 장면이 전환되었다는 결과를 얼굴정보 서치부(37)에 제공한다. 또한, 장면전환 판별부(36)는 가중치 적용부(35)로부터 입력된 곱한 값이 장면전환 설정 임계값 이상이 아니면 장면전환이 없는 것으로 판별한다.
얼굴정보 서치부(37)는 장면전환 판별부(36)로부터 입력되는 장면이 전환되었다는 결과에 따라 얼굴정보 영역을 찾아야 하는데 먼저 얼굴정보 영역은 머리 위쪽 끝부터 턱 아래쪽 끝까지 그리고 왼쪽부터 오른쪽까지의 영역을 포함하는 최소 포함사각형(Minimum Enclosing Ractangle)을 그리게 되며, 이때 무게 중심을 기준으로 가로 세로로 서로 직교하는 직선을 그리게 되며, 이것이 애니메이션 케릭터의 얼굴정보 정면을 바라보았을 때의 기준영역을 찾아 회전정보 추출부(38)에 제공한다.
회전정보 추출부(38)는 얼굴정보 서치부(37)로부터 입력되는 애니메이션 케릭터의 얼굴정보 기준영역을 바탕으로 눈과 눈을 잇는 선분을 그리고, 그 선을 이분하며 동시에 직교하는 선을 그어 만들어진 두 개의 십자가를 기준으로 얼굴의 회전 정도인 기울어진 정도(s)와 좌우회전 정도(p)와 상하회전 정도(t)를 수학식 6
Figure 112009046641217-pat00006
(여기서 m은 수학적 기울기 값으로 m=1일 경우 s는 45°가 된다.)
을 통해 추출하여 정합부(39)에 제공한다.
정합부(39)는 인간의 표준 객체를 이용하여 3차원 객체를 기생성하여 내부 저장부(도시하지 않음)에 저장한 다음에, 이동통신 단말기(10)로부터 입력되는 다수의 캡쳐 영상으로 만든 텍스쳐를 저장부에서 읽어온 기생성된 3차원 객체에 투영하게 되면 도 10에 도시된 3차원 객체 모델에 텍스쳐를 정합시킨 결과도에서와 같이 3차원 모델링을 수행한 후, 회전정보 추출부(38)로부터 입력되는 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 수학식 7에 적용하고, 이 적용된 수학식 7을 이용하여 수행된 3차원 모델링을 이동 및 회전시켜 도 11a,b,c,d에 도시된 회전 정보 추출 및 결과도에서와 같이 작업을 완료하여 출력부(40)를 통해 출력한다.
Figure 112009046641217-pat00007
(여기서, s, p, t는 수학식 6에 의해 계산된 정도값이고, k는 모델의 중심으로부터 최초의 시점까지의 거리이며, 각각 S는 기울기, P는 좌우회전, T는 상하회전을 나타내며, 수학식 7은 얼굴이 정 타원형체라는 가정 하에 유도된 식이다.)
따라서, 본 발명에서는 IPTV기반의 시스템에서 인간의 표준 객체로 3차원 객체를 기생성하고, 이동통신 단말기로부터 입력되어 만들어진 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 해당 애니메이션에서 추출한 얼굴의 회전 정도를 이용하여 수행된 3차원 모델링에 자동 정합시킴으로써, 현재 IPTV기반의 시스템으로 구성하고 있으며 각종 UCC나 애니메이션 뿐만 아니라 영화, 드라마 등의 영상을 이용할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 본 실시 예에서 사용자 맞춤형 애니메이션을 자동으로 생성하기 위한 과정에 대하여 설명한다.
도 12는 본 발명의 일 실시예에 따른 사용자 맞춤형 애니메이션 자동 생성 방법을 순차적으로 도시한 흐름도이다.
먼저, 사용자 맞춤형 애니메이션 자동 생성장치(30)내 전처리부(31)는 콘텐츠 서버(20)에 해당 애니메이션을 요청하고, 이 요청에 따라 콘텐츠 서버(20)로부터 유/무선 통신망(S1)을 통해 다운로드(S1201)되는 해당 애니메이션의 전처리 과정으로 수학식 1 및 수학식 2를 통해 RGB모델을 HSI모델로 변환하는 색상모델변환 과정(S1203)을 수행하여 색상(H)값을 추출(S1205)하여 차연산부(32)에 제공한다.
차연산부(32)는 전처리부(31)에 의해 추출되어 입력된 색상(H)값을 이용하여 프레임간에 수학식 3 및 수학식 4를 통해 차연산을 수행(S1207)한다. 예컨대, HSI모델의 H값이 1이라는 값과 360이라는 값은 거의 동일한 색상임에도 불구하고 차연산을 하게 되면 359라는 큰 값이 나온다.
또한, 차연산부(32)는 차연산에 의해 큰 값이 나온 것을 보정하기 위해서 수학식 3을 이용하여 값을 보정하여 채도(S)를 생성하고, 이 생성된 채도(S)의 결과를 바탕으로 수학식 5를 통해 모든 픽셀을 더하여 SH의 값을 생성(S1209)하여 장면전환 후보 판별부(33)에 제공한다.
장면전환 후보 판별부(33)는 차연산부(32)로부터 입력되는 SH의 값이 설정 SH의 값 이상인지를 판단(S1211)한다.
상기 판단(S1211)결과, SH의 값이 설정 SH의 값 이상일 경우, 장면전환 후보군으로 분류(S1213)하여 히스토그램 작성부(34)에 제공한다. 여기서, 장면전환 후보군은 각 프레임별 색상의 차가 클 경우, 도 3에 도시된 동일한 장면을 다른 장면으로 잘못 인식한 예시도에서와 같이, 즉 동일한 배경일지라도 캐릭터의 영역이 크고 한 프레임 사이에서 많은 이동이 이루어지는 것을 의미한다.
반면에, 상기 판단(S1211)결과, SH의 값이 설정 SH의 값 이상이 아닌 경우, 장면전환 후보군으로 분류하지 않는다(S1215).
히스토그램 작성부(34)는 장면전환 후보 판별부(33)로부터 입력되는 장면전환 후보군에 대한 히스토그램을 작성하고, 작성된 히스토그램의 화살표 길이를 통해 각 프레임 영역별로 H값의 누적합을 계산(S1217)하여 가중치 적용부(35)에 제공한다. 여기서, H값이 0° ∼ 360°로 만들어져 있는 것을 45°씩 8등분하여 히스토그램을 작성한다.
가중치 적용부(35)는 각 프레임 영역별 설정 가중치를 설정한 상태에서, 히스토그램 작성부(34)로부터 입력되는 각 프레임 영역별로 H값의 누적합 간의 차이값과 이 설정된 영역별 설정 가중치간을 곱하여 장면전환 판별부(36)에 제공(S1219)한다. 여기서, 각 프레임 영역별 설정 가중치는 애니메이션의 경우 주로 주인공이 중앙에 위치하고 배경은 외각에 위치하기 때문에 그 값을 영역별로 다르게 설정한다.
장면전환 판별부(36)는 가중치 적용부(35)로부터 입력된 곱한 값이 장면전환 설정 임계값 이상인지를 체크(S1221)한다.
상기 체크(S1221)결과, 임계값 이상이면 장면이 전환된 것으로, 장면이 전환되었다는 결과를 얼굴정보 서치부(37)에 제공(S1223)한다. 반면에 상기 체크(S1221)결과, 임계값 이상이 아니면 장면전환이 없는 것으로 판별(S1225)한다.
얼굴정보 서치부(37)는 장면전환 판별부(36)로부터 입력되는 장면이 전환되었다는 결과에 따라 얼굴정보 영역을 찾아야 하는데 먼저 얼굴정보 영역은 머리 위쪽 끝부터 턱 아래쪽 끝까지 그리고 왼쪽부터 오른쪽까지의 영역을 포함하는 최소포함사각형을 그리게 되며, 이때 무게 중심을 기준으로 가로 세로로 서로 직교하는 직선을 그리게 되며, 이것이 애니메이션 케릭터의 얼굴정보 정면을 바라보았을 때의 기준영역을 찾아 회전정보 추출부(38)에 제공(S1227)한다.
회전정보 추출부(38)는 얼굴정보 서치부(37)로부터 입력되는 애니메이션 케릭터의 얼굴정보 기준영역을 바탕으로 눈과 눈을 잇는 선분을 그리고, 그 선을 이분하며 동시에 직교하는 선을 그어 만들어진 두 개의 십자가를 기준으로 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 수학식 6을 통해 추출(S1229)하여 정합부(39)에 제공한다.
여기서, 얼굴의 회전 정도를 측정할 때의 제약조건은 정 타원형체의 얼굴이고, 눈이 중앙에 위치해 있어야 한다. 즉 일 예로 도 6에 도시된 얼굴의 중심선(파란색), 눈을 기준으로 한 중심선(빨간색)의 도면에서와 같이 빨간색과 파란색 두 개의 십자가가 있는데 파란색 십자가가 기준이 되고, 빨간색 십자가의 중심이 좌우로 이동한 정도로 얼굴의 좌우회전 정도를 측정하게 되며, 상하로 이동한 정도를 이용하여 얼굴의 상하회전 정도를 측정하게 되며, 얼굴의 기울어진 정도는 세로축이 기울어져 있는 정도로 판단하게 된다.
그리고, 도 7의 얼굴의 기울기 및 상하좌우 회전 정도의 측정을 위한 도면을 참조하면, pd는 타원체의 가로축 반지름이 되고, ps는 중심에서부터 x축으로 이동한 거리이므로 피타고라스의 정의를 이용하여 p를 구하게 된다. 역시 td는 타원체의 세로축 반지름이 되고, ts는 중심에서부터 y축으로 이동한 거리이므로 피타고라스의 정의를 이용하여 t를 구하게 된다. 마지막으로 m은 빨간색 십자가의 y 절편을 0으로 이동 하였을때의 기울기를 직선의 방정식으로 나타냈을 때의 기울기이며, 이 기울기 m에 arctan을 적용하여 각도로 변환하여 s를 구하게 된다.
정합부(39)는 인간의 표준 객체를 이용하여 3차원 객체를 기생성하여 내부 저장부(도시하지 않음)에 저장한 다음에, 이동통신 단말기(10)로부터 입력되는 다수의 캡쳐 영상으로 만든 텍스쳐(예컨대, 도 8에 도시된 얼굴영상을 평면으로 정합한 결과도에서와 같이 여러 방향에서 찍어 이어 붙이는 방식으로 정합하고, 다시 도 9에 도시된 원통을 넓게 펴서 투영하는 예시도에서와 같이 원통형에 투영하기 위하여 제작함)를 저장부에서 읽어온 기생성된 3차원 객체에 투영하게 되면 3차원 모델링을 수행(S1231)한 후, 회전정보 추출부(38)로부터 입력되는 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 수학식 7에 적용하고, 이 적용된 수학식 7을 이용하여 수행된 3차원 모델링을 이동 및 회전시켜 작업(S1233)을 완료하여 출력부(40)를 통해 출력(S1235)한다.
따라서, 본 발명은 인간의 표준 객체를 이용하여 3차원 객체를 기생성한 다 음에, 이동통신 단말기로부터 입력되어 만들어진 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 해당 애니메이션에서 추출한 얼굴의 회전 정도인 기울어진 정도와 좌우회전 정도와 상하회전 정도를 이용하여 수행된 3차원 모델링을 이동 및 회전시켜 자동 정합시킴으로써, IPTV를 기반으로 하여 서비스영역이 다르고 사용자 맞춤형 3D 모델을 생성하여 이를 애니메이션에 정합함으로써 정교한 결과를 얻을 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 애니메이션을 자동으로 생성하기 위한 전체 시스템도,
도 2는 도 1에 도시된 사용자 맞춤형 애니메이션 자동 생성장치에 대한 상세 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 동일한 장면을 다른 장면으로 잘못 인식한 예시도,
도 4는 본 발명의 일 실시예에 따른 프레임을 9등분하여 히스토그램을 작성한 예시도,
도 5는 본 발명의 일 실시예에 따른 각 프레임 영역별 가중치 도면,
도 6은 본 발명의 일 실시예에 따른 애니메이션 얼굴의 중심선(파란색), 눈을 기준으로 한 중심선(빨간색)의 도면,
도 7은 본 발명의 일 실시예에 따른 얼굴의 기울기 및 상하좌우 회전 정도의 측정을 위한 도면,
도 8은 본 발명의 일 실시예에 따른 얼굴영상을 평면으로 정합한 결과도,
도 9는 본 발명의 일 실시예에 따른 원통을 넓게 펴서 투영하는 예시도,
도 10은 본 발명의 일 실시예에 따른 3차원 객체 모델에 텍스쳐를 정합시킨 결과도,
도 11a,b,c,d는 본 발명의 일 실시예에 따른 회전 정보 추출 및 결과도,
도 12는 본 발명의 일 실시예에 따른 사용자 맞춤형 애니메이션 자동 생성 방법을 순차적으로 도시한 흐름도.
<도면의 주요부분에 대한 부호의 설명>
10 : 이동통신 단말기 20 : 콘텐츠 서버
30 : 사용자 맞춤형 애니메이션 자동 생성장치
31 : 전처리부 32 : 차연산부
33 : 장면전환 후보 판별부 34 : 히스토그램 작성부
35 : 가중치 적용부 36 : 장면전환 판별부
37 : 얼굴정보 서치부 38 : 회전정보 추출부
39 : 정합부 40 : 출력부

Claims (13)

  1. 콘텐츠에 대해 색상모델변환을 수행하여 색상(H)값을 추출하는 전처리부와,
    상기 색상값을 이용하여 상기 콘텐츠의 프레임간을 차연산하여 채도(S)를 생성하고, 상기 채도를 기준으로 픽셀을 더하여 S(채도)H(색상)의 값을 생성하는 차연산부와,
    상기 SH의 값이 기설정된 SH의 값 이상일 경우, 분류된 장면전환 후보군의 히스토그램을 작성하여 프레임 영역별로 색상값의 누적합을 계산하는 히스토그램 작성부와,
    상기 누적합에 기설정된 영역별 설정 가중치를 적용하는 가중치 적용부와,
    상기 영역별 설정 가중치가 적용된 상기 누적합이 장면전환 설정 임계값 이상일 경우, 장면 전환으로 상기 콘텐츠의 얼굴정보 영역을 찾는 얼굴정보 서치부와,
    상기 얼굴정보 영역에 의거하여 얼굴의 회전 정도를 추출하는 회전정보 추출부와,
    인간의 표준 객체를 이용하여 3차원 객체를 기생성하고, 다수의 캡쳐 영상으로 만든 텍스쳐를 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 상기 얼굴의 회전 정도를 상기 3차원 모델링에 정합하는 정합부
    를 포함하는 사용자 맞춤형 애니메이션 자동 생성장치.
  2. 제 1 항에 있어서,
    상기 사용자 맞춤형 애니메이션 자동 생성장치는,
    상기 콘텐츠를 유/무선 통신망을 통해 콘텐츠 서버로 요청하고, 상기 요청에 대한 응답으로 상기 콘텐츠 서버로부터 상기 콘텐츠를 다운로드 받는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  3. 제 2 항에 있어서,
    상기 콘텐츠는, 애니메이션인 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  4. 제 1 항에 있어서,
    상기 사용자 맞춤형 애니메이션 자동 생성장치는,
    상기 다수의 캡쳐 영상을 이동통신 단말기로부터 유/무선 통신망을 통해 수신하거나 혹은 USB를 통해 입력받는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  5. 제 1 항에 있어서,
    상기 색상모델변환은,
    수학식 1
    Figure 112009046641217-pat00008
    수학식 2
    Figure 112009046641217-pat00009
    (여기서, R은 적색(Red), G는 녹색(Green), B는 청색(Blue)이고, H는 색상(Hue)이다.)
    를 통해 RGB모델을 HSI모델로 변환하는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  6. 제 1 항에 있어서,
    상기 차연산은,
    수학식 3
    Figure 112009046641217-pat00010
    수학식 4
    Figure 112009046641217-pat00011
    (여기서, H1은 원 영상이며 H2는 다음영상을 색상값으로 변환한 영상을 의미하고, Sub영상은 두 영상(H1과 H2)의 색상값의 차로 만들어진 영상임.)
    를 통해 수행되는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  7. 제 1 항에 있어서,
    상기 차연산부에 의해 생성된 상기 SH의 값은,
    수학식 5
    Figure 112009046641217-pat00012
    (여기서, S는 채도이고, H는 색상이다.)
    를 통해 모든 픽셀이 가산되는 것을 특징으로 하는 사용자 맞춤형 애니메이 션 자동 생성장치.
  8. 제 1 항에 있어서,
    상기 얼굴의 회전 정도는, 상기 얼굴정보 영역의 기준 영역에 각각 대응하는기울어짐 정도(s)와 좌우회전 정도(p)와 상하회전 정도(t)로서,
    수학식 6
    Figure 112009078398367-pat00013
    (여기서 m은 수학적 기울기 값으로 m=1일 경우 s는 45°가 된다.)
    에 의해 추출되는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  9. 제 1 항에 있어서,
    상기 얼굴의 회전 정도를 상기 3차원 모델링에 정합하는 것은,
    수학식 7
    Figure 112009078398367-pat00014
    (여기서, s는 상기 얼굴정보 영역의 기준 영역에 대응하는 기울어진 정도이고, p는 상기 기준 영역에 대응하는 좌우회전 정도이며, t는 상기 기준 영역에 대응하는 상하회전 정도이며, k는 모델의 중심으로부터 최초의 시점까지의 거리이며, S는 기울기, P는 좌우회전, T는 상하회전을 나타낸다.)
    을 통해 이동 및 회전시켜 완료하는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성장치.
  10. 인간의 표준 객체를 이용하여 3차원 객체를 기생성하는 단계와,
    콘텐츠에 대해 색상모델변환을 수행하여 색상(H)값을 추출하고, 상기 색상값을 이용하여 상기 콘텐츠의 프레임간을 차연산하여 채도(S)를 생성하는 단계와,
    상기 채도를 기준으로 픽셀을 더하여 SH의 값을 생성하고, 상기 생성된 SH의 값이 기설정된 SH의 값 이상일 경우, 분류된 장면전환 후보군의 히스토그램을 작성하여 프레임 영역별로 색상값의 누적합을 계산하는 단계와,
    상기 누적합에 기설정된 영역별 설정 가중치를 적용하고, 상기 영역별 설정 가중치가 적용된 상기 누적합이 장면전환 설정 임계값 이상일 경우, 장면 전환으로 상기 콘텐츠의 얼굴정보 영역을 찾고, 상기 얼굴정보 영역에 의거하여 얼굴의 회전 정도를 추출하는 단계와,
    다수의 캡쳐 영상으로 만든 텍스쳐를 상기 기생성된 3차원 객체에 투영하여 3차원 모델링을 수행한 후, 상기 얼굴의 회전 정도를 상기 3차원 모델링에 정합하는 단계
    를 포함하는 사용자 맞춤형 애니메이션 자동 생성방법.
  11. 제 10 항에 있어서,
    상기 콘텐츠는, 유/무선 통신망을 통해 콘텐츠 서버로부터 다운로드 받는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성방법.
  12. 제 11 항에 있어서,
    상기 콘텐츠는, 애니메이션인 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성방법.
  13. 제 10 항에 있어서,
    상기 다수의 캡쳐 영상은, 이동통신 단말기로부터 유/무선 통신망을 통해 수신하거나 혹은 USB를 통해 입력받는 것을 특징으로 하는 사용자 맞춤형 애니메이션 자동 생성방법.
KR1020090069586A 2009-07-29 2009-07-29 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법 KR100952382B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090069586A KR100952382B1 (ko) 2009-07-29 2009-07-29 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090069586A KR100952382B1 (ko) 2009-07-29 2009-07-29 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080041304 Division 2008-05-02

Publications (2)

Publication Number Publication Date
KR20090115696A KR20090115696A (ko) 2009-11-05
KR100952382B1 true KR100952382B1 (ko) 2010-04-14

Family

ID=41556809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090069586A KR100952382B1 (ko) 2009-07-29 2009-07-29 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100952382B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760780B2 (en) 2014-10-17 2017-09-12 Kt Corporation Thumbnail management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084670A (ko) * 2000-02-28 2001-09-06 윤종용 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
KR20020015642A (ko) * 2000-08-22 2002-02-28 이성환 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
JP2002342789A (ja) * 2001-05-17 2002-11-29 Sharp Corp ３次元キャラクタ画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084670A (ko) * 2000-02-28 2001-09-06 윤종용 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
KR20020015642A (ko) * 2000-08-22 2002-02-28 이성환 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
JP2002342789A (ja) * 2001-05-17 2002-11-29 Sharp Corp ３次元キャラクタ画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760780B2 (en) 2014-10-17 2017-09-12 Kt Corporation Thumbnail management
US10115022B2 (en) 2014-10-17 2018-10-30 Kt Corporation Thumbnail management

Also Published As

Publication number Publication date
KR20090115696A (ko) 2009-11-05

Similar Documents

Publication Publication Date Title
US20200257266A1 (en) Generating of 3d-printed custom wearables
US11037281B2 (en) Image fusion method and device, storage medium and terminal
KR102687339B1 (ko) Icp 기술에 기초하는 이미지 프로세싱 방법
US9710912B2 (en) Method and apparatus for obtaining 3D face model using portable camera
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
KR101792501B1 (ko) 특징기반의 스테레오 매칭 방법 및 장치
US8615108B1 (en) Systems and methods for initializing motion tracking of human hands
CN106682632B (zh) 用于处理人脸图像的方法和装置
JP2019530062A (ja) メディアドキュメントのメタデータを自動的に生成するシステム及び方法
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
TW201222288A (en) Image retrieving system and method and computer program product thereof
JP2002216129A (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
CN113474816A (zh) 弹性动态投影映射系统和方法
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
JPWO2008041518A1 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
CN114463663A (zh) 一种人员身高的计算方法、装置、电子设备及存储介质
KR100952382B1 (ko) 사용자 맞춤형 애니메이션 자동 생성장치 및 그 방법
JP2005092451A (ja) 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
KR102187926B1 (ko) 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체
CN110177216A (zh) 图像处理方法、装置、移动终端以及存储介质
CN117218398A (zh) 一种数据处理的方法以及相关装置
WO2023024096A1 (zh) 图像处理方法、图像处理装置、拍摄设备和可读存储介质
JP7326965B2 (ja) 画像処理装置、画像処理プログラム、及び画像処理方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee