KR101165300B1 - 패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 - Google Patents
패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 Download PDFInfo
- Publication number
- KR101165300B1 KR101165300B1 KR1020090030416A KR20090030416A KR101165300B1 KR 101165300 B1 KR101165300 B1 KR 101165300B1 KR 1020090030416 A KR1020090030416 A KR 1020090030416A KR 20090030416 A KR20090030416 A KR 20090030416A KR 101165300 B1 KR101165300 B1 KR 101165300B1
- Authority
- KR
- South Korea
- Prior art keywords
- ucc
- voice
- information
- user
- pattern
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 116
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 57
- 238000004519 manufacturing process Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 229920001690 polydopamine Polymers 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/60—Business processes related to postal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 메일 또는 인터넷 게시물에 적용한 UCC메일 또는 UCC게시물작성이 가능하도록 하는 패턴 애니메이션을 기반으로 하는 UCC서비스 시스템에 관한 것이다.
본 발명에서는 얼굴의 움직임을 검출하여 패턴 정형화한 데이터를 이용하여 애니메이션 또는 실사 영상내의 얼굴 이미지의 움직임을 자동제어하고, 또한 사용자의 음성을 동기화시켜 사용자가 원하는 형태의 패턴움직임을 갖는 이미지를 제작할 수 있도록 함으로써, 이미지에 자신의 목소리를 매칭(립싱크)시키거나, 원하는 목소리에 이미지를 매칭시킬 수 있도록 하여, 자신만의 특성있는 UCC제작이 가능하도록 하는 패턴애니메이션을 기반으로 하는 UCC서비스시스템을 제공하고자 한 것이다. 또한 실사 또는 애니메이션 이미지의 움직임을 자동제어하고, 음성을 동기화(립싱크)시킨 UCC를 적용하여 상대에게 메시지를 전달하도록 하는 UCC메일서비스 시스템을 제공하고자 한다.
UCC, 이미지제어, 립싱크, 패턴애니메이션, 클라우드 컴퓨팅
Description
본 발명은 동영상에 자신의 목소리를 매칭(립싱크)시키거나, 원하는 목소리에 동영상을 매칭시킬 수 있도록 하여, 자신만의 특성있는 UCC제작이 가능하도록 하며, 메일 또는 인터넷 게시물에 적용한 UCC메일 또는 UCC게시물작성이 가능하도록 하는 패턴 애니메이션을 기반으로 하는 UCC서비스 시스템에 관한 것이다.
UCC(User Created Contents)란 사용자가 직접 제작한 콘텐츠를 의미한다.
UCC는 인터넷을 통해 초기에는 단순히 텍스트형태의 글과 또한 사진 위주 였으나, 현재는 동영상을 중심으로 발전하고 있다.
대표적인 UCC 동영상 사이트로는 미국의 유튜브(YouTube)와 한국의 판도라TVㅇ곰TVㅇ아프리카ㅇ아우라ㅇ엠군 등이 있다.
콘텐츠란 유무선 전기 통신망에서 사용하기 위하여 문자, 부호, 음성, 이미지, 영상 등을 디지털 방식으로 제작해 처리ㅇ유통하는 각종 정보 또는 그 내용물을 통틀어 이르는 개념이라 할 수 있다.
정보 통신 기술이 빠르게 발전하게 되면서 콘텐츠는 본래 의미보다는 각종 유무선 통신망을 통해 제공되는 디지털 정보나 그러한 내용물을 총칭하는 용어로 널리 쓰이게 되었다.
다양한 형태의 콘텐츠가 인터넷상에서 제공되고 있으며, 사용자의 흥미를 유도하여 보다 많은 사용자들의 방문 및 이용을 유도할 수 있도록 하기 위하여 다양한 형태의 프로그램을 이용하여 서비스를 제공하고 있다.
특히 멀티미디어 기술을 바탕으로 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 등의 기술의 적용은 사용자들의 편의를 제공함은 물론 충분한 흥미를 유발할 수 있었다.
인터넷상에서 사이트내에 얼마나 많은 사용자의 방문과 이용이 그 사이트의 발전을 가늠하는 척도라고 볼 때, 이러한 멀티미디어 기술을 이용하여 새로운 형태의 서비스를 제공하는 것은 매우 중요하다 할 것이다.
특히 근래에 들어서 정적인 형태의 이미지보다는 동적인 동영상 서비스가 대세를 이루고, 또한 사용자 본인이 직접 자신이 제작한 동영상(UCC)를 등록하거나, 등록된 동영상을 이용하여 새로운 UCC를 재가공하는 추세이다.
본 발명에서는 얼굴의 움직임을 검출하여 패턴 정형화한 데이터를 이용하여 애니메이션 또는 실사 영상내의 얼굴 이미지의 움직임을 자동제어하고, 또한 사용자의 음성을 동기화시켜 사용자가 원하는 형태의 패턴움직임을 갖는 이미지를 제작할 수 있도록 하는 패턴애니메이션을 기반으로 하는 UCC서비스시스템을 제공하고자 한 것이다.
또한, 실사 또는 애니메이션 이미지의 움직임을 자동제어하고, 음성을 동기화(립싱크)시킨 UCC를 적용하여 상대에게 메시지를 전달하도록 하는 UCC메일서비스 시스템을 제공하고자 한 것이다.
본 발명 패턴애니메이션을 기반으로 하는 UCC서비스 시스템은,
UCC서비스시스템에 접속하여 패턴 애니메이션 UCC 서비스를 제공하기 위한 컴퓨터, PDA, 휴대전화 단말, IPTV 중 어느 하나의 단말에 UCC 서비스 시스템 접속 프로세스, 이미지 선택, 음성 입력 및 특징점 확인 등 패턴 애니메이션 제작을 위한 UCC 서비스 시스템으로부터 다운로드 받는 UCC 제작 프로그램이 설치된 클라이언트단말수단과, 유무선 네트워크를 통해 접속된 클라이언트단말수단에 패턴애니메이션을 기반으로 하는 UCC서비스를 제공하는 UCC 서비스 시스템으로 구성되며,
상기 UCC 서비스 시스템은,
상기 유무선 네트워크를 통해 접속되는 상기 클라이언트 단말수단의 사용자 접속관리 및 사용자가 신청한 패턴애니메이션 UCC서비스를 제공하기 위한 프로세스를 제공하는 UCC서버; 회원정보 및 사용자가 제작한 패턴애니메이션 UCC이 등록 저장되는 UCC데이터베이스; 사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스; 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보를 저장하는 패턴애니메이션 데이터베이스; 및 패턴애니메이션 UCC검색정보를 광고주에게 제공하며, 패턴애니메이션 UCC에 문신광고를 삽입하기 위한 프로세스를 제공하고, 광고주가 문신광고를 삽입한 광고 패턴애니메이션 UCC를 관리하는 광고관리부를 포함하여 구성되는 것을 특징으로 한다.
또한, UCC서비스 시스템은 유무선 네트워크를 통해 패턴 애니메이션 UCC 서비스를 제공하기 위한 컴퓨터, PDA, 휴대전화 단말, IPTV 중 어느 하나의 단말에 UCC 서비스 시스템 접속 프로세스, 이미지 선택, 음성 입력 및 특징점 확인 등 패턴 애니메이션 제작을 위한 UCC 제작 프로그램이 설치되고, UCC 서비스 시스템에 접속되는 클라이언트 단말수단의 사용자 접속관리 및 사용자가 선택한 이미지에 입력되는 사용자의 메시지에 따른 움직임정보를 추출하고, 그 추출된 움직임정보와 음성을 동기화시켜 패턴애니메이션 UCC를 제작하는 프로세스와, 사용자가 원하는 상대방에게 E-MAIL 또는 U-MAIL 작성 프로세스를 제공하는 패턴애니메이션 UCC E-MAIL 또는 U-MAIL 서버와,
사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스와, 사용자가 입력한 이메일내용에 따라 제공될 음성정보가 저장되는 음성 저장 데이터베이스와, 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장하는 패턴애니메이션 데이터베이스를 포함하여 구성되고, 패턴애니메이션UCC를 이용한 E-MAIL 또는 U-MAIL 전송이 가능하도록 한 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, UCC 서비스 방법은
이미지 선택 입력부(213a)에 의해 패턴이미지UCC에 사용될 사용자의 이미지 선택과정과, 선택된 이미지에 대하여 자동제어 조정될 사용자로 하여금 지정하도록 하는 사용자가 선택한 이미지에 특징점 정보가 포함되어 있는지 확인하고 해당 이미지에 특징점을 추출하는 특징점지정과정; 메시지 입력부(213b)를 통해 음성 또는 텍스트의 사용자 메시지 입력과정과, 움직임 정보 추출부(213c)에 의해 사용자가 입력한 메시지에 대하여 움직임정보를 추출하는 과정; 패턴애니메이션 제작부(213d)에 의해 사용자가 입력한 메시지가 텍스트인 경우 패턴애니메이션 데이타베이스(250)로부터 텍스트에 따른 음성 정보를 이용하여 음성 저장 데이타베이스(240)로부터 해당하는 음성 정보를 읽어들이고 텍스트 정보를 음성정보로 변환하는 음성정보 변환과정; 및 움직임 정보 추출부(213c)로부터 추출된 움직임정보에 음성정보를 동기화시키고, 추출된 움직임정보에 따라서 얼굴 특징점 좌표에 대한 얼굴움직임정보를 이용하여 사용자가 입력한 메시지에 따른 움직임정보를 생성하여 이미지의 움직임을 갖는 패턴애니메이션 UCC을 제작하는 패턴 애니메이션 UCC제작과정을 포함하여 이루어지는 것을 특징으로 한다.
또한, UCC서비스 시스템은 유무선 네트워크를 통해 패턴 애니메이션 UCC 서비스를 제공하기 위한 컴퓨터, PDA, 휴대전화 단말, IPTV 중 어느 하나의 단말에 UCC 서비스 시스템 접속 프로세스, 이미지 선택, 음성 입력 및 특징점 확인 등 패턴 애니메이션 제작을 위한 UCC 제작 프로그램이 설치되고, UCC 서비스 시스템에 접속되는 클라이언트 단말수단의 사용자 접속관리 및 사용자가 선택한 이미지에 입력되는 사용자의 메시지에 따른 움직임정보를 추출하고, 그 추출된 움직임정보와 음성을 동기화시켜 패턴애니메이션 UCC를 제작하는 프로세스와, 사용자가 원하는 상대방에게 E-MAIL 또는 U-MAIL 작성 프로세스를 제공하는 패턴애니메이션 UCC E-MAIL 또는 U-MAIL 서버와,
사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스와, 사용자가 입력한 이메일내용에 따라 제공될 음성정보가 저장되는 음성 저장 데이터베이스와, 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장하는 패턴애니메이션 데이터베이스를 포함하여 구성되고, 패턴애니메이션UCC를 이용한 E-MAIL 또는 U-MAIL 전송이 가능하도록 한 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, UCC 서비스 방법은
이미지 선택 입력부(213a)에 의해 패턴이미지UCC에 사용될 사용자의 이미지 선택과정과, 선택된 이미지에 대하여 자동제어 조정될 사용자로 하여금 지정하도록 하는 사용자가 선택한 이미지에 특징점 정보가 포함되어 있는지 확인하고 해당 이미지에 특징점을 추출하는 특징점지정과정; 메시지 입력부(213b)를 통해 음성 또는 텍스트의 사용자 메시지 입력과정과, 움직임 정보 추출부(213c)에 의해 사용자가 입력한 메시지에 대하여 움직임정보를 추출하는 과정; 패턴애니메이션 제작부(213d)에 의해 사용자가 입력한 메시지가 텍스트인 경우 패턴애니메이션 데이타베이스(250)로부터 텍스트에 따른 음성 정보를 이용하여 음성 저장 데이타베이스(240)로부터 해당하는 음성 정보를 읽어들이고 텍스트 정보를 음성정보로 변환하는 음성정보 변환과정; 및 움직임 정보 추출부(213c)로부터 추출된 움직임정보에 음성정보를 동기화시키고, 추출된 움직임정보에 따라서 얼굴 특징점 좌표에 대한 얼굴움직임정보를 이용하여 사용자가 입력한 메시지에 따른 움직임정보를 생성하여 이미지의 움직임을 갖는 패턴애니메이션 UCC을 제작하는 패턴 애니메이션 UCC제작과정을 포함하여 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 따르면, 기재된 문자내용에 따라 음성과 동기화된(립싱크) 동영상형태로 UCC를 제작하여 함께 게시물을 작성할 수 있어, 사용자에게 보다 다양한 형태의 콘텐츠를 제공할 수 있게 된다.
자신의 얼굴 또는 스타캐릭터, 스타사진 등을 이용하여 자신의 목소리에 립싱크 동작시키는 등 다채로운 콘텐츠 제작이 가능하며, 배우, 성우 스타의 음성 패턴 립싱크 또한 얼굴에 문신형태로 광고를 삽입할 수 있어, 사용자들에게 보다 더 흥미를 끌 수 있어, 광고효과를 증대시킬 수 있다.
한편, 사용자의 음성입력수단이 없는 경우 휴대전화 또는 인터넷전화사서함 또는 일반전화사서함을 이용하여 사용자의 음성을 로딩하여 사용할 수 있도록 함으로써, 사용자의 편의를 높여 보다 적극적인 참여가 가능하도록 할 수 있다.
이와 같은 본 발명에 따르면, 사용자와 UCC서비스사, 광고주간의 비즈니스 모델이 가능해지며, 또한 휴대전화 및 인터넷 전화서비스사와 일반전화와 UCC서비스간의 비즈니스 모델이 가능해지는 등 다양한 수익모델이 가능해진다.
본 발명 패턴애니메이션을 기반으로 하는 UCC서비스 시스템을 첨부된 도면 에 도시된 실시 예를 참조하여 그 구성 및 동작과정을 설명하면 다음과 같다.
도 1에 도시된 바와 같이, UCC서비스시스템에 접속하여 제공되는 서비스를 이용하기 위한 클라이언트단말수단(100)과, 유무선 네트워크를 통해 접속된 클라이언트단말수단(100)에 패턴애니메이션을 기반으로 하는 UCC서비스를 제공하는 UCC 서비스 시스템(200)으로 구성되며,
상기 UCC 서비스 시스템(200)은,
유무선 네트워크를 통해 접속되는 클라이언트 단말수단(100)의 사용자 접속관리 및 사용자가 신청한 패턴애니메이션 UCC서비스를 제공하기 위한 프로세스를 제공하는 UCC서버(210)와, 회원정보 및 사용자가 제작한 패턴애니메이션 UCC가 등록 저장되는 UCC데이터베이스(220)와, 사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스(230)와, 사용자에게 텍스트에 따라 제공될 음성정보가 저장되는 음성 저장 데이터베이스(240)와, 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장하는 패턴애니메이션 데이터베이스(250)를 포함하여 구성된다.
상기 UCC서버(210)는 사용자의 접속관리 및 회원정보관리를 위한 회원정보관리부(211)와, 사용자에게 제공되는 패턴애니메이션 UCC제작프로그램을 제공 관리하는 UCC제작프로그램관리부(212)와, 접속된 클라이언트단말수단(100)의 UCC제작프로그램을 통해 사용자가 패턴애니메이션UCC를 제작하기 위한 제작프로세스를 제공하는 패턴애니메이션제작관리부(213)와, 제작되는 패턴애니메이션 UCC의 등록 관리를 수행하는 UCC관리부(214)를 포함하여 구성된다.
상기 패턴애니메이션 제작관리부(213)는 사용자가 패턴애니메이션 UCC에 사용될 이미지를 선택하도록 하고, 해당 이미지에 특징점을 지정하도록 하는 이미지 선택입력부(213a)와, 사용자가 입력한 음성 또는 텍스트에 대한 정보를 입력받는 메시지입력부(213b)와, 입력된 사용자 입력 음성 또는 텍스트 정보를 패턴애니메이션 데이터베이스(240)의 움직임정보로부터 패턴애니메이션 움직임정보를 추출하는 움직임정보추출부(213c)와, 움직임정보추출부(213c)로부터 추출된 움직임정보를 이용하여 지정된 특징점 좌표를 자동제어하고, 메시지입력에 따른 음성정보를 동기화(sync)시켜 패턴애니메이션 UCC를 제작하는 패턴애니메이션 제작부(213d)를 포함하여 구성된다.
이와 같은 본 발명 패턴애니메이션을 기반으로 하는 UCC서비스 시스템은 사용자가 선택한 이미지에 대하여 지정한 특징점 좌표를 확인하고, 사용자가 입력한 음성 또는 텍스트에 대한 정보에 따라 확인된 특징점 좌표를 기 저장된 패턴애니메이션 이미지 정보를 이용하여 움직임정보를 생성하고 선택한 이미지를 음성에 동기화시켜 움직이는 UCC로 제작할 수 있도록 함을 특징으로 하는 것으로,
클라이언트단말수단(100)은 일반적으로 컴퓨터(PC)로 구성되며, 입력인터페이스가 구성되는 PDA, 휴대전화단말기,IPTV 등으로 구성될 수 있다.
클라이언트단말수단(100)은 UCC서비스시스템에 접속하여 제공되는 서비스를 이용하기 위한 UCC제작프로그램이 설치된다.
UCC제작프로그램은 UCC서비스시스템(200)으로부터 제공(download) 받으며, UCC 서비스 시스템(200)에 접속프로세스, 이미지선택, 음성입력 및 특징점 확인 등의 패턴애니메이션 제작을 위한 제작프로세스를 포함한다.
상기 UCC 서비스 시스템(200)은, 클라이언트단말수단(100)에 사용자가 선택 한 이미지를 패턴애니메이션으로 서비스하기 위한 프로세스를 포함한다.
UCC서버(210)는 유무선 네트워크를 통해 접속되는 클라이언트 단말수단(100)의 사용자 접속관리 및 사용자가 신청한 패턴애니메이션 UCC서비스를 제공하기 위한 프로세스를 제공한다.
상기 UCC서버(210)의 회원정보관리부(211)는 사용자의 접속관리 및 회원정보관리를 위한 프로세스를 제공한다.
UCC제작프로그램관리부(212)는 사용자에게 제공되는 패턴애니메이션 UCC제작프로그램을 제공/업데이트 관리하는 프로세스를 제공한다.
패턴애니메이션제작관리부(213)는 접속된 클라이언트단말수단(100)의 UCC제작프로그램을 통해 사용자가 패턴애니메이션 UCC를 제작하기 위한 제작프로세스를 제공한다.
패턴애니메이션제작관리부(213)는 패턴애니메이션을 제작하기 위한 이미지선택입력부(213a), 메시지입력부(213b), 움직임 정보추출부(213c), 패턴애니메이션제작부(213d)와 같은 수단을 포함한다.
이미지선택입력부(213a)는 사용자가 패턴애니메이션 UCC에 사용될 이미지를 선택하도록 하고, 해당 이미지에 특징점을 지정하도록 하기 위한 수단이다.
사용자에게 제공될 수 있는 이미지 목록을 제공하여 사용자로 하여금 이미지를 선택하도록 하거나, 또는 사용자의 선택입력이 가능하도록 프로세스를 제공하고, 그 선택된 이미지에 대하여 특징점을 지정(확인)하도록 하기 위한 프로세스를 제공한다.
메시지입력부(213b)는 사용자의 음성 또는 텍스트정보를 입력받기 위한 수단이다.
움직임정보추출부(213c)는 사용자패턴애니메이션 데이터베이스(240)의 정보로부터 입력된 사용자 입력 음성 또는 텍스트 정보에 따라 패턴애니메이션 움직임정보를 추출하기 위한 수단이다.
패턴애니메이션 제작부(213d)는 움직임정보추출부(213c)로부터 추출된 움직임정보를 이용하여 사용자가 지정한 특징점 좌표를 자동제어하여 패턴애니메이션 UCC를 제작하기 위한 수단이다.
또한 패턴애니메이션제작부(213d)는 메시지입력부(213b)로부터 입력된 사용자의 텍스트에 따라 패턴애니메이션 데이터베이스(250)로부터 텍스트에 따른 음성변환정보를 이용하여 음성저장 데이터베이스(240)로부터 해당하는 음성정보를 읽어들이고, 상기한 움직임정보추출부(213c)로부터 추출된 움직임정보에 동기시켜 패턴애니메이션 UCC를 제작하기 위한 수단이다.
UCC데이터베이스(220)에는 UCC 서비스 시스템(200)의 접속을 위한 회원정보가 저장되며, 또한 사용자가 제작한 패턴애니메이션 UCC가 등록 저장된다.
이미지 저장 데이터베이스(230)는 사용자에게 제공될 이미지가 저장된다.
이미지 저장데이터 베이스(230)에 저장되는 이미지는 스타캐릭터, 스타사진, 애니메이션 및 사용자들이 등록한 이미지를 포함한다.
음성저장데이터베이스(240)는 사용자가 입력하는 텍스트에 따라 사용자에게 제공될 음성 녹음 데이터가 저장된다.
패턴애니메이션 데이터베이스(250)는 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장한다.
텍스트, 음성 패턴애니메이션 움직임정보는 사용자가 입력하고자하는 텍스트 또는 음성에 대하여 원하는 이미지의 움직임정보를 생성하기 위한 정보를 나타낸다.
얼굴움직임정보를 나타내는 패턴애니메이션 정보는 상기한 텍스트 또는 음성과 대한 패턴애니메이션 움직임정보에 따라 선택된 이미지의 움직임 제어를 위한 정보이다.
텍스트정보에 따른 패턴애니메이션 음성정보는 사용자가 텍스트를 입력하게 되는 경우 패턴애니메이션 UCC에 립싱크(lip sync) 시킬 음성 변환 정보이다.
이와 같은 구성을 갖는 본 발명의 동작과정을 설명하면 다음과 같다.
UCC서비스시스템(200)에서는 접속되는 클라이언트단말수단(100)의 회원정보를 확인하여 서비스를 제공한다.
물론 회원 로그인 과정 없이 오픈하여 서비스를 제공하도록 할 수 있다.
사용자가 패턴애니메이션 UCC 제작을 선택하게 되면, UCC서버(210)에서는 사용자가 원하는 이미지를 선택하도록 하는 과정을 진행하게 되는 바,
사용자가 직접 자신이 올린 이미지를 이용할 것인지, 아니면 UCC서버(210)에서 제공하는 이미지를 이용할 것인지를 선택하도록 한다.
UCC서버(210)에서는 이미지저장 데이터베이스(230)에 저장된 이미지의 카테고리를 제시하고 사용자가 선택하도록 한다.
스타캐릭터, 스타사진, 애니메이션 등이 될 수 있으며, 사용자가 이의 내용중 하나를 선택하거나, 사용자이미지를 입력하는 경우, UCC서버(210)에서는 선택한 이미지의 특징점을 사용자가 지정할 수 있도록 한다.
UCC서버(210)의 이미지선택입력부(213a)에서는 사용자가 각 특징점을 지정할 수 있도록 해당 위치에 대한 안내를 수행하게 되고, 사용자가 도 2에서와 같이, 지시하는 바에 따라서 특징점을 지정하게 된다.
이후 사용자에게 메시지를 입력하도록 한다.
메시지입력부(213b)에서는 사용자로 하여금 입력수단을 지정하도록 하고, 사용자가 문자(텍스트) 또는 음성을 선택하게 되면, 이에 따라 사용자 메시지를 입력받는다.
사용자가 텍스트를 선택하게 되면, 텍스트 입력창 또는 텍스트 파일 입력창을 제공하여 사용자로 하여금 원하는 텍스트를 입력하도록 한다.
사용자가 텍스트를 입력하게 되면, 패턴애니메이션제작부(213d)에서는 패턴애니메이션 데이터베이스(250)에서 텍스트에 따른 음성변환정보를 이용하여 텍스트를 음성정보로 변환하고, 이 변환된 음성정보를 이용하여 음성저장데이터베이스(240)에 저장된 음성데이터를 로딩한다.
사용자가 음성을 선택하게 되면, 사용자가 직접 입력하도록 하거나, 음성파일을 입력하는 창을 제공하여 음성을 입력받도록 한다.
이와 같이 사용자의 메시지가 입력되면, 움직임정보 추출부(213c)에서는 패턴애니메이션 데이터베이스(240)에 저장된 텍스트 또는 음성에 따른 패턴애니메이션 정보를 이용하여 사용자가 입력한 텍스트 또는 음성에 따른 움직임정보를 생성한다.
이와 같은 움직임정보에 따라서 패턴애니메이션 제작부(213d)에서는 패턴애니메이션 데이터베이스(240)에 저장된 얼굴 특징점 좌표에 대한 얼굴움직임정보를 이용하여 사용자가 선택한 이미지의 특징점 좌표를 조정하여 이미지의 움직임을 갖는 패턴애니메이션을 제작하게 되며, 이때 사용자가 입력한 음성 또는 UCC서버(210)에서 제공되는 음성을 동기 시켜 패턴애니메이션 UCC 제작을 완료하게 된다.
도 3은 패턴애니메이션 데이터베이스(240)에 저장된 각 움직임정보에 따른 패턴애니메이션 정보의 일 예를 나타내다.
또한 패턴애니메이션 제작관리부(213)에서는 사용자에게 더 상세한 제작조건(option)을 제공하여 보다 다양한 형태의 패턴 애니메이션을 제공할 수 있다.
도 4는 사용자에게 패턴애니메이션UCC를 제작함에 있어 제공되는 조건설정의 일 예를 나타낸 도면이다.
패턴애니메이션 데이터베이스(250)는 사용자에게 제공되는 이미지의 각 얼굴 부위에 대한 변경 가능한 조건을 나타내는 얼굴변경정보를 더 포함하도록 구성하고, 패턴애니메이션제작관리부(213)는 상기 패턴애니메이션 데이터베이스(240)에 저장된 얼굴변경정보에 따라 조건을 설정하기 위한 프로세스를 더 포함하는 이미지움직임 조건설정부를 더 포함하도록 구성된다.
얼굴변경정보는 얼굴의 각 요소에 대한 변경될 수 있는 이미지정보, 크기, 위치, 밝기, 색상 정보인 것을 특징으로 한다.
도 4에 도시된 바와 같이, 사용자가 선택한 이미지가 이미지 움직임 조건설정이 가능한 이미지인 경우 이미지움직임 조건설정부에서는 얼굴고급설정을 위한 창을 띄워 사용자가 이를 통해 얼굴의 각 요소를 변경하거나, 이들의 크기, 위치 밝기, 색상 등을 변경할 수 있도록 한다.
도 5는 상기에서와 같이 패턴애니메이션 데이터베이스(250)의 정보에 따라서 패턴애니메이션 제작관리부(213)에 의해 사용자가 입력한 메시지에 따라 자동 움직임 설정되어 제공되는 패턴애니메이션 UCC의 일 예를 나타낸다.
또한 이미지저장 데이터베이스(230)는 사용자에게 제공될 이미지에 대한 특징점정보를 더 포함할 수 있다.
이와 같이 이미지저장 데이터베이스(230)에 사용자에게 제공되기 위하여 미리 저장되어 있는 스타캐릭터, 스타사진 등에 대한 특징점 정보를 미리 저장하여 둘 경우 사용자는 특징점에 대한 정보를 입력하는 과정을 수행할 필요가 없다.
따라서 사용자가 이미지만 선택하고, 원하는 메시지만 입력하게 되면, 패턴 애니메이션 UCC를 제작할 수 있게 된다.
이와 같이 제작된 패턴 애니메이션 UCC는 UCC관리부(214)에 의해 등록되고 관리된다.
도 6은 본 발명 시스템에 있어서, 패턴애니메이션 UCC의 제작과정을 나타낸 플로우챠트이다.
UCC 서비스 방법은 이미지 선택 입력부(213a)에 의해 패턴이미지UCC에 사용될 사용자의 이미지 선택과정과, 선택된 이미지에 대하여 자동제어 조정될 사용자로 하여금 지정하도록 하는 사용자가 선택한 이미지에 특징점 정보가 포함되어 있는지 확인하고 해당 이미지에 특징점을 추출하는 특징점지정과정; 메시지 입력부(213b)를 통해 음성 또는 텍스트의 사용자 메시지 입력과정과, 움직임 정보 추출부(213c)에 의해 사용자가 입력한 메시지에 대하여 움직임정보를 추출하는 과정; 패턴애니메이션 제작부(213d)에 의해 사용자가 입력한 메시지가 텍스트인 경우 패턴애니메이션 데이타베이스(250)로부터 텍스트에 따른 음성 정보를 이용하여 음성 저장 데이타베이스(240)로부터 해당하는 음성 정보를 읽어들이고 텍스트 정보를 음성정보로 변환하는 음성정보 변환과정; 및 움직임 정보 추출부(213c)로부터 추출된 움직임정보에 음성정보를 동기화시키고, 추출된 움직임정보에 따라서 얼굴 특징점 좌표에 대한 얼굴움직임정보를 이용하여 사용자가 입력한 메시지에 따른 움직임정보를 생성하여 이미지의 움직임을 갖는 패턴애니메이션 UCC을 제작하는 패턴 애니메이션 UCC제작과정을 포함하여 이루어진다.
한편, 광고주 회원을 두거나, 광고주설정이 가능하도록 하여, 광고삽입(일명 문신광고)이 가능하도록 할 수 있다.
본 실시 예에서는 미리 광고주 회원으로 등록받고, 또한 소정의 비용을 설정한 상태에서 광고주 회원이 UCC 또는 UCC소스를 이용하여 광고를 할 수 있도록 한다.
광고주는 UCC 서비스시스템(200)에 가입시 광고주(sponsor) 회원으로 등록하게 되고, UCC서비스시스템(200)에서는 UCC 데이터 베이스 (220)에 광고주회원으로 등록한다.
소정의 정해진 광고보증금을 결제하고, 각각의 광고조건에 따라 자동 지불되는 형태의 예를 따르며, 다양한 방법을 적용하여 수행가능하다.
광고주는 자신이 직접 패턴애니메이션 UCC를 제작하면서 광고를 삽입하거나, 일반사용자들에 의해 작업되어 등록된 패턴애니메이션 UCC를 선택하여 해당하는 광고를 삽입하도록 할 수 있다.
자신이 원하는 광고정보(도안, 로고, 광고문구 등)를 등록하여, 자신이 제작한 패턴애니메이션 UCC 또는 일반 사용자들이 제작한 패턴 애니메이션 UCC에 등록한 광고정보를 문신으로 삽입하여 광고 패턴애니메이션 UCC를 제작하게 된다.
자신이 제작한 경우에는 메시지까지 입력할 수 있다.
도 7은 문신광고로 제작된 광고 패턴애니메이션 UCC의 일 예를 나타낸다.
광고주가 문신광고를 삽입할 패턴 애니메이션 UCC를 선택하게 되면, 광고관리부(215)에서는 이를 승인하고 원하는 사용자가 등록한 광고정보를 문신광고로 삽입하여 등록관리 한다.
광고주가 패턴애니메이션 UCC를 검색함에 있어서, 광고관리부(215)에서는 광고주가 원하는 경우 UCC데이터베이스(220)에 등록된 각 패턴애니메이션 UCC에 대한 검색정보를 광고주에게 제공한다.
검색정보에는 패턴애니메이션 UCC를 등록한 회원의 연령층, 성별, 올린시간 대, 조회수 등의 광고대상을 설정하는데 필요한 정보를 제공한다.
광고주는 이러한 정보를 참고하여 문신광고가 삽입될 패턴애니메이션 UCC를 선택하게 되며, 광고관리부(215)에서 광고기간, 광고조건(노출조건) 등의 광고정보를 입력하는 광고설정 입력모드를 제공하고, 광고설정입력모드가 완료되면, 광고주의 회원정보에 등록된 광고보증금을 이용하여 결제과정을 진행하도록 한다.
앞서 설명한 바와 같이, 광고보증금이 아닌 일반적인 별도의 결제과정을 진행하여 완료할 수 있다.
UCC 서비스 시스템(200)에서는 일반사용자들에 대해서는 패턴애니메이션 회원등록당시 서비스의 이용 시 광고의 삽입여부에 대한 동의를 얻어두거나, UCC제작 건마다 광고의 삽입 조건을 설정할 수 있도록 할 수 있다.
광고삽입이 선택된 패턴애니메이션 UCC에 대해서는 소정의 수수료를 지급하거나, 아이템, 사이버 머니 등을 지급할 수 있다.
또한 광고주는 자신이 상기에서와 같이 자신이 패턴애니메이션UCC를 제작하여 문신광고를 삽입할 수 있다.
UCC 서비스 시스템(200)에서는 이와 같이 제작된 UCC서비스를 이용하여 사용자가 제작한 UCC를 다운로드, 게시판 및 E-MAIL 삽입 등 다양한 형태로 이용 가능하도록 서비스할 수 있다.
본 발명의 다른 실시예로 E-MAIL 내지는 U-MAIL 작성기내에 상기한 바와 같은 패턴애니메이션 UCC작성엔진을 적용하여 서비스하도록 할 수 있다.
그 구성은 본 발명 시스템을 E-MAIL 내지는 U-MAIL 작성엔진으로 구성하여 시스템을 구성할 수 있음을 특징으로 한다.
여기서 말하는 U-MAIL이라함은, 인터넷환경은 물론, IPTV환경, IP전화환경, 휴대전화환경 등, 웹2.0개념이 도입된 디지털환경에서 자유롭게 이루어지는 유비쿼터스(ubiquitous)형 전자메일을 말한다.
유무선 네트워크를 통해 접속되는 클라이언트 단말수단의 사용자 접속관리 및 사용자가 선택한 이미지에 입력되는 사용자의 메시지에 따른 움직임정보를 추출하고, 그 추출된 움직임정보와 음성을 동기화시켜 패턴애니메이션 UCC를 제작하는 프로세스와, 사용자가 원하는 상대방에게 E-MAIL 내지는 U-MAIL 작성 프로세스를 제공하는 패턴애니메이션 UCC E-MAIL 내지는 U-MAIL 서버와,
사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스와, 사용자가 입력한 이메일내용에 따라 제공될 음성정보가 저장되는 음성 저장 데이터베이스와, 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장하는 패턴애니메이션 데이터베이스를 포함하여 구성되어 패턴애니메이션UCC를 이용한 E-MAIL 전송이 가능하도록 한 것을 특징으로 한다.
도 8은 E-MAIL 내지는 U-MAIL 작성화면의 일 예를 나타낸다.
상기에서와 같이, 이메일을 작성하면서, 원하는 이미지를 선택하거나(특징점 지정확인 과정을 거쳐야 함), 또는 UCC서비스 시스템(200)에서 제공하는 이미지를 선택하도록 하면, 사용자가 작성한 이메일 내용에 따른 패턴애니메이션 UCC가 제작되고, 사용자가 이메일을 전송하면 해당 패턴애니메이션 UCC가 첨부되어 전송되는 것을 특징으로 한다.
물론 메시지를 음성으로 입력하는 경우 사용자의 음성메일(voice mail)로 전송된다.
음성사서함으로부터 음성녹음파일을 로딩하여 사용자 메시지로 입력하도록 하는 실시 예를 구성할 수 있다.
이의 구성은,
UCC서버를 음성녹음파일 입력이 가능하고, 음성녹음파일입력에서 외부입력(음성사서함)을 통해 메시지를 음성입력할 수 있도록 외부입력수단과, 사용자가 입력한 음성사서함 인증정보를 이용하여 휴대전화 또는 인터넷전화서비스사의 음성사서함 서버로부터 사용자가 기록한 음성녹음파일을 로딩하기 위한 음성사서함 음성녹음파일 로딩수단을 더 포함하여 구성하여 완성할 수 있다.
도 9는 본 발명에 있어서, 이와 같은 음성 입력의 일 실시 예를 나타낸다.
클라이언트단말수단(100)에 음성입력수단(마이크)이 없는 경우에 사용자의 휴대전화의 음성사서함 또는 IP전화 음성사서함 또는 일반전화 음성사서함을 이용하여 음성을 입력하는 방법을 제안한다.
메시지입력부(213b)에서는 사용자가 음성을 선택하는 경우 음성입력, 음성파 일입력 선택을 하도록 제시하게 된다.
사용자가 음성입력을 선택하는 경우 마이크로 입력되는 음성을 메시지로 등록하게 되고, 음성파일입력을 선택하는 경우 직접 업로드입력과 외부입력(음성사서함)을 선택하도록 한다.
직접 업로드 입력은 클라이언트단말수단(100)에 저장된 음성녹음파일을 등록하는 것이다.
사용자가 외부입력(음성사서함)을 선택하게 되면 메시지입력부(213b)에서는 사용자가 입력한 외부입력정보 즉, 음성사서함 정보를 인식하여 해당 음성사서함 서버에 접속하여 음성정보를 가져와서 메시지입력으로 등록한다.
사용자는 마이크가 없는 경우 휴대전화의 음성사서함에 입력할 음성을 남긴다.
이후 음성입력을 외부입력으로 선택하면, 메시지입력부(213b)에서는 음성사서함정보를 가져올 해당 음성사서함 서버를 선택하도록 하고, 해당 음성사서함의 녹음파일을 가져올 수 있도록 인증정보(전화번호, 비밀번호)를 입력하도록 한다.
UCC서버(210)에서는 상기한 바와 같이, 메시지입력부(213b)에 등록되는 인증정보를 암호화하여 해당 서비스사의 음성사서함 서버에 접속하여 녹음파일을 가져올 수 있도록 한다.
이는 전화서비스사와 계약을 통해 음성사서함 녹음파일을 가져올 수 있도록 한 것으로, 상기와 같은 실시 예는 UCC 서비스사에서 음성사서함서버에 접속하여 음성사서함 녹음파일을 가져오는 예를 나타낸 것이다.
본 발명의 다른 실시 예로 사용자가 음성 외부입력(음성사서함)을 선택하는 경우 음성사서함 서버에서 제공하는 서비스 창(예 ;녹음파일 로딩서비스)으로 링크되도록 하고, 사용자가 전화서비스사의 음성서버에 접속하여 해당 녹음파일을 가져오도록 할 수 있다.
UCC서버를 음성녹음파일 입력이 가능하고, 음성녹음파일입력에서 외부입력(음성사서함)을 통해 메시지를 음성입력할 수 있도록 외부입력수단과, 사용자가 선택한 음성사서함 서버에서 제공하는 음성녹음파일 로딩 서비스페이지에 링크시켜, 사용자가 해당하는 링크 서비스페이지에 로그인하여 음성사서함 서버로부터 사용자가 기록한 음성녹음파일을 로딩하기 위한 음성사서함 음성녹음파일 로딩수단을 더 포함하여 구성한다.
도 10은 이의 과정을 나타낸다.
사용자가 음성 외부입력을 선택하는 경우 해당 음성사서함 서버를 선택할 수 있도록 하고,(a) 사용자가 음성사서함을 선택하면 해당하는 음성사서함 서버에서 제공하는 인증창으로 링크된다.(b)
사용자는 자신의 전화번호, 비밀번호를 입력하여 로그인하고, 음성사서함 서버에서 제공하는 녹음파일 리스트(c)를 확인하고 해당하는 녹음파일을 선택하면 UCC서버(210)에서는 해당파일을 메시지입력 음성파일로 등록받아 처리한다.
도 11은 인터넷 전화의 음성사서함 또는 일반전화 음성사서함 서버에서 녹음파일을 가져오는 일 실시예를 나타낸다.
이의 과정을 나타내보면, 사용자가 음성파일 입력을 선택하면, 직접업로드인지 외부입력(음성사서함)인지를 확인하는 과정과, 외부입력(음성사서함)인 경우 음성사서함으로부터 음성녹음파일을 로딩하기 위한 서비스창을 제공하고, 사용자에게 선택하는 음성사서함 서버를 선택하도록하는 음성사서함선택과정과, 사용자가 선택한 음성사서함서버의 음성녹음파일 서비스 페이지의 인증창 링크정보를 확인하여 표시하여 사용자에게 인증과정을 거치도록 하는 음성사서함 서버 접속과정과, 음성사서함 서버에서 제공하는 음성녹음파일 리스트를 확인하고 사용자가 선택한 음성녹음파일에 대하여 로딩하여 사용자 메시지 입력파일로 등록하는 사용자 메시지 입력과정으로 이루어진다.
이와 같은 실시 예는 음성사서함 서버가 주체가 되는 것으로 사용자는 자신의 개인정보를 UCC 서비스 시스템에 알려주지 않아도 되는 것으로 개인정보 노출에서 자유로워질 수 있는 장점이 있다.
이를 적용하면 음성 입력수단 없이도 자유롭게 자신의 음성을 입력할 수 있게 된다.
본 발명의 또 다른 실시 예로, UCC제작프로그램에서 사용자의 음성녹음 입력 및 스타, 성우의 음성패턴 선택편집 프로세스를 제공하고, 음성정보데이터베이스(240)에는 사용자에게 제공될 음성정보에 스타, 성우의 음성패턴 정보 및 음향정보, 음악정보, 그리고 음성패턴을 편집하기 위한 음성패턴편집파일정보를 더 포함하는 것을 특징으로 한다.
도 12는 미리 저장된 사용자에게 제공될 스타,성우의 음성패턴정보 및 사용자의 녹음 입력을 위해 UCC제작프로그램에서 제공되는 프로세스의 일 예를 나타낸 도면이다.
이의 과정을 나타내보면, 사용자의 음성녹음 또는 등록된 스타, 성우의 음성패턴을 로딩하여 사용할 수 있는 어플리케이션을 제공하며,
프로그램에서 제공되는 도구에서,
이름이나, 성, 존칭어 등을 입력하여 합성하고, 목적어, 서술어, 덧붙일말 등을 선택하여 메시지를 대시하는 입력이 가능하도록 한다.
또한, 코믹한, 발랄한, 느끼한 등의 감정조절에 관한 감정선택 프로세스 제공하며, 음성, 음향 편집 등의 프로세스를 제공한다.
음성 저장 데이터베이스(240)에는 이러한 음성패턴편집 파일정보를 포함한다.
따라서 사용자는 이미지입력부(213b)를 통해 메시지를 입력함에 있어서, 상기한 바와 같이 자신의 음성 또는 스타,성우의 음성패턴을 선택하여 음성정보를 입력할 수 있는 것이다.
이러한 내용들은 상기한 실시 예에 제한되지 않고 다양한 음성패턴 편집 및 메시지 입력기능 제공을 다양하게 실시할 수 있다.
한편, 상기한 음성패턴, 스타,성우 이미지, 등을 유료결제를 통해 사용할 수 있도록 하여, 사용자, 광고주, 콘텐츠제공자간의 비즈니스모델을 제공할 수 있다.
향후 이러한 시스템은 클라우드(cloud) 컴퓨팅 시스템을 지향하여 구성하여 구성할 수 있다.
도 1은 본 발명 패턴애니메이션을 기반으로 하는 UCC서비스 시스템의 구성을 나타낸 블록도.
도 2는 본 발명에 있어서, 특징점 추출과정의 일 예를 나타낸 도면.
도 3은 본 발명에 있어서, 패턴애니메이션 데이터베이스에 저장된 각 움직임정보에 따른 패턴애니메이션 정보의 일 예를 나타낸 도면.
도 4는 본 발명에 있어서, 사용자에게 패턴애니메이션UCC를 제작함에 있어 제공되는 조건설정의 일 예를 나타낸 도면.
도 5는 본 발명에 있어서, 사용자가 입력한 메시지에 따라 자동 움직임 설정되어 제공되는 패턴애니메이션 UCC의 일 예를 나타낸 도면.
도 6은 본 발명 시스템에 있어서, 패턴애니메이션 UCC의 제작과정을 나타낸 플로우챠트.
도 7은 본 발명에 있어서, 문신광고로 제작된 광고 패턴애니메이션 UCC의 일 예를 나타낸 도면.
도 8은 본 발명에 있어서, E-MAIL 작성화면의 일 예를 나타낸 도면.
도 9는 본 발명에 있어서, 음성사서함 서버의 음성녹음파일을 이용하여 음성입력하는 일 실시 예를 나타낸 도면.
도 10은 본 발명에 있어서, 전화서비스사의 음성서버에 접속하여 녹음파일을 로딩하여 음성입력하는 과정을 나타낸 도면.
도 11은 본 발명에 있어서, 인터넷전화서비스사의 음성사서함에 접속하여 음 성녹음파일을 로딩하여 음성 입력하는 과정을 나타낸 도면.
도 12는 본 발명에 있어서, 미리 저장된 사용자에게 제공될 스타,성우의 음성패턴정보 및 사용자의 녹음 입력을 위해 UCC제작프로그램에서 제공되는 프로세스의 일 예를 나타낸 도면.
Claims (18)
- UCC서비스시스템에 접속하여 패턴 애니메이션 UCC 서비스를 제공하기 위한 컴퓨터, PDA, 휴대전화 단말, IPTV 중 어느 하나의 단말에 UCC 서비스 시스템 접속 프로세스, 이미지 선택, 음성 입력 및 특징점 확인 등 패턴 애니메이션 제작을 위한 UCC 서비스 시스템으로부터 다운로드 받는 UCC 제작 프로그램이 설치된 클라이언트단말수단과, 유무선 네트워크를 통해 접속된 클라이언트단말수단에 패턴애니메이션을 기반으로 하는 UCC서비스를 제공하는 UCC 서비스 시스템으로 구성되며,상기 UCC 서비스 시스템은,상기 유무선 네트워크를 통해 접속되는 상기 클라이언트 단말수단의 사용자 접속관리 및 사용자가 선택한 이미지에 입력되는 사용자의 메시지에 따른 움직임정보를 추출하고, 그 추출된 움직임정보와 음성을 동기화시켜 패턴애니메이션 UCC를 제작하는 프로세스를 제공하는 UCC서버; 회원정보 및 사용자가 제작한 패턴애니메이션 UCC가 등록 저장되는 UCC데이터베이스; 사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스; 사용자에게 텍스트에 따라 제공될 음성정보가 저장되는 음성 저장 데이터베이스; 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 텍스트정보를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장하는 패턴애니메이션 데이터베이스; 및 패턴애니메이션 UCC검색정보를 광고주에게 제공하며, 패턴애니메이션 UCC에 문신광고를 삽입하기 위한 프로세스를 제공하고, 광고주가 문신광고를 삽입한 광고 패턴애니메이션 UCC를 관리하는 광고관리부를 포함하여 구성되는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항에 있어서, 상기 UCC서버는 사용자의 접속관리 및 회원정보관리를 위한 회원정보관리부와, 사용자에게 제공되는 패턴애니메이션 UCC제작프로그램을 제공 관리하는 UCC제작프로그램관리부와, 접속된 클라이언트단말수단의 UCC제작프로그램을 통해 사용자가 패턴애니메이션UCC를 제작하기 위한 제작프로세스를 제공하는 패턴애니메이션제작관리부와, 제작되는 패턴애니메이션 UCC의 등록 관리를 수행하는 UCC관리부를 포함하여 구성되고,상기 패턴애니메이션 제작관리부는 사용자가 패턴애니메이션 UCC에 사용될 이미지를 선택하도록 하고, 해당 이미지에 특징점을 지정하도록 하는 이미지선택입력부와, 사용자가 입력한 음성 또는 텍스트에 대한 정보를 입력받는 메시지입력부와, 입력된 사용자 입력 음성 또는 텍스트 정보를 패턴애니메이션 데이터베이스의 움직임정보로부터 패턴애니메이션 움직임정보를 추출하는 움직임정보추출부와, 움직임정보추출부로부터 추출된 움직임정보를 이용하여 지정된 특징점 좌표를 자동제어하고, 메시지입력에 따른 음성정보를 동기화(sync)시켜 패턴애니메이션 UCC를 제작하는 패턴애니메이션 제작부를 포함하여 구성되는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- UCC서비스 시스템에 있어서,유무선 네트워크를 통해 패턴 애니메이션 UCC 서비스를 제공하기 위한 컴퓨터, PDA, 휴대전화 단말, IPTV 중 어느 하나의 단말에 UCC 서비스 시스템 접속 프로세스, 이미지 선택, 음성 입력 및 특징점 확인 등 패턴 애니메이션 제작을 위한 UCC 제작 프로그램이 설치되고, UCC 서비스 시스템에 접속되는 클라이언트 단말수단의 사용자 접속관리 및 사용자가 선택한 이미지에 입력되는 사용자의 메시지에 따른 움직임정보를 추출하고, 그 추출된 움직임정보와 음성을 동기화시켜 패턴애니메이션 UCC를 제작하는 프로세스와, 사용자가 원하는 상대방에게 E-MAIL 또는 U-MAIL 작성 프로세스를 제공하는 패턴애니메이션 UCC E-MAIL 또는 U-MAIL 서버와,사용자에게 제공될 이미지가 저장되는 이미지저장 데이터베이스와, 사용자가 입력한 이메일내용에 따라 제공될 음성정보가 저장되는 음성 저장 데이터베이스와, 얼굴 특징점 좌표에 대한 얼굴움직임정보를 나타내는 패턴애니메이션 정보, 음성정보를 움직임정보로 변환하기 위한 음성정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 움직임정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 움직임정보, 이메일내용(텍스트정보)를 음성정보로 변환하기 위한 텍스트정보에 따른 패턴애니메이션 음성정보를 저장하는 패턴애니메이션 데이터베이스를 포함하여 구성되고, 패턴애니메이션UCC를 이용한 E-MAIL 또는 U-MAIL 전송이 가능하도록 한 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 3항에 있어서, 상기 패턴애니메이션 UCC E-MAIL 또는 U-MAIL 서버는 사용자의 접속관리 및 회원정보관리를 위한 회원정보관리부와, 사용자에게 제공되는 패턴애니메이션 UCC제작 및 E-MAIL 또는 U-MAIL 전송 프로그램을 제공 관리하는 UCC 제작프로그램관리부와, 접속된 클라이언트단말수단의 UCC제작프로그램을 통해 사용자가 패턴애니메이션UCC를 제작하기 위한 제작프로세스를 제공하는 패턴애니메이션제작관리부와, E-MAIL 또는 U-MAIL 전송프로세스를 제공하는 E-MAIL 또는 U-MAIL 전송부를 포함하여 구성되고,상기 패턴애니메이션 제작관리부는 사용자가 패턴애니메이션 UCC에 사용될 이미지를 선택하도록 하고, 해당 이미지에 특징점을 지정하도록 하는 이미지선택입력부와, 사용자가 입력한 음성 또는 텍스트에 대한 정보를 입력받는 메시지입력부와, 입력된 사용자 입력 음성 또는 텍스트 정보를 패턴애니메이션 데이터베이스의 움직임정보로부터 패턴애니메이션 움직임정보를 추출하는 움직임정보추출부와, 움직임정보추출부로부터 추출된 움직임정보를 이용하여 지정된 특징점 좌표를 자동제어하고, 메시지입력에 따른 음성정보를 동기화(sync)시켜 패턴애니메이션 UCC를 제작하는 패턴애니메이션 제작부를 포함하여 구성되어 패턴애니메이션UCC를 이용한 E-MAIL 또는 U-MAIL 전송이 가능하도록 한 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항 또는 제 3항에 있어서, 이미지 저장 데이터베이스에 저장된 이미지는 스타캐릭터, 스타사진, 애니메이션, 사용자가 등록한 이미지를 포함하는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항 또는 제 3항에 있어서, UCC제작프로그램에서 사용자의 음성녹음 입력 및 스타, 성우의 음성패턴 선택편집 프로세스를 제공하고, 음성정보데이터베이스에는 스타, 성우의 음성패턴 정보 및 음향정보, 음악정보, 그리고 음성패턴을 편집하기 위한 음성패턴편집파일정보를 더 포함하여 이루어지는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항 또는 제 3항에 있어서, 이미지 저장 데이터베이스에 저장되고, 사용자에게 제공될 이미지는 제어될 특징점 정보를 포함하는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 패턴애니메이션 데이터 베이스는 사용자에게 제공되는 이미지의 각 얼굴부위에 대한 변경 가능한 조건을 나타내는 얼굴변경정보를 더 포함하고, UCC서버의 패턴애니메이션제작관리부는 패턴애니메이션 데이터베이스에 저장된 얼굴변경정보에 따라 조건을 설정하기 위한 프로세스를 더 포함하는 이미지움직임 조건설정부를 더 포함하여 구성되는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 8항에 있어서, 상기 얼굴변경정보는 얼굴의 각 요소에 대한 변경될 수 있는 이미지정보, 크기, 위치, 밝기, 색상 정보인 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 삭제
- 제 1항에 있어서, 상기 광고관리부에서 제공하는 검색정보는 패턴애니메이션 UCC를 등록한 회원의 연령층, 성별, 올린시간대, 조회수 정보를 포함하는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항에 있어서, UCC서버는 E-MAIL 또는 U-MAIL 내용(텍스트)을 사용자 입력메시지로 하여, 패턴애니메이션 UCC를 제작하여 사용자가 원하는 상대에게 E-MAIL 또는 U-MAIL를 전송할 수 있는 E-MAIL 또는 U-MAIL 전송수단을 더 포함하여 구성되는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항 내지 제 4항 중 어느 한 항에 있어서, UCC서버에서는 음성녹음파일 입력이 가능하고, 음성녹음파일입력에서 외부입력(음성사서함)을 통해 메시지를 음성입력할 수 있도록 외부입력수단과, 사용자가 입력한 음성사서함 인증정보를 이용하여 휴대전화 또는 인터넷전화 또는 일반전화 서비스사의 음성사서함 서버로부터 사용자가 기록한 음성녹음파일을 로딩하기 위한 음성사서함 음성녹음파일 로딩수단을 더 포함하여 구성되는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- 제 1항 내지 제 4항 중 어느 한 항에 있어서, UCC서버에서는 음성녹음파일 입력이 가능하고, 음성녹음파일입력에서 외부입력(음성사서함)을 통해 메시지를 음 성입력할 수 있도록 외부입력수단과, 사용자가 선택한 음성사서함 서버에서 제공하는 음성녹음파일 로딩 서비스페이지에 링크시켜, 사용자가 해당하는 링크 서비스페이지에 로그인하여 음성사서함 서버로부터 사용자가 기록한 음성녹음파일을 로딩하기 위한 음성사서함 음성녹음파일 로딩수단을 더 포함하여 구성되는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC서비스 시스템.
- UCC 서비스 방법에 있어서,이미지 선택 입력부(213a)에 의해 패턴이미지UCC에 사용될 사용자의 이미지 선택과정과, 선택된 이미지에 대하여 자동제어 조정될 사용자로 하여금 지정하도록 하는 사용자가 선택한 이미지에 특징점 정보가 포함되어 있는지 확인하고 해당 이미지에 특징점을 추출하는 특징점지정과정;메시지 입력부(213b)를 통해 음성 또는 텍스트의 사용자 메시지 입력과정과, 움직임 정보 추출부(213c)에 의해 사용자가 입력한 메시지에 대하여 움직임정보를 추출하는 과정;패턴애니메이션 제작부(213d)에 의해 사용자가 입력한 메시지가 텍스트인 경우 패턴애니메이션 데이타베이스(250)로부터 텍스트에 따른 음성 정보를 이용하여 음성 저장 데이타베이스(240)로부터 해당하는 음성 정보를 읽어들이고 텍스트 정보를 음성정보로 변환하는 음성정보 변환과정; 및움직임 정보 추출부(213c)로부터 추출된 움직임정보에 음성정보를 동기화시키고, 추출된 움직임정보에 따라서 얼굴 특징점 좌표에 대한 얼굴움직임정보를 이용하여 사용자가 입력한 메시지에 따른 움직임정보를 생성하여 이미지의 움직임을 갖는 패턴애니메이션 UCC을 제작하는 패턴 애니메이션 UCC제작과정을 포함하여 이루어지는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC 서비스 방법.
- 삭제
- 제 15항에 있어서, 상기 사용자 메시지 입력과정에 있어서, 사용자가 음성파일 입력을 선택하면, 직접업로드인지 외부입력(음성사서함)인지를 확인하는 과정과,외부입력(음성사서함)인 경우 음성사서함으로부터 음성녹음파일을 로딩하기 위한 서비스창을 제공하고, 사용자에게 선택하는 음성사서함 서버를 선택하도록하는 음성사서함선택과정과,사용자가 선택한 음성사서함서버의 음성녹음파일 서비스 페이지의 인증창 링크정보를 확인하여 표시하여 사용자에게 인증과정을 거치도록 하는 음성사서함 서버 접속과정과,음성사서함 서버에서 제공하는 음성녹음파일 리스트를 확인하고 사용자가 선택한 음성녹음파일에 대하여 로딩하여 사용자 메시지 입력파일로 등록하는 사용자 메시지 입력과정으로 이루어지는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC 서비스 방법.
- 제 15항에 있어서, 상기 사용자 메시지 입력과정에 있어서, 음성입력하는 과정에서 사용자의 녹음 입력 또는 상기 음성저장데이터베이스에 등록된 음성패턴정보를 선택할 수 있도록 하고, 선택입력된 음성에 대한 음성패턴편집프로세스를 제공하는 것을 특징으로 하는 패턴애니메이션을 기반으로 하는 UCC 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090030416A KR101165300B1 (ko) | 2009-04-08 | 2009-04-08 | 패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090030416A KR101165300B1 (ko) | 2009-04-08 | 2009-04-08 | 패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100111930A KR20100111930A (ko) | 2010-10-18 |
| KR101165300B1 true KR101165300B1 (ko) | 2012-07-19 |
Family
ID=43132029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090030416A KR101165300B1 (ko) | 2009-04-08 | 2009-04-08 | 패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101165300B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017003031A1 (ko) * | 2015-06-29 | 2017-01-05 | 김영자 | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944006A (zh) * | 2017-12-07 | 2018-04-20 | 珠海市横琴新区龙族科技有限公司 | 自属数据库的建模装置及方法、信息处理系统及方法 |
| KR20210055369A (ko) * | 2019-11-07 | 2021-05-17 | 주식회사 하이퍼커넥트 | 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
| CN112036241A (zh) * | 2020-07-27 | 2020-12-04 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132403A (ja) * | 2000-10-30 | 2002-05-10 | Sharp Corp | 画像ファイルによる音声合成電子メール端末 |
| JP2007058846A (ja) | 2005-07-27 | 2007-03-08 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成用の統計確率モデル作成装置、パラメータ系列合成装置、リップシンクアニメーション作成システム、及びコンピュータプログラム |
-
2009
- 2009-04-08 KR KR1020090030416A patent/KR101165300B1/ko not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132403A (ja) * | 2000-10-30 | 2002-05-10 | Sharp Corp | 画像ファイルによる音声合成電子メール端末 |
| JP2007058846A (ja) | 2005-07-27 | 2007-03-08 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成用の統計確率モデル作成装置、パラメータ系列合成装置、リップシンクアニメーション作成システム、及びコンピュータプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017003031A1 (ko) * | 2015-06-29 | 2017-01-05 | 김영자 | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100111930A (ko) | 2010-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9277198B2 (en) | Systems and methods for media personalization using templates | |
| JP2019036980A (ja) | 共有アセット及び個別化アセットからのストーリーボード指示ビデオ制作 | |
| US20060136556A1 (en) | Systems and methods for personalizing audio data | |
| US20130046781A1 (en) | Design, creation, and delivery of personalized message/audio-video content | |
| US20130262127A1 (en) | Content Customization | |
| US9959700B2 (en) | System and method for secured delivery of creatives | |
| US20110061002A1 (en) | System and method for sending various application programming interfaces to a customized user interface | |
| KR20070005671A (ko) | 멀티미디어 메시지를 편집하는 방법 및 시스템 | |
| JP2003529975A (ja) | 個人化されたメディアの自動作成システム | |
| US20160191975A1 (en) | An apparatus for providing, editing and playing video contents and the method thereof | |
| US20170163907A1 (en) | Method and system for creating a video advertisement with embedded user content | |
| US20160275108A1 (en) | Producing Multi-Author Animation and Multimedia Using Metadata | |
| US20170177175A1 (en) | System and method for editing and generating multimedia contents according to digital playbooks | |
| US20100131085A1 (en) | System and method for on-demand delivery of audio content for use with entertainment creatives | |
| KR101165300B1 (ko) | 패턴애니메이션을 기반으로 하는 ｕｃｃ서비스 시스템 | |
| CN108073593B (zh) | 一种媒体内容的生成方法、装置及系统 | |
| JP2009116519A (ja) | 自分史制作装置 | |
| KR20160013536A (ko) | 자발적인 콘텐츠 생산 및 확산을 통한 광고 시스템 및 그 방법 | |
| US9762703B2 (en) | Method and apparatus for assembling data, and resource propagation system | |
| US20110047625A1 (en) | System and method for secure sharing of creatives | |
| CN104572794A (zh) | 一种人性化网络信息展示方法及系统 | |
| US20200285799A1 (en) | Computer architecture for customizing the content of publications and multimedia | |
| US20110004671A1 (en) | System and Method for Secure Delivery of Creatives | |
| US20200152237A1 (en) | System and Method of AI Powered Combined Video Production | |
| CN115393484A (zh) | 虚拟形象动画的生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |