KR100822341B1 - 웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체 - Google Patents

웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체 Download PDF

Info

Publication number
KR100822341B1
KR100822341B1 KR1020070056144A KR20070056144A KR100822341B1 KR 100822341 B1 KR100822341 B1 KR 100822341B1 KR 1020070056144 A KR1020070056144 A KR 1020070056144A KR 20070056144 A KR20070056144 A KR 20070056144A KR 100822341 B1 KR100822341 B1 KR 100822341B1
Authority
KR
South Korea
Prior art keywords
frame
media
audio
image
user terminal
Prior art date
Application number
KR1020070056144A
Other languages
English (en)
Inventor
김형주
Original Assignee
김형주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김형주 filed Critical 김형주
Priority to KR1020070056144A priority Critical patent/KR100822341B1/ko
Application granted granted Critical
Publication of KR100822341B1 publication Critical patent/KR100822341B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 화상(화면) 및 음성 레코딩을 위한 전문 소프트웨어가 없이도 사용자가 사용자 단말기를 이용하여 인터넷에 접속만 가능하다면 언제 어디서든지 자신만의 동영상 콘텐츠를 손쉽게 생성할 수 있도록 하는 웹 기반 PC 화상 및 음성 레코딩 방법 및 그에 따른 기록매체에 관한 것이다. 이를 위해 본 발명은 웹 서버로부터 추천 코덱 리스트를 수신하며, 사용자 단말기에 기 설치된 코덱 중에서, 추천 코덱 리스트와 일치되는 코덱을 선택하는 단계, 사용자가 설정한 모니터 영역에서 재생되는 화상 및 음성을 미리 정해진 주기마다 캡쳐하여 미디어 프레임을 획득하는 단계, 각 미디어 프레임에 타임 스탬프를 부여하고, 타임 스탬프를 참조하여 화상 및 음성에 대한 미디어 프레임의 순서 및 동기의 일치 여부를 판단하는 단계, 및 선택한 코덱을 이용하여 미디어 프레임에 대한 압축을 수행하고, 사용자 단말기의 시스템 부하를 참조하여 타임 스탬프에 따른 순서대로 미디어 프레임을 조합하는 단계를 포함한다.
UCC, 웹 기반, PC 화상(화면) 녹화, PC 음성 녹음, 타임 스탬프, 코덱, 동영상

Description

웹 기반 ＰＣ 화상/음성 레코딩 방법 및 그를 이용한 기록매체{Web-based PC Screen / Voice Recording Method and Recording Medium using the same}
도 1은 본 발명에 따른 웹 기반 레코딩 방법을 개념적으로 설명하기 위한 개념도,
도 2는 코덱이 등록되는 레지스트리의 구조를 나타내는 도면,
도 3은 본 발명에 따른 웹 레코딩 프로그램과 웹 서버 사이의 상호관계를 개념적으로 설명하기 위한 도면,
도 4는 웹 레코딩 프로그램이 웹 서버로 환경설정값을 리턴하는 과정을 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 웹 레코딩 프로그램의 블록개념도,
도 6은 미디어 결합모듈에 의해 화상 프레임이 재 결합되는 방법을 개념적으로 나타내는 도면,
도 7은 웹 서버 또는 사용자 단말기에 마련되는 웹 레코딩 프로그램의 인터페이스 메뉴의 일 예를 나타내는 도면,
도 8은 도 7에 도시된 웹 레코딩 인터페이스 화면을 통해 사용자 영역을 설정하는 과정을 설명하는 도면, 그리고,
도 9는 웹 서버에서 사용자 단말기로 제공하는 추천 코덱 리스트의 일 예를 나타내는 도면이다.
본 발명은 웹 기반 PC 화상 및 음성 레코딩 방법에 관한 것으로, 특히 사용자 단말기에 기 설치되어 있는 코덱을 이용하여 압축을 처리하여 프로그램으로 구현 시, 그 크기를 매우 작게 함은 물론, 고가의 전문 프로그램에 의하지 않고도 어느 누구라도 쉽게 UCC를 생성할 수 있도록 하는 웹 기반 PC 화상 및 음성 레코딩 방법에 관한 것이다.
UCC가 활성화됨에 따라, 한국과 미국을 비롯한 세계 여러나라에서 UCC의 열풍이 불고 있다. UCC는 User Created Contents(사용자 제작 동영상)의 약자로 사용자가 웹 콘텐츠를 직접 제작하고, 이를 다수의 네티즌이 즐길 수 있도록 한다. 그러나 일반 사용자가 디지털 캠코더를 사용하여 직접 영상물을 제작하는 경우를 제외하고는 PC의 화상 및 음성을 레코딩하여 여러 교육적인 활용 및 비즈니스 목적을 위해서 UCC를 제작한다는 것은 전문 소프트웨어의 도움이 없이는 생성하기가 매우 어렵다. (예컨데 포토샵 강의, 파워포이트를 활용한 제품 설명) 그래서 상당수의 UCC가 전문 소프트웨어를 다룰 수 있는 소수에 의해 만들어지고 있으며, 대다수의 네티즌은 UCC를 만들고자 하는 욕구가 있어도 타인이 생성한 UCC를 단순히 감상하는데 그치고 있다.
또한, 동영상 전문 소프트웨어를 다룰 줄 아는 사용자라 하더라도 전문 소프 트웨어가 설치된 자신의 컴퓨터가 주변에 없다면 PC 화상 및 음성 레코딩을 통한 UCC를 곧바로 생성할 방법이 없다.
이에 본 출원인은 PC 화상 및 음성에 대한 동영상 녹화를 위한 별도의 전문 소프트웨어를 전혀 필요로 하지 않으며, 사용자가 언제 어디에 있다 하더라도 인터넷에 접속만 가능하다면 언제든지 동영상 콘텐츠를 손쉽게 생성할 수 있도록 하는 웹 기반 PC 화상 및 음성 레코딩 방법 및 프로그램을 제안하고자 한다.
상기한 바와 같이, 본 발명의 목적은 UCC 및 기타 동영상 콘텐츠를 생성하기 위한 전문 소프트웨어 없이도 인터넷에 접속하는 사용자라면 자신이 원하는 동영상 콘텐츠를 손쉽게 생성할 수 있도록 하는 웹 기반 PC 화상 및 음성 레코딩 방법 및 그에 관련된 프로그램을 제공함에 있다.
또한 본 발명의 다른 목적은 인터넷에 접속된 사용자의 네트워크 환경(데이터 전송속도)에 영향을 받지 않는 매우 작은 크기의 클라이언트 프로그램을 이용하여 사용자가 자신만의 동영상 콘텐츠를 생성할 수 있도록 하는 웹 기반 PC 화상 및 음성 레코딩 방법 및 프로그램을 제공함에 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
상기한 목적은 본 발명에 따라, 웹 서버로부터 추천 코덱 리스트를 수신하며, 사용자 단말기에 기 설치된 코덱 중에서, 상기 추천 코덱 리스트와 일치되는 코덱을 선택하는 단계, 사용자가 설정한 모니터 영역에서 재생되는 화상 및 음성을 미리 정해진 주기마다 캡쳐하여 미디어 프레임을 획득하는 단계, 상기 각 미디어 프레임에 타임 스탬프를 부여하고, 상기 타임 스탬프를 참조하여 상기 화상 및 음성에 대한 미디어 프레임의 순서 및 동기의 일치 여부를 판단하는 단계, 및 상기 선택한 코덱을 이용하여 상기 미디어 프레임에 대한 압축을 수행하고, 상기 사용자 단말기의 시스템 부하를 참조하여 상기 타임 스탬프에 따른 순서대로 상기 미디어 프레임을 조합하는 단계에 의해 달성된다.
상기 코덱을 선택하는 단계는, 상기 사용자 단말기에 설치된 코덱들 중 상기 추천 코덱 리스트에 부합하는 코덱에 테스트 패턴을 인가하는 단계, 및 상기 테스트 패턴에 대한 리턴값을 참조하여 상기 사용자 단말기에 설치된 각 코덱의 정상 구동 여부를 판단하며, 정상 구동되는 코덱들 중 어느 하나를 선택하는 단계를 포함하는 것이 바람직하다.
바람직하게는, 상기 코덱들 중 어느 하나를 선택하는 단계는, 상기 사용자 단말기에 기 설치된 코덱 전체의 리턴값이 오류를 발생하는 경우, 상기 미디어 프레임을 원천(RAW) 데이터에 의한 미디어 프레임으로 설정하는 단계를 더 포함한다.
상기 미디어 프레임은, 화상 프레임 및 음성 프레임 중 어느 하나를 포함하며, 상기 화상 프레임 및 상기 음성 프레임 각각은 동일 시간에 대해 동일한 타임 스탬프가 부여되는 것이 바람직하다.
바람직하게는, 상기 타임 스탬프를 부여하는 단계는, 상기 화상 프레임과 상기 음성 프레임에 부여된 타임 스탬프를 참조하여 상기 화상 프레임과 상기 음성 프레임의 동기가 어긋나는 프레임을 버퍼링하는 단계, 및 상기 버퍼링된 상기 화상 프레임 및 상기 음성 프레임 각각에 대해 기 설정된 시간당 변화량을 참조하여 상기 화상 프레임 및 상기 음성 프레임의 적정 재생주기를 판단하는 단계를 더 포함한다.
바람직하게는, 상기 압축된 미디어 프레임의 화상 프레임 및 음성 프레임을 먹스(MUX)하여 결합 프레임을 생성하는 단계를 더 포함한다.
상기 결합 프레임을 생성하는 단계는, 상기 사용자 단말기의 시스템 부하를 판단하는 단계, 및 상기 시스템 부하가 낮은 경우, 상기 버퍼링 된 미디어 프레임 중 적어도 하나를 상기 결합 프레임에 추가하는 단계를 포함하는 것이 바람직하다.
상기 결합 프레임에 추가하는 단계는, 상기 결합 프레임을 구성하는 각 미디어 프레임의 타임 스탬프 순서에 따라 상기 추가되는 미디어 프레임의 위치를 결정하는 것이 바람직하다.
상기 미디어 프레임을 획득하는 단계는, 상기 사용자 단말기의 시스템 부하를 판단하는 단계, 및 상기 시스템 부하에 따라 상기 미디어 프레임의 생성주기를 증감하는 단계를 포함하며, 상기 미디어 프레임의 생성주기는, 상기 시스템 부하의 증가에 반비례하는 것이 바람직하다.
바람직하게는, 상기 미디어 프레임의 생성주기 및 상기 사용자가 상기 미디어 프레임을 생성하기 위해 설정한 영역에 대한 정보를 상기 웹 서버로 전송하는 단계를 더 포함한다.
상기 코덱을 선택하는 단계는, 상기 웹 서버에 미리 등록한 상기 미디어 프레임의 생성주기, 상기 시스템의 시스템 정보, 상기 사용자가 설정한 영역 및 상기 미디어 프레임의 종류에 대한 정보를 수신하고, 이를 디폴트(default) 값으로 이용하는 것이 바람직하다.
상기한 목적은 본 발명에 따라, 프로세서 및 메모리를 구비하는 사용자 단말기에서 구동되며, 사용자가 설정한 모니터의 영역내에서 재생되는 화상 및 음성에 대한 미디어 프레임을 생성하는 캡쳐모듈, 상기 캡쳐된 미디어 프레임 각각에 타임 스탬프를 부여하고, 타임 스탬프를 참조하여 상기 화상 및 음성에 대한 미디어 프레임의 순서 및 동기의 일치 여부를 판단하는 타임 스탬프 처리모듈, 및 상기 사용자 단말기에 기 설치된 코덱을 조회하고, 설치된 코덱 중 어느 하나를 선택하여 상기 미디어 프레임에 대한 압축을 요청, 및 처리하여 미디어 파일을 생성하는 미디어 결합모듈에 의해 달성된다.
상기 타임 스탬프 처리모듈은, 상기 화상, 및 음성에 대한 미디어 프레임에 부여된 타임 스템프가 일치하지 않는 화상, 및 음성에 대한 미디어 프레임을 메모리에 버퍼링하는 것이 바람직하다.
상기 미디어 결합모듈은, 상기 시스템 부하를 판단하는 시스템 부하 체크모듈, 및 상기 시스템 부하에 따라 상기 메모리에 버퍼링 된 미디어 프레임을 상기 미디어 파일을 구성하는 미디어 프레임 사이에 삽입하는 스킵 프레임 처리모듈을 포함하는 것이 바람직하다.
상기 타임 스탬프 처리모듈은, 상기 화상 및 음성에 대한 미디어 프레임에 각각 부여된 타임 스탬프를 참조하여 상기 화상과 상기 음성이 어긋나는 미디어 프레임을 버퍼링하며, 상기 버퍼링 된 상기 화상, 및 상기 음성에 대한 미디어 프레임 각각에 대해 기 설정된 시간당 변화량을 참조하여 상기 화상, 및 상기 음성에 대한 미디어 프레임의 적정 재생주기를 판단하는 것이 바람직하다.
상기 캡쳐모듈은, 상기 웹 서버에 미리 등록한 상기 미디어 프레임의 생성주기, 상기 시스템의 시스템 정보, 상기 사용자가 캡처를 위해 설정한 영역 및 상기 미디어 프레임의 종류에 대한 정보를 수신하고, 이를 디폴트(default) 값으로 이용하는 것이 바람직하다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다.
도 1은 본 발명에 따른 웹 기반 PC 화상 및 음성 레코딩 방법을 개념적으로 설명하기 위한 개념도를 나타낸다.
본 발명에 따른 웹 기반 PC 화상 및 음성 레코딩 방법은 사용자 단말기(20)에 웹 레코딩 프로그램(100)이 설치되며, 사용자가 설정한 모니터 영역에서 재생되는 화상 및 음성을 캡쳐하여 미디어 프레임을 생성한다.
여기서, 미디어 프레임은 화상 프레임 또는 음성 프레임을 의미하며, 화상 프레임과 음성 프레임이 결합된 것(비디오 프레임)도 포함된다. 미디어 프레임은 사용자 단말기(20)에 설치된 코덱(22)에 의해 압축되며, 압축된 미디어 프레임은 웹 레코딩 프로그램(100)에 리턴된다. 즉, 본 발명에 따른 웹 레코딩 프로그램(100)은 자체 코덱을 사용하는 대신, 사용자 단말기(20)에 기 설치된 코덱(22)을 이용하여 압축을 수행하도록 함으로써 프로그램의 크기가 매우 작아지며, 웹 서버(10)에서 사용자 단말기(20)로 제공하기가 용이하고, 사용자 단말기(20)의 시스템 부하를 최소화할 수 있다.
본 발명에 따른 웹 레코딩 프로그램(100)은 사용자 단말기(20)에 설치되는 운영체제의 레지스트리(21)를 조회하여 미디어 프레임을 압축하기 위한 코덱(22)을 조회한다. 이는 도 2를 함께 참조하여 설명하도록 한다.
도 2는 코덱이 등록되는 레지스트리의 구조를 나타낸다.
도시된 코덱은 사용자 단말기(20)에 설치된 운영체제가 윈도우즈 XP_SP2일 때, 사용자 단말기(20)에 설치되는 코덱의 레지스트리값을 나타낸다. 도시된 레지스트리(21)는"HKEY_CURRENT_USER\Software\Microsoft\ActiveMovie\devenum\{083863F1-70DE-11D0-BD40-00A0C911CE86}\{31345649-0000-0010-8000-00AA00389B71}"의 경로에 마련되며, "indio video 4.4 decompression filter"를 나타낸다.
윈도우즈 계열의 운영체제에는,
"HKEY_CURRENT_USER\Software\Microsoft\ActiveMovie\devenum\" 경로에 코덱들의 정보가 수록되며, 웹 레코딩 프로그램(100)은 해당 경로 및 하위 경로를 조회하여 사용자 단말기(20)에 기 설치된 코덱들을 판단할 수 있다.
본 발명에 따른 웹 레코딩 프로그램(100)은 사용자 단말기(20)에서 조회된 코덱의 리스트를 웹 서버(10)에서 제공하는 추천코덱 리스트와 비교하여 사용자 단말기(20)에서 사용할 코덱을 선택한다. 이때, 웹 레코딩 프로그램(100)은 사용자 단말기(20)에 설치된 코덱들 중 추천 코덱 리스트에 포함되는 코덱을 테스트하여 사용자 단말기(20)에서 정상 구동 가능한 코덱을 판단한다.
추천 코덱 리스트는 도 9에 도시된 것을 참조하도록 한다.
도 3은 본 발명에 따른 웹 레코딩 프로그램(100)과 웹 서버(10) 사이의 상호관계를 개념적으로 설명하기 위한 도면을 나타낸다.
본 발명에 따른 웹 레코딩 프로그램(100)은 웹 서버(10)를 통해 환경설정값을 수신하여 구동된다. 환경설정값은 웹 레코딩 프로그램(100)이 이전에 생성한 미디어 파일(예컨대 AVI 파일)의 단위 시간당 프레임 정보(예컨대 10프레임/Sec), 사용자가 설정한 캡쳐 영역에 대한 정보 및 캡쳐한 미디어 파일의 종류(예컨대 음성신호, 화상신호 및 음성과 화상신호가 결합된 비디오 신호 등)에 대한 정보를 의미한다.
웹 레코딩 프로그램(100)이 별도의 로그-인 과정을 거치지 않고도 자신의 환경설정값을 받아오기 위해서는, 웹 서버(10)가 사용자 단말기(20)의 맥 어드레스(Mac address) 값을 알고 있어야 한다. 맥 어드레스는 사용자 단말기(20)의 네트워크 카드(LAN Card)가 구비하는 유일한 값으로 타 사용자 단말기와 중복되지 않는다. 웹 서버(10)는 사용자 단말기(20)가 웹 서버(10)로 접속할 때, 사용자 단말기(20)의 맥 어드레스를 통해 사용자 단말기(20)를 인식하며, 사용자 단말기(20)에 설치된 웹 레코딩 프로그램(100)에 환경설정값을 제공한다. 웹 레코딩 프로그램은 환경설정값을 이용하여 자신이 즐겨 사용하는 환경을 리-셋팅하고, 이를 이용하여 음성신호, 화상신호 및 비디오 신호를 레코딩하여 UCC 파일을 생성할 수 있다.
도 4는 웹 레코딩 프로그램(100)이 웹 서버(10)로 환경설정값을 리턴하는 과정을 도시한다.
도시된 바와 같이, 웹 레코딩 프로그램(100)은 사용자 단말기(20)를 사용하 는 사용자에 의해 아래의 각 호에 대한 환경설정값을 정할 수 있다.
1) 단위 시간당 생성하는 미디어 프레임의 수(예컨대 12프레임/Sec),
2) 생성하고자 하는 UCC의 종류(예컨대 화상, 음성 및 비디오 UCC), 및
3) 사용자가 UCC 제작에 주로 활용하는 영역(예컨대 PC 모니터에 표시되는 영역 중 사용자가 레코딩을 위해 설정하는 영역)
웹 레코딩 프로그램(100)은 사용자에 의해 설정된 환경설정값을 이용하여 화상 프레임 및 음성 프레임을 캡쳐하고, 캡쳐된 화상 프레임과 음성 프레임을 결합하여 결합프레임을 생성하며, 결합프레임은 최종적으로 미디어 파일이 된다.
웹 레코딩 프로그램(100)은 미디어 파일을 생성 후, 또는 그 전에 사용자가 설정한 환경설정값을 웹 서버(10)로 전송하며, 웹 서버(10)는 추후 웹 레코딩 프로그램이 재 구동될 때, 사용자가 설정한 환경설정값을 웹 레코딩 프로그램(100)으로 리턴한다.
여기서, 웹 서버(10)는 사용자 단말기(20)에서 생성된 미디어 파일을 저장하고 타 사용자 단말기로 제공하는 UCC 서버, 포털 사이트의 서버 및 기타 미디어 파일을 주고 받는 서버가 될 수 있다.
도 5는 본 발명의 일 실시예에 따른 웹 레코딩 프로그램의 블록개념도를 나타낸다.
도시된 웹 레코딩 프로그램(100)은 캡쳐모듈(110), 타임 스탬프 처리모듈(120), 타이머(130a), RTC(Real-time Clock)(130b), 미디어 결합모듈(140), 시스템 부하 산출모듈(150) 및 먹스(MUX)(160)를 구비한다.
캡쳐모듈(110)은 웹 서버(10)를 통해 제공되는 환경설정값 또는 사용자가 설정한 환경설정값에 따라, 사용자 단말기(20) 측 디스플레이장치에서 재생되는 화상신호, 및 음성신호를 캡쳐하고, 각각에 대해 화상 프레임 및 음성 프레임을 생성한다. 캡쳐모듈(110)은 환경설정값에서 설정된 프레임 전송율(frame rate)에 따라 화상신호에 대한 프레임 생성 주기를 결정한다. 예컨대 환경설정값이 10프레임/sec 라면, 캡쳐모듈(110)은 초당 10프레임을 캡쳐하여 화상 프레임을 생성하며, 환경설정값이 5프레임/sec 라면 초당 5프레임을 캡쳐하여 화상 프레임을 생성한다.
타임 스탬프 처리모듈(120)은 캡쳐모듈(110)에서 캡쳐된 화상 프레임 및 음성 프레임에 타임 스탬프를 부여하고, 타임 스탬프를 참조하여 화상 프레임과 음성 프레임의 동기(sync)가 맞는지 판단한다. 타임 스탬프는 타이머(130a), 또는 사용자 단말기(20)에 마련되는 RTC(130b)를 참조하여 생성되며, 화상 프레임이나 음성 프레임(이하, 화상 프레임과 음성 프레임을 미디어 프레임이라 통칭한다. 미디어 프레임은 화상 프레임, 또는 음성 프레임일 수 있다. 화상 프레임과 음성 프레임을 따로 설명해야 할 경우에는 미디어 프레임이라고 기재하지 않는다.)에 순서를 부여한다. 타임 스탬프는 타이머(130a)나 RTC(130b)의 시간값(예컨대 210015, 오후 21시 00분 15초)을 이용할 수도 있고, 타이머(130a)나 RTC(130b)에 의해 정의한 프레임 순서(예컨대 P1, P2, P3, ... Pn)를 부여할 수도 있다. 미디어 프레임에 부여되는 타임 스탬프의 형태는 이 외에도 다양한 형태가 존재할 수 있다. 타임 스탬프 처리모듈(120)은 음성 프레임과 화상 프레임에 부여되는 타임 스탬프를 통해 양자가 일치하는가를 판단한다. 만일 일치하지 않는다면 음성 프레임이나 화상 프 레임 중 일치되지 않는 쪽 프레임을 메모리(23)에 버퍼링한다.
예컨대, 화상 프레임이 000101, 000102, 000103, 000104, ... 의 시간에 따른 타임 스탬프가 부여되고, 음성 프레임이 000101, 000102, 000105의 시간에 따른 타임 스탬프가 부여되었다면 음성 프레임(000103)의 타임 스탬프가 누락된 것으로 볼 수 있다. 이는 사용자 단말기(20)가 음성신호와 화상신호를 처리하는 도중 일부 음성 신호를 잃어버린 것을 의미한다. 이때, 타임 스탬프 처리모듈(120)은 누락된 음성 프레임(000104)에 대응되는 화상 프레임(000104)을 메모리(23)에 버퍼링한다. 타임 스탬프 모듈(120)은 화상 프레임과 음성 프레임을 사용자 단말기(20)에 마련되는 코덱(22)에 제공한다. 코덱(22)은 미디어 프레임(화상 프레임과 음성 프레임)을 압축 처리하며, 압축 처리된 미디어 프레임을 미디어 결합모듈(140)로 제공한다. 미디어 결합모듈(140)은 화상 프레임과 음성 프레임을 각각의 타임 스탬프를 참조하여 매칭하며, 사용자 단말기(20)의 시스템 부하가 작은 경우, 메모리(23)에 수납된 미디어 프레임을 호출하여 미디어 프레임 내에 삽입한다. 이는 도 6을 함께 참조하여 설명하도록 한다.
도 6은 미디어 결합모듈(140)에 의해 화상 프레임이 재 결합되는 방법을 개념적으로 나탄낸다.
도시된 바와 같이, 미디어 결합모듈(140)은 화상 프레임 어레이(P1, P2, P3, ... P7, ... Pn) 중 메모리(23)에서 호출된 화상 프레임(P5)을 화상 프레임(P3) 뒤에 다시 배치하고 있다. 이에 따라, 화상 프레임(P5)은 타임 스탬프의 순서에 따라 미디어 결합모듈(140)에서 추가되며, 화상 프레임 어레이(P1, P2, P3, ..P5, P7, ... Pn)는 화상 프레임 어레이(P1, P2, P3, ... P7, ... Pn)에 비해 더 나은 화질을 기대할 수 있다. 도면에는 화상 프레임(P5)이 화상 프레임 어레이(P1, P2, P3, ... P7, ... Pn)에 추가되는 것을 나타내고 있으나, 이러한 방법은 음성 프레임 어레이에도 동일하게 적용될 수 있음은 물론이다.
바람직하게는, 미디어 결합모듈(140)은 시스템 부하 체크모듈(141) 및 스킵(Skip) 프레임 처리모듈(142)을 구비한다.
시스템 부하 체크모듈(141)은 시스템 부하 산출모듈(150)에서 산출된 시스템 부하(예컨대 사용자 단말기의 프로세서 및 메모리의 사용률)를 획득하며, 사용자 단말기(20)가 과부하 상태인 경우, 스킵 프레임 처리모듈(142)을 비 활성화한다. 반대로 사용자 단말기(20)가 저 부하 상태(예컨대 프로세서 및 메모리의 사용률이 70% 미만)이면 스킵 프레임 처리모듈(142)를 활성화한다. 시스템 부하 체크모듈(141)은 시스템 부하를 각 구간별로 구획하고, 각 구간(예컨대, 0% ∼ 20%, 21% ∼ 50%, 51% ∼ 80%, 및 81% ∼ 100%)에 따라 스킵 프레임 처리모듈(142)이 메모리(23)에 버퍼링된 화상 프레임을 얼마만큼 화상 프레임 어레이에 삽입할 것인지를 판단한다. 스킵 프레임 처리모듈(142)은 시스템 부하 체크모듈(141)에서 판단된 결과에 따라, 메모리(23)에 버퍼링 된 화상 프레임을 화상 프레임 어레이에 삽입한다. 물론, 스킵 프레임 처리모듈(142)은 화상 프레임 뿐 아니라 음성 프레임에 대해서도 동일하게 적용될 수 있다.
시스템 부하 산출모듈(150)은 사용자 단말기(20)의 시스템 부하를 계측하고, 이를 미디어 결합모듈(140)로 통보한다. 시스템 부하는 사용자 단말기(20)에 마련 되는 프로세서 및 메모리의 사용률을 의미한다. 통상, 프로세서 및 메모리의 사용률이 70% 이상이면 사용자 단말기의 부하가 높다고 하며, 반대의 경우 적다고 볼 수 있다. 미디어 결합모듈(140)은 시스템 부하 산출모듈(150)에서 산출된 부하량에 따라 화상 프레임을 화상 프레임 어레이(예컨대, (P1, P2, P3, ... P7, ... Pn))에 얼마만큼의 화상 프레임을 삽입할 것인지를 결정한다. 만일, 메모리(23)에 10 개의 화상 프레임이 버퍼링되고, 시스템 부하는 95%에 육박한다면, 미디어 결합모듈(140)은 한 개나, 두 개 정도의 화상 프레임만을 화상 프레임 어레이에 부가하고 나머지 화상 프레임은 포기한다. 이는 화상 프레임을 재 구성하는데 사용되는 시스템 리소스를 최소화하여 사용자 단말기(20)가 안정적으로 구동할 수 있도록 하기 위한 것이다.
한편, 캡쳐모듈(110)은 시스템 부하 산출모듈(150)에서 산출된 시스템 부하에 따라 단위 시간(예컨대 1초)당 생성할 미디어 프레임의 개수를 조정한다. 캡쳐모듈(110)은 시스템 부하가 81%를 초과 시, 초당 2 ∼ 5 개의 미디어 프레임을 생성하며, 시스템 부하가 20% 미만 시, 초당 12개 이상의 미디어 프레임을 생성할 수 있다. 물론, 캡쳐모듈(110)은 기본적으로 사용자가 설정한 환경설정값에 따라 미디어 프레임을 생성하며, 시스템 부하를 참조하여 환경설정값을 증감할 수 있다.
미디어 결합모듈(140)에서 재 배열된 화상 프레임과 음성 프레임은 먹스(160)로 제공되며, 먹스(160)는 양자를 결합하여 하나의 미디어 파일을 생성한다. 미디어 파일은 AVI 인 것이 바람직하나, 이 외에 WMV, ASF 및 기타 다양한 미디어 포멧의 파일이어도 무방하다.
도 5를 통해 설명된 웹 레코딩 프로그램(100)은 최종 생성된 미디어 파일을 웹 서버(10)에 업로드(upload) 하여 사용자가 생성한 UCC 파일을 웹 서버(10)에 등록한다. 웹 서버(10)에 등록된 미디어 파일은 다양한 계층의 네티즌이 보고 즐길 수 있다. 더 많은 네티즌이 대용량의 편집 프로그램을 이용하지 않고도 자신만의 UCC 파일을 생성할 수 있도록 하기 위해, 웹 서버(10)는 도 7에 도시된 바와 같은 인터페이스를 웹 페이지의 일 측에 부가하고, 네티즌이 이를 통해 자신만의 UCC를 생성할 수 있도록 한다.
도 7은 웹 서버(10) 또는 사용자 단말기(20)에 마련되는 웹 레코딩 프로그램(100)의 인터페이스 메뉴에 대한 일 예를 나타낸다.
도시된 인터페이스 메뉴는 본 발명의 출원인이 사업화를 위해 준비해둔 것으로서, 현재 테스트 버전을 시험중인 것이다. 웹 서버(10)에서 제공하는 웹 페이지의 일 측이나, 사용자 단말기(20)의 바탕화면 트래이(윈도우즈 계열 운영체제의 트래이를 의미함) 및 웹 브라우저의 툴바(tool-bar) 등에 설치될 수 있으며, 미디어 파일을 생성하기 위한 세가지 모드를 지원한다.
첫째는 "Screen + Voice", 즉 화상과 음성이 결합된 비디오 파일을 생성하는 모드를 나타내고,
둘째는 "Screen", 즉 음성이 배제된 동영상이나 정지화상을 생성하는 모드를 나타내고,
셋째는 "Voice", 즉 화상을 배제한 순수 음성 파일을 생성하는 모드를 나타낸다.
사용자가 세가지 모드 중 어느 하나를 선택하면 웹 레코딩 프로그램(100)은 사용자 단말기(20) 측 모니터의 중심부에 레코딩을 위한 인터페이스를 표시한다. 이때, 웹 레코딩 프로그램(100)은 바탕화면에 활성화된 창(Window)이 존재하면 활성화된 창에 인터페이스를 표시한다.
도 8은 도 7에 도시된 웹 레코딩 인터페이스 화면을 통해 사용자 영역을 설정하는 과정을 설명한다.
도시된 바와 같이, 사용자가 도 7에 도시된 세가지 모드 중 "Screen + Voice", 또는 "Screen"모드를 선택 시, 사용자 단말기(20) 측 모니터의 화면에는 도 8에 도시된 형태의 간단한 인터페이스 화면이 표시된다. 도면에는 영역 설정메뉴(1), 영역 전체설정 메뉴(2) 및 레코딩 시작메뉴(3)가 표시된다. 사용자는 영역 설정메뉴(1)를 클릭 후, 자신이 원하는 영역을 마우스로 직접 설정할 수 있으며, 사용자가 영역 전체설정 메뉴(2)를 선택하면 화면에 표시된 창(5) 전체가 레코딩 영역으로 설정된다. 사용자는 레코딩 영역을 설정 후, 레코딩 시작메뉴(3)를 눌러 미디어 파일을 생성할 수 있다. 도면에서 참조부호 "5"가 할당된 창은 윈도우즈 미디어 플레이어 및 기타 다양한 미디어 플레이어가 될 수 있다. 즉, 사용자는 재생되는 음성, 화상 및 비디오를 이용하여 자신의 UCC를 생성할 수도 있다. 본 출원인은 도시된 바와 같은 간단한 인터페이스를 이용하여 전문적인 지식이 없는 사용자도 자신만의 UCC 파일을 손쉽게 생성할 수 있도록 한다.
상기한 바와 같이, 본 발명은 PC 화상 및 음성 레코딩을 위한 전문 소프트웨 어가 없이도 네티즌이 자신이 원하는 동영상 콘텐츠를 손쉽게 생성할 수 있다. 또한, 본 발명은 인터넷에 접속 가능하다면 웹 서버에서 웹 레코딩 프로그램을 호출하여 동영상 콘텐츠를 생성할 수 있으므로 동영상 콘텐츠의 생성을 위해 특정한 사용자 단말기를 필요로 하지 않는다.
또한, 본 발명에 따른 웹 레코딩 프로그램은 사용자 단말기에 기 설치되어 있는 코덱을 이용하여 압축을 수행하므로 웹 레코딩 프로그램의 크기가 80KB에 불과하며, 네트워크 환경이 열악한 지역에서도 웹 레코딩 프로그램을 다운로드 받는데 전혀 지장을 받지 않기 때문에 누구나 손쉽게 사용할 수 있다.

Claims (16)

  1. 웹 서버로부터 추천 코덱 리스트를 수신하며, 사용자 단말기에 기 설치된 코덱 중에서, 상기 추천 코덱 리스트와 일치되는 코덱을 선택하는 단계;
    사용자가 설정한 모니터 영역에서 재생되는 화상 및 음성을 미리 정해진 주기마다 캡쳐하여 미디어 프레임을 획득하는 단계;
    상기 각 미디어 프레임에 타임 스탬프를 부여하고, 상기 타임 스탬프를 참조하여 상기 화상 및 음성에 대한 미디어 프레임의 순서 및 동기의 일치 여부를 판단하는 단계; 및
    상기 선택한 코덱을 이용하여 상기 미디어 프레임에 대한 압축을 수행하고, 상기 사용자 단말기의 시스템 부하를 참조하여 상기 타임 스탬프에 따른 순서대로 상기 미디어 프레임을 조합하는 단계;를 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  2. 제1항에 있어서,
    상기 코덱을 선택하는 단계는,
    상기 사용자 단말기에 설치된 코덱들 중 상기 추천 코덱 리스트에 부합하는 코덱에 테스트 패턴을 인가하는 단계; 및
    상기 테스트 패턴에 대한 리턴값을 참조하여 상기 사용자 단말기에 설치된 각 코덱의 정상 구동 여부를 판단하며, 정상 구동되는 코덱들 중 어느 하나를 선택하는 단계;를 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  3. 제2항에 있어서,
    상기 코덱들 중 어느 하나를 선택하는 단계는,
    상기 사용자 단말기에 기 설치된 코덱 전체의 리턴값이 오류를 발생하는 경우, 상기 미디어 프레임을 원천(RAW) 데이터에 의한 미디어 프레임으로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  4. 제1항에 있어서,
    상기 미디어 프레임은,
    화상 프레임 및 음성 프레임 중 어느 하나를 포함하며, 상기 화상 프레임 및 상기 음성 프레임 각각은 동일 시간에 대해 동일한 타임 스탬프가 부여되는 것을 특징으로 하는 웹 기반 레코딩 방법.
  5. 제4항에 있어서,
    상기 타임 스탬프를 부여하는 단계는,
    상기 화상 프레임과 상기 음성 프레임에 부여된 타임 스탬프를 참조하여 상기 화상 프레임과 상기 음성 프레임의 동기가 어긋나는 프레임을 버퍼링하는 단계; 및
    상기 버퍼링된 상기 화상 프레임 및 상기 음성 프레임 각각에 대해 기 설정된 시간당 변화량을 참조하여 상기 화상 프레임 및 상기 음성 프레임의 적정 재생주기를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  6. 제5항에 있어서,
    상기 압축된 미디어 프레임의 화상 프레임 및 음성 프레임을 먹스(MUX)하여 결합 프레임을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  7. 제6항에 있어서,
    상기 결합 프레임을 생성하는 단계는,
    상기 사용자 단말기의 시스템 부하를 판단하는 단계; 및
    상기 시스템 부하가 낮은 경우, 상기 버퍼링 된 미디어 프레임 중 적어도 하나를 상기 결합 프레임에 추가하는 단계;를 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  8. 제7항에 있어서,
    상기 결합 프레임에 추가하는 단계는,
    상기 결합 프레임을 구성하는 각 미디어 프레임의 타임 스탬프 순서에 따라 상기 추가되는 미디어 프레임의 위치를 결정하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  9. 제1항에 있어서,
    상기 미디어 프레임을 획득하는 단계는,
    상기 사용자 단말기의 시스템 부하를 판단하는 단계; 및
    상기 시스템 부하에 따라 상기 미디어 프레임의 생성주기를 증감하는 단계;를 포함하며,
    상기 미디어 프레임의 생성주기는,
    상기 시스템 부하의 증가에 반비례하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  10. 제9항에 있어서,
    상기 미디어 프레임의 생성주기 및 상기 사용자가 상기 미디어 프레임을 생성하기 위해 설정한 영역에 대한 정보를 상기 웹 서버로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  11. 제10항에 있어서,
    상기 코덱을 선택하는 단계는,
    상기 웹 서버에 미리 등록한 상기 미디어 프레임의 생성주기, 상기 시스템의 시스템 정보, 상기 사용자가 설정한 영역 및 상기 미디어 프레임의 종류에 대한 정보를 수신하고, 이를 디폴트(default) 값으로 이용하는 것을 특징으로 하는 웹 기반 레코딩 방법.
  12. 프로세서 및 메모리를 구비하는 사용자 단말기에서 구동되며,
    사용자가 설정한 모니터의 영역내에서 재생되는 화상 및 음성에 대한 미디어 프레임을 생성하는 캡쳐모듈;
    상기 캡쳐된 미디어 프레임 각각에 타임 스탬프를 부여하고, 타임 스탬프를 참조하여 상기 화상 및 음성에 대한 미디어 프레임의 순서 및 동기의 일치 여부를 판단하는 타임 스탬프 처리모듈; 및
    상기 사용자 단말기에 기 설치된 코덱을 조회하고, 설치된 코덱 중 어느 하나를 선택하여 상기 미디어 프레임에 대한 압축을 요청, 및 처리하여 미디어 파일을 생성하는 미디어 결합모듈;을 포함하는 것을 특징으로 하는 레코딩 프로그램을 기록하는 기록매체.
  13. 제12항에 있어서,
    상기 타임 스탬프 처리모듈은,
    상기 화상, 및 음성에 대한 미디어 프레임에 부여된 타임 스템프가 일치하지 않는 화상, 및 음성에 대한 미디어 프레임을 메모리에 버퍼링하는 것을 특징으로 하는 레코딩 프로그램을 기록하는 기록매체.
  14. 제13항에 있어서,
    상기 미디어 결합모듈은,
    상기 사용자 단말기의 시스템 부하를 판단하는 시스템 부하 체크모듈; 및
    상기 시스템 부하에 따라 상기 메모리에 버퍼링 된 미디어 프레임을 상기 미디어 파일을 구성하는 미디어 프레임 사이에 삽입하는 스킵 프레임 처리모듈;을 포함하는 것을 특징으로 하는 레코딩 프로그램을 기록하는 기록매체.
  15. 제12항에 있어서,
    상기 타임 스탬프 처리모듈은,
    상기 화상 및 음성에 대한 미디어 프레임에 각각 부여된 타임 스탬프를 참조하여 상기 화상과 상기 음성이 어긋나는 미디어 프레임을 버퍼링하며,
    상기 버퍼링 된 상기 화상, 및 상기 음성에 대한 미디어 프레임 각각에 대해 기 설정된 시간당 변화량을 참조하여 상기 화상, 및 상기 음성에 대한 미디어 프레임의 적정 재생주기를 판단하는 것을 특징으로 하는 레코딩 프로그램을 기록하는 기록매체.
  16. 제12항에 있어서,
    상기 캡쳐모듈은,
    네트워크 접속되는 웹 서버에 미리 등록한 상기 미디어 프레임의 생성주기, 상기 시스템의 시스템 정보, 상기 사용자가 캡처를 위해 설정한 영역 및 상기 미디어 프레임의 종류에 대한 정보를 수신하고, 이를 디폴트(default) 값으로 이용하는 것을 특징으로 하는 레코딩 프로그램을 기록한 기록하는 기록매체.
KR1020070056144A 2007-06-08 2007-06-08 웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체 KR100822341B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070056144A KR100822341B1 (ko) 2007-06-08 2007-06-08 웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070056144A KR100822341B1 (ko) 2007-06-08 2007-06-08 웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체

Publications (1)

Publication Number Publication Date
KR100822341B1 true KR100822341B1 (ko) 2008-04-16

Family

ID=39571537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070056144A KR100822341B1 (ko) 2007-06-08 2007-06-08 웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체

Country Status (1)

Country Link
KR (1) KR100822341B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498233B1 (ko) * 2013-03-29 2015-03-06 주식회사 이피피엔 웹 기반 동영상 생성 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185900A (ja) 2000-12-14 2002-06-28 Kddi Corp テレビ放送録再配信システム
KR20030061926A (ko) * 2002-01-12 2003-07-23 김기남 웹을 기반으로한 강의저작 자동화 시스템
KR20070080542A (ko) * 2006-02-07 2007-08-10 에라 디지털 미디어 컴퍼니 리미티드 비디오 웹로그

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185900A (ja) 2000-12-14 2002-06-28 Kddi Corp テレビ放送録再配信システム
KR20030061926A (ko) * 2002-01-12 2003-07-23 김기남 웹을 기반으로한 강의저작 자동화 시스템
KR20070080542A (ko) * 2006-02-07 2007-08-10 에라 디지털 미디어 컴퍼니 리미티드 비디오 웹로그

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498233B1 (ko) * 2013-03-29 2015-03-06 주식회사 이피피엔 웹 기반 동영상 생성 장치 및 그 방법

Similar Documents

Publication Publication Date Title
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
US9584835B2 (en) System and method for broadcasting interactive content
US8788544B2 (en) Method and apparatus for managing data
KR101983107B1 (ko) 라이브 비디오 스트리밍에 정보 푸시를 삽입하는 방법, 서버 및 단말
US9055193B2 (en) System and method of a remote conference
CN112584087B (zh) 视频会议录制方法、电子装置和存储介质
JP2008293219A (ja) コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体
CN104469397A (zh) 分配管理设备和分配管理系统
KR100908144B1 (ko) 멀티미디어 편집/재생 시스템 및 그 동작방법
US20130060925A1 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
JP4165134B2 (ja) 情報再生装置、情報再生方法および情報再生システム
JP5043711B2 (ja) ビデオ評価装置及び方法
US20200194036A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR100822341B1 (ko) 웹 기반 ｐｃ 화상/음성 레코딩 방법 및 그를 이용한기록매체
CN113784169B (zh) 一种带弹幕的视频录制方法及装置
CN106851424B (zh) 视频播放方法及装置
JP2006333417A (ja) マルチビデオチャットシステム
KR20220132393A (ko) 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
US11689776B2 (en) Information processing apparatus, information processing apparatus, and program
KR100616425B1 (ko) 고품질 실시간 동영상 서비스 시스템
CN115879423A (zh) 数据处理方法、装置、计算机可读存储介质和程序产品
JP2004023706A (ja) 多地点会議システム
Prokeš et al. THE TOOL FOR CREATING THE WEBCAST WITH DESKTOP SHARING
JP2003324704A (ja) 講義システム
JP2003333567A (ja) 講義システム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110408

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee