KR100431341B1 - 광디스크 장치에서의 서브 픽처 데이터 재생방법 - Google Patents

광디스크 장치에서의 서브 픽처 데이터 재생방법 Download PDF

Info

Publication number
KR100431341B1
KR100431341B1 KR10-2002-0018712A KR20020018712A KR100431341B1 KR 100431341 B1 KR100431341 B1 KR 100431341B1 KR 20020018712 A KR20020018712 A KR 20020018712A KR 100431341 B1 KR100431341 B1 KR 100431341B1
Authority
KR
South Korea
Prior art keywords
sub
data
subpicture
information
unit
Prior art date
Application number
KR10-2002-0018712A
Other languages
English (en)
Other versions
KR20030079567A (ko
Inventor
이규태
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0018712A priority Critical patent/KR100431341B1/ko
Priority to US10/373,092 priority patent/US7734148B2/en
Priority to CNB031216854A priority patent/CN100348031C/zh
Publication of KR20030079567A publication Critical patent/KR20030079567A/ko
Application granted granted Critical
Publication of KR100431341B1 publication Critical patent/KR100431341B1/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036—Time code signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00—Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/007—Arrangement of the information on the record carrier, e.g. form of tracks, actual track shape, e.g. wobbled, or cross-section, e.g. v-shaped; Sequential information structures, e.g. sectoring or header formats within a track
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

본 발명에 따른 광디스크 장치에서의 서브 픽처 데이터 재생방법은, 디브이디 플레이어 등과 같은 광디스크 장치에서, 일반 재생동작 수행 도중 재생 표시되는 다양한 국가 언어의 자막정보 등과 같은 서브 픽처 데이터를 탐색하기 위한 기록위치 정보 또는 재생시간 정보를, 서브 픽처 데이터의 탐색정보로서 검색 저장하고, 사전에 설정된 사용자 키 입력시, 상기 탐색정보를 이용하여, 이전에 재생 표시된 서브 픽처 데이터를 보다 신속 정확하게 탐색 및 반복 재생함으로써, 사용자가 여러 번의 키를 입력하지 않아도 원하는 자막정보의 서브 픽처 데이터를 신속 정확하게 탐색 및 재생할 수 있게 되어, 어학 학습의 효율을 크게 증대시킬 수 있게 되는 매우 유용한 발명인 것이다.

Description

광디스크 장치에서의 서브 픽처 데이터 재생방법 {Method for reproducing a sub-picture data in optical disc device}
본 발명은, 광디스크 장치에서의 서브 픽처 데이터 재생 및 복수자막 표시방법에 관한 것으로, 더욱 상세하게는 디브이디(DVD: Digital Versatile Disc) 등과 같은 고밀도 광디스크에 기록된 서브 픽처(Sub-Picture) 데이터를 탐색 및 반복 재생하기 위한 디브이디 플레이어(DVD-Player) 등과 같은 광디스크 장치에서의 서브 픽처 데이터 재생방법과, 고밀도 광디스크에 기록된 서브 픽처 데이터와 캡션(Caption) 데이터를 동시에 복수자막으로 재생 표시하기 위한 디브이디 플레이어 등과 같은 광디스크 장치에서의 복수자막 표시방법에 관한 것이다.
일반적으로 디브이디 플레이어 등과 같은 광디스크 장치에서는, 고밀도 광디스크인 디브이디(DVD) 상에, 메인 타이틀(Main Title)로서 기록된 비디오 및 오디오 데이터를 독출하여, 디지털 영상 및 음성신호로 재생신호 처리한 후, 일반 텔레비전과 같은 연결기기를 통해 고화질의 영상 및 고음질의 음성을 출력 표시하게 된다.
한편, 상기 디브이디(DVD)에는, 다양한 국가 언어의 자막 정보 등이 서브 픽처 데이터로서 부가 기록될 수 있는 데, 상기 서브 픽처 데이터들은, 상기 메인 타이틀에 해당하는 비디오 및 오디오 데이터들과 연계되어 재생 출력될 수 있도록 서브 타이틀(Sub Title)로서, 디브이디의 일부 구간에 랜덤(Random)하게 기록 저장될수 있다.
이에 따라, 상기 디브이디 플레이어에서는, 상기 디브이디에 메인 타이틀로서 기록 저장된 비디오 및 오디오 데이터를 독출 재생함과 아울러, 상기 디브이디의 일부 구간에 서브 타이틀로서 기록 저장된 서브 픽처 데이터를 독출 재생하게 된다.
따라서, 상기 디브이디 플레이어를 구비한 사용자는, 상기 디브이디로부터 독출 재생되는 메인 타이틀의 비디오 데이터를, 일반 텔레비전의 주영상 화면을 통해 고화질 영상으로 시청할 수 있게 됨은 물론, 상기 디브이디로부터 독출 재생되는 서브 픽처 데이터, 예를 들어 다양한 국가 언어의 자막정보를, 일반 텔레비전의 부영상 화면을 통해 시청할 수 있게 되어, 사용자의 어학 능력을 보다 효율적으로 향상시킬 수 있게 된다.
그러나, 사용자가, 디브이디와 같은 광디스크로부터 독출 재생되는 다양한 국가 언어의 자막정보를 시청하면서 어학 학습을 하던 도중, 이전에 독출 재생된 자막정보를 탐색 재생하거나 또는 일정 구간을 반복 재생하고자 하는 경우, 그 자막정보의 서브 픽처 데이터가 기록된 기록위치를, 여러 번의 키 입력을 통해 직접 탐색해야만 하기 때문에, 사용상의 불편함을 느끼게 됨은 물론 어학 학습의 효율을 저하시키게 되는 문제점이 있었다.
이에 따라, 디브이디 플레이어 등과 같은 광디스크 장치에서, 사전에 설정된 사용자 키, 예를 들어 '학습 키'가 1 회 입력될 때마다, 현재의 재생 위치에서 소정시간 이전의 재생 위치로 점프(Jump) 재생하는 방안이 제안되고 있으나, 이 경우에도, 사용자가 원하는 서브 픽처 데이터의 기록위치를 정확하게 탐색할 수 없게 되어, 어학 학습의 효율을 증대시키지 못하게 되는 문제점이 있다.
한편, 일반적인 디브이디 플레이어와 같은 광디스크 장치를 어학 학습용으로 사용하고자 할 때 디브이디와 같은 광디스크에 기록 저장된 복수의 국가언어의 자막정보를 한 화면상에 재생 표시되는 것이 요구되어 지나, 광디스크에 기록 저장된 여러 국가 언어의 서브 픽처 데이터들 중 사용자가 지정한 임의의 한 국가 언어의 서브 픽처 데이터만을 독출 재생할 수 있기 때문에, 복수의 국가 언어의 자막정보들을, 동일한 하나의 화면상에 동시에 재생 표시할 수 없게 되어, 사용자의 어학 학습의 효율을 증대시키지 못하게 되는 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 디브이디 플레이어 등과 같은 광디스크 장치에서, 일반 재생동작 수행 도중 재생 표시되는 다양한 국가 언어의 자막정보와 같은 서브 픽처 데이터를 탐색하기 위한 기록위치 정보 또는 재생시간 정보를, 서브 픽처 데이터의 탐색정보로서 검색 저장하고, 사전에 설정된 사용자 키 입력시, 이전에 재생 표시된 서브 픽처 데이터를, 보다 신속 정확하게 탐색 및 반복 재생할 수 있도록 하기 위한 광디스크 장치에서의 서브 픽처 데이터 재생방법을 제공하는 데, 그 목적이 있는 것이다.
또한, 본 발명은, 디브이디 플레이어 등과 같은 광디스크 장치에서, 일반 재생동작 수행 도중 사용자로부터 복수자막 표시가 요청되는 경우, 캡션 데이터의 자막영상과 서브 픽처 데이터의 자막영상이, 서로다른 국가 언어의 자막영상으로 동일한 화면상에 각각 구분 표시될 수 있도록 하기 위한 광디스크 장치에서의 복수자막 표시방법을 제공하는 데, 그 목적이 있는 것이다.
도 1은 본 발명에 따른 서브 픽처 데이터 재생방법이 적용되는 광디스크 장치에 대한 구성을 도시한 것이고,
도 2는 본 발명이 적용되는 디브이디의 서브 픽처 유니트에 대한 구조를 도시한 것이고,
도 3은 본 발명이 적용되는 디브이디의 서브 픽처 유니트와 서브 픽처 팩간에 대응관계를 도시한 것이고,
도 4는 본 발명이 적용되는 디브이디의 서브 픽처 유니트 재생 표시와 재생 중지 상태를 도시한 것이고,
도 5 내지 도 8은 본 발명에 따른 광디스크 장치에서의 서브 픽처 데이터 재생방법에 의해 탐색 및 반복 재생되는 서브 픽처 데이터에 대한 실시예를 각각 도시한 것이다.
도 9는 본 발명에 따른 복수자막 표시방법이 적용되는 광디스크 장치에 대한 구성을 도시한 것이고,
도 10은 본 발명이 적용되는 캡션 데이터의 기록포맷을 도시한 것이고,
도 11은 본 발명이 적용되는 캡션 프레임의 구성을 도시한 것이고,
도 12는 본 발명이 적용되는 캡션 데이터의 컨트롤 코드 및 텍스트 데이터를 도시한 것이고,
도 13은 본 발명에 따른 광디스크 장치에서의 복수자막 표시방법에 대한 동작 흐름도를 도시한 것이고,
도 14는 본 발명에 따른 광디스크 장치에서의 복수자막 표시방법에 의해 화면 표시된 서브픽처 자막영상과 캡션 자막영상을 도시한 것이다.
※ 도면의 주요부분에 대한 부호의 설명
10,50 : 광디스크 11,51 : 광픽업
12,52 : RF 신호처리부 13,53 : 디지털 신호처리부
14,54 : 비디오 디코더 15,55 : 오디오 디코더
16,56 : 서브 픽처 디코더 17,57 : 신호 합산부
18,58 : 스핀들 모터 19,59 : 슬레드 모터
20,60 : 서보부 21,61 : 모터 구동부
22,62 : 제어부 23,63 : 메모리
64 : 캡션 디코더 65 : 디스플레이 버퍼
상기와 같은 목적을 달성하기 위한 본 발명에 따른 광디스크 장치에서의 서브 픽처 데이터 재생방법은, 서브 픽처 유니트를 화면에 표시하는 1단계; 상기 서브 픽처 유니트가 화면에 표시되는 시점마다, 상기 서브픽처 유니트의 시작 기록 위치를 저장하는 2단계; 및 설정된 사용자의 키 입력에 따라, 그 탐색정보에 대응되는 서브 픽처 유니트의 시작 기록위치를 탐색 재생하는 3단계를 포함하여 이루어지는 것을 특징으로 하며,
또한, 본 발명에 따른 광디스크 장치에서의 복수자막 표시방법은, 광디스크로부터 독출되는 서브 픽처 데이터와 캡션 데이터를 각각 복조하여, 그에 대응되는 각각의 자막영상으로 재생신호 처리하는 1단계; 및 상기 각각 재생신호 처리된 서브 픽처 데이터의 자막영상과 캡션 데이터의 자막영상을 동시에, 동일한 한 화면상에 구분 표시하는 2단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명에 따른 광디스크 장치에서의 서브 픽처 데이터 재생 및 복수자막 표시방법에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.
우선, 본 발명에 따른 서브 픽처 데이터 재생방법은, 예를 들어 디브이디 플레이어와 같은 광디스크 장치에 적용될 수 있는 것으로, 상기 디브이디 플레이어에는, 도 1에 도시한 바와 같이, 광디스크(10)에 기록된 비디오 및 오디오 데이터 스트림들을 독출 재생하기 위한 광픽업(11), RF 신호처리부(12), 디지털 신호처리부(13), 비디오 디코더(14) 및 오디오 디코더(15)가 포함 구성되며, 또한, 상기 광디스크(10)에 기록된 다양한 국가 언어의 자막정보와 같은 서브 픽처 데이터를 재생 신호 처리하기 위한 서브 픽처 디코더(16)와, 상기 서브 픽처 데이터를 탐색 재생하기 위한 기록위치 정보 또는 재생시간 정보 등을 기록 저장하기 위한 메모리(23)가 포함 구성된다.
또한, 상기 광디스크를 회전시키기 위한 스핀들 모터(18), 상기 광픽업의 위치를 이동시키기 위한 슬레드 모터(19), 상기 스핀들 모터와 슬레드 모터를 구동 제어하기 위한 모터 구동부(21)와 서보부(20), 상기 각 구성수단들을 동작 제어하기 위한 제어부(22)가 포함 구성된다.
그리고, 상기 제어부(22)에서는, 일반 재생동작 수행 도중, 상기 서브 픽처 디코더(16)에 의해 재생 표시되는 현재의 서브 픽처 유니트의 기록크기와, 그 직전에 재생 표시된 서브 픽처 유니트의 기록크기를 비교하여, 그 기록크기가 서로 일치하지 않는 경우, 새로운 서브 픽처 데이터가 재생 표시되고 있다고 판별하여, 현재의 서브 픽처 유니트의 기록크기와, 시작 기록위치 정보 또는 재생시간 정보를 탐색정보로서, 상기 메모리(23) 상에 기록 저장하게 되는 데, 이때 상기 탐색정보는, 북 마크(Book Mark) 등과 같은 형태로 저장 관리될 수 있다.
한편, 상기 서브 픽처 유니트의 구조는, 도 2에 도시한 바와 같이, 서브 픽처 유니트 헤더(SPUH: Sub-Picture Unit Header)와, 픽셀 데이터(PXD: Pixel Data), 그리고 서브 픽처 디스플레이 컨트롤 시퀀스 테이블(SP_DCSQT: Sub-Pic. Display Control Sequence Table)로 구성되는 것으로, 상기 서브 픽처 유니트 헤더(SPUH)에는, 서브 픽처 유니트의 기록크기를 나타내기 위한 2 바이트의 사이즈 정보(SPU_SZ)와, 상기 서브 픽처 디스플레이 컨트롤 시퀀스 테이블이 기록된 시작 기록위치를 나타내기 위한 2 바이트의 시작 어드레스(SP_DCSQT_SA) 정보가 포함 기록된다.
또한, 상기 서브 픽처 디스플레이 컨트롤 시퀀스 테이블(SP_DCSQT)에는, 다수의 서브 픽처 디스플레이 컨트롤 시퀀스(SP_DCSQ 0,1,2..)들이 포함 기록되는 데, 상기와 같은 서브 픽처 유니트는, 도 3에 도시한 바와 같이, 2048 바이트의 기록크기를 갖는 다수의 서브 픽처 팩(SP_PCK i, i+1, i+2..)들로 연속되는 서브 픽처 스트림으로 독출 재생된다.
그리고, 상기 서브 픽처 디코더(16)에서는, 도 4에 도시한 바와 같이, 서브 픽처 유니트들에 대한 디코딩 및 재생신호 처리동작을 수행하되, 상기 서브 픽처 디스플레이 컨트롤 시퀀스(SP_DCSQ)에 의해 지정되는 디스플레이 컨트롤 커맨드(Display Control Command)에 따라, 서브 픽처 데이터의 디스플레이가 온/오프(On/Off)되도록 함으로써, 서브 픽처 유니트의 유효 구간(Valid period of SPU) 중 일부구간 동안만 서브 픽처 데이터가 재생 표시되도록 하거나, 또는 재생 중단되도록 한다.
즉, 상기 서브 픽처 디코더(16)에서는, 해당 서브 픽처 유니트를 디코딩 및 재생 표시하던 도중, 디스플레이 오프(Display Off)를 지정하는 디스플레이 컨트롤 커맨드(DSP_CMD_OFF)가 검출되는 경우, 내부 버퍼(Buffer)에 저장된 해당 구간의 서브 픽처 데이터들에 대한 디코딩 및 재생 표시동작을 중단시키게 된다.
한편, 상기 제어부(22)에서는, 상기 서브 픽처 디코더(16)에 의해 재생 표시되고 있는 현재의 서브 픽처 유니트의 기록크기(SPU_SZ) 정보를, 소정 주기, 예를 들어 서브 픽처 스트림에 포함 독출되는 서브 픽처 유니트 헤더(SUPH) 정보를 검출할 수 있는 소정 주기로 검출하여, 그 서브 픽처 유니트의 기록크기(SPU_SZ) 정보를 독출한 후, 직전에 재생 표시된 서브 픽처 유니트의 기록크기 정보와 비교하게 되고, 그 비교결과, 상기 기록크기가 서로 일치하지 않는 경우, 새로운 서브 픽처 데이터가 재생 표시되고 있다고 판별하게 된다.
그리고, 상기 서브 픽처 디코더(16)를 거쳐 검출되는 서브 픽처 유니트의 재생시간 정보(PTS of SPU) 정보, 또는 서브 픽처 유니트의 시작 기록위치(SPU_SA) 정보를, 해당 서브 픽처 유니트를 탐색하기 위한 탐색정보로서 상기 메모리(23)에 기록 저장하게 되는 데, 상기와 같은 과정을 통해 서브픽처가 온/오프되는 시점마다의 재생시간정보 또는 시작기록위치정보를 저장할 수 있으며, 저장되는 탐색정보를 이용하여, 사용자가 원하는 다양한 국가 언어의 자막정보와 같은 서브 픽처 데이터를 탐색 재생하거나 또는 구간 반복 재생하는 서브 픽처 데이터 재생방법에 대해 상세히 설명하면 다음과 같다.
도 5 내지 도 8은, 본 발명에 광디스크 장치에서의 서브 픽처 데이터 재생방법에 의해 탐색 및 반복 재생되는 서브 픽처 데이터에 대한 다양한 실시예를 도시한 것으로, 상기 제어부(22)에서는, 일반 재생동작 수행 도중, 상기 서브 픽처 디코더(16)에 의해 디코딩 및 재생 표시되는 현재의 k 번째 서브 픽처 유니트의 기록크기(SPU_SZ # k) 정보를 소정주기로 검색 독출한 후, 그 직전에 재생 표시된 k-1 번째 서브 픽처 유니트의 기록크기(SPU_SZ # k-1)와 비교하게 된다(①).
그리고, 상기 비교결과, 상기 k 번째 서브 픽처 유니트의 기록크기(SPU_SZ # k)와, k-1 번째 서브 픽처 유니트의 기록크기(SPU_SZ # k-1)가 서로 일치하지 않는 경우, 현재 재생 표시되고 있는 k 번째 서브 픽처 유니트가, 직전에 재생 표시된 k-1 번째 서브 픽처 유니트와는 다른 새로운 서브 픽처 데이터에 해당된다고 판별하고, 상기 k 번째 서브 픽처 유니트의 기록크기 정보와, 재생시간 정보(PTS of SPU # k) 또는 시작 기록위치 정보(SPU_SA # k)를, 상기 메모리(23)에 탐색정보로서 기록 저장하게 된다(②).
이후, 본 발명에 따른 제1 실시예로서, 상기 제어부(22)에서는, 사전에 설정된 사용자 키, 예를 들어 '학습 키'가 입력되는 경우(③), 도 5에 도시한 바와 같이, '학습 키'가 입력된 시점에서 가장 최신 기록된 탐색정보를, 상기 메모리(23)에서 검색 독출한 후, 그 탐색정보에 대응되는 k 번째 서브 픽처 데이터의 시작 기록위치를 탐색하여(④), 시간적 연속성을 갖는 서브 픽처 유니트, 예를 들어 "How are you ?" 등과 같은 완전한 문장의 자막정보에 해당하는 서브 픽처 유니트의 시작 부분에서부터 서브 픽처 데이터를 재생 표시하는 일련의 서브 픽처 데이터 탐색재생동작을 수행하게 된다.
한편, 본 발명에 따른 제2 실시예로서, 상기 제어부(22)에서는, 사용자로부터 '학습 키'가 입력되는 경우(③), 도 6에 도시한 바와 같이, '학습 키'가 입력된 시점에 재생 표시되고 있는 현재의 서브 픽처 데이터의 기록위치를 임시 저장함과 아울러, 상기 '학습 키'가 입력된 시점에서 가장 최신 기록된 탐색정보를, 상기 메모리(23)에서 검색 독출하여, 그 탐색정보에 대응되는 k 번째 서브 픽처 데이터의 시작 기록위치를 탐색(④)하게 된다.
그리고, 상기 탐색된 k 번째 서브 픽처 데이터의 시작 기록위치에서부터 서브 픽처 데이터를 재생 표시하게 되는 데, 이후 독출 재생되는 서브 픽처 데이터의 기록위치가, 상기 임시 저장된 기록위치와 일치하는 부분까지, 사용자가 지정한 반복 재생 회수에 따라, 해당 구간(④∼③)을 적어도 1 회 이상 반복 재생하는 일련의 서브 픽처 데이터 구간 반복 재생동작을 수행하게 된다.
또한, 본 발명에 따른 제3 실시예로서, 상기 제어부(22)에서는, 사용자로부터 '학습 키'가 입력되는 경우(③), 도 7에 도시한 바와 같이, '학습 키'가 입력된 시점에서 가장 최신 기록된 탐색정보를, 상기 메모리(23)에서 검색 독출하여, 그 탐색정보에 대응되는 k 번째 서브 픽처 데이터의 시작 기록위치를 탐색(④)하고, 그 탐색된 k 번째 서브 픽처 데이터의 시작 기록위치에서부터 서브 픽처 데이터를 재생 표시하게 된다.
그리고, 상기 독출 재생되는 서브 픽처 데이터의 디스플레이 오프를 지정하는 디스플레이 컨트롤 커맨드(DSP_CMD_OFF)가 검출될 때까지(⑥), 사용자가 지정한반복 재생 회수에 따라, 해당 구간(④∼⑥)을 적어도 1 회 이상 반복 재생하는 일련의 서브 픽처 데이터 구간 반복 재생동작을 수행하게 된다.
한편, 본 발명에 따른 제4 실시예로서, 상기 제어부(22)에서는, 사용자로부터 '학습 키'가 입력되는 경우(③), 도 8에 도시한 바와 같이, '학습 키'가 입력된 시점에서 가장 최신 기록된 탐색정보를, 상기 메모리(23)에서 검색 독출하여, 그 탐색정보에 대응되는 k 번째 서브 픽처 데이터의 시작 기록위치를 탐색(④)하게 되고, 그 탐색된 k 번째 서브 픽처 데이터의 시작 기록위치에서부터 서브 픽처 데이터를 재생 표시하게 되는 데, 이때 상기 '학습 키'가 한번 더 입력되는 경우, 그 이전에 재생 표시된 k-1 번째 서브 픽처 데이터의 재생시간 정보 또는 시작 기록위치 정보를, 상기 메모리(23)에서 검색 독출하여 탐색(⑥)하게 되고, 그 탐색된 k-1 번째 서브 픽처 데이터의 시작 기록위치에서부터 서브 픽처 데이터를 재생 표시하는 일련의 서브 픽처 데이터 탐색 재생동작을 수행하게 된다.
따라서, 이전에 재생 표시된 서브 픽처 데이터를 보다 신속 정확하게 탐색 및 반복 재생할 수 있게 되어, 사용자가 여러 번의 키를 입력하지 않아도 원하는 자막정보의 서브 픽처 데이터를 용이하게 탐색 재생할 수 있게 되는 것이다.
한편, 본 발명에 따른 복수자막 표시방법은, 예를 들어, 디브이디 플레이어와 같은 광디스크 장치에 적용될 수 있는 것으로, 상기 디브이디 플레이어에는, 도 9에 도시한 바와 같이, 광디스크(50)에 기록된 비디오 및 오디오 데이터 스트림들을 독출 재생하기 위한 광픽업(51), RF 신호처리부(52), 디지털 신호처리부(53),비디오 디코더(54) 및 오디오 디코더(55)가 포함 구성되며, 또한, 상기 광디스크(50)에 기록된 다양한 국가 언어의 자막정보와 같은 서브 픽처 데이터를 재생 신호처리하기 위한 서브 픽처 디코더(56)와, 비디오 데이터 스트림 내에 포함 기록된 캡션 데이터를 독출하여 재생 신호처리하기 위한 캡션 디코더(64)와, 상기 캡션 데이터의 자막영상을 출력 표시하기 위한 디스플레이 버퍼(65)가 포함 구성된다.
또한, 상기 광디스크를 회전시키기 위한 스핀들 모터(58), 상기 광픽업의 위치를 이동시키기 위한 슬레드 모터(59), 상기 스핀들 모터와 슬레드 모터를 구동 제어하기 위한 모터 구동부(61)와 서보부(60), 상기 각 구성수단들을 동작 제어하기 위한 제어부(62), 그리고 상기 제어동작에 필요한 정보들을 저장하기 위한 메모리(63)가 포함 구성된다.
그리고, 상기 제어부(62)에서는, 일반 재생동작 수행 도중 사전에 설정된 사용자 키, 예를 들어 '복수자막 키'가 입력되는 경우, 상기 각 구성수단을 동작 제어하여, 상기 디브이디와 같은 광디스크(10)로부터 독출되는 서브 픽처 데이터의 자막영상과 캡션 데이터의 자막영상이 서로다른 국가의 언어로 표시되도록, 예를 들어 서브 픽처 데이터의 자막영상을 기설정된 자국어로, 캡션 데이터의 자막영상을 외국어로 하여, 일반 텔레비전의 동일한 한 화면상에 각각 구분 표시되도록 제어하게 된다.
한편, 상기 제어부(62)에서는, 상기와 같은 복수자막 표시 동작을 수행하기 이전에 앞서, 현재의 사용자가 설정해 놓은 환경설정 상태, 즉 서브 픽처 데이터의디스플레이 온/오프(On/Off) 상태와 국가 언어 정보를, 상기 메모리(63)에 저장(Back-Up)하게 되는 데, 이는 향후 복수 자작표시동작을 종료할 경우, 다시 사용자가 설정해 놓은 상태로 화면을 표시해 주기 위한 것이다,
그리고, 상기 캡션 데이터는, 전술한 바와 같이, 디브이디와 같은 광디스크(50)에 메인 타이틀로서 기록된 비디오 데이터 스트림에 포함 기록되는 것으로. 도 10에 도시한 바와 같이, 비디오 데이터 스트림을 복조한 이후의 논리적 파일인 비디오 시퀀스(Video Sequence)에는, 시퀀스 헤더(Sequence Header), 시퀀스 익스텐션(Sequence Extension), 익스텐션 데이터(Extension Data) 및 유저 데이터(User Data) 등이 포함 구성되는 데, 이때 상기 캡션 데이터는, 상기 유저 데이터 내에 라인 21 번째 데이터(Line 21_Data)로서 포함 기록된다.
또한, 상기와 같이 유저 데이터 내의 라인 21 번째 데이터로서 독출되는 캡션 데이터는, 도 11에 도시한 바와 같이, 상기 디스플레이 버퍼(63) 내에, 4 줄의 기록크기를 갖는 캡션 프레임(Caption Frame)으로 누적 저장된 후, 일시 출력되는 것으로, 이를 위해 상기 디스플레이 버퍼(65)에서는, 상기 캡션 디코더(64)로부터 복조 출력되는 데이터 중 캡션 데이터의 시작을 나타내는 정보(Start of Caption)를 검출 확인하여, 이후 입력되는 캡션 데이터들을 프레임 단위로 누적 저장하게 되며, 이후 캡션 데이터의 종료를 나타내는 정보(End of Caption)를 검출 확인하여, 상기 누적 저장된 캡션 프레임을 소정 크기의 자막영상으로 일시에 출력 표시하게 된다.
한편, 상기와 같이 유저 데이터로서 포함 기록되는 캡션 데이터는, 도 12에도시한 바와 같이, 통상적인 아날로그 영상신호에 포함 전송되는 캡션 데이터와 거의 동일/유사하게 프리엠블 컨트롤 코드(Preamble Control Code)와, 열 당 32 문자까지의 캡션 텍스트(Caption Text Up to 32 Character per Row)들을 포함하여 구성될 수 있는 데, 이는 본 발명과 직접적인 관련이 없으므로 생략하기로 하며, 이하에서는, 사용자로부터 '복수자막 키'가 입력되는 경우, 상기 캡션 데이터의 자막영상과 서브 픽처 데이터의 자막영상을 서로다른 국가 언어의 자막영상들로 선택 복조하여, 일반 텔레비전의 동일한 한 화면상에 각각 구분 표시되도록 하는 방법에 대해 상세히 설명한다.
도 13은, 본 발명에 따른 광디스크 장치에서의 복수자막 표시방법에 대한 동작 흐름도를 도시한 것으로, 상기 제어부(62)에서는, 도 9를 참조로 전술한 바 있는 각 구성수단들을 동작 제어하여, 광디스크(50)에 기록된 비디오 및 오디오 데이터를 독출 재생하는 일반 재생동작을 수행하게 된다(S10).
한편, 상기와 같은 일반 재생동작을 수행하던 도중, 사전에 설정된 사용자 키, 예를 들어 '복수자막 키'가 사용자로부터 선택 입력되는 경우, 캡션 데이터의 자막영상과 서브 픽처 데이터의 자막영상을 동시에 표시하는 복수 자막 표시동작이 요청되었다고 판별하게 된다(S11).
이에 따라, 상기 제어부(62)에서는, 상기 복수자막 키가 입력되기 이전에 사용자에 의해 설정된 데이터 재생 조건을 확인하게 되는 데, 예를 들어 서브 픽처 데이터의 표시 온/오프 상태와, 사용자가 선택하여 재생 중인 서브 픽처 데이터의국가 언어 정보를 검출 확인하여, 상기 메모리(63)에 저장(Back-Up)하게 된다(S12).
그리고, 상기 서브 픽처 디코더(56)와 캡션 디코더(64)를 동작 제어하여, 도 2 내지 도 4를 참조로 전술한 바와 같이, 광디스크(50)에 서브 타이틀로서 기록 저장된 서브 픽처 데이터와, 도 10 내지 도 12를 참조로 전술한 바와 같이, 메인 타이틀로서 비디오 데이터 스트림에 포함 기록된 캡션 데이터를 각각 독출하게 된다(S13).
이때, 상기 제어부(62)에서는, 상기 캡션 디코더(64)에 의해 복조 및 재생신호 처리되는 캡션 데이터의 자막영상을 화면에 표시하고, 상기 서브 픽처디코더(56)에 의해 복조 및 재생신호 처리되는 서브 픽처 데이터의 자막영상이, 상기 캡션 데이터의 자막영상과는 상이한 언어문자, 즉 자국어로 표시되도록 한다. 상기 자국어는 광디스크 장치 출하시 또는 사용자가 설정 등록해 놓은 언어이다.
즉, '복수자막 키'가 입력되기 이전에, 사용자가 선택 시청하던 서브 픽처 데이터의 자막영상이 '불어'에 해당하는 경우, 복수자막 동작이 요청되면 그 언어의 유형을 식별할 수 있는 정보를 메모리(63)에 저장함과 아울러, 장치 내에 기설정된 국가 코드 정보인 '한국'을 검출 확인하여, 한국어의 서브 픽처 데이터를 독출 재생함으로써, 사용자 자국어의 자막영상이 출력 표시되도록 한다.
이때, 상기 자국어의 서브 픽처 데이터의 자막영상과, 상기 외국어의 캡션 데이터의 자막영상을, 도 14에 도시한 바와 같이, 일반 텔레비전의 동일한 한 화면상에 함께 표시하되, 각각 서로다른 위치, 예를 들어 상기 캡션 데이터의 자막영상"How are you ?"을 화면 상단부분에 표시하고, 상기 서브 픽처 데이터의 자막영상 "안녕하세요 ?"는, 화면 하단부분에 표시되도록, 상기 비디오 디코더(54)에 의해 복조 및 재생 출력되는 주영상 신호와의 중첩 타이밍을 제어하게 된다(S14).
한편, 상기 제어부(62)에서는, 상기와 같은 과정을 통해 복수의 자막영상을 동시에 재생 표시하던 도중, 상기 복수자막의 해제가 요청되면(S15), 상기 메모리(63)에 저장된 백업 정보, 즉, 복수자막 표시동작 이전에 서브 픽처 데이터의 표시 온/오프 상태와 국가 언어 정보 등을 검출 확인하여, 이전의 상태로 복귀하게 된다(S16).
이에 따라, 사용자는 일반 텔레비전의 화면을 통해 자국어의 자막영상과, 외국어의 자막영상을, 고화질의 동영상과 함께 동시에 시청 확인할 수 있게 되므로, 어학 학습의 효율을 크게 증대시킬 수 있게 된다. 또한 상기 외국어 자막을 표시하는 캡션 데이터가 문자 데이터인 것을 이용하여, 광디스크 장치 내부에 전자사전 데이터 베이스를 구비하고 단어 검색 등의 기능을 이용할 수도 있다.
한편, 상기 캡션 데이터는, 일반적으로 영어의 대문자 폰트(Font) 데이터로 기록되는 데, 대문자 폰트에 익숙하지 못한 비 영어권 사용자에게 편의를 제공하기 위하여, 도 14에 도시한 바와 같이, 도 14에 도시한 바와 같이, 상기 메모리(63)에 대문자의 폰트 데이터들과 각각 대응되는 소문자의 폰트 데이터들을 상호 맵핑(Mapping)시켜 기록 저장하고, 대문자의 캡션 데이터를 복조하게 되는 경우, 상기 메모리에 저장된 소문자의 폰트 데이터를 독출 이용하여, 대문자를 소문자로변환 출력하는 폰트 변환 동작이 수행되도록 할 수도 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 디브이디 플레이어 이외의 또다른 광디스크 장치 등에 적용할 수 있으며, 또한 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
상기와 같이 이루어지는 본 발명에 따른 광디스크 장치에서의 서브 픽처 데이터 재생 및 복수자막 표시방법은, 디브이디 플레이어 등과 같은 광디스크 장치에서, 일반 재생동작 수행 도중 재생 표시되는 다양한 국가 언어의 자막정보 등과 같은 서브 픽처 데이터를 탐색하기 위한 기록위치 정보 또는 재생시간 정보를, 서브 픽처 데이터의 탐색정보로서 검색 저장하고, 사전에 설정된 사용자 키 입력시, 상기 탐색정보를 이용하여, 이전에 재생 표시된 서브 픽처 데이터를 보다 신속 정확하게 탐색 및 반복 재생함으로써, 사용자가 여러 번의 키를 입력하지 않아도 원하는 자막정보의 서브 픽처 데이터를 용이하게 탐색 재생할 수 있게 되어, 시간적으로 연속성을 갖는 한 문장으로 이루어진 대사가 끊기지 않고 재생하는 것이 가능해 며, 또한 일반 재생동작 수행 도중 사용자로부터 복수자막 표시가 요청되는 경우, 캡션 데이터의 자막영상과 서브 픽처 데이터의 자막영상이, 서로다른 국가 언어의자막영상으로, 동일한 화면상에 각각 구분 표시되도록 함으로써, 사용자가, 일반 텔레비전의 화면을 통해 자국어의 자막영상과, 외국어의 자막영상을, 고화질의 동영상과 함께 동시에 시청 확인할 수 있게 되어, 어학 학습의 효율을 크게 증대시킬 수 있게 되는 매우 유용한 발명인 것이다.

Claims (10)

  1. 서브 픽처 유니트를 화면에 표시하는 1단계;
    상기 서브 픽처 유니트가 화면에 표시되는 시점마다, 상기 서브픽처 유니트의 시작 기록 위치를 저장하는 2단계; 및
    설정된 사용자의 키 입력에 따라, 그 탐색정보에 대응되는 서브 픽처 유니트의 시작 기록위치를 탐색 재생하는 3단계를 포함하여 이루어지는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  2. 제 1항에 있어서,
    상기 2단계는, 상기 화면 표시되는 서브 픽처 유니트의 기록크기와 탐색정보를 저장하는 하위 1단계;
    연속하여 입력되는 서브 픽처 유니트의 기록크기와 상기 저장된 서브 픽처 데이터의 기록크기를 비교하는 하위 2단계; 및
    상기 비교결과에 따라 신규 데이터라고 판별되면, 상기 연속하여 입력되는 서브 픽처 데이터의 기록크기와 탐색정보를 저장하는 하위 3단계로 이루어지는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  3. 제 2항에 있어서,
    상기 하위 3단계는, 상기 현재의 서브 픽처 유니트의 기록크기와, 직전에 독출 표시된 서브 픽처 유니트의 기록크기가 서로 일치하지 않은 경우, 새로운 서브 픽처 데이터의 표시로 판별하는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  4. 제 2항에 있어서,
    상기 하위 1단계는, 상기 서브 픽처 유니트의 헤더 정보를 독출할 수 있는 소정 주기 이하로 샘플링하여, 상기 서브 픽처 유니트 사이즈(SPU_SZ) 정보를 검출 확인되는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  5. 제 2항에 있어서,
    상기 서브 픽처 유니트의 기록크기는, 서브 픽처 유니트의 헤더에 포함 기록된 2 바이트의 서브 픽처 유니트 사이즈(SPU_SZ) 정보에 의해 검출 확인되는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  6. 제 2항에 있어서,
    상기 탐색정보는, 서브 픽처 유니트의 재생시간 정보 또는 시작 기록위치 정보인 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  7. 제 2항에 있어서,
    상기 하위 3단계는, 사전에 설정된 사용자 키가 입력되는 경우, 그 시점에서가장 최신 기록된 탐색정보를 독출하여, 그 탐색정보에 대응되는 해당 서브 픽처 유니트의 선두 기록위치를 탐색 재생하는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  8. 제 2항에 있어서,
    상기 하위 3단계는, 사전에 설정된 사용자 키의 입력 시점과 입력 회수에 따라, 가장 최신 기록된 이전의 탐색정보들을 순차적으로 검색 독출하여, 그 탐색정보에 대응되는 해당 서브 픽처 유니트의 시작 기록위치를 탐색 재생하는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  9. 제 2항에 있어서,
    상기 하위 3단계는, 사전에 설정된 사용자 키가 입력되는 경우, 그 시점에 대응되는 기록위치를 임시 저장한 후, 가장 최신 기록된 탐색정보를 독출하여, 그 탐색정보에 대응되는 해당 서브 픽처 유니트의 시작 기록위치를 탐색한 후, 상기 임시 저장된 기록위치까지의 구간을 적어도 1 회 이상 반복 재생하는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
  10. 제 2항에 있어서,
    상기 하위 3단계는, 사전에 설정된 사용자 키가 입력되는 경우, 그 시점에서 가장 최신 기록된 탐색정보를 독출하여, 그 탐색정보에 대응되는 해당 서브 픽처유니트의 시작 기록위치를 탐색 재생하되, 그 서브 픽처 유니트가 디스플레이 오프(Display Off)될 때까지의 소정 구간을, 적어도 1 회 이상을 반복 재생하는 것을 특징으로 하는 광디스크 장치에서의 서브 픽처 데이터 재생방법.
KR10-2002-0018712A 2002-03-20 2002-04-04 광디스크 장치에서의 서브 픽처 데이터 재생방법 KR100431341B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2002-0018712A KR100431341B1 (ko) 2002-04-04 2002-04-04 광디스크 장치에서의 서브 픽처 데이터 재생방법
US10/373,092 US7734148B2 (en) 2002-03-20 2003-02-26 Method for reproducing sub-picture data in optical disc device, and method for displaying multi-text in optical disc device
CNB031216854A CN100348031C (zh) 2002-03-20 2003-03-17 再现光盘设备中子图像数据以及显示光盘中多文本的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0018712A KR100431341B1 (ko) 2002-04-04 2002-04-04 광디스크 장치에서의 서브 픽처 데이터 재생방법

Publications (2)

Publication Number Publication Date
KR20030079567A KR20030079567A (ko) 2003-10-10
KR100431341B1 true KR100431341B1 (ko) 2004-05-12

Family

ID=32377976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0018712A KR100431341B1 (ko) 2002-03-20 2002-04-04 광디스크 장치에서의 서브 픽처 데이터 재생방법

Country Status (1)

Country Link
KR (1) KR100431341B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100538851B1 (ko) * 2002-11-20 2005-12-23 엘지전자 주식회사 광디스크 장치의 자막 반복 재생방법
KR100618731B1 (ko) * 2004-08-17 2006-08-31 엘지전자 주식회사 디빅스 비디오의 멀티 서브타이틀 재생 제어방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09115224A (ja) * 1995-10-04 1997-05-02 Tojin Denshi Kk キャプション指向画面検索機能付きビデオｃｄ再生装置
KR19980022327A (ko) * 1996-09-21 1998-07-06 구자홍 캡션 카셋트 플레이어에서 문장단위로 반복재생방법
KR19980075470A (ko) * 1997-03-31 1998-11-16 배순훈 디지탈 비디오 디스크 플레이어의 구간 반복 재생 방법
KR19980075454A (ko) * 1997-03-31 1998-11-16 배순훈 디.브이.디.시스템에 있어서 반복 재생방법
KR19990059561A (ko) * 1997-12-30 1999-07-26 윤종용 광디스크 재생기기의 반복 재생장치 및 재생방법
KR20000002221A (ko) * 1998-06-11 2000-01-15 구자홍 서브픽쳐의 영상구간 반복 재생방법
KR20010046233A (ko) * 1999-11-11 2001-06-05 박규진 디지털 오디오 플레이어에서의 반복재생 구간설정 및실행제어 방법
KR20030063695A (ko) * 2002-01-23 2003-07-31 주식회사 엘지이아이 광디스크의 데이터 재생위치 지정 및 재생방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09115224A (ja) * 1995-10-04 1997-05-02 Tojin Denshi Kk キャプション指向画面検索機能付きビデオｃｄ再生装置
KR19980022327A (ko) * 1996-09-21 1998-07-06 구자홍 캡션 카셋트 플레이어에서 문장단위로 반복재생방법
KR19980075470A (ko) * 1997-03-31 1998-11-16 배순훈 디지탈 비디오 디스크 플레이어의 구간 반복 재생 방법
KR19980075454A (ko) * 1997-03-31 1998-11-16 배순훈 디.브이.디.시스템에 있어서 반복 재생방법
KR19990059561A (ko) * 1997-12-30 1999-07-26 윤종용 광디스크 재생기기의 반복 재생장치 및 재생방법
KR20000002221A (ko) * 1998-06-11 2000-01-15 구자홍 서브픽쳐의 영상구간 반복 재생방법
KR20010046233A (ko) * 1999-11-11 2001-06-05 박규진 디지털 오디오 플레이어에서의 반복재생 구간설정 및실행제어 방법
KR20030063695A (ko) * 2002-01-23 2003-07-31 주식회사 엘지이아이 광디스크의 데이터 재생위치 지정 및 재생방법

Also Published As

Publication number Publication date
KR20030079567A (ko) 2003-10-10

Similar Documents

Publication Publication Date Title
CN100362861C (zh) 光盘播放中的多文本显示
US7734148B2 (en) Method for reproducing sub-picture data in optical disc device, and method for displaying multi-text in optical disc device
US7489851B2 (en) Method and apparatus for repetitive playback of a video section based on subtitles
JPH07130149A (ja) 時間表示機能付き再生装置
US5933394A (en) Apparatus and method for storing reproduction related information in digital versatile disc player
US20010027509A1 (en) Disc reproduction apparatus and method therefor
US20040102955A1 (en) DVD driver for language study and method of processing audio streams thereof
KR100431341B1 (ko) 광디스크 장치에서의 서브 픽처 데이터 재생방법
KR100466930B1 (ko) 광디스크 장치에서의 복수자막 표시방법
JP2008092403A (ja) 再生支援装置、再生装置、および、再生方法
KR100226968B1 (ko) 디.브이.디.시스템에 있어서 반복 재생방법
KR19980055531A (ko) 광디스크 재생장치의 가변전송레이트 버퍼 관리장치 및 그 제어방법
KR100357242B1 (ko) 디지탈데이터 맵핑방법 및 이것을 이용한 반복재생방법
KR100538851B1 (ko) 광디스크 장치의 자막 반복 재생방법
JP3097876U (ja) ディスク再生装置
KR100481280B1 (ko) 서브픽쳐의영상구간반복재생방법
JP2005167426A (ja) 映像再生装置及び映像再生方法
KR100466931B1 (ko) 캡션 데이터 재생 및 탐색방법
KR100349820B1 (ko) 전자사전기능을 갖춘 디브이디 재생장치 및 재생방법
JP4295450B2 (ja) 多言語対応の情報再生装置
KR19990007151A (ko) 사용자의 모국어 디스플레이 기능을 갖는 재생 장치 및 디스플레이 방법
KR100275873B1 (ko) 멀티-광디스크 재생장치 및 그 제어방법
KR20000028474A (ko) 비디오 씨디 시스템의 탐색 재생 방법
KR101061011B1 (ko) 타이틀 재생 중 이전 및 이후 타이틀 프리뷰 재생방법
KR100199394B1 (ko) 광디스크 재생장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110328

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee