KR20030053190A - 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법 - Google Patents

재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법 Download PDF

Info

Publication number
KR20030053190A
KR20030053190A KR1020010083250A KR20010083250A KR20030053190A KR 20030053190 A KR20030053190 A KR 20030053190A KR 1020010083250 A KR1020010083250 A KR 1020010083250A KR 20010083250 A KR20010083250 A KR 20010083250A KR 20030053190 A KR20030053190 A KR 20030053190A
Authority
KR
South Korea
Prior art keywords
audio data
recording
still image
dubbing audio
data
Prior art date
Application number
KR1020010083250A
Other languages
English (en)
Other versions
KR100563668B1 (ko
Inventor
서강수
김병진
엄성현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20010083250A priority Critical patent/KR100563668B1/ko
Priority to US10/321,373 priority patent/US7496279B2/en
Priority to JP2002369311A priority patent/JP2003199040A/ja
Priority to EP20020028625 priority patent/EP1324339A3/en
Priority to CNB021570000A priority patent/CN100520925C/zh
Publication of KR20030053190A publication Critical patent/KR20030053190A/ko
Application granted granted Critical
Publication of KR100563668B1 publication Critical patent/KR100563668B1/ko
Priority to JP2007181813A priority patent/JP4543066B2/ja
Priority to US12/391,024 priority patent/US8295686B2/en

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G11B2220/2575—DVD-RAMs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은, 재기록 가능 고밀도 기록매체에서의 더빙 오디오 기록방법에 관한 것으로, 재기록 가능 고밀도 기록매체에, 디지털 스틸 카메라(DSC)에서의 기록 포맷을 갖는 JPEG 방식 또는 TIFF 방식 등의 정지영상 데이터를 기록 저장하고, 디지털 비디오 레코더에서의 기록 포맷을 갖는 AC-3 방식, MPEG 1 layer 2 방식 또는 LPCM 방식 등의 오디오 데이터를, 상기 정지영상 데이터에 대응되는 더빙 오디오 데이터로서 기록 저장함과 아울러, 상기 정지영상 데이터와 더빙 오디오 데이터간의 연계 재생을 위한 관리정보를 기록 관리함으로써, 디지털 스틸 카메라(DSC)에서의 기록 포맷을 갖는 정지영상 데이터와, 그에 대응되는 더빙 오디오 데이터를, 대용량의 재기록 가능 고밀도 기록매체에 기록 및 연계 재생할 수 있게 되는 매우 유용한 발명인 것이다.

Description

재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법 {Method for recording a dubbing audio on rewritable medium}
본 발명은, 디지털 스틸 카메라(DSC: Digital Still Camera)에서의 기록 포맷을 갖는 정지영상(Still Picture)에 대응되는 더빙(Dubbing) 오디오 데이터를 재기록 가능한 디브이디(DVD: Digital Versatile Disc)와 같이 기록매체에 기록 및 재생하기 위한 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법에 관한 것이다.
최근에는 고화질의 동영상 비디오 데이터 또는 고음질의 오디오 데이터를 장시간 기록 저장할 수 있는 대용량 고밀도 광디스크인 디브이디(DVD)가 개발 출시되어, 널리 보급 상용화될 것이 기대되고 있는 데, 상기 디브이디 종류에는, 재생 전용의 DVD-ROM, 1 회 기록 가능한 DVD-R, 그리고 재기록 가능한 DVD-RAM 또는 DVD-RW(DVD-Rewritable) 등이 있으며, 상기 DVD-RAM 또는 DVD-RW 등에 동영상 데이터 및 오디오 데이터를 기록 저장하기 위한 기록 포맷에 대한 규격화 작업이 진행 중에 있다.
또한, 고화질의 정지영상과, 그 정지영상에 대응되는 디지털 오디오 데이터, 예를 들어 JPEG 방식 또는 TIFF 방식의 기록 포맷을 갖는 정지영상의 비디오 데이터와, PCM 방식 또는 u-Law PCM 방식, 그리고 IMA-ADPCM 방식의 기록 포맷을 갖는 오디오 데이터를, 플래시(Flash) 메모리 등과 같은 비교적 대용량의 메모리 등에기록 저장할 수 있는 디지털 스틸 카메라(DSC)가 개발 출시되어, 널리 보급 상용화될 것으로 기대되고 있다.
한편, 상기 디지털 스틸 카메라(DSC)에 의해 기록 저장되는 정지영상 및 오디오 데이터는, 널리 알려진 바와 같이 DCF(Design rule for Camera File system) 방식의 디렉토리 및 파일 구조를 갖게 되는 데, 상기 DCF 디렉토리 및 파일 구조에서는, 도 1에 도시한 바와 같이, 루트(ROOT) 디렉토리 아래 최상위의 DCIM(Digital Camera Image) 디렉토리를 가지며, 또한 상기 DCIM 디렉토리 아래에는, 서로 중복되지 않는 3 자리수의 일련번호, 예를 들어 100 내지 999 중 어느 하나와, 사용자에 의해 임의로 지정될 수 있는 5 자리수의 문자가 조합된 총 8 자리수의 이름을 갖는 최대 900 개의 디렉토리와, 1 개의 임시 디렉토리(TEMP)를 갖게 된다.
그리고, 상기 8 자리수의 이름을 갖는 디렉토리, 예를 들어 도 1에 도시한 바와 같이, 100ABCDE' 디렉토리에는, 사용자에 의해 임의로 지정될 수 있는 4 자리수의 문자와, 서로 중복될 수 있는 4 자리수의 일련 번호가 조합된 총 8 자리수의 이름을 갖는 다수의 파일들이 기록될 수 있는 데, 상기 파일에는, JPEG 방식의 기록 포맷을 갖는 정지영상 파일(*.JPG)과, TIFF 방식의 기록 포맷을 갖는 정지영상 파일(*.TIF), 그리고 PCM 방식, u-Law PCM 방식, 또는 IMA-ADPCM 방식의 기록 포맷을 갖는 웨이브 오디오 파일(*.WAV) 등이 포함 기록될 수 있다.
한편, 상기 디지털 스틸 카메라(DSC)에서의 기록 포맷을 갖는 정지영상의 비디오 데이터를, 재기록 가능 고밀도 기록매체에 기록 저장함과 아울러, 그 정지영상의 비디오 데이터에 대응되는 오디오 데이터, 예를 들어 디지털 비디오 레코더에서의 기록 포맷을 갖는 AC-3 방식, MPEG 1 layer 2 방식 또는 LPCM 방식의 더빙 오디오 데이터를, 상기 정지영상의 비디오에 연계 기록하고, 상기 정지영상의 비디오 데이터와 더빙 오디오 데이터를 연계하여 재생할 수 있도록 하기 위한 방안이 관련업체들간에 논의되고 있는 데, 그 해결방안이 아직 마련되어 있지 않은 실정이다.
따라서, 본 발명은 상기와 같은 실정을 감안하여 창작된 것으로서, 재기록 가능 고밀도 기록매체에, 디지털 스틸 카메라(DSC)에서의 기록 포맷을 갖는 JPEG 방식 또는 TIFF 방식 등의 정지영상 데이터를 기록 저장하고, 디지털 비디오 레코더에서의 기록 포맷을 갖는 AC-3 방식, MPEG 1 layer 2 방식 또는 LPCM 방식 등의 오디오 데이터를, 상기 정지영상 데이터에 대응되는 더빙 오디오 데이터로서 기록 저장함과 아울러, 상기 정지영상 데이터와 더빙 오디오 데이터간의 연계 재생을 위한 관리정보를 기록 관리하는 재기록 가능 고밀도 기록매체에서의 더빙 오디오 기록방법을 제공하는 데, 그 목적이 있는 것이다.
도 1은 일반적인 디지털 스틸 카메라(DSC)에 적용되는 DCF 디렉토리 및 파일 구조를 도시한 것이고,
도 2는 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법이 적용되는 광디스크 장치에 대한 구성을 도시한 것이고,
도 3 내지 도 8은 본 발명의 실시예에 따른 더빙 오디오 기록 과정을 각각 도시한 것이다.
※ 도면의 주요부분에 대한 부호의 설명
10,11,30,31 : 스위칭부12 : 정지영상 비디오 엔코더부
13 : 정지영상 오디오 엔코더부14 : 동영상 비디오 엔코더부
15 : 동영상 오디오 엔코더부16 : 먹스(MUX)
17 : 포맷 구성부18 : DVR 엔코더 신호처리부
19 : 제어부32 : 정지영상 비디오 디코더부
33 : 정지영상 오디오 디코더부34 : 동영상 비디오 디코더부
35 : 동영상 오디오 디코더부36 : 디먹스(De-MUX)
37 : 파서(Parser)38 : DVR 디코더 신호처리부
상기와 같은 목적을 달성하기 위한 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법은, 정지영상 데이터를 디지털 스틸 카메라의 기록 포맷과 호환되도록 기록하는 1단계; 및 상기 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 상기 정지영상 데이터의 네비게이션 유니트(Navigation Unit) 단위로기록함과 아울러, 상기 더빙 오디오 데이터와 정지영상 데이터를 연계 재생시키기 위한 관리정보를 기록하는 2단계를 포함하여 이루어지는 것을 특징으로 하며,
또한, 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법은, 정지영상 데이터를 디지털 스틸 카메라의 기록 포맷과 호환되도록 기록하는 1단계; 및 상기 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 복수의 정지영상 데이터들이 포함 구획되는 소정의 정지영상 그룹(Still-Picture Group) 단위로 기록함과 아울러, 상기 더빙 오디오 데이터와 정지영상 데이터를 연계 재생시키기 위한 관리정보를 기록하는 2단계를 포함하여 이루어지는 것을 특징으로 하며,
또한, 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법은, 정지영상 데이터를 디지털 스틸 카메라의 기록 포맷과 호환되도록 기록하는 1단계; 및 상기 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 각각의 정지영상(Still-Picture) 단위로 기록함과 아울러, 상기 더빙 오디오 데이터와 정지영상 데이터를 연계 재생시키기 위한 관리정보를 기록하는 2단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.
우선, 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법이 적용되는 광디스크 장치, 예를 들어 재기록 가능 고밀도 기록매체에 비디오 및 오디오 데이터와, 재생 제어를 위한 관리정보(Navigation Information)를 기록 저장하는 디지털 비디오 레코더에는, 도 2에 도시한 바와 같이, 제1 및 제2 스위칭부(10,11), 정지영상 비디오 및 오디오 엔코더부(12,13), 동영상 비디오 및 오디오 엔코더부(14,15), MPEG 2 먹스(16), 포맷 구성부(17), DVR 엔코더 신호처리부(18) 및 제어부(19)가 포함 구성될 수 있으며, 또한 제3 및 제4 스위칭부(30,31), 정지영상 비디오 및 오디오 디코더부(32,33), 동영상 비디오 및 오디오 디코더부(34,35), MPEG 2 디먹스(36), 파서(37), DVR 디코더 신호처리부(38)가 포함 구성될 수 있는 데, 상기 제1 및 제2 스위칭부(10,11)에서는, 외부로부터 입력되는 비디오 및 오디오 데이터를, 상기 제어부(19)의 스위칭 제어에 의해 정지영상 비디오 및 오디오 엔코더부(12,13)로 선택 출력하거나, 또는 동영상 비디오 및 오디오 엔코더부(14,15)로 선택 출력하게 된다.
한편, 상기 정지영상 비디오 및 오디오 엔코더부(12,13)에서는, 상기 제1 및 제2 스위칭부(10,11)를 통해 선택 출력되는 비디오 및 오디오 데이터를, 디지털 스틸 카메라(DSC)에서와 같이, JPEG 방식 또는 TIFF 방식의 기록 포맷을 갖는 정지영상과, PCM 방식, u-Law PCM 방식 또는 IMA-ADPCM 방식의 기록 포맷을 갖는 오디오 데이터로 엔코딩하게 된다.
또한, 상기 동영상 비디오 및 오디오 엔코더부(14,15)에서는, 상기 제1 및 제2 스위칭부(10,11)를 통해 선택 출력되는 비디오 및 오디오 데이터를, 일반적인 디지털 비디오 레코더에서와 같이, MPEG 2 방식의 기록 포맷을 갖는 동영상(Movie)과, AC-3 방식, MPEG 1 layer 2 방식 또는 LPCM 방식의 기록 포맷을 갖는 오디오 데이터로 엔코딩하게 되고, 상기 MPEG 2 먹스(16)에서는, 상기 동영상 비디오 및오디오 엔코더부(14,15)를 통해 엔코딩된 동영상 비디오 및 오디오 데이터를 MPEG 2 스트림으로 먹싱(Muxing)하여 상기 포맷 구성부(17)로 출력하게 된다.
한편, 상기 포맷 구성부(17)에서는, 상기 정지영상 비디오 및 오디오 엔코더부(12,13)에 의해 엔코딩된 정지영상 비디오 및 오디오 데이터가 입력되는 경우, 그 정지영상 비디오 및 오디오 데이터를 재기록 가능 고밀도 기록매체에 적합한 기록크기로 구성함과 아울러, 기록용 헤더(Header) 정보를 부가 기록한 후, 상기 DVR 엔코더 신호처리부(18)로 출력하는 일련의 정지영상 포맷 구성동작을 수행하게 되며, 또한 그 포맷 구성된 정지영상 비디오 및 오디오 데이터를 재생 제어하기 위한 관리정보를 생성하여, 상기 제어부(19)로 출력하게 된다.
반면, 상기 동영상 비디오 및 오디오 엔코더부(14,15)에 의해 엔코딩된 동영상 비디오 및 오디오 데이터와, 상기 MPEG 2 먹스(16)에 의해 먹싱된 MPEG 2 스트림이 입력되는 경우, 상기 포맷 구성부(17)에서는, 그 동영상 비디오 및 오디오 데이터, 또는 MPEG 2 스트림을 재기록 가능 고밀도 기록매체에 적합한 기록크기로 구성함과 아울러, 기록용 헤더(Header) 정보를 부가 기록하여, 상기 DVR 엔코더 신호처리부(18)로 출력하는 일련의 동영상 포맷 구성동작을 수행하게 되며, 또한 그 포맷 구성된 동영상 비디오 및 오디오 데이터를 재생 제어하기 위한 관리정보를 생성하여, 상기 제어부(19)로 출력하게 된다.
한편, 상기 DVR 엔코더 신호처리부(18)에서는, 상기 포맷 구성된 정지영상 비디오 및 오디오 데이터, 또는 동영상 비디오 및 오디오 데이터에 대한 에러정정(ECC) 동작 및 기록신호 처리 동작을 수행하여 재기록 가능 고밀도 기록매체에 기록 저장하게 되는 데, 이때 상기 제어부(19)에서는, 상기 DVR 엔코더 신호처리부(18)를 동작 제어하여, 디지털 스틸 카메라의 기록 포맷을 갖는 정지영상, 즉 JPEG 방식 또는 TIFF 방식의 기록 포맷을 갖는 정지영상과, PCM 방식, u-Law PCM 방식 또는 IMA-ADPCM 방식의 기록 포맷을 갖는 오디오 데이터를, 재기록 가능 고밀도 기록매체에 동영상 비디오 및 오디오 데이터 등과 함께, 다양한 디렉토리 및 파일 구조로 기록 저장함과 아울러, 그 정지영상 비디오 및 오디오 데이터의 재생 제어를 위한 관리정보(Navigation Information)를 부가 기록하게 된다.
또한, 상기 제어부(19)에서는, 디지털 비디오 레코더에서의 기록 포맷을 갖는 AC-3 방식, MPEG 1 layer 2 방식 또는 LPCM 방식 등의 오디오 데이터를, 상기 정지영상 비디오 데이터에 대응되는 더빙 오디오 데이터로서 기록 저장함과 아울러, 상기 정지영상 데이터와 더빙 오디오 데이터간의 연계 재생을 위한 관리정보를 기록 관리하게 된다.
그리고, 사용자 요청에 따라, 상기 DVR 디코더 신호처리부(38)를 동작 제어하여, 상기 재기록 가능 고밀도 기록매체에 기록 저장된 정지영상 비디오 데이터와, 그 정지영상 비디오 데이터에 연계 기록된 더빙 오디오 데이터를 독출 재생하는 더빙 오디오 데이터의 독출 재생동작이 수행되도록 하는 데, 상기와 같이 정지영상 데이터에 대응되는 더빙 오디오 데이터를 연계 기록함과 아울러, 그에 따른 관리정보를 기록 관리하는 방법에 대해 상세히 설명하면 다음과 같다.
도 3 내지 도 8은, 본 발명의 실시예에 따른 더빙 오디오 기록 과정을 도시한 것으로, 도 3은, 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 네비게이션 유니트(Navigation Unit)인 재생 리스트(PlayList) 단위로 연계 기록한 실시예이고, 도 4는, 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 네비게이션 유니트 단위인 재생 아이템(PlayItem) 단위로 연계 기록한 실시예이고, 도 5는, 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 소정의 정지영상 그룹(Still Picture Group) 단위로 연계 기록한 실시예이고, 도 6은, 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 정지영상 파일(Still Picture File) 또는 정지영상 파일이 포함 기록되는 서브 디렉토리(Directory) 단위로 연계 기록한 실시예이고, 도 7은, 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 각각의 정지영상(Still Picture) 단위로 연계 기록한 실시예이고, 도 8은, 정지영상 데이터에 대응되는 더빙 오디오 데이터와 그 정지영상 데이터들간의 연계 재생을 위한 동기(Sync_Info) 정보를 부가 기록한 실시예를 도시한 것이다.
먼저, 상기 제어부(19)에서는, 디지털 스틸 카메라의 기록 포맷을 갖는 JPEG 방식 또는 TIFF 방식 등의 정지영상 비디오 데이터와, PCM 방식, u-Law PCM 방식 또는 IMA-ADPCM 방식 등의 오디오 데이터를, 재기록 가능 고밀도 기록매체에 기록 저장하게 되는 데, 상기 정지영상 비디오 데이터는, 도 3에 도시한 비와 같이, 복수의 정지영상 비디오 데이터들이 연속적으로 포함 구획되는 소정의 정지영상 그룹(Still Picture Group)으로 구분 기록되거나, 또는 도 1을 참조로 전술한 바와 같이, DCF 디렉토리 및 파일 구조상에서, 루트(ROOT) 디렉토리에 아래에 있는 최상위의 DCIM 디렉토리 내의 서브 디렉토리, 예를 들어 100ABCDE' 디렉토리에, 임의의한 정지영상 파일로 기록 저장될 수 있다.
한편, 상기 소정의 정지영상 그룹(Still Picture Group)들은, 상기 100ABCDE' 디렉토리와 같은 임의의 한 서브 디렉토리 내에 포함 기록되거나, 또는 하나의 정지영상 파일에 포함 기록될 수 있는 데, 상기 제어부(19)에서는, 상기와 같이 기록 저장될 수 있는 정지영상 데이터에 대응되는 더빙 오디오 데이터, 예를 들어 디지털 비디오 레코더에서의 기록 포맷을 갖는 MPEG 2 방식, AC-3 방식, LPCM 방식 또는 데이터 웨이브 방식의 더빙 오디오 데이터를, 도 3에 도시한 바와 같이, 정지영상 데이터의 재생 순서를 지정하기 위한 실제 재생 리스트(Real PlayList) 또는 가사 재생 리스트(Virtual PlayList) 단위로 연계 기록하거나, 또는 도 4에 도시한 바와 같이, 상기 재생 리스트(Real PlayList) 또는 가사 재생 리스트(Virtual PlayList) 내에 포함되는 임의의 한 재생 아이템(PlayItem) 단위로 연계 기록하게 된다.
그리고, 상기와 같이 재생 리스트 단위, 또는 재생 아이템 단위로 연계 기록된 정지영상 데이터와 더빙 오디오 데이터들간의 연계 재생을 위한 관리정보를 생성 기록하게 되는 데, 상기 관리정보에는, 상기 더빙 오디오 데이터의 재생 독출 시점을 결정짓는 정보, 예를 들어 상기 재생 리스트 또는 재생 아이템에 대한 식별 정보와, 상기 더빙 오디오 데이터의 속성(Attribute)을 나타내는 속성 정보가 포함 기록될 수 있다.
또한, 상기 제어부(19)에서는, 도 5에 도시한 바와 같이, 디지털 비디오 레코더에서의 기록 포맷을 갖는 MPEG 2 방식, AC-3 방식, LPCM 방식 또는 데이터 웨이브 방식의 더빙 오디오 데이터를, 복수의 정지영상 데이터들이 포함 구획되는 소정의 정지영상 그룹(Still Picture Group) 단위로 연계 기록하거나, 또는 도 6에 도시한 바와 같이, 임의의 한 정지영상 파일(Still Picture File) 또는 정지영상 파일이 포함 기록되는 디렉토리(Directory) 단위로 연계 기록할 수 있는 데, 상기 소정의 정지영상 그룹은, 동일한 속성을 갖는 정지영상 데이터들로 구성되어, 임의의 한 정지영상 파일 내에 포함 기록될 수 있으며, 또한 도 1을 참조로 전술한 바 있는 DCF 디렉토리 및 구조상에서의 서브 디렉토리, 예를 들어 100ABCDE' 디렉토리 내에 포함 기록될 수 있다.
한편, 상기 제어부(19)에서는, 상기와 같이 더빙 오디오 데이터를 정지영상 파일 단위로 연계 기록하는 경우, 그 정지영상 파일과 더빙 오디오 데이터들간의 연계 재생을 위한 관리정보 내에, 상기 정지영상 파일을 식별할 수 있도록 하기 위한 식별정보, 예를 들어 정지영상 파일의 파일명 등을 포함 기록하게 된다.
또한, 상기와 같이 더빙 오디오 데이터를 서브 디렉토리 단위로 연계 기록하는 경우에는, 상기 서브 디렉토리 내에 기록된 정지영상 데이터와 더빙 오디오 데이터들간의 연계 재생을 위한 관리정보 내에, 상기 서브 디렉토리를 식별할 수 있도록 하기 위한 식별정보, 예를 들어 서브 디렉토리 명 등을 포함 기록하게 된다.
그리고, 상기 제어부(29)에서는, 도 7에 도시한 바와 같이, 디지털 비디오 레코더에서의 기록 포맷을 갖는 MPEG 2 방식, AC-3 방식, LPCM 방식 또는 데이터 웨이브 방식의 더빙 오디오 데이터를, 정지영상 단위(Still Picture)로 각각 연계 기록할 수 있는 데, 이 경우, 상기 더빙 오디오 데이터는, 도 1을 참조로 전술한바 있는 DCF 디렉토리 및 파일 구조상에서, 각각의 서브 디렉토리, 예를 들어 100ABCDE' 디렉토리 내에 포함 기록되는 해당 정지영상 파일과 동일한 파일명, 그리고 서로다른 확장자를 갖는 더빙 오디오 데이터 파일명으로 기록 저장되어, 상기 더빙 오디오 데이터 파일과, 그에 대응되는 정지영상 파일이, 동일한 파일 명에 의해 서로 연계되도록 할 수 있다.
또한, 상기 제어부(19)에서는, 도 8에 도시한 바와 같이, 정지영상 데이터와 그에 대응되는 더빙 오디오 데이터를 동기시켜 재생 출력하기 위한 동기 정보를 각 더빙 오디오 데이터 단위로 부가 기록하게 되는 데, 상기 동기 정보에는, 해당 정지영상 데이터의 기록시작 위치정보(Picture Start) 또는 기록종료 위치정보(Picture End)가 포함 기록되거나, 또는 정지영상 데이터의 일련번호(Picture_Nu), 또는 정지영상 파일의 파일명(Picture File Name), 그리고 오디오 재생시간 정보(Audio Playback Time) 등이 선택적으로 기록 저장될 수 있다.
따라서, 상기 제어부(19)에서는, 상기와 같이 기록 저장되는 동기정보 및 관리정보를 독출 확인하여, 사용자가 요청한 정지영상 데이터의 재생동작과 함께, 그에 대응되는 더빙 오디오 데이터가 연계 재생되도록 재생동작을 제어할 수 있게 되는 것이다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 상기 정지영상 데이터는, 디지털 스틸 카메라에서의 기록 포맷 이외의 다른기록 포맷으로 기록 저장될 수 있으며, 또한 상기 더빙 오디오 데이터는, 디지털 비디오 레코더에서의 기록 포맷 이외의 다른 기록 포맷으로 기록 저장될 수 있으며, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
상기와 같이 이루어지는 본 발명에 따른 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법은, 재기록 가능 고밀도 기록매체에, 디지털 스틸 카메라(DSC)에서의 기록 포맷을 갖는 JPEG 방식 또는 TIFF 방식 등의 정지영상 데이터를 기록 저장하고, 디지털 비디오 레코더에서의 기록 포맷을 갖는 AC-3 방식, MPEG 1 layer 2 방식 또는 LPCM 방식 등의 오디오 데이터를, 상기 정지영상 데이터에 대응되는 더빙 오디오 데이터로서 기록 저장함과 아울러, 상기 정지영상 데이터와 더빙 오디오 데이터간의 연계 재생을 위한 관리정보를 기록 관리함으로써, 디지털 스틸 카메라(DSC)에서의 기록 포맷을 갖는 정지영상 데이터와, 그에 대응되는 더빙 오디오 데이터를, 대용량의 재기록 가능 고밀도 기록매체에 기록 및 연계 재생할 수 있게 되는 매우 유용한 발명인 것이다.

Claims (12)

  1. 정지영상 데이터를 디지털 스틸 카메라의 기록 포맷과 호환되도록 기록하는 1단계; 및
    상기 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 상기 정지영상 데이터의 네비게이션 유니트(Navigation Unit) 단위로 기록함과 아울러, 상기 더빙 오디오 데이터와 정지영상 데이터를 연계 재생시키기 위한 관리정보를 기록하는 2단계를 포함하여 이루어지는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  2. 제 1항에 있어서,
    상기 더빙 오디오 데이터는, 상기 정지영상 데이터의 재생 리스트(PlayList) 단위로 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  3. 제 1항에 있어서,
    상기 더빙 오디오 데이터는, 상기 정지영상 데이터의 재생 아이템(PlayItem) 단위로 기록하는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  4. 제 1항에 있어서,
    상기 관리정보에는, 상기 더빙 오디오 데이터의 재생 독출 시점을 결정짓는 정보와, 상기 더빙 오디오 데이터의 속성 정보가 포함 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  5. 정지영상 데이터를 디지털 스틸 카메라의 기록 포맷과 호환되도록 기록하는 1단계; 및
    상기 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 복수의 정지영상 데이터들이 포함 구획되는 소정의 정지영상 그룹(Still-Picture Group) 단위로 기록함과 아울러, 상기 더빙 오디오 데이터와 정지영상 데이터를 연계 재생시키기 위한 관리정보를 기록하는 2단계를 포함하여 이루어지는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  6. 제 5항에 있어서,
    상기 더빙 오디오 데이터는, 복수의 정지영상 데이터 파일들이 포함 구획되는 하나의 서브 디렉토리(Sub-Directory) 단위로 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  7. 제 5항에 있어서,
    상기 더빙 오디오 데이터는, 복수의 정지영상 데이터들이 포함 구획되는 하나의 정지영상 파일(File) 단위로 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  8. 제 5항에 있어서,
    상기 더빙 오디오 데이터는, 서로 동일한 속성(Attribute)을 갖는 복수의 정지영상 데이터들이 구획되는 소정의 정지영상 그룹 단위로 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  9. 제 5항에 있어서,
    상기 관리정보에는, 상기 더빙 오디오 데이터의 재생 독출 시점을 결정짓는 정보와, 상기 더빙 오디오 데이터의 속성 정보가 포함 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  10. 정지영상 데이터를 디지털 스틸 카메라의 기록 포맷과 호환되도록 기록하는 1단계; 및
    상기 정지영상 데이터에 대응되는 더빙 오디오 데이터를, 각각의 정지영상(Still-Picture) 단위로 기록함과 아울러, 상기 더빙 오디오 데이터와 정지영상 데이터를 연계 재생시키기 위한 관리정보를 기록하는 2단계를 포함하여 이루어지는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  11. 제 10항에 있어서,
    상기 더빙 오디오 데이터와 정지영상 데이터는, 서로 동일한 파일 이름과 서로다른 파일 확장자를 갖는 각각의 파일로 연계 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
  12. 제 10항에 있어서,
    상기 관리정보에는, 상기 더빙 오디오 데이터의 재생 독출 시점을 결정짓는 정보와, 상기 더빙 오디오 데이터의 속성 정보가 포함 기록되는 것을 특징으로 하는 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법.
KR20010083250A 2001-12-22 2001-12-22 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법 KR100563668B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR20010083250A KR100563668B1 (ko) 2001-12-22 2001-12-22 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법
US10/321,373 US7496279B2 (en) 2001-12-22 2002-12-18 Method of recording dubbing audio data onto a rewritable recording medium
JP2002369311A JP2003199040A (ja) 2001-12-22 2002-12-20 再記録可能な記録媒体のダビングオーディオデータ記録方法
EP20020028625 EP1324339A3 (en) 2001-12-22 2002-12-20 Method of recording dubbing audio data onto a rewritable recording medium
CNB021570000A CN100520925C (zh) 2001-12-22 2002-12-23 在可重写记录介质上记录配音音频数据的方法
JP2007181813A JP4543066B2 (ja) 2001-12-22 2007-07-11 再記録可能な記録媒体へのダビングオーディオデータの記録方法
US12/391,024 US8295686B2 (en) 2001-12-22 2009-02-23 Method of recording dubbing audio data onto a rewritable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20010083250A KR100563668B1 (ko) 2001-12-22 2001-12-22 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법

Publications (2)

Publication Number Publication Date
KR20030053190A true KR20030053190A (ko) 2003-06-28
KR100563668B1 KR100563668B1 (ko) 2006-03-28

Family

ID=19717445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20010083250A KR100563668B1 (ko) 2001-12-22 2001-12-22 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법

Country Status (5)

Country Link
US (2) US7496279B2 (ko)
EP (1) EP1324339A3 (ko)
JP (2) JP2003199040A (ko)
KR (1) KR100563668B1 (ko)
CN (1) CN100520925C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030069278A (ko) * 2002-02-19 2003-08-27 삼성전자주식회사 사용자의 ｍｐ３ 파일 관리 기능을 제공하는 광디스크재생 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458642B1 (ko) * 2002-09-19 2004-12-03 삼성테크윈 주식회사 휴대용 디지털 장치에서 대표-음성을 이용하여데이터-파일들을 관리하는 방법
JP3815458B2 (ja) * 2002-12-18 2006-08-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101061414B1 (ko) 2003-07-24 2011-09-01 엘지전자 주식회사 기록된 텍스트 서브타이틀 데이터의 재생 관리를 위한데이터 구조를 갖는 기록매체, 그리고 기록/재생 방법 및장치
KR20050012328A (ko) 2003-07-25 2005-02-02 엘지전자 주식회사 고밀도 광디스크의 프레젠테이션 그래픽 데이터 관리 및재생방법과 그에 따른 고밀도 광디스크
KR20050035678A (ko) 2003-10-14 2005-04-19 엘지전자 주식회사 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크
KR20050036277A (ko) * 2003-10-15 2005-04-20 엘지전자 주식회사 고밀도 광디스크의 네비게이션 정보 관리방법
ATE453191T1 (de) 2004-03-18 2010-01-15 Lg Electronics Inc Aufzeichungsmedium und verfahren und vorrichtung zur wiedergabe eines auf dem aufzeichnungsmedium aufgezeichneten textuntertitelstroms
CN1969334B (zh) 2004-06-10 2011-04-06 松下电器产业株式会社 数据处理装置
JP2006074517A (ja) * 2004-09-02 2006-03-16 Sony Corp 記録再生装置及び記録再生方法
JP4761544B2 (ja) * 2006-05-25 2011-08-31 キヤノン株式会社 再生装置及びその制御方法
JP2008140468A (ja) * 2006-12-01 2008-06-19 Hitachi Ltd 記録再生装置
CN107888558A (zh) * 2017-10-09 2018-04-06 广东教教圈圈动漫科技有限公司 一种绘本配音方法、装置与系统
CN109587543B (zh) * 2018-12-27 2021-04-02 秒针信息技术有限公司 音频同步方法和装置及存储介质
CN112969068B (zh) * 2021-05-19 2021-08-03 四川省商投信息技术有限责任公司 一种监控视频数据存储播放方法及装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997490A (ja) 1995-07-21 1997-04-08 Sony Corp カメラ記録装置、カメラ再生装置、及び記録装置
US6115035A (en) 1997-07-21 2000-09-05 Mediaone Group, Inc. System and method for automated audio/video archive and distribution
KR100491340B1 (ko) * 1997-12-15 2005-05-24 마츠시타 덴끼 산교 가부시키가이샤 광디스크 재생장치 및 오디오 스트림을 재생하는 광디스크 재생방법
JP3376265B2 (ja) 1997-12-25 2003-02-10 株式会社東芝 複数コンテンツのオブジェクト共有化システム
CN1237822C (zh) 1998-04-08 2006-01-18 松下电器产业株式会社 光盘、光盘记录方法和装置,以及光盘再现方法和装置
JP3411232B2 (ja) * 1998-04-08 2003-05-26 松下電器産業株式会社 光ディスク、記録装置および方法、並びに再生装置および方法
US7107516B1 (en) 1998-04-13 2006-09-12 Flashpoint Technology, Inc. Method and system for viewing images from an image capture device on a host computer
JP3356991B2 (ja) 1998-06-17 2002-12-16 株式会社日立製作所 光ディスク、記録方法、記録装置、再生方法及び再生装置
KR100389854B1 (ko) * 1998-06-24 2003-08-19 삼성전자주식회사 오디오및/또는비디오데이터를기록및/또는재생하는방법,기록매체의재생방법,기록매체상의정지화를재생하는방법,및기록매체상에정지화를기록하는방법
TWI251220B (en) * 1998-06-24 2006-03-11 Samsung Electronics Co Ltd Recording medium for storing virtually deleted still picture information, recording and/or reproducing method and apparatus therefor
KR100301011B1 (ko) * 1998-06-24 2001-09-06 윤종용 정지화를 위한 데이터 구조 및 기록재생장치와 그 방법
KR100338737B1 (ko) 1998-06-24 2002-07-18 윤종용 정지화를 위한 정보를 저장하는 기록 매체 및 기록 재생방법과장치
JP3382159B2 (ja) 1998-08-05 2003-03-04 株式会社東芝 情報記録媒体とその再生方法及び記録方法
JP3285029B2 (ja) 1998-08-07 2002-05-27 株式会社日立製作所 記録媒体
KR100466496B1 (ko) * 1998-08-07 2005-01-13 가부시키가이샤 히타치세이사쿠쇼 기록매체, 기록장치, 재생장치, 기록방법, 및 컴퓨터가 읽기가능한 기록매체
JP3334799B2 (ja) * 1999-03-12 2002-10-15 松下電器産業株式会社 光ディスク、再生装置、再生方法および記録媒体
JP4505870B2 (ja) 1999-03-31 2010-07-21 ソニー株式会社 記録再生装置
JP2001126448A (ja) * 1999-04-02 2001-05-11 Matsushita Electric Ind Co Ltd 光ディスクとその記録装置および再生装置
JP3873523B2 (ja) 1999-05-21 2007-01-24 ソニー株式会社 再生装置
TW526477B (en) 1999-08-03 2003-04-01 Matsushita Electric Ind Co Ltd A/V data recording device and method, and the disk recording with the same
JP4281174B2 (ja) 1999-09-24 2009-06-17 ソニー株式会社 データ記録再生装置、データ記録再生方法、データ記録再生システム及びデータ記録再生プログラムを提供するプログラム提供媒体
JP2001155466A (ja) * 1999-11-24 2001-06-08 Toshiba Corp 画像付音声情報を記録するシステム
JP4328989B2 (ja) * 1999-11-24 2009-09-09 ソニー株式会社 再生装置、再生方法、並びに記録媒体
JP2001157146A (ja) 1999-11-25 2001-06-08 Olympus Optical Co Ltd 画像情報処理装置
JP2001222504A (ja) 1999-12-03 2001-08-17 Canon Inc 電子機器、電子機器の制御方法及び記録媒体
KR100608043B1 (ko) * 1999-12-31 2006-08-02 삼성전자주식회사 오디오 데이터를 비디오 데이터와 연결해서 재생 가능한데이터 구조로 기록된 기록 매체, 기록/재생 방법 및 장치
JP4352554B2 (ja) 2000-01-26 2009-10-28 株式会社ニコン 電子カメラ
KR100746821B1 (ko) 2000-04-21 2007-08-06 소니 가부시끼 가이샤 정보 처리 장치와 방법, 기록매체
JP4599740B2 (ja) 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
WO2001082608A1 (fr) 2000-04-21 2001-11-01 Sony Corporation Appareil et procede de traitement des informations, programme et support enregistre
EP2546833A3 (en) 2000-04-21 2014-08-20 Sony Corporation Information processing apparatus, method and computer program
WO2001082611A1 (fr) * 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
CN1186930C (zh) 2000-04-21 2005-01-26 索尼公司 记录设备和方法、再现设备和方法
JP4142846B2 (ja) 2000-12-27 2008-09-03 株式会社東芝 電子カメラ装置とその制御方法
US7158175B2 (en) 2001-11-30 2007-01-02 Eastman Kodak Company System including a digital camera and a docking unit for coupling to the internet
TW200300928A (en) * 2001-11-30 2003-06-16 Sony Corportion Information processing method and apparatus, program storage medium, program and information recording medium
US7167640B2 (en) * 2002-02-11 2007-01-23 Sony Corporation Method and apparatus for efficiently allocating memory in audio still video (ASV) applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030069278A (ko) * 2002-02-19 2003-08-27 삼성전자주식회사 사용자의 ｍｐ３ 파일 관리 기능을 제공하는 광디스크재생 장치 및 방법

Also Published As

Publication number Publication date
CN1428770A (zh) 2003-07-09
US8295686B2 (en) 2012-10-23
KR100563668B1 (ko) 2006-03-28
US20030118319A1 (en) 2003-06-26
EP1324339A3 (en) 2004-04-28
CN100520925C (zh) 2009-07-29
JP4543066B2 (ja) 2010-09-15
JP2007318790A (ja) 2007-12-06
US20090169174A1 (en) 2009-07-02
JP2003199040A (ja) 2003-07-11
EP1324339A2 (en) 2003-07-02
US7496279B2 (en) 2009-02-24

Similar Documents

Publication Publication Date Title
KR100563667B1 (ko) 재기록 가능 기록매체에의 정지영상 기록방법
KR100584176B1 (ko) 재기록 가능 고밀도 기록매체의 정지영상 관리방법
US8295686B2 (en) Method of recording dubbing audio data onto a rewritable recording medium
JP4275847B2 (ja) 静止画のための情報の記録及び／または再生方法並びにその装置
JP3947113B2 (ja) 再記録可能高密度記録媒体の縮少画像記録方法
JP4606440B2 (ja) 記録媒体、方法および装置
KR100563671B1 (ko) 재기록 가능 고밀도 기록매체의 정지영상 기록방법
US7822320B2 (en) Method and apparatus for creating still picture management data and recording still pictures on a recording medium
KR100301011B1 (ko) 정지화를 위한 데이터 구조 및 기록재생장치와 그 방법
KR20050107565A (ko) 재기록 가능 고밀도 기록매체의 축소영상 기록방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee