KR20140132209A - 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 - Google Patents
멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 Download PDFInfo
- Publication number
- KR20140132209A KR20140132209A KR1020130051444A KR20130051444A KR20140132209A KR 20140132209 A KR20140132209 A KR 20140132209A KR 1020130051444 A KR1020130051444 A KR 1020130051444A KR 20130051444 A KR20130051444 A KR 20130051444A KR 20140132209 A KR20140132209 A KR 20140132209A
- Authority
- KR
- South Korea
- Prior art keywords
- media file
- track
- file
- audio
- video
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치가 개시된다. 본 발명은, 미디어 파일 편집 장치가, 적어도 하나의 오디오 트랙 및 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하고, 사용자로부터 오디오 트랙 또는 비디오 트랙의 출력 조절 명령을 입력받고, 출력 조절 명령에 따른 볼륨 조절값을 생성하고, 생성된 볼륨 조절값을 멀티 트랙 미디어 파일에 기록하는 과정을 통해 구현된다. 본 발명에 따르면, 사용자는 뮤직 비디오 동영상 파일 등과 같은 멀티 미디어 파일에 기존의 오디오 대신 자신의 음성을 삽입하거나, 기존의 영상 대신 자신이 직접 촬영한 영상을 삽입하는 등 사용자의 기호에 따른 다양한 편집을 통해 자신만의 멀티 미디어 파일을 제작할 수 있게 된다.
Description
본 발명은 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치에 관한 것으로, 더욱 상세하게는 사용자가 뮤직 비디오 동영상 파일 등과 같은 멀티 미디어 파일에 기존의 오디오 대신 자신의 음성을 삽입하거나, 기존의 영상 대신 자신이 직접 촬영한 영상을 삽입하는 등 사용자의 기호에 따른 다양한 편집을 통해 자신만의 멀티 미디어 파일을 제작할 수 있도록 하는 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치에 관한 것이다.
최근 초고속 데이터 통신망의 발달로 많은 사람들이 인터넷을 이용하고 있으며, 이러한 인터넷 이용의 증대와 함께 사용자들은 다양한 멀티 미디어 파일을 손쉽게 접할 수 있게 되었다. 즉, 사용자는 언제든지 인터넷을 통해 특정 서버에 접속하고, 뮤직 비디오 동영상 파일과 같은 멀티 미디어 파일을 손쉽게 다운로드 할 수 있다.
한편, 사용자는 뮤직 비디오 동영상 파일과 같은 멀티 미디어 파일에 기존의 오디오 대신 자신의 음성을 삽입하거나, 기존의 영상 대신 자신이 직접 촬영한 영상을 삽입하는 등 사용자의 기호에 따른 다양한 편집을 하여 자신만의 멀티 미디어 파일을 소장하고자 하고자 하는 기술적 수요가 있는 반면, 종래에는 이와 같은 사용자들의 기술적 수요를 충족시킬 수 있는 기술이 개발되어 있지 않은 실정이다.
따라서, 본 발명의 목적은, 사용자가 뮤직 비디오 동영상 파일 등과 같은 멀티 미디어 파일에 기존의 오디오 대신 자신의 음성을 삽입하거나, 기존의 영상 대신 자신이 직접 촬영한 영상을 삽입하는 등 사용자의 기호에 따른 다양한 편집을 통해 자신만의 멀티 미디어 파일을 제작할 수 있도록 하는 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 기록매체는, 적어도 하나의 오디오 파일 및 상기 오디오 파일에 대응되는 적어도 하나의 비디오 파일을 재생하기 위한 멀티 트랙 미디어 파일이 기록된 기록매체에 있어서, 상기 오디오 파일의 각 프레임에 이에 대응되는 상기 비디오 파일의 각 프레임이 인접하여 결합되는 구조의 데이터부; 및 상기 오디오 파일의 총 개수 정보와, 상기 비디오 파일의 총 개수 정보를 나타내는 헤더부를 포함하며, 상기 오디오 파일의 각 프레임 및 상기 비디오 파일의 각 프레임 중 적어도 하나에는 상기 각 프레임의 출력 조절값을 나타내는 프레임 헤더부가 구비된 것인 멀티 트랙 미디어 파일이 기록된 것을 특징으로 한다.
바람직하게는, 상기 프레임 헤더부에는 상기 프레임 헤더부가 구비된 상기 프레임의 파일 종류 정보가 포함된 것을 특징으로 한다.
한편, 본 발명에 따른 멀티 트랙 미디어 파일 편집 방법은, (a) 미디어 파일 편집 장치가, 적어도 하나의 오디오 트랙 및 상기 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하는 단계; (b) 상기 미디어 파일 편집 장치가, 외부로부터 오디오 신호 및/또는 비디오 신호를 입력받는 단계; 및 (c) 상기 미디어 파일 편집 장치가, 상기 멀티 트랙 미디어 파일에 상기 (b) 단계에서 입력된 상기 오디오 신호 및/또는 비디오 신호에 따른 오디오 트랙 및/또는 비디오 트랙을 추가 생성하는 단계를 포함한다.
바람직하게는, (d) 상기 미디어 파일 편집 장치가, 사용자로부터 상기 오디오 트랙 및/또는 상기 비디오 트랙의 출력 조절 명령을 입력받는 단계를 더 포함한다.
또한, (e) 상기 미디어 파일 편집 장치가, 상기 출력 조절 명령에 따른 볼륨 조절값을 생성하는 단계를 더 포함한다.
또한, (f) 상기 미디어 파일 편집 장치가, 상기 생성된 볼륨 조절값을 상기 멀티 트랙 미디어 파일에 기록하는 단계를 더 포함한다.
한편, 본 발명에 따른 멀티 트랙 미디어 파일 편집 장치는, 적어도 하나의 오디오 트랙 및 상기 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하는 저장부; 외부로부터 오디오 신호 및/또는 비디오 신호가 입력되는 입력부; 및 상기 멀티 트랙 미디어 파일에 상기 입력부에 입력된 상기 오디오 신호 및/또는 비디오 신호에 따른 오디오 트랙 및/또는 비디오 트랙을 추가 생성하는 편집부를 포함한다.
바람직하게는, 상기 입력부는, 사용자로부터 상기 오디오 트랙 및/또는 상기 비디오 트랙의 출력 조절 명령이 입력되는 것을 특징으로 한다.
또한, 상기 편집부는, 상기 출력 조절 명령에 따른 볼륨 조절값을 생성하는 것을 특징으로 한다.
또한, 상기 편집부는, 상기 생성된 볼륨 조절값을 상기 멀티 트랙 미디어 파일에 기록하는 것을 특징으로 한다.
한편, 본 발명에 따른 멀티 트랙 미디어 파일 편집 장치는, 적어도 하나의 오디오 트랙 및 상기 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하는 저장부; 사용자로부터 상기 오디오 트랙 및/또는 상기 비디오 트랙의 출력 조절 명령이 입력되는 입력부; 및 상기 출력 조절 명령에 따른 볼륨 조절값을 생성하고, 상기 생성된 볼륨 조절값을 상기 멀티 트랙 미디어 파일에 기록하는 편집부를 포함한다.
본 발명에 따르면, 사용자는 뮤직 비디오 동영상 파일 등과 같은 멀티 미디어 파일에 기존의 오디오 대신 자신의 음성을 삽입하거나, 기존의 영상 대신 자신이 직접 촬영한 영상을 삽입하는 등 사용자의 기호에 따른 다양한 편집을 통해 자신만의 멀티 미디어 파일을 제작할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 멀티 트랙 미디어 파일의 구조를 나타내는 도면,
도 2는 도 1에서의 본 발명의 일 실시예에 따른 멀티 트랙 미디어 파일의 구조를 더욱 상세하게 나타낸 도면,
도 3은 본 발명의 다른 실시예에 따른 멀티 트랙 미디어 파일의 구조를 더욱 상세하게 나타낸 도면,
도 4는 본 발명에 따른 멀티 트랙 미디어 파일 편집 장치(300)의 구조를 나타내는 기능 블록도, 및
도 5는 본 발명에 따른 멀티 트랙 미디어 파일 편집 방법의 실행 과정을 설명하는 절차 흐름도이다.
도 2는 도 1에서의 본 발명의 일 실시예에 따른 멀티 트랙 미디어 파일의 구조를 더욱 상세하게 나타낸 도면,
도 3은 본 발명의 다른 실시예에 따른 멀티 트랙 미디어 파일의 구조를 더욱 상세하게 나타낸 도면,
도 4는 본 발명에 따른 멀티 트랙 미디어 파일 편집 장치(300)의 구조를 나타내는 기능 블록도, 및
도 5는 본 발명에 따른 멀티 트랙 미디어 파일 편집 방법의 실행 과정을 설명하는 절차 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 멀티 트랙 미디어 파일의 구조를 나타내는 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 멀티 트랙 미디어 파일은 보컬만 저장된 보컬 MP3 파일인 제1 미디어 파일(오디오 파일), 보컬에 대응되는 반주만 저장된 MR(Music Recorded) MP3 파일인 제2 미디어 파일(오디오 파일), 뮤직 비디오 등의 영상과 같은 반주 및 보컬의 배경 동영상 파일인 제3 미디어 파일(비디오 파일)이 합성된 구조를 가지고 있다.
도 1에서와 같이, 제1 미디어 파일, 제2 미디어 파일, 및 제3 미디어 파일이 합성된 멀티 트랙 미디어 파일은 헤더부(100) 및 데이터부(200)로 이루어져 있으며, 데이터부(200)는 제1 미디어 파일의 각 프레임, 제2 미디어 파일의 각 프레임, 및 제3 미디어 파일의 각 프레임이 인접하여 결합된 구조를 가지고 있다.
구체적으로, 제1 미디어 파일의 첫번째 프레임(data 1-1)의 뒤에는 이에 대응되는 제2 미디어 파일의 첫번째 프레임(data 2-1)이 인접하여 연결되어 있으며, 제2 미디어 파일의 첫번째 프레임(data 2-1) 뒤에는 제1 미디어 파일의 첫번째 프레임(data 1-1) 및 제2 미디어 파일의 첫번째 프레임(data 2-1)에 대응되는 제3 미디어 파일의 첫번째 프레임(data 3-1)이 결합되어 있다.
그 다음에는 제1 미디어 파일의 두번째 프레임(data 1-2), 이에 대응되는 제2 미디어 파일의 두번째 프레임(data 2-2) 및 제3 미디어 파일의 두번째 프레임(data 3-2)이 인접하여 연결되어 있다.
도 2는 도 1에서의 본 발명의 일 실시예에 따른 멀티 트랙 미디어 파일의 구조를 더욱 상세하게 나타낸 도면이다. 도 2를 참조하면, 멀티 트랙 미디어 파일의 헤더부(100)에는 파일유형정보(File Type), 합성된 비디오 파일의 총 개수 정보(Video Track Number), 합성된 오디오 파일의 총 개수 정보(Audion Track Number), 합성된 비디오 파일의 코덱 정보(Video Codec), 합성된 오디오 파일의 코덱 정보(Audio Codec), 데이터부(200)의 총 프레임 개수 정보(Total Frame Number), 및 각 프레임별 크기정보(Frame Size)가 저장되어 있다.
구체적으로, 파일유형정보(File Type)는 일반 멀티미디어 파일과 구분되는 파일 유형임을 표시하며, 합성된 비디오 파일의 코덱 정보(Video Codec)는 MP4, MEPG4, H.264, WMV 등이 될 수 있고, 합성된 오디오 파일의 코덱 정보(Audio Codec)는 MP3, AAC, OGG, WMA 등이 될 수 있을 것이다.
아울러, 헤더부(100)에 저장되어 있는 각 프레임별 크기정보(Frame Size)는 멀티 트랙 미디어 파일이 재생되는 경우에 사용자의 조작에 의한 30초 건너띄기 등을 실행하는 경우에 활용될 수 있을 것이다.
한편, 도 2를 참조하면, 본 발명에 따른 멀티 트랙 미디어 파일의 데이터부(200)를 구성하는 제1 미디어 파일 내지 제3 미디어 파일에서의 각 프레임에는 각 프레임별로 프레임 헤더부(250)가 구비되어 있으며, 프레임 헤더부(250)에는 각 프레임의 트랙 정보(Track Number), 각 프레임의 트랙 유형(Track Type), 각 프레임에 대한 출력 조절값(Adjust Value), 각 프레임의 크기 정보(Frame Size)가 저장되어 있다.
도 3은 본 발명의 다른 실시예에 따른 멀티 트랙 미디어 파일의 구조를 더욱 상세하게 나타낸 도면이다. 한편, 도 3에서의 멀티 트랙 미디어 파일은 도 1에서의 멀티 트랙 미디어 파일에 비디오 파일인 제4 미디어 파일이 추가된 형태이다.
도 2 및 도 3을 참조하여, 프레임 헤더부(250)의 세부 구조를 살펴보면, 각 프레임의 트랙 정보(Track Number)는 해당 프레임의 도 1에서의 미디어 파일 넘버(1,2,3 등)를 의미하며, 각 프레임의 트랙 유형(Track Type)은 비디오(V) 또는 오디오(A)와 같은 해당 프레임의 미디어 파일의 종류를 의미하고, 각 프레임에 대한 출력 조절값(Adjust Value)은 0부터 1의 범위 내에서 정해지는 값으로서, 예를 들어, 출력 조절값이 0.7인 경우에는 해당 프레임에 대한 출력을 70%로 조절함으로 의미하며, 출력 조절값이 0인 경우에는 해당 프레임에 대한 출력을 0%으로 하고, 출력 조절값이 1인 경우에는 해당 프레임의 출력을 100%로 함을 의미한다.
아울러, 데이터부(200)의 각각의 프레임 헤어부에 포함되어 있는 각 프레임의 크기 정보들은 데이터부(200)에 구비된 헤더부(100)에 저장된 각 프레임별 크기정보(Frame Size)와 일치하게 된다.
도 4는 본 발명에 따른 멀티 트랙 미디어 파일 편집 장치(300)의 구조를 나타내는 기능 블록도이다. 도 4를 참조하면, 본 발명에 따른 멀티 트랙 미디어 파일 편집 장치(300)는 입력부(310), 멀티플렉서부(320), 저장부(330), 재생부(340), 편집부(350), 출력부(360), 변환부(370), 및 송신부(380)를 포함한다.
먼저, 멀티 트랙 미디어 파일 편집 장치(300)의 입력부(310)에는 사용자의 멀티 트랙 미디어 파일 편집 장치(300)에 대한 각종 제어 명령이 입력되는 입력 패널, 외부 오디오 신호가 입력되는 마이크 단자 등의 오디오 입력 단자, 외부 비디오 신호가 입력되는 비디오 입력 단자가 구비되어 있다.
그 이외에도 입력부(310)를 통해 일반 오디오 데이터 및 일반 비디오 데이터가 입력되며, 멀티플렉서부(320)는 이들 일반 오디오 데이터 및 일반 비디오 데이터를 이용하여 도 1에서와 같은 구조의 멀티 트랙 미디어 파일을 생성한다.
한편, 저장부(330)에는 입력부(310)를 통해 입력된 일반 오디오 데이터, 일반 비디오 데이터, 및 멀티플렉서부(320)가 생성한 멀티 트랙 미디어 파일이 저장된다.
재생부(340)는 저장부(330)에 저장된 멀티 트랙 미디어 파일에서의 각각의 트랙들을 독립적으로 동시에 재생시키게 되며, 재생부(340)에 의해 독립적으로 재생된 트랙들은 출력부(360)를 통해 동시에 출력되어 사용자에게 전달된다.
아울러, 편집부(350)는 입력부(310)를 통해 사용자로부터의 특정 오디오 트랙 또는 특정 비디오 트랙에서의 특정 프레임에 대한 출력 조절 명령이 입력되는 경우에, 해당 출력 조절 명령에 따른 출력 조절값을 생성하고, 해당 프레임의 프레임 헤더부(250)에 생성된 출력 조절값을 기록한다.
구체적으로 출력 조절값은 '0'부터 '1'까지의 값으로 생성되며, 사용자가 특정 오디오 트랙 또는 특정 비디오 트랙에서의 특정 프레임의 출력값을 100%의 최대 출력으로 조절한 경우에는 출력 조절값은 '1'로 생성되고, 사용자가 출력값을 0%로 조절한 경우에는 출력 조절값은 '0'으로 생성된다.
한편, 변환부(370)는 저장부(330)에 저장되어 있는 멀티 트랙 미디어 파일을 일반 재생 장치에서도 재생될 수 있는 일반 멀티 미디어 파일로 변환하는 기능을 수행하며, 송신부(380)는 변화부에 의해 변환 생성된 일반 멀티 미디어 파일을 외부 기기로 송신하는 기능을 수행한다.
도 5는 본 발명에 따른 멀티 트랙 미디어 파일 편집 방법의 실행 과정을 설명하는 절차 흐름도이다. 도 1 내지 도 5를 참조하여, 본 발명에 따른 멀티 트랙 미디어 파일 편집 방법을 설명하면, 먼저, 멀티 트랙 미디어 파일 편집 장치(300)의 입력부(310)를 통해 도 1에서의 제1 미디어 파일(오디오 파일), 제2 미디어 파일(오디오 파일), 제3 미디어 파일(비디오 파일) 등과 같은 적어도 하나의 일반 오디오 데이터와 적어도 하나의 일반 비디오 데이터가 입력되며(S410), 입력된 데이터들은 저장부(330)에 저장된다.
그 다음, 멀티플렉서부(320)는 도 1에서의 제1 미디어 파일 내지 제3 미디어 파일 등을 멀티플렉싱 처리함으로써 멀티 트랙 미디어 파일을 생성하며, 생성된 멀티 트랙 미디어 파일은 저장부(330)에 저장된다(S420).
한편, 두 개의 일반 오디오 데이터와 두 개의 일반 비디오 데이터를 이용하여 생성된 멀티 트랙 미디어 파일의 구조는 도 3에서와 같이 형성될 수 있을 것이다.
이후 사용자는 전술한 S420 단계에서 생성된 멀티 트랙 미디어 파일에 오디오 트랙 또는 비디오 트랙을 추가하기 위해 입력부(310)를 통해 오디오 신호 또는 비디오 신호를 입력한다(S430).
구체적으로, 사용자는 멀티 트랙 미디어 파일 편집 장치(300)의 입력 단자에 연결된 마이크를 통해 멀티 트랙 미디어 파일에 포함된 노래를 부름으로써, 자신의 목소리를 오디오 신호로 입력할 수도 있을 것이며, 멀티 트랙 미디어 파일 편집 장치(300)의 입력 단자에 연결된 카메라 모듈을 통해 멀티 트랙 미디어 파일에 포함된 노래의 배경 영상을 촬영함으로써, 비디오 신호를 입력할 수도 있을 것이다.
이에 멀티 트랙 미디어 파일 장치의 편집부(350)는 입력된 오디오 신호 또는 비디오 신호에 기초하여, 도 1에서의 제1 미디어 파일 내지 제3 미디어 파일과 같은 형식의 미디어 파일을 추가로 생성하고, 추가로 생성된 미디어 파일을 도 1에서의 형식에 따라, 전술한 S420 단계에서 기 생성된 멀티 트랙 미디어 파일에 반영함으로써, 수정된 멀티 트랙 미디어 파일을 생성하고, 수정 생성된 멀티 트랙 미디어 파일은 저장부(330)에 저장된다(S440).
한편, 사용자는 입력부(310)의 입력 패널을 통해 전술한 S440 단계에서 수정 생성된 멀티 트랙 미디어 파일의 재생 명령을 입력하고, 그에 따라 재생부(340)는 수정 생성된 멀티 트랙 미디어 파일을 재생한다(S450).
구체적으로, 멀티 트랙 미디어 파일 편집 장치(300)의 재생부(340)는, 수정 생성된 멀티 트랙 미디어 파일에 포함된 복수의 오디오 트랙에서의 각 프레임 데이터를 파싱(parsing)한 후, 이를 믹싱함으로써 오디오 파일을 재생하며, 수정 생성된 멀티 트랙 미디어 파일에 포함된 복수의 비디오 트랙에서의 각 프레임 데이터를 파싱(parsing)한 후, 이를 믹싱함으로써 비디오 파일을 재생한다.
이에 사용자는 출력부(360)를 통해 출력되는, 멀티 트랙 미디어 파일에 포함되어 있는 비디오 파일 및 오디오 파일을 시청하면서, 각각의 비디오 트랙 및/또는 각각의 오디오 트랙에 대한 출력 조절 명령을 입력부(310)의 입력 패널을 통해 입력한다(S460).
구체적으로, 도 3에서의 Mp3 frame Data 1-1(제1 오디오 파일), Mp3 frame Data 2-1(제2 오디오 파일), Mp4 frame Data 3-1(제1 비디오 파일), Mp4 frame Data 4-1(제2 비디오 파일)로 이루어지는 재생 구간에서의 재생이 실행되는 동안에, 사용자가 제1 오디오 파일의 출력을 0으로 조절하고, 제2 오디오 파일의 출력을 100%로 조절하며, 제1 비디오 파일의 출력을 0으로 조절하고, 제2 비디오 파일의 출력을 100%로 조절하였다면, 도 3에서와 같이 편집부(350)는 Mp3 frame Data 1-1(제1 오디오 파일)에 대한 출력 조절값을 0으로 생성 및 기록하고, Mp3 frame Data 2-1(제2 오디오 파일)에 대한 출력 조절값을 1로 생성 및 기록하고, Mp4 frame Data 3-1(제1 비디오 파일)에 대한 출력 조절값을 0으로 생성 및 기록하고, Mp4 frame Data 4-1(제2 비디오 파일)에 대한 출력 조절값을 1로 생성 및 기록하게 된다(S470).
전술한 S470 단계에서와 같이, 편집부(350)에 의해 생성된 출력 조절값이 기록된 멀티 트랙 미디어 파일은 저장부(330)에 저장되며, 이는 추후 사용자의 입력 패널을 통한 제어 명령에 따라 재생부(340)를 통해 재생된다(S480).
구체적으로, 멀티 트랙 미디어 파일 편집 장치(300)의 재생부(340)는, 출력 조절값이 기록된 멀티 트랙 미디어 파일에 포함된 복수의 오디오 트랙에서의 각 프레임 데이터를 파싱(parsing)한 후, 이를 믹싱 재생함에 있어서 각 프레임 데이터의 프레임 헤더부(250)에 기록된 출력 조절값에 따라 출력을 조절한다.
구체적으로, 출력 조절값이 0으로 기록된 Mp3 frame Data 1-1(제1 오디오 파일)은 출력하지 않고, 출력 조절값이 1로 기록된 Mp3 frame Data 2-1(제2 오디오 파일)은 100% 출력되도록 한다.
또한, 출력 조절값이 0으로 기록된 Mp4 frame Data 3-1(제1 비디오 파일)은 출력하지 않고, 출력 조절값이 1로 기록된 Mp4 frame Data 4-1(제2 비디오 파일)은 100% 출력되도록 한다.
한편, Mp4 frame Data 3-1(제1 비디오 파일)의 출력 조절값이 0.3으로 기록되고, Mp4 frame Data 4-1(제2 비디오 파일)은 출력 조정값이 0.7로 기록되었다면, 해당 재생 구간에서 Mp4 frame Data 3-1(제1 비디오 파일)에 의한 영상 출력과 Mp4 frame Data 4-1(제2 비디오 파일)에 의한 영상 출력의 비율은 3:7로서 두가지의 영상이 겹쳐서 출력되게 된다.
한편, 전술한 S460 단계에서 Mp3 frame Data 1-1(제1 오디오 파일), Mp3 frame Data 2-1(제2 오디오 파일), Mp4 frame Data 3-1(제1 비디오 파일), Mp4 frame Data 4-1(제2 비디오 파일)로 이루어지는 재생 구간(제1 구간) 다음에 이어지는 재생 구간인, Mp3 frame Data 1-2(제1 오디오 파일), Mp3 frame Data 2-2(제2 오디오 파일), Mp4 frame Data 3-2(제1 비디오 파일), Mp4 frame Data 4-2(제2 비디오 파일)로 이루어지는 재생 구간(제2 구간)에서의 출력 조절값을 추가로 조절함으로써, 사용자는 특정 오디오 또는 비디오 파일의 출력 상태를 연속적으로 조절할 수 있게 된다.
예를 들어, Mp3 frame Data 1-1(제1 오디오 파일의 제1 구간)의 출력 조절값을 0으로 설정한 후에, Mp3 frame Data 1-2(제1 오디오 파일의 제2 구간)의 출력 조절값을 0.5로 설정하고, Mp3 frame Data 1-3(제1 오디오 파일의 제3 구간)을 1로 설정하는 경우에, 전술한 S480단계에서의 재생시에 제1 구간 내지 제3 구간을 거치는 동안 제1 오디오 파일은 출력 정도가 0에서 100%로 점진적으로 증가하게 된다.
아울러, 사용자가 Mp4 frame Data 4-1(제2 비디오 파일의 제1 구간)의 출력 조절값을 1로 설정한 후에, Mp4 frame Data 4-2(제2 비디오 파일의 제2 구간)의 출력 조절값을 0.5로 설정하고, Mp4 frame Data 4-3(제2 비디오 파일의 제3 구간)의 출력 조절값을 0으로 설정하는 경우에, 전술한 S480단계에서의 재생시에 제1 구간 내지 제3 구간을 거치는 동안 제2 비디오 파일은 출력 정도가 100%에서 0%로 점진적으로 감소하면서 출력부(360)의 화면에서의 FADE OUT의 효과를 나타낼 수 있게 된다.
반대로, 사용자가 Mp4 frame Data 3-1(제1 비디오 파일의 제1 구간)의 출력 조절값을 0으로 설정한 후에, Mp4 frame Data 3-2(제1 비디오 파일의 제2 구간)의 출력 조절값을 0.5로 설정하고, Mp4 frame Data 3-3(제1 비디오 파일의 제3 구간)의 출력 조절값을 1로 설정하는 경우에, 전술한 S480단계에서의 재생시에 제1 구간 내지 제3 구간을 거치는 동안 제1 비디오 파일은 출력 정도가 0%에서 100%로 점진적으로 증가하면서 출력부(360)의 화면에서의 FADE IN의 효과를 나타낼 수 있게 된다.
아울러, 본 발명을 실시함에 있어서는, 전술한 S430 단계 내지 S440 단계를 생략하고, 전술한 S420 단계에서 저장부(330)에 저장된 멀티 트랙 미디어 파일에 오디오 트랙 또는 비디오 트랙의 추가 생성의 과정을 거치지 않은 상태에서 전술한 S450 단계 내지 S470 단계를 바로 실행할 수도 있을 것이다.
한편, 전술한 S470 단계에서 저장부(330)에 저장된 멀티 트랙 미디어 파일은 일반 미디어 재생 장치에서는 실행될 수 없는 파일 구조를 구비하고 있으므로, 본 발명에서는 전술한 S470 단계에서 저장부(330)에 저장된 멀티 트랙 미디어 파일을 재생부(340)를 통해 재생하고(S480), 변환부(370)는 출력부(360)를 통해 최종적으로 믹싱되어 출력되는 오디오 출력 신호 및 비디오 출력 신호를 캡처 처리함으로써 일반적인 멀티 미디어 동영상 파일(MP4, AVI, WMV 등)로 변환하게 된다(S490).
즉, 이와 같은 방법으로 사용자는 자신만의 편집 내용이 적용된 동영상 UCC를 제작할 수 있게 되며, 제작된 동영상 UCC는 Youtube, SNS, 인터넷 사이트 등이 게시를 위해 송신부(380)를 통해 외부 기기로 송신되게 된다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
또한, 본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
100: 헤더부, 200: 본체부,
250: 프레임 헤더부, 300: 멀티 트랙 미디어 파일 편집 장치.
250: 프레임 헤더부, 300: 멀티 트랙 미디어 파일 편집 장치.
Claims (11)
- 적어도 하나의 오디오 파일 및 상기 오디오 파일에 대응되는 적어도 하나의 비디오 파일을 재생하기 위한 멀티 트랙 미디어 파일이 기록된 기록매체에 있어서,
상기 오디오 파일의 각 프레임에 이에 대응되는 상기 비디오 파일의 각 프레임이 인접하여 결합되는 구조의 데이터부; 및
상기 오디오 파일의 총 개수 정보와, 상기 비디오 파일의 총 개수 정보를 나타내는 헤더부
를 포함하며,
상기 오디오 파일의 각 프레임 및 상기 비디오 파일의 각 프레임 중 적어도 하나에는 상기 각 프레임의 출력 조절값을 나타내는 프레임 헤더부가 구비된 것인 멀티 트랙 미디어 파일이 기록된 기록매체.
- 제1항에 있어서,
상기 프레임 헤더부에는 상기 프레임 헤더부가 구비된 상기 프레임의 파일 종류 정보가 포함된 것인 멀티 트랙 미디어 파일이 기록된 기록매체.
- (a) 미디어 파일 편집 장치가, 적어도 하나의 오디오 트랙 및 상기 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하는 단계;
(b) 상기 미디어 파일 편집 장치가, 외부로부터 오디오 신호 및/또는 비디오 신호를 입력받는 단계; 및
(c) 상기 미디어 파일 편집 장치가, 상기 멀티 트랙 미디어 파일에 상기 (b) 단계에서 입력된 상기 오디오 신호 및/또는 비디오 신호에 따른 오디오 트랙 및/또는 비디오 트랙을 추가 생성하는 단계
를 포함하는 멀티 트랙 미디어 파일 편집 방법.
- 제3항에 있어서,
(d) 상기 미디어 파일 편집 장치가, 사용자로부터 상기 오디오 트랙 및/또는 상기 비디오 트랙의 출력 조절 명령을 입력받는 단계를 더 포함하는 멀티 트랙 미디어 파일 편집 방법.
- 제4항에 있어서,
(e) 상기 미디어 파일 편집 장치가, 상기 출력 조절 명령에 따른 볼륨 조절값을 생성하는 단계를 더 포함하는 멀티 트랙 미디어 파일 편집 방법.
- 제5항에 있어서,
(f) 상기 미디어 파일 편집 장치가, 상기 생성된 볼륨 조절값을 상기 멀티 트랙 미디어 파일에 기록하는 단계를 더 포함하는 멀티 트랙 미디어 파일 편집 방법.
- 적어도 하나의 오디오 트랙 및 상기 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하는 저장부;
외부로부터 오디오 신호 및/또는 비디오 신호가 입력되는 입력부; 및
상기 멀티 트랙 미디어 파일에 상기 입력부에 입력된 상기 오디오 신호 및/또는 비디오 신호에 따른 오디오 트랙 및/또는 비디오 트랙을 추가 생성하는 편집부
를 포함하는 멀티 트랙 미디어 파일 편집 장치.
- 제7항에 있어서,
상기 입력부는, 사용자로부터 상기 오디오 트랙 및/또는 상기 비디오 트랙의 출력 조절 명령이 입력되는 것인 멀티 트랙 미디어 파일 편집 장치.
- 제8항에 있어서,
상기 편집부는, 상기 출력 조절 명령에 따른 볼륨 조절값을 생성하는 것인 멀티 트랙 미디어 파일 편집 장치.
- 제9항에 있어서,
상기 편집부는, 상기 생성된 볼륨 조절값을 상기 멀티 트랙 미디어 파일에 기록하는 것인 멀티 트랙 미디어 파일 편집 장치.
- 적어도 하나의 오디오 트랙 및 상기 오디오 트랙에 대응되는 적어도 하나의 비디오 트랙을 포함하는 멀티 트랙 미디어 파일을 저장하는 저장부;
사용자로부터 상기 오디오 트랙 및/또는 상기 비디오 트랙의 출력 조절 명령이 입력되는 입력부; 및
상기 출력 조절 명령에 따른 볼륨 조절값을 생성하고, 상기 생성된 볼륨 조절값을 상기 멀티 트랙 미디어 파일에 기록하는 편집부
를 포함하는 멀티 트랙 미디어 파일 편집 장치.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130051444A KR101518294B1 (ko) | 2013-05-07 | 2013-05-07 | 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 |
CN201480038869.3A CN105379254A (zh) | 2013-05-07 | 2014-04-11 | 记录有多轨道媒体文件的记录介质,多轨道媒体文件的编辑方法,以及多轨道媒体文件的编辑装置 |
US14/889,911 US9928876B2 (en) | 2013-05-07 | 2014-04-11 | Recording medium recorded with multi-track media file, method for editing multi-track media file, and apparatus for editing multi-track media file |
PCT/KR2014/003140 WO2014181969A1 (ko) | 2013-05-07 | 2014-04-11 | 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130051444A KR101518294B1 (ko) | 2013-05-07 | 2013-05-07 | 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140132209A true KR20140132209A (ko) | 2014-11-17 |
KR101518294B1 KR101518294B1 (ko) | 2015-05-07 |
Family
ID=51867413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130051444A KR101518294B1 (ko) | 2013-05-07 | 2013-05-07 | 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9928876B2 (ko) |
KR (1) | KR101518294B1 (ko) |
CN (1) | CN105379254A (ko) |
WO (1) | WO2014181969A1 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768052A (zh) * | 2015-04-02 | 2015-07-08 | 无锡天脉聚源传媒科技有限公司 | 一种根据语言提取音频及字幕的方法及装置 |
CN106487982B (zh) * | 2015-09-02 | 2020-10-16 | 深迪半导体(上海)有限公司 | 移动终端及其音量的调节方法和调节装置 |
CN106610982A (zh) * | 2015-10-22 | 2017-05-03 | 中兴通讯股份有限公司 | 媒体文件生成方法和装置 |
CN109587549B (zh) * | 2018-12-05 | 2021-08-13 | 广州酷狗计算机科技有限公司 | 视频录制方法、装置、终端及存储介质 |
CN109819314B (zh) * | 2019-03-05 | 2022-07-12 | 广州酷狗计算机科技有限公司 | 音视频处理方法、装置、终端及存储介质 |
CN112015927B (zh) * | 2020-09-29 | 2023-08-15 | 北京百度网讯科技有限公司 | 多媒体文件编辑方法、装置、电子设备和存储介质 |
CN112287128B (zh) | 2020-10-23 | 2024-01-12 | 北京百度网讯科技有限公司 | 多媒体文件编辑方法、装置、电子设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100552605B1 (ko) * | 2003-01-16 | 2006-02-15 | 사운드그래프 | 멀티 트랙 오디오 포맷 변환/재생 방법 및 시스템 |
JP4562115B2 (ja) * | 2003-06-11 | 2010-10-13 | ソニー株式会社 | ファイル生成装置および方法、プログラム、並びに記録媒体 |
KR100932778B1 (ko) * | 2009-06-11 | 2009-12-21 | 주식회사 인코렙 | 멀티 트랙 미디어 파일이 기록된 기록매체, 멀티 트랙 미디어 파일 재생 방법, 및 미디어 장치 |
KR101123865B1 (ko) | 2009-12-21 | 2012-03-16 | 주식회사 인코렙 | 음질 손실을 최소화하는 오디오 파일의 멀티 트랙화 방법, 이를 실행하는 프로그램이 기록된 기록 매체, 및 이에 사용되는 웹서버 |
KR101218801B1 (ko) * | 2009-12-21 | 2013-01-18 | 주식회사 인코렙 | 미디어 편집 장치, 미디어 편집 서비스 제공 방법, 및 이에 사용되는 웹서버 |
KR20130134195A (ko) * | 2012-05-30 | 2013-12-10 | 삼성전자주식회사 | 오디오 스트림을 고속 시각화시키는 전자 장치 및 방법 |
-
2013
- 2013-05-07 KR KR1020130051444A patent/KR101518294B1/ko not_active IP Right Cessation
-
2014
- 2014-04-11 US US14/889,911 patent/US9928876B2/en not_active Expired - Fee Related
- 2014-04-11 CN CN201480038869.3A patent/CN105379254A/zh active Pending
- 2014-04-11 WO PCT/KR2014/003140 patent/WO2014181969A1/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR101518294B1 (ko) | 2015-05-07 |
US20160093333A1 (en) | 2016-03-31 |
WO2014181969A1 (ko) | 2014-11-13 |
US9928876B2 (en) | 2018-03-27 |
CN105379254A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101518294B1 (ko) | 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치 | |
US12009014B2 (en) | Generation and use of user-selected scenes playlist from distributed digital content | |
JP4982570B2 (ja) | オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法 | |
JP5514803B2 (ja) | オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体 | |
CN1327436C (zh) | 构造用于混合的音频流的方法和装置 | |
US20080134866A1 (en) | Filter for dynamic creation and use of instrumental musical tracks | |
KR20080099629A (ko) | 정보저장매체, 비디오 컨텐츠 재생 장치 및 재생 방법 | |
US8843961B2 (en) | Multiple resolution audio and video systems, methods of production, delivery and uses thereof | |
Tidal | Podcasting: A practical guide for librarians | |
US20050069282A1 (en) | Information reproducing method, recording medium on which information reproducing program is computer-readably recorded, and information reproducing apparatus | |
JP4382045B2 (ja) | データ出力装置、データ出力方法、データ出力プログラム、および記録媒体 | |
KR20090052780A (ko) | 객체기반 오디오 서비스 제공 방법과, 이를 위한 다중객체오디오 콘텐츠 파일의 생성/편집/재생 방법 및 그 파일구조 | |
KR101029483B1 (ko) | 멀티채널 오디오 파일을 이용한 음악 ucc 제작방법 및 그 장치 | |
JP2009087449A (ja) | 音声再生装置及び音声再生方法 | |
KR100959585B1 (ko) | 멀티 트랙 미디어 파일이 기록된 기록매체, 멀티 트랙 미디어 파일 재생 방법, 및 미디어 장치 | |
KR20160096575A (ko) | 미디어 파일 공유 방법 및 이에 사용되는 관리 서버 | |
KR100932778B1 (ko) | 멀티 트랙 미디어 파일이 기록된 기록매체, 멀티 트랙 미디어 파일 재생 방법, 및 미디어 장치 | |
KR20160010843A (ko) | 진동 기능을 제공하는 오디오북 재생 방법, 장치 및 컴퓨터 판독 가능 매체 | |
JP2021067845A (ja) | 音声再生システムおよびプログラム | |
JP5746865B2 (ja) | リッチメディア提供システムおよびその制御方法 | |
KR101562041B1 (ko) | 듀엣 모드의 미디어 콘텐츠 제작 방법 및 이에 사용되는 미디어 콘텐츠 제작 장치 | |
KR20130092692A (ko) | 사용자의 음성으로 구연될 수 있는 전자 도서 제작 방법 및 전자 도서 제작 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체 | |
KR20150138587A (ko) | 미디어 파일 공유 방법 및 이에 사용되는 관리 서버 | |
Rumsey | Blu-ray or downloads for HD audio delivery? | |
KR20100048280A (ko) | 믹싱녹음 기능을 이용한 휴대용 음악 ucc 제작 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |