KR100499032B1 - 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치 - Google Patents

텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치 Download PDF

Info

Publication number
KR100499032B1
KR100499032B1 KR10-2002-0064977A KR20020064977A KR100499032B1 KR 100499032 B1 KR100499032 B1 KR 100499032B1 KR 20020064977 A KR20020064977 A KR 20020064977A KR 100499032 B1 KR100499032 B1 KR 100499032B1
Authority
KR
South Korea
Prior art keywords
audio
signal
video
music
broadcast
Prior art date
Application number
KR10-2002-0064977A
Other languages
English (en)
Other versions
KR20040036159A (ko
Inventor
황철규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0064977A priority Critical patent/KR100499032B1/ko
Publication of KR20040036159A publication Critical patent/KR20040036159A/ko
Application granted granted Critical
Publication of KR100499032B1 publication Critical patent/KR100499032B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 TV방송을 기반으로 하여 TV수신기에서 오디오 및 비디오 신호를 합성 편집할 수 있는 장치에 관한 것으로서, 선국된 방송의 노이즈 제거 및 배경음악을 추출하는 오디오 신호 처리 및 악기음 추출수단, 상기 추출된 음성을 인식하는 음성 인식수단, KBPS나 EPG 데이터로부터 가사 정보를 추출하는 부가정보 신호 처리수단, 마이크로폰과 같은 외부 입력장치로 들어온 오디오 신호를 배경음악과 합성하는 오디오 믹싱수단, CPU에 의해서 생성된 악보에 캠코더와 같은 외부 입력장치로 들어온 비디오 신호를 합성하는 비디오 믹싱수단, 상기 생성된 오디오/비디오 신호를 출력하거나 외부 출력장치로 보내기 위한 오디오/비디오 출력 스위칭수단을 포함하여 구성되고 있다. 본 발명에 따르면 수신된 TV방송신호 중에서 음악 방송에 대하여 음악, 가창자의 음성, 악보 등의 정보를 추출하고, 이 추출된 음악 정보를 사용자가 외부 입력장치를 이용해서 입력시킨 오디오 및/또는 비디오 신호와 합성하여 출력하거나 저장매체에 저장시킬 수 있고, TV수신기를 기반으로 하여 노래 반주 시스템을 구현하는데 유용하게 적용할 수 있다.

Description

텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치{Audio And Video Edition Using Television Receiver Set}
본 발명은 TV방송을 기반으로 하여 TV수신기에서 오디오 및 비디오 신호를 합성 편집할 수 있는 장치에 관한 것으로서, 예를 들면 수신된 TV방송신호 중에서 음악 방송에 대하여 음악, 가창자의 음성, 악보 등의 정보를 추출하고, 이 추출된 음악 정보를 사용자가 외부 입력장치를 이용해서 입력시킨 오디오 및/또는 비디오 신호와 합성하여 출력하거나 저장매체에 저장시킬 수 있도록 한 TV방송 기반의 오디오 및 비디오 합성 편집장치에 관한 것이다.
지금까지의 TV방송 수신기는 유선이나 무선 방송 서비스 제공자(통상 방송국)가 제공하는 오디오 및 비디오 신호를 수신하여 스피커로 출력하고 디스플레이하는 것을 그 기본적인 기능으로 하고 있다. 근래에 들어서는 멀티미디어 기술을 기반으로 함으로써, 인터넷 접속이 가능한 TV수신기를 비롯하여 다양한 매체와 사용자 요구를 고려한 TV수신기도 제안되고 있다. 그러나, 대부분의 일반적인 TV수신기에서는 사용자가 선택하는 채널의 방송신호를 선국하여 스피커와 화면 상으로 출력해 주고 있을 뿐, 사용자가 해당 방송 콘텐츠(수신된 방송 정보)에 대해서 그 오디오 및 비디오 신호에 대한 가공이나 편집 등을 가능하게 하는 툴을 제공하지는 못하고 있다.
예를 들어 음악 방송(채널)의 경우를 살펴보자.
방송 프로그램의 세분화 및 전문화를 통해서 수많은 음악 전용 방송채널이 등장하고 있다. 일반적으로 시청자가 음악 전용 방송 채널을 시청할 때에는 단순히 음악을 청취하는 경우도 있지만, 노래하는 가수의 몸동작(율동)을 따라 하거나, 음악에 맞춰서 몸동작을 하거나, 노래를 따라 부르는 경우가 있다. 일반 사용자가 음악을 접하는 일반적인 기회 이외에도, 노래를 따라 부르거나 혹은 반주에 맞춰서 노래를 부르는 경우도 빈번한데, 예를 들면 노래방과 같은 전문 노래 반주 시설을 이용해서 노래를 부르는 경우도 적지 않으며, 인터넷을 비롯하여 각종 유, 무선 통신 서비스를 통해서 음악 파일을 다운받아 즐기는 경우도 적지 않다.
한편, 음악 전용 방송 채널이 증가하면서 일반 사용자들이 음악과 접할 기회는 많아졌지만 실제로 매체를 통해서 접하는 음악에 대해서는 소극적인 음악 감상 정도에 그치는 경우가 대부분이다.
그러나 보다 적극적으로 노래방과 같은 전문 노래 반주 시설을 이용해서 음악을 즐기는 경우도 있다. 그렇지만 이와 같이 전문 노래 반주 시설을 이용하는 경우 대부분 저장매체의 저장용량의 한계로 인하여 배경화면이 그 노래의 분위기나 장르, 특성 등을 반영하는 경우는 거의 없고, 음악과는 별 관련이 없는 영상을 배경 화면으로 단순히 띄워 놓는 경우가 대부분이다. 또한, 전문 노래 반주 시설은 설치와 운영비용이 적지않기 때문에 경제적 부담이 크고, 일반 가정이 아닌 전문 노래 반주 시설 서비스가 가능한 장소(노래방)를 찾아가야 하는 불편함이 있다.
도1은 일반적인 2튜너를 가진 TV방송 수신기의 개략적인 구성을 보여주고 있다. 2튜너 TV 방송 수신기는 입력장치와 출력장치가 각각 스위칭 가능한 구성을 이루고 있다. 도2에 나타낸 바와 같이 종래의 2튜너 TV방송 수신기는, RF(또는 VOD 서비스) 신호를 수신하기 위한 안테나(101a) 및 상기 안테나로 수신된 방송신호를 선국하기 위한 제1 튜너(101)와, 상기 제1 튜너(101)에서 선국된 TV방송신호의 오디오 신호를 처리하기 위한 제1 오디오 신호 처리부(102)와, 상기 제1 튜너(101)에서 선국된 TV방송신호의 비디오 신호를 처리하기 위한 제1 비디오 신호 처리부(103)와, 상기 제1 튜너(101)에서 선국된 TV방송신호의 부가정보를 처리하기 위한 부가정보 신호 처리부(104)와, 마이크(MIC)나 캠코더(CAM) 등의 외부 입력장치의 오디오/비디오 신호를 선국하기 위한 제2 튜너(105)와, 상기 제2 튜너(105)에서 출력된 오디오 신호를 처리하기 위한 제2 오디오 신호 처리부(106)와, 상기 제2 튜너(105)에서 출력된 비디오 신호를 처리하기 위한 제2 비디오 신호 처리부(107)와, 상기 부가정보 처리 및 오디오/비디오 출력 스위칭 제어와 비디오 믹싱 제어를 수행하는 마이컴(108)과, 상기 마이컴(108)의 제어를 받아 상기 제2 비디오 신호 처리부(107)의 출력 비디오 신호를 합성하기 위한 비디오 믹싱부(109)와, 상기 제1 비디오 신호 처리부(103)의 출력 또는 비디오 믹싱부(109)의 출력을 선택하는 비디오 출력 스위칭부(110)와, 상기 비디오 출력 스위칭부(110)에 의해서 선택된 비디오 신호가 디스플레이되는 디스플레이부(111)와, 상기 제1 오디오 신호 처리부(102)의 출력 또는 제2 오디오 신호 처리부(106)의 출력을 선택하는 오디오 출력 스위칭부(112)와, 상기 오디오 출력 스위칭부(112)에서 선택된 오디오 신호가 출력되는 스피커(113)와, 상기 오디오, 비디오 출력 스위칭부에 의해서 선택된 오디오, 비디오 신호를 저장하는 저장기기나 저장매체로 이루어진 A/V 저장기기부(114)를 포함하여 이루어지고 있다.
이와 같이 구성된 TV방송 수신기의 동작을 상기 도1을 참조하여 설명하면 다음과 같다. TV방송 수신시에는 RF신호가 안테나(101a)에 의해서 수신되고 제1 튜너(101)에 의해서 방송 채널이 선국되어 오디오 신호는 제1 오디오 신호 처리부(102)에 공급되고 비디오 신호는 제1 비디오 신호 처리부(103)에 공급된다. 또한 유, 무선 통신을 기반으로 하여 인터넷이나 VOD 서비스 등을 제공받는 경우는 해당 신호가 튜너를 거쳐서 오디오 및 비디오 신호 처리부에 공급된다. 또한 TV방송신호가 부가정보 서비스를 하는 경우라면 해당 부가정보(KBPS 또는 EPG정보)는 부가정보 신호 처리부(104)에 공급되어 TV방송 신호에 포함되어 있는 부가정보들이 추출 및 해독되어 마이컴(108)에 제공된다.
제1 오디오 신호 처리부(102)는 선국된 방송 채널의 오디오 신호를 처리하여 출력한다. 오디오 신호 처리는 일반적으로 오디오 신호의 증폭, 노이즈 제거, 복조, 전력증폭, 스테레오 분리, 음성다중 처리 등의 신호처리를 의미할 수 있다.
제1 비디오 신호 처리부(103)는 선국된 방송 채널의 비디오 신호를 처리하여 출력한다. 비디오 신호 처리는 일반적으로 비디오 신호의 증폭, 노이즈 제거, 복조, 색보정 등과 같이 방송 비디오 신호를 선국하여 최종적으로 디스플레이할 때 까지의 일련의 과정을 의미할 수 있다.
한편, 마이크(MIC)나 캠코더(Camcorder)와 같은 외부기기로부터 입력되는 오디오/비디오 신호는 제2 튜너(105)를 거쳐서 각각 제2 오디오 신호 처리부(106)와 제2 비디오 신호 처리부(107)에 입력되고, 각 신호 처리부(106,107)는 해당 오디오 신호와 비디오 신호를 각각 상기한 바와 같이 신호처리하여 출력한다. 제2 비디오 신호 처리부(107)에서 출력되는 비디오 신호는 비디오 믹싱부(109)에 입력되어 적절한 비디오 합성이 이루어진 후 출력된다.
마이컴(108)은 TV방송신호가 부가정보를 제공하는 경우 상기 부가정보 신호처리부(104)로부터 입력되는 부가정보의 디스플레이 등을 수행하고, 또한 비디오 합성이나 출력선택, 오디오 및 비디오 신호의 저장 등의 제어를 수행한다. 따라서, 오디오 출력 스위칭부(112)는 마이컴의 제어를 받아 상기 제1 오디오 신호 처리부(102)에서 출력된 TV 방송 오디오 신호를 선택하여 스피커(113)로 출력하거나, 또는 제2 오디오 신호 처리부(106)에서 출력된 외부기기의 오디오 신호를 선택하여 스피커(113)로 출력하고, 비디오 출력 스위칭부(110)는 상기 제1 비디오 신호 처리부(103)에서 출력된 TV 방송 비디오 신호를 선택하여 디스플레이부(111)로 출력하거나, 비디오 믹싱부(109)에서 출력된 비디오 신호를 선택하여 디스플레이부(111)로 출력한다.
그리고, 상기 출력단 측에서 스위칭 선택되는 오디오나 비디오 신호는 또한 VCR이나 PVR, HDD 등의 외부 오디오/비디오 저장매체(또는 기기)(114)에 공급되어 저장될 수 있다.
지금까지 설명한 바와 같이 일반적인 2튜너를 가진 TV방송 수신기는 입력장치와 출력장치가 각각 스위칭 가능한 구조로 되어 있으며, TV방송 수신시에는 RF신호가 안테나로부터 튜너를 거쳐서 선국되고, 선국된 신호는 튜너를 거쳐 오디오/비디오 신호 처리부 및 부가정보(KBPS, EPG정보 등) 처리부를 통해서 시청자에게 시,청각적으로 전달되는 구성이다. 또한 출력단의 오디오/비디오 신호는 VCR이나 PVR과 같은 다른 저장기기를 통해서 소정의 저장매체에 저장될 수도 있다. 그리고 인터넷이나 통신을 통한 VOD 서비스를 제공받게 됨으로써 선별적인 방송 시청이 가능한 구성으로 되어 있다.
그러나, 이러한 기존의 2튜너 TV방송 수신기를 비롯하여, 기존의 TV 방송 수신기는 음악 방송을 시청할 때에 단지 방송국(서버)측에서 제공하는 음악과 배경화면을 그대로 시청할 수밖에 없고, 시청자가 해당 음악이나 배경화면 등에 대해서 편집이나 합성, 조작 등을 가할 수 없는 시스템이다.
특히, 선택의 여지가 없으므로, 시청자가 음악 방송을 가창자(가수)의 노래(음성)와 함께 배경음악(음성을 제외한 배경 연주음)을 분리 시청할 수 없어서 항상 배경음악(연주음)과 가창자의 음성을 다 함께 시청해야 하거나, 또는 두가지 모두를 시청하기를 포기하는 수밖에 없다.
정리하면, 기존의 TV방송 수신기의 경우는 단지 방송국 측에서 제공하는 음악방송의 단순 시청 이외의 시청자(사용자) 중심적인 어떠한 툴도 제공하지 못하는 문제점이 있다.
확장하여 정리하면, 기존의 TV방송 수신기의 경우는 방송국 측에서 제공하는 오디오 및 비디오 신호의 시청을 기본적으로 제공한다는 차원에 한정되어 있을 뿐, 방송국에서 제공하는 상기 방송 콘텐츠에 대하여 사용자가 그 것을 가공하거나, 자신의 취향이나 기호 등에 따라 편집하거나, 또는 외부기기를 이용해서 취득한 오디오, 비디오 신호와의 합성을 통한 자신만의 콘텐츠 재생성 등의 기반을 제공하지 못하고 있다.
본 발명의 목적은 TV방송 수신기에 있어서, 선국된 방송 콘텐츠의 오디오 신호를 분석하여 해당 오디오 신호를 그 오디오 신호를 구성하는 몇개의 요소로 분리하고, 분리된 각각의 오디오 신호 요소에 대하여 사용자가 임의로 선택한 다른 오디오나 비디오 신호와의 합성, 출력, 다른 매체에의 저장 등을 수행할 수 있도록 한 TV방송 기반 오디오 및 비디오 합성 편집장치를 제공하는데 있다.
본 발명의 또 목적은 TV방송 수신기에서 오디오 신호 분석을 통해서 음악에 대하여 순수 배경음악, 가수의 음성(가창자의 음성), 가사나 악보 등의 정보를 각각 별도로 추출하고, 이 추출된 각각의 정보를 이용해서 사용자가 편집, 저장, 출력 등의 선택과 처리를 수행할 수 있도록 함으로써, TV 수신기를 기반으로 하여 노래 반주 시스템을 구현할 수 있도록 한 TV방송 기반 오디오 및 비디오 합성 편집장치를 제공하는데 있다.
본 발명의 또 다른 목적은 TV방송 수신기에서 오디오 신호 분석을 통해서 음악에 대하여 순수 배경음악, 가수의 음성(가창자의 음성), 가사나 악보 등의 정보를 각각 별도로 추출하고, 이 추출된 각각의 정보를 사용자의 선택에 따라 스피커 등의 출력장치로 출력하거나, 다른 저장기기 또는 저장매체에 저장시킬 수 있도록 함으로써, TV 수신기를 기반으로 하여 노래 반주 시스템을 구현할 수 있도록 한 TV방송 기반 오디오 및 비디오 합성 편집장치를 제공하는데 있다.
본 발명의 또 다른 목적은 TV방송 수신기에서 오디오 신호 분석을 통해서 음악에 대하여 순수 배경음악, 가수의 음성(가창자의 음성), 가사나 악보 등의 정보를 각각 별도로 추출하고, 이 추출된 정보와 마이크나 캠코더 등과 같은 외부기기를 이용해서 취득하여 입력시킨 오디오 또는 비디오 신호를 합성하여 출력하거나, 다른 저장기기 또는 저장매체에 저장시킬 수 있도록 함으로써, TV수신기를 기반으로 하여 노래 반주 시스템을 구현할 수 있도록 한 TV방송 기반 오디오 및 비디오 합성 편집장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 TV 수신기 기반 오디오 및 비디오 합성 편집장치는, 선국된 채널의 방송신호에서 오디오 신호를 그 오디오 신호를 구성하는 몇 개의 요소로 분리하여 인식하는 오디오 요소 분리 및 인식수단과, 상기 분리하여 인식된 오디오 신호 요소들을 선택적으로 외부 기기로부터 입력된 오디오나 비디오 신호, 오디오 및 비디오 신호와 합성하여 출력하는 합성수단을 포함하여 이루어지는 것을 특징으로 한다.
상기 본 발명에서 상기 오디오 신호 요소는 음악을 대상으로 할 때, 가창자의 음성신호, 배경음악 신호, 악기음 신호, 악보, 가사 등으로 분리 및 인식하고, 외부기기로부터 입력된 오디오 신호나 비디오 신호를 상기 분리, 인식된 배경음악 신호, 악보, 가사 등과 합성하여 출력함을 특징으로 한다.
또한 상기 목적을 달성하기 위한 본 발명의 TV수신기 기반 오디오 및 비디오 합성 편집장치는, TV수신기에 입력된 음악신호에 대하여 가창자의 음성과 그 배경음악을 각각 분리하는 음성/배경음악 분리수단, 상기 분리된 배경음악에서 악기음을 기반으로 하여 악보를 생성하는 악보 생성수단, 상기 분리된 가창자의 음성을 인식하는 음성 인식수단, 상기 인식된 가수 음성과 악보를 이용해서 가사를 생성하는 가사 생성수단, 상기 배경음악과 외부기기로부터 입력된 오디오 신호를 합성하여 출력하는 오디오 합성수단, 상기 악보나 가사를 외부기기로부터 입력된 비디오 신호와 합성하여 출력하는 비디오 합성수단을 포함하여 이루어지는 것을 특징으로 한다.
[실시예1]
도2는 본 발명의 TV수신기 기반 오디오 및 비디오 합성 편집장치의 실시예이다. 도2에 나타낸 본 발명 TV수신기 기반 오디오 및 비디오 합성 편집장치는 TV수신기를 기반으로 하여 노래 반주 시스템을 구현 가능하게 한 경우이다.
즉, TV 수신기에 입력된 음악(선국된 방송 채널의 음악신호)을 대상으로 하여 이를 분석하고, 분석된 음악 신호의 요소들 중에서 배경음악, 가사나 악보를 마이크나 캠코더 등과 같은 외부기기를 이용해서 입력시킨 오디오 및 비디오 신호와 합성하여 출력함으로써, 합성된 오디오/비디오의 시청이 이루어지고, 합성된 오디오/비디오 콘텐츠를 VCR이나 PVR, HDD 등과 같은 저장기기(또는 매체)에 저장할 수 있도록 하였다.
본 발명의 실시예에 따른 TV수신기 기반 오디오 및 비디오 합성 편집장치는, RF 또는 VOD 서비스를 통해서 선국된 방송의 노이즈 제거 및 배경음악을 추출하는 오디오 신호 처리 및 악기음 추출수단, 상기 추출된 음성을 인식하는 음성 인식수단, KBPS나 EPG 데이터로부터 가사 정보를 추출하는 부가정보 신호 처리수단, 마이크로폰과 같은 외부 입력장치로 들어온 오디오 신호를 배경음악과 합성하는 오디오 믹싱수단, CPU에 의해서 생성된 악보에 캠코더와 같은 외부 입력장치로 들어온 비디오 신호를 합성하는 비디오 믹싱수단, 상기 생성된 오디오/비디오 신호를 출력하거나 외부 출력장치로 보내기 위한 오디오/비디오 출력 스위칭수단을 포함하여 구성되고 있다.
도2를 참조하여 본 발명의 실시예에 따른 TV수신기 기반 오디오 및 비디오 합성 편집장치의 구성을 더욱 상세히 살펴보면,
RF(또는 VOD 서비스) 신호를 수신하기 위한 안테나(201a) 및 상기 안테나로 수신된 방송신호를 선국하기 위한 제1 튜너(201)와, 상기 제1 튜너(201)에서 선국된 TV방송신호의 오디오 신호 처리 및 오디오 신호에서 배경음악을 추출하는 오디오 신호처리 및 악기음 추출부(202)와, 상기 제1 튜너(201)에서 선국된 TV방송신호의 비디오 신호를 처리하기 위한 제1 비디오 신호 처리부(203)와, 상기 오디오 신호처리 및 악기음 추출부(202)의 출력신호에서 음성신호를 인식하기 위한 음성 인식부(204)와, 상기 오디오 신호처리 및 악기음 추출부(202)의 출력신호에서 악기음의 고저장단을 판별하는 고저/장단 판별부(205)와, 상기 제1 튜너(201)에서 선국된 방송신호에서 KBPS나 EPG 등과 같은 부가정보를 입력받아 가사 정보를 추출하는 부가정보 신호 처리부(206)와, 상기 부가정보 신호 처리부(206)로부터의 가사정보나, 상기 인식된 음성 및 음의 고저/장단 정보로부터 악보를 생성하여 출력하고 오디오 및 비디오 합성과 출력을 제어하는 CPU(207)와, 마이크(MIC)나 캠코더(CAM) 등의 외부 입력장치의 오디오/비디오 신호를 선국하기 위한 제2 튜너(208)와, 상기 제2 튜너(208)에서 출력된 오디오 신호를 처리하기 위한 오디오 신호 처리부(209)와, 상기 제2 튜너(208)에서 출력된 비디오 신호를 처리하기 위한 제2 비디오 신호 처리부(210)와, 상기 CPU(207)의 제어를 받아 배경음악과 오디오 신호 처리부(209)에서 출력되는 외부 오디오 신호를 합성하는 오디오 믹싱부(211)와, 상기 CPU(207)의 제어를 받아 악보나 가사를 상기 제2 비디오 신호 처리부(210)에서 출력되는 외부 비디오 신호와 합성하기 위한 비디오 믹싱부(212)와, 상기 제1 비디오 신호 처리부(203)의 출력 또는 비디오 믹싱부(212)의 출력을 선택하는 비디오 출력 스위칭부(213)와, 상기 비디오 출력 스위칭부(213)에 의해서 선택된 비디오 신호가 디스플레이되는 디스플레이부(214)와, 상기 오디오 신호 처리 및 악기음 추출부(202)에서 출력되는 오디오 신호 또는 오디오 믹싱부(211)의 출력을 선택하는 오디오 출력 스위칭부(215)와, 상기 오디오 출력 스위칭부(215)에서 선택된 오디오 신호가 출력되는 스피커(216)와, 상기 오디오, 비디오 출력 스위칭부에 의해서 선택된 오디오, 비디오 신호를 저장하는 저장기기나 저장매체로 이루어진 A/V 저장 기기부(217)를 포함하여 이루어지고 있다.
도3은 상기 도2의 본 발명 실시예에서 TV방송 오디오 신호 분석을 통한 음악 방송 정보의 추출과정을 설명하기 위한 블록도이고, 도4는 도2의 본 발명 실시예에서 TV방송 오디오 신호와 외부 입력신호 합성을 통한 출력 처리 과정을 설명하기 위한 블록도이다. 도3 및 도4에서 상기 도2와 동일한 구성요소에 대하여 동일한 부호로 표기하고 그 구성 설명은 생략하며, 상기 도2의 본 발명 TV수신기 기반 오디오 및 비디오 합성 편집장치의 동작을 설명하는데 있어 상기 도3을 참조하여 음악 방송 정보의 추출과정부터 먼저 설명하고, 이어서 도4를 참조하여 TV방송 오디오 신호와 외부 입력신호를 합성 및 출력하는 과정을 후술한다.
먼저, 도3을 참조한다.
RF신호가 안테나(201a)에 의해서 수신되고 제1 튜너(201)에 의해서 방송 채널이 선국되어 오디오 신호는 오디오 신호 처리 및 악기음 추출부(202)에 공급되고 비디오 신호는 제1 비디오 신호 처리부(203)에 공급된다. 또한 유, 무선 통신을 기반으로 하여 인터넷이나 VOD 서비스 등을 제공받는 경우는 해당 신호가 튜너를 거쳐서 오디오 및 비디오 신호 처리부에 공급된다. 또한 TV방송신호가 부가정보 서비스를 하는 경우라면 해당 부가정보(KBPS 또는 EPG정보)는 부가정보 신호 처리부(206)에 공급되어 TV방송 신호에 포함되어 있는 부가정보들이 추출 및 해독되어 CPU(207)에 제공되는데, 본 발명에서는 부가정보로서 가사정보가 제공될 때 이 가사정보가 추출 및 해독되어 CPU(207)에 제공된다.
오디오 신호 처리 및 악기음 추출부(202)는 선국된 방송 채널의 오디오 신호를 처리하여 출력하는데, 이 때 음악신호에 대하여 가수의 음성과 배경음악을 분리한다. 일반적으로 악기음은 음성과는 달리 주파수 도메인에서의 기본 주파수의 배수에 해당하는 스펙트럼이 띠 모양으로 형성되기 때문에 이러한 특성을 이용해서 적절한 필터를 사용하면 악기음을 배경음악으로서 분리해 낼 수 있다.
분리된 음성신호는 제어 스위치(204a)가 온되어 있을 경우 음성 인식부(204)로 공급되고, 분리된 악기음 신호는 음의 고저/장단 판별부(205)에 공급된다. 상기 제어 스위치(204a)는 CPU(207)의 제어를 받아 온 또는 오프되는데, 만약 방송국에서 KBPS나 EPG 데이터와 같은 부가정보에 노래 가사를 실어서 보낸다면 음성인식이 필요하지 않으므로 이 때에는 스위치(204a)를 오프시켜 주고, 그렇지 않은 경우에는 온시켜 준다. 따라서, 상기 분리된 가창자(가수)의 음성신호는 음성 인식부(204)에 입력되고, 음성 인식부(204)는 가창자의 음성을 인식하여 CPU(207)에 공급하며, 고저/장단 판별부(205)는 분리된 악기음의 고,저,장,단을 분석해서 미디(악보)파일을 형성하고 이를 CPU(207)에 공급한다.
분리된 가창자의 음성신호는 상기 추출된 악보를 통해서 음높이를 제거한 후, 음성 인식과정(알고리즘)을 거침으로써 노래 가사로 인식될 수 있다. 인식된 노래 가사, 악보 등은 CPU(207)에서 OSD로 생성되어 후술하게 될 오디오/비디오 합성과정에 제공된다. 제1 비디오 신호 처리부(203)는 선국된 방송신호의 비디오 신호를 처리하여 비디오 출력 스위칭부(213)에 입력시켜 준다.
다음에는 도4를 참조하여 상기 분석된 오디오 신호 정보들을 이용한 외부 입력신호와의 합성 출력과정을 설명한다.
앞서 설명한 바와 같이 CPU(207)에서 생성된 악보 OSD신호나, 인식된 노래 가사 신호는 비디오 믹싱부(212)에 입력되고, 오디오 및 비디오 합성 출력을 위하여 CPU(207)는 오디오 출력 스위칭부(215), 비디오 출력 스위칭부(213), 오디오 믹싱부(211), 비디오 믹싱부(212)를 제어한다.
마이크(MIC)나 캠코더(Camcorder)와 같은 외부기기로부터 입력되는 오디오/비디오 신호는 제2 튜너(208)를 거쳐서 오디오 신호 처리부(209)와 제2 비디오 신호 처리부(210)에 입력되고, 각 신호 처리부(209, 210)는 해당 오디오 신호와 비디오 신호 즉, 외부 입력 오디오 신호와 외부 입력 비디오 신호를 처리하여 각각 오디오 믹싱부(211)와 비디오 믹싱부(212)에 입력시킨다.
오디오 믹싱부(211)는 상기 오디오 신호처리 및 악기음 추출부(202)에서 분리된 배경음악과 사용자가 마이크(MIC)로 입력한 음성신호를 합성하여 출력하고, 비디오 믹싱부(212)는 상기 인식된 노래 가사나 부가정보로 제공된 노래 가사, 악보 등을 사용자가 캠코더 등으로 입력한 비디오 신호와 합성하여 출력한다.
합성된 오디오 신호는 오디오 출력 스위칭부(215)를 통해서 스피커(216)로 출력되거나, VCR이나 PVR, HDD 등의 외부 저장기기(217)로 공급되어 저장되고, 합성된 비디오 신호 또한 비디오 출력 스위칭부(213)를 통해서 디스플레이부(214)에 디스플레이되거나 VCR이나 PVR, HDD 등의 외부 저장기기(217)로 공급되어 저장된다.
따라서, 본 발명에서는 시청자 자신의 비디오/오디오 입력을 가능하게 함으로써, 앞서의 과정에서 추출된 음악 요소 정보들과의 합성을 통해 자신이 화면상에서 배경음악에 맞춰 노래하는 모습을 보고 들으면서 즐길 수 있고, 가수의 음성, 악보, 배경음악 등의 정보와 합성된 비디오/오디오 출력을 시청자의 요구에 맞게 VCR이나 HDD 등의 저장매체에 저장할 수 있게 된다.
[실시예2]
본 발명에서 구현된 TV수상기 기반 오디오 및 비디오 합성 편집장치는 상기한 바와 같이 일종의 노래 반주 시스템으로도 구현 가능할 뿐만 아니라, 음악방송 이외에도 드라마, 영화, 뉴스 등에도 적용이 가능하다.
이 경우의 실시예는 도2에서 CPU(207)가 음성인식부(204) 및 고저/장단 판별부(205)의 동작을 정지시킨다. 그리고 비디오 출력 스위칭부(213)를 제어하여 제1 비디오 신호 처리부(203)의 출력 즉, 방송 비디오 신호(상기 드라마, 영화, 뉴스 등)를 선택시킨다. 또한 CPU(207)에서 오디오 출력 스위칭부(215)를 제어하여 오디오 믹싱부(211)의 출력을 선택시킨다.
이와 같은 상태에서 사용자가 마이크(MIC)로 입력한 음성신호는 제2 튜너(208), 오디오 신호 처리부(209), 오디오 믹싱부(211), 오디오 출력 스위칭부(215)를 통해서 출력되고 동시에, 상기 선국된 방송신호 중에서 비디오 신호만이 비디오 출력 스위칭부(213)를 통해서 출력된다. 그러므로 방송 비디오 신호에 사용자 음성이 더빙된 형태로 출력되므로, 영화나 드라마의 경우는 시청자의 목소리로 주인공이나 등장인물의 목소리를 더빙할 수 있고, 뉴스 등의 방송 콘텐츠인 경우에는 마치 시청자가 뉴스를 진행하는 진행자가 된 것처럼 방송 비디오 콘텐츠를 재구성할 수 있게 된다.
물론, 이 경우에 출력되는 재구성된 상기 방송 콘텐츠도 외부 저장 기기(217)를 이용해서 소정의 기록매체에 저장해 둘 수 있다.
본 발명은 TV방송 수신기에서 오디오 신호 분석을 통하여 배경음악, 가수의 음성, 노래 악보 등의 정보를 추출하고 또 이를 저장할 수 있다. 또한 외부입력수단을 통해서 입력된 시청자의 오디오 및/또는 비디오 정보와의 합성을 통하여 시청자가 마치 방송 프로그램상의 주인공이 된 듯한 사이버 방송 체험을 가능하게 한다. 이로써 종래의 관객의 입장에서 TV방송을 시청하던 차원에서 한걸음 더 나아가 시청자가 보다 더 적극적이고 자신의 취향이나 기호에 맞는 TV방송 활용을 기대할 수 있다.
도1은 일반적인 2튜너 TV방송 수신기의 블록도
도2는 본 발명의 TV 방송 기반 오디오 및 비디오 합성 편집장치의 실시예 블록도
도3은 본 발명의 TV 방송 기반 오디오 및 비디오 합성 편집장치의 실시예에서, 음악방송 정보추출 과정을 설명하기 위한 블록도
도4는 본 발명의 TV 방송 기반 오디오 및 비디오 합성 편집장치의 실시예에서, 외부 오디오/비디오와의 합성 출력 과정을 설명하기 위한 블록도
<도면의 주요 부분에 대한 부호의 설명>
201a: 안테나 201: 제1 튜너
202: 오디오 신호처리 및 악기음 추출부 203: 제1 비디오 신호처리부
204: 음성인식부 205: 고저/장단 판별부
206: 부가 정보신호 처리부 207: CPU
208: 제2 튜너 209: 오디오 신호처리부
210: 제2 비디오 신호처리부 211: 오디오 믹싱부
212: 비디오 믹싱부 213: 비디오 출력 스위칭부
214: 디스플레이부 215: 오디오 출력 스위칭부
216: 스피커 217: A/V 저장 기기부

Claims (6)

  1. 선국된 채널의 방송신호에서 오디오 신호를 그 오디오 신호를 구성하는 몇 개의 요소로 분리하여 인식하는 오디오 요소 분리 및 인식수단과, 상기 분리하여 인식된 오디오 신호 요소들을 선택적으로 외부 기기로부터 입력된 오디오나 비디오 신호, 오디오 및 비디오 신호와 합성하여 출력하는 합성수단; 을 포함하여 이루어지는 것을 특징으로 하는 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치.
  2. 제 1 항에 있어서, 상기 오디오 신호 요소는 음악을 대상으로 할 때, 가창자의 음성신호, 배경음악 신호, 악기음 신호, 악보, 가사 등으로 분리 및 인식하고, 외부기기로부터 입력된 오디오 신호나 비디오 신호를 상기 분리, 인식된 배경음악 신호, 악보, 가사 등과 합성하여 출력함을 특징으로 하는 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치.
  3. TV수신기에 입력된 음악신호에 대하여 가창자의 음성과 그 배경음악을 각각 분리하는 음성/배경음악 분리수단, 상기 분리된 음성신호를 인식하여 노래 가사를 생성하는 가사 생성수단, 상기 배경음악과 외부기기로부터 입력된 오디오 신호를 합성하여 출력하는 오디오 합성수단, 상기 노래 가사를 외부기기로부터 입력된 비디오 신호와 합성하여 출력하는 비디오 합성수단; 을 포함하여 이루어지는 것을 특징으로 하는 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치.
  4. 제 3 항에 있어서, 상기 노래 가사의 생성을 위하여, 상기 분리된 배경 악기음의 고,저,장,단 분석을 통해서 악보파일을 생성하는 수단 및, 상기 분리된 음성신호에 대하여 상기 추출된 악보를 통해서 음높이를 제거한 후 음성 인식을 수행하여 노래 가사를 생성하는 수단을 포함하는 것을 특징으로 하는 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치.
  5. 제 3 항에 있어서, 상기 노래 가사 생성수단은 상기 수신된 방송신호에서 부가정보로 제공되는 노래 가사를 기반으로 하여 OSD로 노래 가사 신호를 생성함을 특징으로 하는 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치.
  6. 제 3 항에 있어서, 상기 합성된 오디오 신호와 원래의 선국된 방송 오디오 신호를 선택하여 출력하기 위한 오디오 출력 스위칭수단과, 상기 합성된 비디오 신호와 원래의 선국된 방송 비디오 신호를 선택하여 출력하기 위한 비디오 출력 스위칭수단을 포함하는 것을 특징으로 하는 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성 편집장치.
KR10-2002-0064977A 2002-10-23 2002-10-23 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치 KR100499032B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064977A KR100499032B1 (ko) 2002-10-23 2002-10-23 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064977A KR100499032B1 (ko) 2002-10-23 2002-10-23 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치

Publications (2)

Publication Number Publication Date
KR20040036159A KR20040036159A (ko) 2004-04-30
KR100499032B1 true KR100499032B1 (ko) 2005-07-01

Family

ID=37334758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0064977A KR100499032B1 (ko) 2002-10-23 2002-10-23 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치

Country Status (1)

Country Link
KR (1) KR100499032B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127459A (ko) 2005-06-07 2006-12-13 엘지전자 주식회사 디지털방송 콘텐츠 변환 기능을 갖는 디지털방송용 단말기및 그 방법
CN107786876A (zh) * 2017-09-21 2018-03-09 北京达佳互联信息技术有限公司 音乐和视频的同步方法、装置及移动终端
KR102343336B1 (ko) * 2020-06-04 2021-12-23 고일두 동영상 저작 시스템 및 방법
KR102340963B1 (ko) * 2021-02-05 2021-12-20 주식회사 파인드커넥트 Ai 기반의 영상 제작 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970009308A (ko) * 1995-07-14 1997-02-24 음성신호 추출장치
KR980005891U (ko) * 1996-06-29 1998-03-30 텔레비젼 수상기에서 음성 합성에 의한 에코음 출력장치
KR19980040701A (ko) * 1996-11-29 1998-08-17 배순훈 텔레비젼 수상기에서 특정 인물의 음색을 이용한 메세지 합성장치 및 그 방법
KR19980040565A (ko) * 1996-11-29 1998-08-17 배순훈 오디오신호의 음성 및 배경음악 분리회로
KR20000033058A (ko) * 1998-11-19 2000-06-15 전주범 디지탈 티브이 시스템의 음악 서비스 방법
KR20000035455A (ko) * 1998-11-12 2000-06-26 이데이 노부유끼 프로그램 수신 장치 및 프로그램 부가 정보의 표시 제어방법과, 데이터 내용 정보의 기록 제어 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970009308A (ko) * 1995-07-14 1997-02-24 음성신호 추출장치
KR980005891U (ko) * 1996-06-29 1998-03-30 텔레비젼 수상기에서 음성 합성에 의한 에코음 출력장치
KR19980040701A (ko) * 1996-11-29 1998-08-17 배순훈 텔레비젼 수상기에서 특정 인물의 음색을 이용한 메세지 합성장치 및 그 방법
KR19980040565A (ko) * 1996-11-29 1998-08-17 배순훈 오디오신호의 음성 및 배경음악 분리회로
KR20000035455A (ko) * 1998-11-12 2000-06-26 이데이 노부유끼 프로그램 수신 장치 및 프로그램 부가 정보의 표시 제어방법과, 데이터 내용 정보의 기록 제어 장치 및 그 방법
KR20000033058A (ko) * 1998-11-19 2000-06-15 전주범 디지탈 티브이 시스템의 음악 서비스 방법

Also Published As

Publication number Publication date
KR20040036159A (ko) 2004-04-30

Similar Documents

Publication Publication Date Title
JP4456004B2 (ja) メディア・サービスの再生自動同期化方法および装置
US7499630B2 (en) Method for playing back multimedia data using an entertainment device
KR100687088B1 (ko) 신호출력방법 및 채널선택장치
JP2005078072A (ja) 音声認識及び話者認識を通じて個別化されたサービスを提供するａｖ装置及びその方法
US20060050794A1 (en) Method and apparatus for delivering programme-associated data to generate relevant visual displays for audio contents
US20070055497A1 (en) Audio signal processing apparatus, audio signal processing method, program, and input apparatus
JP2005519336A (ja) 自動オーディオ録音・再生機及びその操作方法
JP2006507614A (ja) パーソナルオーディオ記録システム
US20070216538A1 (en) Method for Controlling a Media Content Processing Device, and a Media Content Processing Device
KR100588874B1 (ko) 노래방 기능을 갖는 영상표시기기 및 그 제어방법
JP2009094796A (ja) テレビジョン受信機
KR100499032B1 (ko) 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치
JPWO2007046171A1 (ja) 記録再生装置
KR20050085829A (ko) 오디오 신호 식별 방법 및 시스템
CN1286316C (zh) 以电视接收机为基础的音频和视频合成编辑装置
KR100762616B1 (ko) 디지털 멀티미디어 방송에서 가사 정보를 제공하기 위한디지털 멀티미디어 방송 시스템 및 가사 정보 제공 방법
JP2000324417A (ja) 補助情報再生装置
JP3825589B2 (ja) マルチメディア端末機器
JP6559542B2 (ja) 受信装置、受信方法およびプログラム
JP6440314B2 (ja) 受信装置、受信方法、及びプログラム
KR20040013420A (ko) 디지털 방송수신기에서의 음악 방송 오디오 데이터기록방법
KR100347359B1 (ko) 음성 처리 방법
KR100700783B1 (ko) 오디오 파일 재생 방법 및 장치
KR100933207B1 (ko) 디지털 텔레비젼 수신기에 있어서의 음성 설정 방법 및 그장치
KR100677750B1 (ko) 방송신호를 재생하는 방송수신장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130514

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140523

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee