KR20180012800A - 오디오 처리 방법, 장치 및 시스템 - Google Patents

오디오 처리 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20180012800A
KR20180012800A KR1020177037253A KR20177037253A KR20180012800A KR 20180012800 A KR20180012800 A KR 20180012800A KR 1020177037253 A KR1020177037253 A KR 1020177037253A KR 20177037253 A KR20177037253 A KR 20177037253A KR 20180012800 A KR20180012800 A KR 20180012800A
Authority
KR
South Korea
Prior art keywords
file
lyric
audio
display time
audio file
Prior art date
Application number
KR1020177037253A
Other languages
English (en)
Inventor
웨이펑 자오
춘 리
시앙 리우
하오지에 슈
더원 장
페이 정
리 차오
티엔원 리
시앙원 천
바오후아 왕
메이싱 왕
즈용 리우
쓰리앙 후앙
보 송
웨이롱 왕
시아오캉 덩
셩민 탄
홍청 푸
칭 장
Original Assignee
광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510280492.9A external-priority patent/CN105023559A/zh
Priority claimed from CN201510278911.5A external-priority patent/CN105006234B/zh
Priority claimed from CN201510280087.7A external-priority patent/CN104966527B/zh
Application filed by 광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드 filed Critical 광저우 쿠고우 컴퓨터 테크놀로지 컴퍼니, 리미티드
Publication of KR20180012800A publication Critical patent/KR20180012800A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines

Abstract

다른 사람과 노래 부르는 가라오케 경험을 실현할 수 있는 오디오 처리 방법, 장치 및 시스템. 방법은, 노래의 오디오 파일과 노래의 가사 파일을 획득하는 단계; 가사 파일의 제1 가사 부분에 대응하는 디스플레이 시간에 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하는 단계; 가사 파일의 제2 가사 부분에 대응하는 디스플레이 시간에 오디오 파일을 재생하는 단계; 및 사용자의 오디오 데이터와 제1 가사 부분에 대응하는 디스플레이 시간에서의 오디오 파일의 오디오 데이터에 오디오 혼합을 수행하는 단계를 포함한다.

Description

오디오 처리 방법, 장치 및 시스템
[관련 출원의 교차 참조]
본 출원은 2015년 5월 27일 중국 특허청에 출원되고, 발명의 명칭이 "KARAOKE PROCESSING METHOD AND DEVICE"인 중국 특허 출원 201510278911.5호와, 2015년 5월 27일 중국 특허청에 출원되고, 발명의 명칭이 "KARAOKE PROCESSING METHOD, DEVICE AND SYSTEM"인 중국 특허 출원 201510280087.7호와, 2015년 5월 27일 중국 특허청에 출원되고, 발명의 명칭이 "KARAOKE PROCESSING METHOD AND SYSTEM"인 중국 특허 출원 제201510280492.9호에 대한 우선권을 주장하며, 이들은 본 명세서에 전문이 참조로서 편입된다.
[기술분야]
본 개시 내용은 오디오 처리 분야에 관한 것으로, 특히 오디오 처리 방법, 오디오 처리 장치 및 오디오 처리 시스템에 관한 것이다.
삶의 질 향상과 함께, 가라오케 애플리케이션이 사람들의 일상적인 생활로 점차적으로 진입하고, 점점 증가하는 풍부한 기능들을 가진다.
가라오케 애플리케이션은 음악 플레이어와 녹음 소프트웨어의 통합이고, 이는 원본 오디오를 재생하고, 사용자의 노래를 녹음하고, 녹음된 노래를 반주 오디오와 혼합하여 음악 파일을 획득할 수 있다. 사용자는 더 많은 사람들이 녹음된 노래를 들을 수 있도록 네트워크를 통해 음악 파일을 업로드할 수 있다.
일반적으로, 사용자가 노래를 녹음할 때, 가라오케 애플리케이션은 노래를 녹음하기 위한 반주로서 반주 오디오 파일을 사용자에게 제공한다. 그러나, 단지 1명의 사용자만이 과정 동안 가라오케를 사용할 수 있고, 다른 사람(예를 들어, 스타)과 함께 노래 부르는 가라오케 경험은 획득될 수 없다.
다른 사람과 함께 노래를 부르는 가라오케 경험을 획득하도록, 본 개시 내용의 실시예에 따라 오디오 처리 방법, 오디오 처리 장치 및 오디오 처리 시스템이 제공된다.
제1 양태에서, 본 개시 내용의 실시예에 따라 오디오 처리 방법이 제공된다. 방법은,
노래의 오디오 파일과 노래의 가사 파일을 획득하는 단계;
가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하는 단계;
가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하는 단계; 및
사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합하는 단계
를 포함한다.
제2 양태에서, 본 개시 내용의 실시예에 따라 오디오 처리 장치가 제공된다. 장치는 적어도 하나의 프로세서와 메모리를 포함하고, 메모리는 프로세서에 의해 실행될 때 오디오 처리 장치가 본 개시 내용의 임의의 실시예에 따른 방법을 수행할 수 있게 하는 프로그램 명령어를 저장한다.
제3 양태에서, 본 개시 내용의 실시예에 따라 오디오 처리 시스템이 제공된다. 시스템은 서버와 적어도 하나의 클라이언트 장치를 포함하고, 서버 및/또는 클라이언트 장치는, 본 개시 내용의 임의의 실시예에 따른 방법을 수행하도록 구성된다.
제4 양태에서, 본 개시 내용의 실시예에 따라 오디오 처리 장치가 제공된다. 장치는,
노래의 오디오 파일과 노래의 가사 파일을 획득하도록 구성된 제1 획득 유닛;
가사 파일의 제1 가사 부분을 위한 디스플레이 시간과 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하고, 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 사용자의 오디오 데이터를 녹음하도록 구성된 제1 처리 유닛; 및
사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합하는 제1 혼합 유닛
을 포함한다.
종래 기술과 비교하면, 본 개시 내용의 실시예에서, 제1 가사 부분을 위한 디스플레이 시간 동안 오디오 파일(예를 들어, 반주 오디오 파일)이 재생되고 사용자의 오디오 데이터가 녹음되며, 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일(예를 들어, 원본 오디오 파일)이 재생되어, 사용자가 제1 가사 부분을 위한 디스플레이 시간 동안 노래 부르고, 다른 사람 또는 스타가 제2 가사 부분을 위한 디스플레이 시간 동안 그 노래를 불러, 이에 의해 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득하게 한다.
도 1은 본 개시 내용의 예시적인 일 실시예에 따른 오디오 처리 방법의 도면이다;
도 2는 본 개시 내용의 예시적인 다른 실시예에 따른 오디오 처리 방법의 도면이다;
도 3은 본 개시 내용의 예시적인 또 다른 실시예에 따른 오디오 처리 방법의 도면이다;
도 4는 본 개시 내용의 예시적인 또 다른 실시예에 따른 오디오 처리 방법의 도면이다;
도 5는 본 개시 내용의 예시적인 다른 실시예에 따른 오디오 처리 방법의 도면이다;
도 6은 본 개시 내용의 예시적인 일 실시예에 따른 오디오 처리 장치의 도면이다;
도 7은 본 개시 내용의 예시적인 다른 실시예에 따른 오디오 처리 장치의 도면이다;
도 8은 본 개시 내용의 예시적인 일 실시예에 따른 오디오 처리 장치의 도면이다;
도 9는 본 개시 내용의 예시적인 일 실시예에 따른 오디오 처리 시스템의 도면이다; 그리고,
도 10은 도 6은 본 개시 내용의 예시적인 다른 실시예에 따른 오디오 처리 시스템의 도면이다.
다른 사람(예를 들어, 스타)과 함께 노래를 부르는 가라오케 경험을 획득하도록, 본 개시 내용의 실시예에 따라 오디오 처리 방법, 오디오 처리 장치 및 오디오 처리 시스템이 제공된다. 이하, 상세 내용이 설명된다.
본 개시 내용의 실시예에서의 기술 방안은 아래에서 도면과 함께 명확하고 완전하게 설명된다. 명백하게, 상세한 설명은 본 개시 내용의 실시예들의 전부가 아닌 단지 일부이다. 어떠한 창조적 작업 없이 당해 기술 분야에서의 통상의 기술자에 의해 본 개시 내용의 실시예들에 기초하여 획득되는 모든 다른 실시예들은 본 개시 내용의 보호 범위 내에 있다.
본 개시 내용의 설명, 청구범위 및 도면에서의 "제1", "제2", "제3" 및 "제4" 등의 용어는(용어가 있는 경우에), 유사한 대상을 구별하는데 사용되고, 특정 순서나 순차적인 순서를 기술하도록 의도되지 않는다. 이러한 방식으로 사용된 데이터가, 설명된 실시예가 도면에 도시되거나 내용에서 설명된 순서와 상이한 순서로 구현될 수 있도록, 적합한 상황에서 서로 바뀔 수 있다는 것이 이해되어야 한다. 또한, "포함한다"와 "구비한다"라는 용어 및 이의 변형은 배타적인 것으로 의도되지 않는다. 예를 들어, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 장치는 명확하게 열거된 단계 또는 유닛에 한정되지 않고, 명확하게 열거되지 않거나 프로세스, 방법, 제품 또는 장치에 본질적인 다른 단계 또는 유닛을 더 포함할 수 있다.
본 개시 내용의 일 실시예에 따라 오디오 처리 방법이 제공된다. 방법은, 노래의 오디오 파일과 노래의 가사 파일을 획득하는 단계; 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하는 단계; 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하는 단계; 및 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합하는 단계를 포함한다. 선택적으로, 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일이 재생될 수 있고, 사용자의 오디오 파일은 녹음되지 않는다. 이 대신에, 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일이 재생되고 사용자의 오디오 파일이 녹음되지만, 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 녹음된 사용자의 오디오 데이터는 혼합이 수행될 때 또는 합창 파일이 생성될 때 사용되지 않거나 제거된다. 본 개시 내용의 일 실시예에 따른 오디오 처리 방법은 임의의 컴퓨팅 장치에 의해 수행될 수 있고, 컴퓨팅 장치는 모바일 전화기, 개인용 컴퓨터(PC) 및/또는 태블릿 컴퓨터를 포함하지만 이에 한정되지 않는다. 본 개시 내용의 일 실시예에 따른 오디오 처리 방법은 서버와 클라이언트 장치를 포함하는 시스템에서 서버 또는 클라이언트 장치에서 수행될 수 있거나, 클라이언트 장치와 협력하는 서버에 의해 수행될 수 있다.
본 개시 내용의 일 실시예에 따른 오디오 처리 방법에 대한 일례는 가라오케 처리 방법이다. 당해 기술 분야에서의 통상의 기술자는 오디오 처리 방법이 다른 애플리케이션을 가질 수 있다는 것을 이해하여야 한다. 또한, 가사 파일은 임의의 다른 문자 파일 또는 그림으로 대체될 수 있고, 노래의 오디오는 본 개시 내용의 원리를 벗어나지 않는 다른 오디오로 대체될 수 있다.
본 개시 내용의 실시예에서의 클라이언트(client)는 모바일 전화기, 개인용 컴퓨터(PC) 및/또는 태블릿 컴퓨터 등을 포함할 수 있다는 것이 주목되어야 한다. 특정 구현예에서, 웹페이지가 이러한 클라이언트 장치를 통해 로그인될 수 있거나, 프로그램이 이러한 클라이언트 장치에 로딩되거나, 다양한 모바일 플랫폼에 의해 발행된 애플리케이션(App)이 가라오케 서비스를 액세스하기 위하여 사용된다.
도 1을 참조하면, 본 개시 내용의 예시적인 일 실시예에 따라 오디오 처리 방법이 도시된다. 실시예는 오디오 처리 방법을 수행하기 위한 주된 대상으로서 클라이언트 장치로 설명되고, 당해 기술 분야에서의 통상의 기술자는 본 실시예에 따른 방법이 다른 주된 대상에 의해 수행될 수 있다는 것을 이해하여야 한다.
단계 101에서, 클라이언트 장치는 사용자의 요청을 수신한다.
예를 들어, 가라오케를 위하여 노래를 선택할 때, 사용자는 가라오케 처리 프로세스를 트리거하기 위하여 클라이언트 장치에 가라오케 요청을 입력할 필요가 있다.
단계 102에서, 클라이언트 장치는 요청에 기초하여 노래의 오디오 파일과 노래의 대응하는 가사 파일을 획득한다. 노래의 오디오 파일은 노래의 반주 오디오 파일 및 원본 오디오 파일 등을 포함할 수 있다. 따라서, 클라이언트 장치에 의해 노래의 오디오 파일을 획득하는 것은, 클라이언트 장치에 의해 노래의 반주 오디오 파일 및 원본 오디오 파일 등을 획득하는 것을 포함할 수 있다.
사용자에 의해 입력된 가라오케 요청을 수신한 것에 따라, 클라이언트 장치는 가라오케 요청에 기초하여 사용자에 의해 선택된 노래를 결정하고, 노래의 반주 오디오 파일, 원본 오디오 파일 및 대응하는 가사 파일을 획득할 수 있다. 클라이언트 장치는, 예를 들어, 서버로부터 노래의 반주 오디오 파일, 원본 오디오 파일 및 대응하는 가사 파일을 획득할 수 있다.
반주 오디오 파일과 원본 오디오 파일은, 예를 들어, 원시(raw) 오디오 데이터일 수 있다. 실제 적용에서, 획득된 반주 오디오 파일 또는 원본 오디오 파일이 압축된 포맷, 예를 들어, mp3 포맷의 오디오 데이터라면, 서버는 먼저 압축된 포맷의 오디오 데이터를 원시 오디오 데이터로 압축 해제한다.
가사 파일이, 예를 들어, 가사 디스플레이 시간을 식별하기 위한 시간 정보를 포함할 수 있어, 시간 정보에 기초하여 가사 파일이 반주 오디오 파일 및 원본 오디오 파일과 동기화하게 한다. 예를 들어, 가사 파일은 LRC 가사 파일을 포함할 수 있고, LRC 가사 파일은 그 내에 포함된 타임스탬프를 통해 가사 디스플레이 시간을 식별한다.
단계 103에서, 클라이언트 장치는 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 그리고 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하고, 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 사용자의 오디오 데이터를 녹음한다.
본 개시 내용의 일 실시예에 따라, 오디오 파일은 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 재생되지만, 사용자의 오디오 데이터는 녹음되지 않는다. 예를 들어, 사용자의 오디오 데이터를 녹음하기 위한 마이크는 꺼진다. 본 개시 내용의 다른 실시예에 따라, 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일이 재생되고 사용자의 오디오 데이터는 녹음되지만, 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 녹음된 사용자의 오디오 데이터는 혼합(mixing)이 수행될 때 또는 합창 파일을 생성할 때 제거된다(또는 사용되지 않는다).
본 개시 내용의 일 실시예에 따라, 노래의 획득된 오디오 파일이 노래의 반주 오디오 파일과 원본 오디오 파일을 포함하는 경우에, 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일이 재생되고, 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일이 재생된다.
선택적으로, 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하기 전에, 클라이언트 장치는 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할한다.
클라이언트 장치는 아래의 예들로 예시되는 다수의 방식으로 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할할 수 있다.
제1 방식에서, 단계 103 전에, 클라이언트 장치는 사용자의 분할 명령을 수신하고, 제1 가사 파일과 제2 가사 파일을 획득하도록 분할 명령에 기초하여 가사 파일을 분할한다.
본 실시예에서, 다수의 가사 분할 전략이 클라이언트 장치에 사전 설정될 수 있고, 가사 파일은 전술된 가사 분할 전략에 기초하여 2개의 가사 부분으로 분할된다. 예를 들어:
(1) 클라이언트 장치는 가사 파일에서 시간 정보에 기초하여 가사 파일의 섹션 정보를 결정하고, 섹션 정보에 기초하여 가사 파일을 2개의 가사 부분으로 분할한다.
본 실시예에서, 가사 파일의 시간 정보는 대응하는 노래의 다양한 섹션을 위한 시작 포인트와 종료 포인트를 반영할 수 있다. 따라서, 클라이언트 장치는, 시간 정보에 기초하여, 가사 파일에 포함된 섹션의 개수와, 각각의 섹션을 위한 디스플레이 시간의 시작 포인트와 종료 포인트를 결정할 수 있다. 가사 파일은 섹션 정보에 기초하여 분할되고, 서버는 하나의 가사 부분으로서 적어도 하나의 사전 설정된 섹션을 결정하고, 다른 가사 부분으로서 나머지 부분을 결정할 수 있다. 각각의 가사 부분의 섹션과 각각의 가사 부분에 포함된 특정 섹션의 개수는 여기에 한정되지 않는다. 예를 들어, 섹션 정보의 구조는 다음과 같이 표현될 수 있다:
typdef struct section_info{
int section_id; // 섹션 id
int start_ms; // 시작 순간 ms
int end_ms; // 종료 순간 ms
int role_id; // 역할 id
}Ssection, *PSection.
전술한 역할 id는 노래의 대응하는 부분이 여자가 부르는지 또는 남자가 부르는지 나타낸다. 바람직하게는, 여자가 부르는 부분에 대응하는 섹션이 하나의 가사 부분으로 설정될 수 있고, 남자가 부르는 부분에 대응하는 섹션이 다른 가사 부분으로 설정될 수 있어, 상이한 역할을 위한 2개의 가사 부분을 획득하도록, 가사가 남자 역할과 여자 역할 사이의 차이에 기초하여 분할되게 한다.
(2) 클라이언트 장치는 가사 파일의 절(verse) 부분과 후렴(verse) 부분을 결정하고, 절 부분을 하나의 가사 부분으로서 결정하고 후렴 부분을 다른 가사 부분으로서 결정한다.
본 실시예에서, 클라이언트 장치는 절과 후렴의 차이에 기초하여 가사를 분할하여, 절에 대응하는 하나의 가사 부분과 후렴에 대응하는 다른 가사 부분을 획득할 수 있어, 절과 후렴 사이의 차이에 기초하여 가사 파일을 2개의 가사 부분으로 분할한다.
(3) 클라이언트 장치는 2개의 가사 부분을 획득하도록 맞춤형 템플레이트(custom template)에 기초하여 가사 파일을 분할한다.
본 실시예에서, 클라이언트 장치는 미리 가사를 분할하기 위한 다수의 템플레이트를 정의할 수 있고, 그 다음, 2개의 가사 부분을 획득하도록 맞춤형 템플레이트에 기초하여 가사 파일을 분할한다. 예를 들어, 가사의 N개의 고정된 문장 또는 N개의 고정된 단어가 하나의 가사 부분으로서 설정된다. 맞춤형 템플레이트를 설정하기 위한 방식은 여기에 제한되지 않고, 당해 기술 분야에서의 통상의 기술자는 실제 케이스에 기초하여 다수의 상이한 템플레이트를 설정할 수 있다.
사용자의 분할 명령을 수신한 것에 따라, 클라이언트 장치가 분할 명령 및 대응하는 가사 분할 전략에 기초하여 가사 파일을 분할하여 제1 가사 부분과 제2 가사 부분을 획득한다는 것이 주목되어야 한다. 선택적으로, 실제 적용에서, 사용자가 2개의 분할된 가사 부분으로부터 선택하고 제1 가사 부분으로서의 부분을 지정하거나 또는 제2 가사 부분으로서의 부분을 지정하도록, 선택 모듈이 클라이언트 장치에 제공될 수 있다. 예를 들어, 사용자는, 선택 모듈을 통해, 자신에 의한 노래 부르기를 위하여 제1 가사 부분으로서 남자가 부르는 부분을 선택하거나, 다른 사람 또는 스타에 의한 노래 부르기를 위하여 제2 가사 부분으로서 남자가 부르는 부분을 선택할 수 있다.
제1 가사 부분 및 제2 가사 부분을 획득하도록 가사 파일을 분할한 후에, 클라이언트 장치는 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 재생하고 사용자의 오디오 파일을 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 재생한다.
제2 방식에서, 클라이언트 장치는, 제1 가사 부분과 제2 가사 부분을 획득하도록, 사운드가 입력되는지 여부에 기초하여 가사 파일을 분할한다.
구체적으로, 클라이언트 장치는 사운드가 입력되는지 검출하고, 사운드가 입력된다고 검출되는 경우에, 클라이언트 장치는, 디스플레이 시간에 대응하는 가사 파일의 가사 부분을 제1 가사 부분으로 결정하고, 반주 오디오 파일을 재생하고, 사용자의 오디오 데이터를 녹음하도록 마이크 입력 모드로 스위칭한다. 사운드가 입력되지 않는다고 검출되는 경우에, 클라이언트 장치는, 디스플레이 시간에 대응하는 가사 파일의 가사 부분을 제2 가사 부분으로 결정하고, 원본 오디오 파일을 재생한다. 가사 파일을 분할하는 것과, 재생 및 녹음과 같은 동작들이, 제1 가사 부분 및 제2 가사 부분을 획득한 후에 클라이언트 장치에 의해 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 재생하는 대신에, 동기하여 수행된다는 것이 이해되어야 한다.
본 실시예에서, 제1 가사 부분과 제2 가사 부분을 획득하기 위하여 가사 파일을 어떻게 분할하는지는 단지 여러 예로 예시된다. 실제 적용에서, 클라이언트 장치는 분할 방식들을 조합하거나, 여기에 제한되지 않는 더 많은 다른 분할 방식을 사용할 수 있다.
사용자가 자신이 노래 부를 가사와 다른 사람 또는 스타가 노래 부를 가사를 식별하기 위하여, 클라이언트 장치는 클라이언트 장치에 디스플레이되는 가사를 위한 식별자를 설정할 수 있다. 바람직하게는, 본 실시예에서, 클라이언트 장치는 클라이언트 장치에 디스플레이되는 제1 가사 부분을 위한 제1 식별자를 설정하고, 클라이언트 장치에 디스플레이되는 제2 가사 부분을 위한 제2 식별자를 설정한다. 식별자는 컬러 식별자일 수 있다는 것이 이해되어야 한다. 예를 들어, 제1 가사 부분이 하나의 컬러로 디스플레이되고, 제2 가사 부분이 다른 컬러로 디스플레이된다. 이 대신에, 식별자는 강조 식별자(highlighted)일 수 있다. 예를 들어, 제1 가사 부분은 강조되고, 제2 가사 부분은 강조되지 않는다. 식별자의 구체적인 구현예는 여기에 제한되지 않고, 당해 기술 분야에서의 통상의 기술자는 필요에 따라 더 많은 다른 형태를 획득할 수 있다.
단계 104에서, 클라이언트 장치는 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합하여, 혼합 오디오 파일을 획득한다.
본 개시 내용의 일 실시예에 따라, 사용자의 오디오 파일(예를 들어, 마이크로 수집된 오디오 데이터)를 획득한 후에, 클라이언트 장치는 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합하여 혼합 오디오 파일을 획득한다. 여기에서, 혼합 오디오 파일은 사용자의 사운드와 대응하는 반주를 포함하는 사용자가 노래 부른 부분의 모든 오디오 데이터를 반영할 수 있다.
혼합은 종래의 혼합 알고리즘으로 수행될 수 있다. 예를 들어, 대응하는 샘플링 포인트를 위한 데이터가 바로 더해져 합을 획득하고, 그 다음 합이 2로 나누어진다.
오디오 파일이 반주 오디오 파일과 원본 오디오 파일을 포함하는 경우에, 클라이언트 장치는 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일의 오디오 데이터와 혼합한다.
본 개시 내용의 선택적인 일 실시예에 따라, 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합한 후에, 클라이언트 장치는 제1 가사 부분을 위한 디스플레이 시간 동안 혼합 오디오 파일을 출력(또는 선택)하고, 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 출력(또는 선택)하여, 합창 파일을 생성한다. 오디오 파일이 반주 오디오 파일과 원본 오디오 파일을 포함하는 경우에, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일이 출력(또는 선택)되어, 합창 파일을 생성한다.
합창 파일을 생성하는 과정 동안, 대응하는 시간 동안의 혼합 오디오 파일의 오디오 데이터가 제1 가사 부분을 위한 디스플레이 시간 동안 획득되고, 대응하는 시간 동안의 원본 오디오 파일의 오디오 데이터가 제2 가사 부분을 위한 디스플레이 시간 동안 획득되고, 그 다음, 다양한 시점을 위한 오디오 데이터가 연혁순으로 오디오 파일로서 합성되고, 합성된 오디오 파일이 합창 파일이다. 합창 파일을 생성하는 과정 동안, 출력될 목표 오디오 파일과 원본 오디오 파일의 오디오 데이터를 위한 대응하는 시간이 가사를 위한 디스플레이 시간에 기초하여 결정된다는 것이 주목되어야 한다. 따라서, 획득된 합창 파일에 대하여, 대응하는 시간에 대하여 사용자가 부른 부분이 제1 가사 부분을 위한 디스플레이 시간 동안 출력되고, 대응하는 시간에 대한 원본 부분이 제2 가사 부분을 위한 디스플레이 시간 동안 출력된다.
선택적으로, 클라이언트 장치는 스위칭 포인트에서 합창 파일의 오디오 데이터를 밸런싱한다. 스위칭 포인트는 제1 가사 부분을 위한 디스플레이 시간이 제2 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간 또는 제2 가사 부분을 위한 디스플레이 시간이 제1 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간을 말한다. 또한, 혼합 오디오 파일이 2개의 오디오 파일을 이어서 형성되기 때문에, 스위칭 포인트에서 수행되는 밸런싱은 혼합 오디오 파일의 오디오 품질을 보장할 수 있다. 본 실시예에서, 구체적인 밸런싱 방법을 위하여 평균 필터링 및 중첩과 같은 종래의 오디오 스플라이싱(audio splicing) 기술을 참조할 수 있다.
선택적으로, 본 실시예에서, 사용자는 클라이언트 장치를 통해 네트워크로 합창 파일을 업로드하여, 이에 의해 다른 사람 또는 스타와 함께 부른 합창을 공유할 수 있다.
위에서, 클라이언트 장치가 획득한 노래의 오디오 파일은 노래의 반주 오디오 파일과 원본 오디오 파일을 포함할 수 있다고 설명된다. 이 대신에, 클라이언트 장치가 획득한 노래의 오디오 파일은 아래에서 설명되는 목표 오디오 파일일 수 있다. 따라서, 클라이언트 장치가 획득한 노래의 오디오 파일은 서버에 의해 전송되고 클라이언트 장치에 의해 수신된 목표 오디오 파일을 포함할 수 있다. 또한, 클라이언트 장치가 획득한 노래의 가사 파일은 서버에 의해 전송되고 클라이언트 장치에 의해 수신된 목표 가사 파일을 포함할 수 있다. 서버에 의해 목표 오디오 파일 및/또는 목표 가사 파일을 전송하는 과정은 다음에 상세하게 설명될 것이다. 클라이언트 장치가 서버에 의해 전송된 목표 오디오 파일 및/또는 목표 가사 파일을 수신하는 경우에, 클라이언트 장치는 단계 103에서 가사 파일을 분할하지 않을 수 있다.
종래 기술과 비교하여, 본 개시 내용의 실시예에 따라, 제1 가사 부분을 위한 디스플레이 시간 동안에만 반주 오디오 파일이 재생되고 사용자의 오디오 데이터가 녹음되며, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일이 재생된다. 따라서, 노래는 제1 가사 부분을 위한 디스플레이 시간 동안 사용자에 의해 불릴 수 있고 제2 가사 부분을 위한 디스플레이 시간 동안 다른 사람 또는 스타에 의해 불릴 수 있어, 이에 의해 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득할 수 있다. 더하여, 사용자는 본 실시예에 따라 클라이언트 장치를 통하여 공통 반주 파일을 이용하여 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득할 수 있다.
도 2을 참조하면, 본 개시 내용의 다른 실시예에 따라 오디오 처리 방법이 도시된다. 실시예는 오디오 처리 방법을 수행하기 위한 주된 대상으로서 서버로 설명된다. 당해 기술 분야에서의 통상의 기술자는 본 실시예에 따른 방법이 다른 주된 대상에 의해 수행될 수 있다는 것을 이해하여야 한다.
단계 201에서, 서버는 노래의 반주 오디오 파일, 원본 오디오 파일 및 대응하는 가사 파일을 획득한다. 반주 오디오 파일, 원본 오디오 파일 및 대응하는 가사 파일은 위에서 상세히 설명되었으며, 간결함을 위하여 여기에서 반복되지 않는다.
단계 202에서, 서버는 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할하고, 가사 분할 정보를 생성한다.
서버는 제1 가사 부분과 제2 가사 부분을 획득하기 위하여 다수의 방식으로 가사 파일을 분할할 수 있다. 다수의 방식은 예로 설명된다. 제1 방식에서, 서버는 시간 정보에 기초하여 가사 파일의 섹션 정보를 결정하고, 그 다음 제1 가사 부분과 제2 가사 부분을 획득하도록 섹션 정보에 기초하여 가사 파일을 분할한다.
제2 방식에서, 서버는 가사 파일의 절 부분과 후렴 부분을 결정하고, 그 다음 절 부분을 제1 가사 부분으로서 결정하고, 후렴 부분을 제2 가사 부분으로 결정하거나, 후렴 부분을 제1 가사 부분으로서 결정하고, 절 부분을 제2 가사 부분으로 결정한다.
제3 방식에서, 서버는 제1 가사 부분과 제2 가사 부분을 획득하기 위하여 맞춤형 템플레이트에 기초하여 가사 파일을 분할한다.
가사 파일을 분할하기 위한 여러 예가 위에서 설명되지만, 이러한 예들은 간결함을 위하여 여기에서 상세히 설명되지 않는다는 것이 주목되어야 한다. 이러한 예들에 대한 상세한 설명을 위하여 단계 103에서의 관련된 설명을 참조할 수 있다.
선택적으로, 단계 202를 수행하기 전에, 서버는 클라이언트 장치에 의해 전송된 사용자에 의해 지정된 분할 방법을 나타내는 분할 명령을 수신할 수 있고, 분할 명령에 기초하여 가사 파일을 분할하여 제1 가사 부분과 제2 가사 부분을 획득한다. 따라서, 사용자는 가사 분할 방법을 선택하여 사용자의 의도에 일치하는 제1 가사 부분 및 제2 가사 부분을 획득할 수 있다.
본 실시예에서, 제1 가사 부분 및 제2 가사 부분을 획득하도록 분할한 후에, 서버는 분할 결과를 기록하여 대응하는 가사 분할 정보를 생성한다. 가사 분할 정보는 제1 가사 부분을 식별하기 위한 식별자 정보를 포함한다. 가사가 2개의 부분으로 구성되기 때문에, 서버 또는 클라이언트 장치는 제1 가사 부분을 식별하기 위한 식별자 정보를 획득할 때 제2 가사 부분을 식별할 수 있다. 물론, 일부 다른 실시예에서, 가사 분할 정보는 제2 가사 부분을 식별하기 위한 식별자 정보를 포함할 수 있다.
단계 203에서, 서버는 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 출력(또는 선택)하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 출력(또는 선택)하여, 목표 오디오 파일을 생성한다.
목표 오디오 파일을 생성하는 과정 동안, 대응하는 시간 동안의 반주 오디오 파일의 오디오 데이터가 제1 가사 부분을 위한 디스플레이 시간 동안 획득되고, 대응하는 시간 동안의 원본 오디오 파일의 오디오 데이터가 제2 가사 부분을 위한 디스플레이 시간 동안 획득되고, 그 다음, 다양한 시점을 위한 오디오 데이터가 연혁순으로 오디오 파일로서 합성되고, 합성된 오디오 파일이 목표 오디오 파일이다. 목표 오디오 파일을 생성하는 과정 동안, 출력될 반주 오디오 파일 및 원본 오디오 파일의 오디오 데이터를 위한 대응하는 시간이 가사를 위한 디스플레이 시간에 기초하여 결정된다는 것이 주목되어야 한다. 따라서, 목표 오디오 파일을 재생하는 동안, 대응하는 시간에 대한 반주 오디오가 제1 가사 부분을 위한 디스플레이 시간 동안 출력되고, 대응하는 시간에 대한 원본 오디오가 제2 가사 부분을 위한 디스플레이 시간 동안 출력된다. 즉, 목표 오디오 파일이 반주 오디오와 원본 오디오 사이에서 자동으로 스위칭될 수 있다.
선택적으로, 방법은, 서버에 의해, 스위칭 포인트에서 반주 오디오 파일의 오디오 데이터를 밸런싱하는 단계를 더 포함한다. 스위칭 포인트는 제1 가사 부분을 위한 디스플레이 시간이 제2 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간 또는 제2 가사 부분을 위한 디스플레이 시간이 제1 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간을 말한다. 또한, 목표 오디오 파일이 2개의 오디오 파일을 이어서 형성되기 때문에, 스위칭 포인트에서 밸런싱하는 것은 목표 오디오 파일의 오디오 품질을 보장할 수 있다. 본 실시예에서, 밸런싱 방법을 위하여 평균 필터링 및 중첩과 같은 종래의 오디오 스플라이싱 기술을 참조할 수 있다.
단계 204에서, 서버는 목표 오디오 파일과 목표 가사 파일을 클라이언트 장치에 전송한다.
클라이언트 장치에 의해 전송된 요청(예를 들어, 가라오케 요청)을 수신한 것에 따라, 서버는 목표 오디오 파일과 목표 가사 파일을 클라이언트 장치에 전송하여, 클라이언트 장치는 목표 오디오 파일을 반주 오디오로 이용하고 목표 가사 부분을 재생될 가사로 이용하여 사용자에게 가라오케 서비스를 제공하게 한다. 목표 가사 부분은 가사 분할 정보를 지니는 가사 파일에 기초하여 획득한다. 본 실시예에서, 목표 오디오 데이터를 재생할 때, 클라이언트 장치는 제1 가사 부분을 위한 디스플레이 시간 동안 대응하는 시간에 대한 반주 오디오를 출력하고, 제2 가사 부분을 위한 디스플레이 시간 동안 대응하는 시간에 대한 원본 오디오를 출력하여, 사용자가 제1 가사 부분을 위한 디스플레이 시간 동안 노래를 부르게 하고 다른 사람(또는 스타)이 제2 가사 부분을 위한 디스플레이 시간 동안 노래를 부르게 하여, 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득하게 한다. 본 실시예에서, 서버는 목표 오디오 파일과 목표 가사 파일을 생성하고, 목표 오디오 파일과 목표 가사 파일을 클라이언트 장치에 전송하여, 이에 의해 클라이언트 장치의 로직을 변경하지 않고 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득한다는 것이 이해되어야 한다.
종래 기술과 비교하여, 본 개시 내용의 실시예에 따라, 서버로부터 클라이언트 장치로 전송된 목표 오디오 파일은, 제1 가사 부분을 위한 디스플레이 시간 동안의 반주 오디오이고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오이다. 반주 오디오 파일이 클라이언트 장치에 직접 제공되는 종래 기술에서 비하여, 본 개시 내용의 실시예에 따라 사용자는 제1 가사 부분을 위한 디스플레이 시간 동안 노래 부를 수 있고, 다른 사람 또는 스타는 제2 가사 부분을 위한 디스플레이 시간 동안 노래 부를 수 있어, 이에 의해 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득한다.
도 3을 참조하면, 본 개시 내용의 다른 실시예에 따른 오디오 처리 방법이 도시된다. 방법은 단계 301 내지 307을 포함한다.
단계 301에서, 서버는 노래의 반주 오디오 파일, 원본 오디오 파일 및 가사 파일을 획득한다.
단계 302에서, 서버는 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할한다.
단계 303에서, 서버는 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 출력하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 출력하여, 목표 오디오 파일을 생성한다.
단계 304에서, 서버는 목표 오디오 파일과 목표 가사 파일을 클라이언트 장치에 전송한다.
단계 301 내지 304의 과정은 도 2에 도시된 실시예에 따른 단계 201 내지 204의 과정과 유사하고, 여기에서 설명되지 않는다.
단계 305에서, 클라이언트 장치는 목표 오디오 파일과 목표 가사 파일을 재생한다.
클라이언트 장치가 서버에 의해 전송된 목표 오디오 파일과 목표 가사 파일을 수신한 후에, 클라이언트 장치의 가라오케 애플리케이션은 목표 오디오 파일과 목표 가사 파일을 재생한다. 목표 오디오 파일은 반주 오디오로서 재생된다.
단계 306에서, 클라이언트 장치는 제1 가사 부분을 위한 디스플레이 시간 동안 가사 분할 정보에 기초하여 사용자의 오디오 데이터를 녹음한다.
본 실시예에서, 클라이언트 장치는 가사 분할 정보에 기초하여 제1 가사 부분을 위한 디스플레이 시간과 제2 가사 부분을 위한 디스플레이 시간을 식별하고, 제1 가사 부분을 위한 디스플레이 시간 동안 사용자의 오디오 데이터를 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 녹음을 중지할 수 있다. 이 경우에, 클라이언트 장치에 의해 재생된 목표 파일은 다른 사람 또는 스타에 의해 노래가 불린다. 따라서, 사용자는 제1 가사 부분을 위한 디스플레이 시간 동안 노래 부르고, 다른 사람 또는 스타는 제2 가사 부분을 위한 디스플레이 시간 동안 노래 불러, 이에 의해 다른 사람 또는 스타와 함께 노래 부르는 가라오케 경험을 획득한다.
단계 307에서, 클라이언트 장치는 사용자의 오디오 데이터를 목표 오디오 파일과 혼합하여 합창 파일을 획득한다.
본 실시예에서, 획득된 합창 파일은 제1 가사 부분을 위한 디스플레이 시간 동안 사용자가 노래 부른 오디오 데이터이고, 제2 가사 부분을 위한 디스플레이 시간 동안 다른 사람 또는 스타가 노래 부른 오디오 데이터(즉, 대응하는 시간에 대한 원본 오디오 파일의 오디오 데이터)이다. 선택적으로, 본 실시예에서, 사용자는 클라이언트 장치를 통해 합창 파일을 네트워크로 업로드하여, 이에 의해 다른 사람 또는 스타와 함께 노래 부른 합창 파일을 공유할 수 있다.
도 4를 참조하면, 본 개시 내용의 다른 실시예에 따른 오디오 처리 방법이 도시된다. 방법은 단계 401 내지 405를 포함한다.
단계 401에서, 제1 클라이언트 장치는 제1 사용자의 제1 요청을 수신한다.
제1 요청은, 예를 들어, 합창을 시작하기 위한 제1 합창 요청일 수 있다. 예를 들어, 실제 적용에서, 제1 합창 요청에 대응하는 버튼이 제1 클라이언트 장치에 제공될 수 있다. 제1 사용자가 버튼을 누를 때, 제1 클라이언트 장치가 제1 합창 요청을 수신한다.
단계 402에서, 제1 클라이언트 장치가, 제1 요청에 기초하여, 서버로부터 노래의 반주 오디오 파일과 가사 파일을 획득하여, 제1 사용자가 반주 오디오 파일에 기초하여 그리고 가사 파일의 가사 부분에 기초하여 녹음하게 하여 제1 녹음 파일을 획득한다. 반주 오디오 파일, 원본 오디오 파일 및 가사 파일은 위에서 상세히 설명되었으며, 간결함을 위하여 여기에서 반복되지 않는다.
반주 오디오 파일과 가사 파일을 획득한 후에, 클라이언트 장치는 반주 오디오 파일과 가사 파일을 재생하고, 제1 사용자는 노래 부를 임의의 가사 부분을 선택할 수 있다. 물론, 제1 사용자 모든 가사를 노래 부르지 않는다. 클라이언트 장치는 반주 오디오 파일에 기초하여 그리고 가사 파일의 가사 부분에 기초하여 제1 사용자에 의해 수행되는 노래 부르기를 녹음하여, 제1 녹음 파일을 획득한다.
단계 403에서, 제1 클라이언트 장치는 제1 녹음 파일에 기초하여 제2 가사 부분을 결정하고, 섹션 정보를 생성한다.
제2 가사 부분은 제1 사용자가 노래 부른 가사 부분을 말한다. 제1 클라이언트 장치는, 제1 녹음 파일에 기초하여, 제1 사용자가 노래 부른 가사 부분을 식별하고, 대응하여 섹션 정보를 생성한다. 섹션 정보는, 제1 사용자가 노래 부른 가사 부분을 녹음하기 위하여 제2 가사 부분을 식별하기 위한 식별자 정보를 포함한다.
선택적으로, 식별자 정보는 제2 가사 부분을 위한 디스플레이 시간을 포함할 수 있다. 예를 들어, 제2 가사 부분의 시작 순간은 10S이고, 제2 가사 부분의 종료 순간은 15S이다. 이 대신에, 식별자 정보는 제2 가사 부분의 문장 식별자를 포함할 수 있고, 예를 들어, 제2 가사 부분은 제1 문장, 제3 문장 및 제5 문장이다. 제1 클라이언트 장치가 식별자에 기초하여 제2 가사 부분을 식별할 수 있는 한, 식별자 정보의 구체적인 형태는 여기에 한정되지 않는다.
제1 클라이언트 장치는 다수의 방식으로 제2 가사 부분을 식별할 수 있다. 예를 들어, 클라이언트 장치는 제1 녹음 파일에서 사운드의 유효성에 기초하여 제1 사용자가 노래 부른 가사 부분을 결정할 수 있다.
구체적으로, 제1 클라이언트 장치는 특정 가사 부분에 대하여 제1 사용자에 의해 녹음된 사운드가 유효한지 판단하고, 제1 사용자에 의해 녹음된 사운드가 유효하다고 판단된 경우에 특정 가사 부분을 제2 가사 부분으로 결정한다.
선택적으로, 제1 클라이언트 장치는 사운드의 볼륨이 제1 사전 설정값보다 큰지 판단하고, 사운드의 볼륨이 제1 사전 설정값보다 크다고 판단되는 경우에, 특정 가사 부분에 대하여 제1 사용자에 의해 녹음된 사운드가 유효하다고 결정한다. VAD 알고리즘 또는 이의 개선된 알고리즘이 여기에서 참조될 수 있다.
바람직하게는, 특정 가사 부분에 대하여 제1 사용자에 의해 녹음된 사운드가 유효하다고 판단한 후에, 제1 클라이언트 장치는, 녹음된 사운드가 차지하는 시간이 특정 가사 부분이 차지하는 디스플레이 시간에 대응하는지 더 판단하고, 녹음된 사운드가 차지하는 시간이 특정 가사 부분이 차지하는 디스플레이 시간에 대응한다고 판단되는 경우에, 가사 부분을 제2 가사 부분으로 결정한다.
예를 들어, 가사 부분에서의 문장은 단위로서 취급된다. 가사의 특정 문장에 대한 녹음된 사운드가 유효하다고 판단된 후에, 가사의 특정 문장에 대하여 녹음된 사운드가 차지하는 디스플레이 시간이 20S 내지 30S이고 가사의 특정 문장이 차지하는 디스플레이 시간도 또한 20S 내지 30S라면, 가사의 특정 문장이 제2 가사 부분으로 결정될 수 있다. 구체적으로, 임계값이 설정될 수 있다. 가사의 특정 문장이 차지하는 디스플레이 시간의 가사의 특정 문장이 차지하는 디스플레이 시간과의 중첩에 대한 비율이 임계값보다 큰 경우에, 가사의 특정 문장이 차지하는 디스플레이 시간이 가사의 특정 문장이 차지하는 디스플레이 시간에 대응한다고 판단된다.
본 실시예에서, 제2 가사 부분이 여기에 한정되지 않는 다른 방식으로 결정될 수 있다는 것이 이해되어야 한다. 실제 적용에서, 제1 클라이언트 장치는 전술한 결정 방법을 이용하여 실시간 오디오 검출 모듈을 통해 제2 가사 부분을 판단할 수 있다.
단계 404에서, 제1 클라이언트 장치는 제1 녹음 파일을 반주 오디오 파일과 혼합하여, 목표 오디오 파일을 획득한다.
혼합은 종래의 혼합 알고리즘으로 수행될 수 있다. 예를 들어, 대응하는 샘플링 포인트를 위한 데이터가 바로 더해져 합을 획득하고, 그 다음 합이 2로 나누어진다.
선택적으로, 노이즈 또는 유효하지 않은 것으로 판단된 사운드를 방지하기 위하여, 제2 가사 부분 이외의 제1 녹음 파일의 가사 부분에서, 방법은 단계 404 전에 다음의 단계를 더 포함할 수 있다.
제1 클라이언트 장치는, 섹션 정보에 기초하여, 제2 가사 부분 이외의 제1 녹음 파일에서의 가사 부분에 대응하는 오디오 데이터를 클리어한다. 따라서, 획득된 제1 녹음 파일은 제2 가사 부분을 위한 디스플레이 시간 동안에만 오디오 데이터를 포함한다. 즉, 획득된 제1 녹음 파일은 제1 사용자가 노래 부른 유효한 사운드만을 포함한다.
단계 405에서, 제1 클라이언트 장치가 목표 오디오 파일과 섹션 정보를 서버에 전송하여, 제2 클라이언트 장치가 서버로부터 목표 오디오 파일과 섹션 정보를 획득하고 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보에 기초하여 제2 사용자에게 가라오케 서비스를 제공하게 한다.
제2 클라이언트 장치는 서버로부터 목표 오디오 파일과 섹션 정보를 획득하고, 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보에 기초하여 제2 사용자에게 가라오케 서비스를 제공할 수 있다. 구체적으로는, 제2 사용자는, 섹션 정보에 기초하여, 노래가 불린 가사 부분을 결정할 수 있고, 노래가 불리지 않은 가사 부분을 결정할 수 있다.
선택적으로, 본 실시예에 따른 방법은, 제1 클라이언트 장치에 의해, 다른 사용자에 의해 사용된 사운드 효과 파라미터를 포함하는 구성 파일을 생성하는 단계; 및 제1 클라이언트 장치에 의해, 구성 파일을 서버에 전송하여, 제2 클라이언트 장치가 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보와 구성 파일에 기초하여 제2 사용자에게 가라오케 서비스를 제공하는 단계를 더 포함할 수 있다. 선택적으로, 사운드 효과 파라미터는 잔향(reverberation) 파라미터, 톤 변조 파라미터 및 사운드 미화(sound landscaping)파라미터 등을 포함한다.
종래 기술과 비교하여, 본 개시 내용의 실시예에 따른 목표 오디오 파일은 제2 가사 부분을 위한 디스플레이 시간 동안에만 제1 사용자에 의해 불리고, 제2 가사 부분 이외의 가사 부분에서는 반주 오디오이다. 따라서, 제2 클라이언트 장치는 목표 오디오 파일을 반주 오디오로 할 때 섹션 정보에 기초하여 제2 가사 부분 이외의 가사 부분을 노래 부를 수 있어, 제1 사용자가 제2 가사 부분을 위한 디스플레이 시간 동안 노래 부르게 하고 제2 사용자가 제2 가사 부분 이외의 가사 부분을 위한 디스플레이 시간 동안 노래 부르게 하여, 이에 의해 다른 사람과 함께 노래 부르는 가라오케 경험을 획득하게 한다.
도 5를 참조하면, 본 개시 내용의 다른 실시예에 따른 오디오 처리 방법이 도시된다. 방법은 단계 501 내지 508을 포함한다.
단계 501에서, 제1 클라이언트 장치는 제1 사용자의 제1 요청을 수신한다.
단계 502에서, 제1 클라이언트 장치가, 제1 요청에 기초하여, 서버로부터 노래의 반주 오디오 파일과 가사 파일을 획득하여, 제1 사용자가 반주 오디오 파일에 기초하여 그리고 가사 파일의 가사 부분에 기초하여 녹음하게 하여 제1 녹음 파일을 획득한다.
단계 503에서, 제1 클라이언트 장치는 제1 녹음 파일에 기초하여 제2 가사 부분을 결정하고, 대응하여 섹션 정보를 생성한다.
단계 504에서, 제1 클라이언트 장치는 제1 녹음 파일을 반주 오디오 파일과 혼합하여, 목표 오디오 파일을 획득한다.
단계 505에서, 제1 클라이언트 장치가 목표 오디오 파일과 섹션 정보를 서버에 전송하여, 제2 클라이언트 장치가 서버로부터 목표 오디오 파일과 섹션 정보를 획득하고 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보에 기초하여 제2 사용자에게 가라오케 서비스를 제공하게 한다.
단계 501 내지 505의 과정은 도 4에 도시된 실시예에 따른 단계 401 내지 405의 과정과 유사하고, 여기에서 설명되지 않는다.
단계 506에서, 제2 클라이언트 장치는 제2 사용자에 의해 전송된 제2 요청을 수신한다.
제2 요청은 합창 합류 프로세스를 트리거하기 위하여 합창 합류를 요청하는데 사용된다. 예를 들어, 실제 적용에서, 제2 합창 요청에 대응하는 버튼이 제2 클라이언트 장치에 제공될 수 있다. 제2 사용자가 버튼을 누를 때, 제2 클라이언트 장치는 제2 합창 요청을 수신한다.
단계 507에서, 제2 클라이언트 장치가 제2 요청에 기초하여 서버로부터 목표 오디오 파일, 가사 파일 및 섹션 정보를 획득하여, 제2 사용자가 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보와 제2 가사 부분 이외의 가사 부분의 전부 또는 일부에 기초하여 녹음하게 하여, 제2 녹음 파일을 획득한다.
제2 요청을 수신한 것에 따라, 제2 클라이언트 장치는 먼저 서버로부터 목표 오디오 파일, 가사 파일 및 섹션 정보를 획득하고, 그 다음, 목표 오디오 파일과 가사 파일을 재생한다. 제2 사용자는 제2 가사 부분 이외의 가사의 전부 또는 일부를 노래 부르고, 제2 클라이언트 장치는 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보 및 제2 가사 부분 이외의 가사의 전부 또는 일부에 기초하여 제2 사용자에 의해 수행된 노래 부르기를 녹음하여, 제2 녹음 파일을 획득한다. 제2 사용자가 제2 가사 부분 이외의 가사의 전부가 아닌 일부에 기초하여 노래 부르는 경우에, 노래의 일부 가사 부분은 더 많은 사용자에 의해 불릴 수 있다는 것이 주목되어야 한다.
선택적으로, 제1 클라이언트 장치가 서버에 구성 파일을 전송하고, 구성 파일이 서버에 있는 경우에, 단계 507은 다음과 같이 수행될 수 있다. 제2 클라이언트 장치가 서버로부터 노래의 목표 오디오 파일, 가사 파일, 섹션 정보 및 구성 파일을 획득하여, 제2 사용자가 반주 오디오로 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보, 구성 파일 및 제2 가사 부분 이외의 가사 부분의 전부 또는 일부에 기초하여 녹음하게 하여, 제2 녹음 파일을 획득한다. 실제 적용에서, 클라이언트 장치는 구성 파일에서의 사운드 효과 파라미터에 기초하여 구성되고, 구성된 파라미터를 선택을 위하여 제2 사용자에게 전송한다. 사용자는 필요에 따라 파라미터 구성을 변경할 수 있다.
단계 508에서, 제2 클라이언트 장치는 제2 녹음 파일을 목표 오디오 파일과 혼합하여, 혼합 오디오 파일을 획득한다.
혼합은 종래의 혼합 알고리즘으로 수행될 수 있다. 예를 들어, 대응하는 샘플링 포인트를 위한 데이터가 바로 더해져 합을 획득하고, 그 다음 합이 2로 나누어진다.
혼합 오디오 파일이 제2 가사 부분에 대하여 제1 사용자게 의해 노래 불리고, 제2 가사 부분 이외의 가사의 일부 또는 전부에 대하여 제2 사용자에 의해 노래 불리어, 2명의 사용자가 함께 노래 부르는 가라오케 경험을 획득한다.
선택적으로, 본 실시예에서, 노이즈 또는 유효하지 않은 것으로 판단된 사운드를 방지하기 위하여, 제2 가사 부분 이외의 제2 녹음 파일의 가사 부분에서, 방법은 단계 508 전에 다음의 단계를 더 포함할 수 있다. 제2 클라이언트 장치는 섹션 정보에 기초하여 제2 가사 부분에 대응하는 제1 녹음 파일의 오디오 데이터를 클리어한다.
본 개시 내용의 실시예에 따른 오디오 처리 방법이 위에서 설명되고, 본 개시 내용의 실시예에 따른 오디오 처리 장치가 아래에서 설명된다. 도 6을 참조하면, 본 개시 내용의 일 실시예에 따른 오디오 처리 장치가 도시된다. 오디오 처리 장치는, 제1 수신 유닛(601)과, 제2 획득 유닛(602)과, 제1 처리 유닛(603)과, 제1 혼합 유닛(604)을 포함한다.
제1 수신 유닛(601)은 사용자의 요청을 수신하도록 구성된다.
제1 획득 유닛(602)은, 요청에 기초하여 노래의 오디오 파일과 대응하는 가사 파일을 획득하도록 구성된다. 가사 파일은 가사 디스플레이 시간을 식별하기 위한 시간 정보를 포함한다. 노래의 오디오 파일은, 예를 들어, 노래의 반주 오디오 파일과 원본 오디오 파일을 포함할 수 있다.
제1 처리 유닛(603)은 제1 가사 부분을 위한 디스플레이 시간과 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 재생하고, 제1 가사 부분을 위한 디스플레이 시간 동안 사용자의 오디오 데이터를 녹음하도록 구성된다. 제1 처리 유닛(603)은 제1 가사 부분과 제2 가사 부분을 획득하기 위하여 가사 파일을 분할하도록 더 구성될 수 있다.
노래의 획득된 오디오 파일이 노래의 반주 오디오 파일과 원본 오디오 파일을 포함하는 경우에, 제1 처리 유닛(603)은, 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 재생한다.
제1 혼합 유닛(604)은, 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합하여 혼합 오디오 파일을 획득하도록 구성된다. 오디오 파일이 반주 오디오 파일과 원본 오디오 파일을 포함하는 경우, 제1 혼합 유닛(604)은 사용자의 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 반주 오디오 파일의 오디오 데이터와 혼합한다.
용이한 이해를 위하여, 본 실시예에 따른 오디오 처리 장치의 내부 동작 프로세스는 일례로서 특정 적용 시나리오를 이용하여 아래에서 설명된다.
제1 수신 유닛(601)은 사용자에 의해 입력된 가라오케 요청을 수신한다. 제1 획득 유닛(602)은 가라오케 요청에 기초하여 노래의 반주 오디오 파일, 원본 오디오 파일 및 가사 파일을 획득하고, 가사 파일은 가사 디스플레이 시간을 식별하기 위한 시간 정보를 포함한다. 제1 처리 유닛(603)은 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할하고, 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 재생한다.
본 개시 내용의 실시예에 따른 해결 방안에서, 제1 수신 유닛(601)을 통해 사용자에 의해 입력된 가라오케 요청을 수신한 것에 따라, 클라이언트 장치의 제1 획득 유닛(602)은 가라오케 요청에 기초하여 노래의 반주 오디오 파일, 원본 오디오 파일 및 대응하는 가사 파일을 획득한다. 가사 파일은 가사 디스플레이 시간을 식별하기 위한 시간 정보를 포함한다. 제1 처리 유닛(603)은 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할하고, 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 재생한다. 그 다음, 제1 처리 유닛(603)은 사용자의 녹음된 오디오 데이터를 제1 가사 부분을 위한 디스플레이 시간에 대응하는 반주 오디오 파일의 오디오 데이터와 혼합하여 혼합 오디오 파일을 획득하고, 제1 가사 부분을 위한 디스플레이 시간 동안 혼합 오디오 파일을 출력하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일으을 출력하여, 합창 파일을 생성한다. 따라서, 종래 기술과 비교하여, 본 개시 내용의 실시예에 따라, 클라이언트 장치는 제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할하고, 제1 가사 부분을 위한 디스플레이 시간 동안에만 반주 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 재생하여, 사용자가 제1 가사 부분을 위한 디스플레이 시간 동안 노래 부르게 하고, 스타가 제2 가사 부분을 위한 디스플레이 시간 동안 노래 부르게 하여, 이에 의해 스타와 함께 노래 부르는 가라오케 경험을 획득하게 한다.
선택적으로, 오디오 처리 장치는 본 실시예에 따라 제1 생성 유닛(605)을 더 포함할 수 있다.
제1 생성 유닛(605)은 제1 가사 부분을 위한 디스플레이 시간 동안 혼합 오디오 파일을 출력(또는 선택)하고, 제2 가사 부분을 위한 디스플레이 시간 동안 오디오 파일을 출력(또는 선택)하여, 합창 파일을 생성한다. 오디오 파일이 반주 오디오 파일과 원본 오디오 파일을 포함하는 경우에, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일이 출력(또는 선택)되어, 합창 파일을 생성한다.
선택적으로, 제1 수신 유닛(601)은 사용자의 분할 명령을 수신하도록 더 구성된다. 제1 처리 유닛(603)은 제1 가사 부분과 제2 가사 부분을 획득하기 위하여 분할 명령에 기초하여 가사 파일을 분할하도록 구성된다.
선택적으로, 제1 처리 유닛(603)은 사운드가 입력되는지 검출하도록 구성되고, 사운드가 입력된다고 검출된 경우에, 대응하는 디스플레이 시간 동안 디스플레이된 가사 파일의 가사 부분을 제1 가사 부분으로서 결정하고, 반주 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하거나, 사운드가 입력되지 않는다고 검출된 경우에, 대응하는 디스플레이 시간 동안 디스플레이된 가사 파일의 가사 부분을 제2 가사 부분으로서 결정하고, 원본 오디오 파일을 재생한다.
선택적으로 오디오 처리 장치는,
클라이언트 장치에 디스플레이된 제1 가사 부분을 위한 제1 식별자를 설정하고, 클라이언트 장치에 디스플레이된 제2 가사 부분을 위한 제2 식별자를 설정하도록 구성된 식별자 유닛
을 더 포함할 수 있다.
선택적으로 오디오 처리 장치는,
스위칭 포인트에서 합창 파일의 오디오 데이터를 밸런싱하도록 구성된 제1 밸런싱 유닛
을 더 포함할 수 있고, 스위칭 포인트는 제1 가사 부분을 위한 디스플레이 시간이 제2 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간 또는 제2 가사 부분을 위한 디스플레이 시간이 제1 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간을 말한다.
도 7을 참조하면, 본 개시 내용의 다른 실시예에 따른 오디오 처리 장치가 도시된다. 오디오 처리 장치는,
노래의 반주 오디오 파일, 원본 오디오 파일 및 대응하는 가사 파일을 획득하도록 구성된 제2 획득 유닛(701) - 가사 파일은 가사 디스플레이 시간을 식별하기 위한 시간 정보를 포함한다 -;
제1 가사 부분과 제2 가사 부분을 획득하도록 가사 파일을 분할하고, 대응하여 가사 분할 정보를 생성하도록 구성된 제2 처리 유닛(702) - 가사 분할 정보는 제1 가사 부분을 식별하기 위한 식별자 정보를 포함한다 -;
제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오 파일을 출력(또는 선택)하고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오 파일을 출력(또는 선택)하여, 목표 오디오 파일을 생성하도록 구성된 제2 생성 유닛(703); 및
클라이언트 장치가 반주 오디오로서 이용되는 목표 오디오 파일에 기초하여 그리고 재생될 가사로서 이용되는 목표 가사 파일에 기초하여 가라오케 서비스를 사용자에게 제공하도록, 목표 오디오 파일과 목표 가사 파일을 (예를 들어, 클라이언트 장치에 의해 전송된 가라오케 요청을 수신할 때) 클라이언트 장치에 전송하도록 구성되는 제1 전송 유닛(702)
을 더 포함한다. 목표 가사 파일은 가사 분할 정보를 지니는 가사 파일을 통해 획득된다.
종래 기술과 비교하면, 본 개시 내용의 실시예에 따라, 서버에서의 오디오 처리 장치로부터 클라이언트 장치로 전송된 목표 오디오 파일은, 제1 가사 부분을 위한 디스플레이 시간 동안 반주 오디오이고, 제2 가사 부분을 위한 디스플레이 시간 동안 원본 오디오이다. 반주 오디오 파일이 클라이언트 장치에 직접 제공되는 종래 기술에서 비하여, 본 개시 내용의 실시예에 따라, 사용자는 제1 가사 부분을 위한 디스플레이 시간 동안 노래 부를 수 있고, 스타는 제2 가사 부분을 위한 디스플레이 시간 동안 노래 부를 수 있어, 이에 의해 스타와 함께 노래 부르는 가라오케 경험을 획득한다.
선택적으로, 제2 처리 유닛(702)은 시간 정보에 기초하여 가사 파일의 섹션 정보를 결정하고, 제1 가사 부분과 제2 가사 부분을 획득하도록 섹션 정보에 기초하여 가사 파일을 분할할 수 있다.
선택적으로, 제2 처리 유닛(702)은 가사 파일의 절 부분과 후렴 부분을 결정하고, 그 다음, 절 부분을 제1 가사 부분으로 결정하고 후렴 부분을 제2 가사 부분으로 결정하거나, 후렴 부분을 제1 가사 부분으로 결정하고 절 부분을 제2 가사 부분으로 결정할 수 있다.
선택적으로, 제2 처리 유닛(702)은 제1 가사 부분과 제2 가사 부분을 획득하도록 맞춤형 템플레이트에 기초하여 가사 파일을 분할할 수 있다.
선택적으로, 오디오 처리 장치는,
스위칭 포인트에서 목표 오디오 파일의 오디오 데이터를 밸런싱하도록 구성된 제2 밸런싱 유닛
을 더 포함할 수 있고, 스위칭 포인트는 제1 가사 부분을 위한 디스플레이 시간이 제2 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간 또는 제2 가사 부분을 위한 디스플레이 시간이 제1 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간을 말한다.
도 8을 참조하면, 본 개시 내용의 다른 실시예에 따른 오디오 처리 장치가 도시된다. 오디오 처리 장치는,
제1 사용자의 제1 요청을 수신하도록 구성된 제2 수신 유닛(801);
제1 요청에 기초하여, 서버로부터 노래의 반주 오디오 파일과 가사 파일을 획득하여, 제1 사용자가 반주 오디오 파일에 기초하여 그리고 가사 파일에서의 가사 부분에 기초하여 녹음하게 하여 제1 녹음 파일을 획득하도록 구성된 제3 획득 유닛(802);
제1 녹음 파일에 기초하여 제2 가사 부분을 결정하고, 대응하여, 적어도 제2 가사 부분을 식별하기 위한 식별자 정보를 포함하는 섹션 정보를 생성하도록 구성된 제3 처리 유닛(803);
제1 녹음 파일을 반주 오디오 파일과 혼합하여 목표 오디오 파일을 획득하도록 구성된 제2 혼합 유닛(804); 및
제2 클라이언트 장치가 반주 오디오로서 이용되는 목표 오디오 파일과 섹션 정보에 기초하여 제2 사용자에게 가라오케 서비스를 사용자에게 제공하도록, 목표 오디오 파일과 섹션 정보를 제2 클라이언트 장치에 전송하도록 구성되는 제2 전송 유닛(805)
을 포함한다.
도 9를 참조하면, 본 개시 내용의 일 실시예에 따른 오디오 처리 시스템이 도시된다. 오디오 처리 시스템은 서버(901)와 클라이언트 장치(902)를 포함한다. 본 개시 내용의 전술한 실시예들에 따른 오디오 처리 방법은 오디오 처리 시스템의 서버 및/또는 클라이언트 장치에 의해 수행될 수 있다.
본 개시 내용의 선택적인 일 실시예에서, 서버(901)는 도 7에 도시된 실시예에 따라 설명된 오디오 처리 장치를 포함한다.
본 개시 내용의 선택적인 일 실시예에서, 클라이언트 장치(902)는 도 1에 도시된 실시예에 따라 설명된 오디오 처리 장치를 포함한다.
도 10을 참조하면, 본 개시 내용의 다른 실시예에 따른 오디오 처리 시스템이 도시된다. 오디오 처리 시스템은 서버(1001), 제1 클라이언트 장치(1002) 및 제2 클라이언트 장치(1003)를 포함한다.
제1 클라이언트 장치(1001)는, 제1 사용자의 제1 요청을 수신하고(제1 요청은, 예를 들어, 합창을 시작하기 위한 것이다); 제1 요청에 기초하여, 서버(1003)로부터 노래의 반주 오디오 파일과 가사 파일을 획득하여, 제1 사용자가 반주 오디오 파일에 기초하여 그리고 가사 파일에서의 가사 부분에 기초하여 녹음하게 하여 제1 녹음 파일을 획득하고; 제1 녹음 파일에 기초하여 제2 가사 부분을 결정하고, 대응하여 섹션 정보를 결정하고(제2 가사 부분은 제1 사용자가 노래 부른 가사 부분을 말하고, 섹션 정보는 제2 가사 부분을 식별하기 위한 식별자 정보를 포함한다); 제1 녹음 파일을 반주 오디오 파일과 혼합하여, 목표 오디오 파일을 획득하고; 그리고, 목표 오디오 파일과 섹션 정보를 서버(1003)에 전송하여, 제2 클라이언트 장치가 서버(1003)로부터 목표 오디오 파일과 섹션 정보를 획득하고 반주 오디오로서 이용되는 반주 오디오 파일에 기초하여 그리고 섹션 정보에 기초하여 제2 사용자에게 가라오케 서비스를 제공하게 하도록 구성된다.
제2 클라이언트 장치(1002)는 서버(1003)로부터 목표 오디오 파일과 섹션 정보를 획득하여, 반주 오디오로서 사용되는 반주 오디오 파일에 기초하여 그리고 섹션 정보에 기초하여 제2 사용자에게 가라오케 서비스를 제공하도록 구성된다.
선택적으로, 제1 클라이언트 장치(1001)는 특정 가사 부분에 대하여 제1 사용자에 의해 녹음된 사운드가 유효한지 판단하고, 제1 사용자에 의해 녹음된 사운드가 유효하다고 판단된 경우에 대응하는 가사 부분을 제2 가사 부분으로 결정하도록 구체적으로 구성될 수 있다.
선택적으로, 제1 클라이언트 장치(1001)는 사운드의 볼륨이 사전 설정값보다 큰지 판단하고, 사운드의 볼륨이 사전 설정값보다 크다고 판단되는 경우에, 특정 가사 부분에 대하여 제1 사용자에 의해 녹음된 사운드가 유효하다고 결정하도록 구체적으로 구성될 수 있다.
선택적으로, 제1 클라이언트 장치(1001)는 특정 가사 부분에 대하여 제1 사용자에 의해 녹음된 사운드가 유효한지 판단하고, 제1 사용자에 의해 녹음된 사운드가 유효하다고 판단된 경우에, 녹음된 사운드가 차지하는 시간이 특정 가사 부분이 차지하는 디스플레이 시간에 대응하는지 더 판단하고, 녹음된 사운드가 차지하는 시간이 특정 가사 부분이 차지하는 디스플레이 시간에 대응한다고 판단되는 경우에, 특정 가사 부분을 제2 가사 부분으로 결정하도록 구체적으로 구성될 수 있다.
선택적으로, 제1 클라이언트 장치(1001)는, 제1 녹음 파일을 반주 오디오 파일과 혼합하여 목표 오디오 파일을 획득하기 전에, 섹션 정보에 기초하여, 제2 가사 부분 이외의 가사 부분에 대응하는 제1 녹음 파일의 오디오 데이터를 클리어하도록 더 구성될 수 있다.
선택적으로, 식별자 정보는 제2 가사 부분을 위한 디스플레이 시간과 제2 가사 부분의 문장 식별자를 포함할 수 있다.
선택적으로, 제1 클라이언트 장치(1001)는 목표 오디오 파일과 섹션 정보를 서버에 전송하기 전에 구성 파일을 생성하도록 더 구성될 수 있고, 구성 파일을 서버에 전송하도록 구성될 수 있고, 구성 파일은 제1 사용자에 의해 사용된 사운드 효과 파라미터를 포함한다.
선택적으로, 제2 클라이언트 장치(1002)는 제2 사용자에 의해 전송된 합창에 합류하도록 요청하는데 사용되는 제2 요청을 수신하고, 제2 요청에 기초하여, 서버로부터 노래의 목표 오디오 파일, 가사 파일 및 섹션 정보를 획득하여, 제2 사용자가 반주 오디오로서 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보 및 제2 가사 부분 이외의 가사의 전부 또는 일부에 기초하여 녹음하게 하여 제2 녹음 파일을 획득하고, 제2 녹음 파일을 목표 오디오 파일과 혼합하여 혼합 오디오 파일을 획득하도록 더 구성될 수 있다.
선택적으로, 제2 클라이언트 장치(1002)는, 제2 녹음 파일을 목표 오디오 파일과 혼합하여 혼합 오디오 파일을 획득하기 전에, 섹션 정보에 기초하여, 제2 가사 부분에 대응하는 제1 녹음 파일의 오디오 데이터를 클리어하도록 더 구성될 수 있다.
선택적으로, 제2 클라이언트 장치(1002)는 서버가 구성 파일을 포함하는 경우에 서버로부터 노래의 목표 오디오 파일, 가사 파일, 섹션 정보 및 구성 파일을 획득하여, 제2 사용자가 반주 오디오로서 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보, 구성 파일 및 제2 가사 부분 이외의 가사의 전부 또는 일부에 기초하여 녹음하게 하여 제2 녹음 파일을 획득하도록 더 구성될 수 있다.
선택적으로, 제2 클라이언트 장치는, 제2 사용자에 의해 전송된 합창에 합류하도록 요청하고 제2 가사 부분 이외의 가사 부분에 대하여만 녹음하도록 지시하는데 사용되는 제3 요청을 수신하고; 제3 요청에 기초하여 서버로부터 노래의 목표 오디오 파일, 가사 파일 및 섹션 정보를 획득하여, 제2 사용자가 반주 오디오로서 이용되는 목표 오디오 파일에 기초하여 그리고 섹션 정보 및 제2 가사 부분 이외의 가사의 전부 또는 일부에 기초하여 녹음하게 하여 제3 녹음 파일을 획득하고; 제2 사용자가 노래 부른 가사 부분을 말하는 제3 가사 부분을 결정하고 제3 가사 부분을 식별하기 위한 식별자 정보를 섹션 정보에 추가하고; 제3 녹음 파일을 목표 오디오 파일과 혼합하여 제3 목표 파일을 획득하고; 그리고, 제3 목표 파일 및 섹션 정보를 서버에 전송하여, 제3 클라이언트 장치가 반주 오디오로서 이용되는 제3 목표 파일에 기초하여, 섹션 정보에 기초하여, 그리고 제2 가사 부분 및 제3 가사 부분 이외의 가사 부분에 기초하여 서버를 통해 제3 사용자에 대하여 녹음하게 하도록 더 구성될 수 있다.
본 개시 내용의 선택적인 실시예에서, 도 10에서의 제2 클라이언트 장치(1002)는 도 1에서 설명된 본 개시 내용의 예시적인 실시예에 따른 오디오 처리 방법을 수행하도록 구성되고, 서버(1003)는 도 2에 설명된 본 개시 내용의 예시적인 실시예에 따른 오디오 처리 방법을 수행하도록 구성되고, 제1 클라이언트 장치(1001)는 도 4에 설명된 본 개시 내용의 예시적인 실시예에 따른 오디오 처리 방법을 수행하도록 구성된다.
또한, 본 개시 내용의 예시적인 일 실시예에 따라 오디오 처리 장치가 제공된다. 오디오 처리 장치는 적어도 하나의 프로세서와 메모리를 포함한다. 메모리는 프로세서에 의해 실행될 때 전술한 임의의 실시예에 따른 방법을 수행하도록 오디오 처리 장치를 구성하는 프로그램 명령어를 저장한다.
또한, 본 개시 내용의 예시적인 일 실시예에 따라 컴퓨터 판독 가능한 저장 매체가 제공된다. 컴퓨터 판독 가능한 저장 매체는 프로세서에 의해 실행될 때 전술한 임의의 실시예에 따른 방법을 수행하도록 컴퓨팅 장치를 구성하는 프로그램 명령어를 저장한다.
당해 기술 분야에서의 통상의 기술자는, 설명의 편의와 간결성을 위하여, 상술한 시스템, 장치 및 유닛의 동작 과정에 대하여 여기에서 설명되지 않는 전술한 방법 실시예에서의 대응하는 과정을 참조할 수 있다는 것을 이해하여야 한다.
본 개시 내용에 제공된 여러 실시예에서, 개시된 시스템, 장치 및 방법이 다른 방식으로 구현될 수 있다는 것이 이해되어야 한다. 예를 들어, 장치 실시예는 단지 예시를 위한 것이다. 예를 들어, 유닛들은 단지 논리 함수에 기초하여 그루핑되며, 실제로 유닛들은 다른 방식으로 그루핑될 수 있다. 예를 들어, 다수의 유닛 또는 어셈블리가 조합될 수 있거나 다른 시스템으로 통합될 수 있고, 또는 일부 특징들은 무시되거나 구현되지 않을 수 있다. 또한, 디스플레이되거나 논의된 상호간의 커플링, 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 간접 커플링 또는 통신 연결일 수 있고, 전기적이거나, 기계적이거나 또는 다른 형태일 수 있다.
분리된 컴포넌트로서 예시된 유닛들은 물리적으로 분리될 수 있거나 분리되지 않을 수 있다. 유닛들로서 표시된 컴포넌트들은 물리적인 유닛일 수 있거나 물리적인 유닛이 아닐 수 있다. 즉, 컴포넌트는 동일한 장소에 위치될 수 있거나, 다수의 네트워크 유닛에 분포될 수 있다. 유닛들의 일부 또는 전부는 실시예의 해결 방안의 과제를 성취하기 위하여 필요에 따라 선택될 수 있다.
또한, 본 개시 내용의 실시예에서의 다양한 기능 유닛들이 하나의 처리 유닛에 통합될 수 있거나, 물리적으로 독립적인 유닛일 수 거나, 2 이상의 유닛이 하나의 유닛에 통합될 수 있다. 통합된 유닛은 하드웨어 또는 소프트웨어 기능 유닛에 의해 구현될 수 있다.
통합된 유닛이 소프트웨어 기능 유닛으로서 구현되고, 독립 제품으로서 판매되거나 사용되는 경우에, 통합된 유닛은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 개시 내용의 기술 방안의 본질적인 부분 또는 종래 기술에 기여하는 부분 또는 기술 방안의 전부나 일부는 소프트웨어 제품에 의해 구체화될 수 있다. 소프트웨어 제품은 저장 매체에 저장되고, 컴퓨터 장치(개인용 컴퓨터, 서버 또는 네트워크 장치 등일 수 있다)가 본 개시 내용의 다양한 실시예에 따른 방법의 단계들의 전부 또는 일부를 수행할 수 있게 하는 여러 명령어를 포함한다. 저장 매체는 프로그램 코드를 저장할 수 있는 다양한 매체, 예를 들어, USB 플래시 디스크, 이동식 하드 디스크, ROM(Read-Only Memory), RAM(Random Access Memory), 자기 디스크 또는 광 디스크를 포함한다.
전술한 실시예들은 본 개시 내용의 기술 방안을 예시하는 데에만 사용되며, 본 개시 내용을 한정하도록 의도되지 않는다. 본 개시 내용이 전술한 실시예를 참조하여 상세히 설명되었지만, 당해 기술 분야에서의 통상의 기술자는 전술한 실시예에 기록된 기술 방안을 수정하거나 기술적 특징의 일부에 균등한 대체를 수행할 수 있다는 것을 이해하여야 한다. 이러한 수정 및 대체는 대응하는 기술 방안의 본질이 본 개시 내용의 실시예의 기술 방안의 기술적 사상과 범위로부터 벗어나게 하지 않는다.

Claims (31)

  1. 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계;
    상기 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하고 사용자의 오디오 데이터를 녹음하는 단계;
    상기 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하는 단계; 및
    상기 사용자의 오디오 데이터를 상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 오디오 파일의 오디오 데이터와 혼합하는 단계
    를 포함하는,
    오디오 처리 방법.
  2. 제1항에 있어서,
    상기 가사 파일의 상기 제2 가사 부분을 위한 디스플레이 시간 동안 상기 사용자의 오디오 데이터는 녹음되지 않는,
    오디오 처리 방법.
  3. 제1항에 있어서,
    상기 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계 전에, 상기 오디오 처리 방법은, 상기 사용자의 요청을 수신하는 단계를 더 포함하고,
    상기 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계는, 상기 요청에 기초하여, 상기 노래의 반주 오디오 파일, 원본 오디오 파일 및 상기 가사 파일을 획득하는 단계를 포함하는,
    오디오 처리 방법.
  4. 제3항에 있어서,
    상기 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계 후에, 상기 오디오 처리 방법은, 상기 제1 가사 부분과 상기 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하는 단계를 더 포함하고,
    상기 가사 파일의 상기 제1 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하고 상기 사용자의 오디오 데이터를 녹음하는 단계는, 상기 제1 가사 부분을 위한 디스플레이 시간 동안 상기 반주 오디오 파일을 재생하고 상기 사용자의 오디오 데이터를 녹음하는 단계를 포함하고,
    상기 가사 파일의 상기 제2 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하는 단계는, 상기 제2 가사 부분을 위한 디스플레이 시간 동안 상기 원본 오디오 파일을 재생하는 단계를 포함하는,
    오디오 처리 방법.
  5. 제3항에 있어서,
    상기 사용자의 오디오 데이터를 상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 오디오 파일의 오디오 데이터와 혼합하는 단계는, 상기 사용자의 오디오 데이터를 상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 반주 오디오 파일의 오디오 데이터와 혼합하는 단계를 포함하는,
    오디오 처리 방법.
  6. 제3항에 있어서,
    혼합 오디오 파일이 상기 혼합하는 단계에 의해 생성되고, 상기 오디오 처리 방법은,
    상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 혼합 오디오 파일과, 상기 제2 가사 부분을 위한 디스플레이 시간에 대응하는 상기 원본 오디오 파일에 기초하여 합창 파일을 생성하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  7. 제1항에 있어서,
    상기 사용자의 분할 명령을 수신하는 단계; 및
    상기 분할 명령에 기초하여, 상기 제1 가사 부분 및 상기 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  8. 제1항에 있어서,
    사운드가 입력되는지 검출하고, 사운드가 입력된다고 검출되는 경우에 디스플레이 시간에 대응하는 상기 가사 파일의 가사 부분을 상기 제1 가사 부분으로 결정하거나, 사운드가 입력되지 않는다고 검출되는 경우에 디스플레이 시간에 대응하는 상기 가사 파일의 가사 부분을 상기 제2 가사 부분으로 결정하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  9. 제1항에 있어서,
    혼합 오디오 파일이 상기 혼합하는 단계에 의해 생성되고, 상기 오디오 처리 방법은,
    상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 혼합 오디오 파일에 기초하여 그리고 상기 제2 가사 부분을 위한 디스플레이 시간에 대응하는 상기 노래의 오디오 파일에 기초하여 합창 파일을 생성하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  10. 제9항에 있어서,
    스위칭 포인트에서 상기 합창 파일의 오디오 데이터를 밸런싱하는 단계를 더 포함하고,
    상기 스위칭 포인트는 상기 제1 가사 부분을 위한 디스플레이 시간이 상기 제2 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간 또는 상기 제2 가사 부분을 위한 디스플레이 시간이 상기 제1 가사 부분을 위한 디스플레이 시간으로 스위칭되는 순간인,
    오디오 처리 방법.
  11. 제1항에 있어서,
    상기 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계 전에, 상기 오디오 처리 방법은,
    상기 노래의 반주 오디오 파일, 원본 오디오 파일 및 상기 가사 파일을 획득하는 단계;
    상기 제1 가사 부분과 상기 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하고, 적어도 상기 제1 가사 부분을 식별하기 위한 식별자 정보를 포함하는 가사 분할 정보를 생성하는 단계; 및
    상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 반주 오디오 파일에 기초하여 그리고 상기 제2 가사 부분을 위한 디스플레이 시간에 대응하는 상기 원본 오디오 파일에 기초하여 상기 노래의 오디오 파일을 생성하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  12. 제11항에 있어서,
    상기 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계는, 상기 가사 분할 정보를 획득하는 단계를 포함하고,
    상기 가사 파일의 상기 제1 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하고 상기 사용자의 오디오 데이터를 녹음하는 단계는, 상기 가사 분할 정보에 기초하여, 상기 제1 가사 부분을 위한 디스플레이 시간 동안 상기 사용자의 오디오 데이터를 녹음하는 단계를 포함하는,
    오디오 처리 방법.
  13. 제1항에 있어서,
    상기 가사 파일은 가사 디스플레이 시간을 식별하기 위한 시간 정보를 포함하고, 상기 오디오 처리 방법은,
    상기 시간 정보에 기초하여, 상기 가사 파일의 섹션 정보를 결정하는 단계; 및
    상기 섹션 정보에 기초하여, 상기 제1 가사 부분 및 상기 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  14. 제1항에 있어서,
    상기 가사 파일의 절(verse) 부분 및 후렴(refrain) 부분을 결정하는 단계; 및
    상기 절 부분을 상기 제1 가사 부분으로서 결정하고 상기 후렴 부분을 상기 제2 가사 부분으로서 결정하거나, 또는 상기 후렴 부분을 상기 제1 가사 부분으로서 결정하고 상기 절 부분을 상기 제2 가사 부분으로서 결정하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  15. 제1항에 있어서,
    맞춤형 템플레이트(custom template)에 기초하여, 상기 제1 가사 부분 및 상기 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하는 단계를 더 포함하는,
    오디오 처리 방법.
  16. 제1항에 있어서,
    상기 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하는 단계 전에,
    다른 사용자의 요청을 수신하는 단계;
    상기 요청에 기초하여, 상기 노래의 반주 오디오 파일과 가사 파일을 획득하는 단계;
    상기 반주 오디오 파일과 상기 가사 파일의 가사 부분에 기초하여 상기 다른 사용자를 위하여 녹음하여 제1 녹음 파일을 획득하는 단계;
    상기 제1 녹음 파일에 기초하여 상기 제2 가사 부분을 결정하는 단계와, 대응하여 적어도 상기 제2 가사 부분을 식별하기 위한 식별자 정보를 포함하는 섹션 정보를 생성하는 단계; 및
    상기 제1 녹음 파일을 상기 반주 오디오 파일과 혼합하여 상기 노래의 오디오 파일을 획득하는 단계
    를 더 포함하는,
    오디오 처리 방법.
  17. 제16항에 있어서,
    상기 제1 녹음 파일에 기초하여 상기 제2 가사 부분을 결정하는 단계는,
    특정 가사 부분을 위하여 상기 다른 사용자에 의해 녹음된 사운드가 유효한지 판단하고, 녹음된 상기 사운드가 유효하다고 판단되는 경우에 상기 특정 가사 부분의 상기 제2 가사 부분으로서 결정하는 단계
    를 포함하는,
    오디오 처리 방법.
  18. 제16항에 있어서,
    구성 파일을 생성하는 단계를 더 포함하고,
    상기 구성 파일은 상기 다른 사용자에 의해 사용된 사운드 효과 파라미터를 포함하는,
    오디오 처리 방법.
  19. 제18항에 있어서,
    상기 가사 파일의 상기 제1 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하고 상기 사용자의 오디오 데이터를 녹음하는 단계는.
    반주 오디오 파일로서 이용되는 상기 노래의 오디오 파일에 기초하여 그리고 상기 섹션 정보, 상기 구성 파일 및 상기 제2 가사 부분 이외의 상기 가사 파일의 가사 부분에 기초하여 녹음하는 단계를 포함하는,
    오디오 처리 방법.
  20. 적어도 하나의 프로세서와 메모리를 포함하는 오디오 처리 장치에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행될 때 상기 오디오 처리 장치가 제1항 내지 제19항 중 어느 한 항에 따른 오디오 처리 방법을 수행할 수 있게 하는 프로그램 명령어를 저장하는,
    오디오 처리 장치.
  21. 서버와 적어도 하나의 클라이언트 장치를 포함하는 오디오 처리 시스템에 있어서,
    상기 서버 및/또는 상기 클라이언트 장치는, 제1항 내지 제19항 중 어느 한 항에 따른 오디오 처리 방법을 수행하도록 구성되는,
    오디오 처리 시스템.
  22. 제21항에 있어서,
    상기 적어도 하나의 클라이언트 장치는 제1 클라이언트 장치를 포함하고, 상기 제1 클라이언트 장치는 제1항 내지 제10항 중 어느 한 항에 따른 오디오 처리 방법을 수행하도록 구성되는,
    오디오 처리 시스템.
  23. 제22항에 있어서,
    상기 서버는,
    상기 노래의 반주 오디오 파일, 원본 오디오 파일 및 가사 파일을 획득하고;
    제1 가사 부분과 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하고, 대응하여 적어도 상기 제1 가사 부분을 식별하기 위한 식별자 정보를 포함하는 가사 분할 정보를 생성하고; 그리고,
    상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 반주 오디오 파일에 기초하여 그리고 상기 제2 가사 부분을 위한 디스플레이 시간에 대응하는 상기 원본 오디오 파일에 기초하여 상기 노래의 오디오 파일을 생성하도록
    구성되는,
    오디오 처리 시스템.
  24. 제23항에 있어서,
    상기 적어도 하나의 클라이언트 장치는 제2 클라이언트 장치를 포함하고, 상기 제2 클라이언트 장치는,
    다른 사용자의 요청을 수신하고;
    상기 요청에 기초하여, 상기 노래의 반주 오디오 파일과 가사 파일을 획득하고;
    상기 반주 오디오 파일과 상기 가사 파일의 가사 부분에 기초하여 상기 다른 사용자를 위하여 녹음하여 제1 녹음 파일을 획득하고;
    상기 제1 녹음 파일에 기초하여 상기 제2 가사 부분을 판단하고, 대응하여 상기 제2 가사 부분을 식별하기 위한 식별자 정보를 포함하는 섹션 정보를 생성하고; 그리고,
    상기 제1 녹음 파일을 상기 반주 오디오 파일과 혼합하여 상기 노래의 오디오 파일을 획득하도록
    구성되는,
    오디오 처리 시스템.
  25. 노래의 오디오 파일과 상기 노래의 가사 파일을 획득하도록 구성되는 제1 획득 유닛;
    상기 가사 파일의 제1 가사 부분을 위한 디스플레이 시간과 상기 가사 파일의 제2 가사 부분을 위한 디스플레이 시간 동안 상기 오디오 파일을 재생하고, 상기 가사 파일의 제1 가사 부분을 위한 디스플레이 시간 동안 사용자의 오디오 데이터를 녹음하도록 구성되는 제1 처리 유닛; 및
    상기 사용자의 오디오 데이터를 상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 오디오 파일의 오디오 데이터와 혼합 처리하도록 구성되는 제1 혼합 유닛
    을 포함하는,
    오디오 처리 장치.
  26. 제25항에 있어서,
    상기 사용자의 요청을 수신하도록 구성되는 제1 수신 유닛을 더 포함하고,
    상기 제1 획득 유닛은, 상기 요청에 기초하여, 상기 노래의 반주 오디오 파일, 원본 오디오 파일 및 상기 가사 파일을 획득하도록 더 구성되는,
    오디오 처리 장치.
  27. 제26항에 있어서,
    상기 제1 처리 유닛은,
    제1 가사 부분 및 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하고;
    상기 제1 가사 부분을 위한 디스플레이 시간 동안 상기 반주 오디오 파일을 재생하고 상기 사용자의 오디오 데이터를 녹음하고; 그리고,
    상기 제2 가사 부분을 위한 디스플레이 시간 동안 상기 원본 오디오 파일을 재생하도록
    더 구성되는,
    오디오 처리 장치.
  28. 제26항에 있어서,
    상기 제1 혼합 유닛은, 상기 사용자의 오디오 데이터를 상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 반주 오디오 파일의 오디오 데이터와 혼합 처리를 수행하도록 구성되는,
    오디오 처리 장치.
  29. 제25항에 있어서,
    혼합 오디오 파일이 상기 혼합 처리에 의해 생성되고, 상기 오디오 처리 장치는,
    상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 혼합 오디오 파일에 기초하여 그리고 상기 제2 가사 부분을 위한 디스플레이 시간에 대응하는 상기 원본 오디오 파일에 기초하여 합창 파일을 생성하도록 구성되는 제1 생성 유닛을 더 포함하는,
    오디오 처리 장치.
  30. 제25항에 있어서,
    상기 노래의 반주 오디오 파일, 원본 오디오 파일 및 상기 가사 파일을 획득하도록 구성되는 제2 획득 유닛;
    상기 제1 가사 부분과 상기 제2 가사 부분을 획득하도록 상기 가사 파일을 분할하고, 적어도 상기 제1 가사 부분을 식별하기 위한 식별자 정보를 포함하는 가사 분할 정보를 생성하도록 구성되는 제2 처리 유닛; 및
    상기 제1 가사 부분을 위한 디스플레이 시간에 대응하는 상기 반주 오디오 파일에 기초하여 그리고 상기 제2 가사 부분을 위한 디스플레이 시간에 대응하는 상기 원본 오디오 파일에 기초하여 상기 노래의 오디오 파일을 생성하도록 구성되는 제2 생성 유닛
    을 더 포함하는,
    오디오 처리 장치.
  31. 제25항에 있어서,
    다른 사용자의 요청을 수신하도록 구성되는 제2 수신 유닛;
    상기 요청에 기초하여, 상기 노래의 반주 오디오 파일과 가사 파일을 획득하고, 상기 반주 오디오 파일과 상기 가사 파일의 가사 부분에 기초하여 상기 다른 사용자를 위하여 녹음하여 제1 녹음 파일을 획득하도록 구성되는 제3 획득 유닛;
    상기 제1 녹음 파일에 기초하여 상기 제2 가사 부분을 판단하고, 적어도 상기 제2 가사 부분을 식별하기 위한 식별자 정보를 포함하는 섹션 정보를 생성하도록 구성되는 제3 처리 유닛; 및
    상기 제1 녹음 파일을 상기 반주 오디오 파일과 혼합하여 상기 노래의 오디오 파일을 획득하도록 구성되는 제2 혼합 유닛
    을 더 포함하는,
    오디오 처리 장치.
KR1020177037253A 2015-05-27 2016-03-24 오디오 처리 방법, 장치 및 시스템 KR20180012800A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN201510280492.9 2015-05-27
CN201510280492.9A CN105023559A (zh) 2015-05-27 2015-05-27 K歌处理方法及系统
CN201510278911.5 2015-05-27
CN201510278911.5A CN105006234B (zh) 2015-05-27 2015-05-27 一种k歌处理方法及装置
CN201510280087.7 2015-05-27
CN201510280087.7A CN104966527B (zh) 2015-05-27 2015-05-27 K歌处理方法、装置以及k歌处理系统
PCT/CN2016/077218 WO2016188211A1 (zh) 2015-05-27 2016-03-24 音频处理方法、装置及系统

Publications (1)

Publication Number Publication Date
KR20180012800A true KR20180012800A (ko) 2018-02-06

Family

ID=57392491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177037253A KR20180012800A (ko) 2015-05-27 2016-03-24 오디오 처리 방법, 장치 및 시스템

Country Status (5)

Country Link
US (1) US10403255B2 (ko)
EP (1) EP3306606A4 (ko)
JP (1) JP2018519536A (ko)
KR (1) KR20180012800A (ko)
WO (1) WO2016188211A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024774A (ko) * 2019-08-26 2021-03-08 주식회사 이멜벤처스 노래방 어플리케이션에서의 듀엣 노래부르기 제공 방법 및 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966527B (zh) * 2015-05-27 2017-04-19 广州酷狗计算机科技有限公司 K歌处理方法、装置以及k歌处理系统
CN105023559A (zh) * 2015-05-27 2015-11-04 腾讯科技（深圳）有限公司 K歌处理方法及系统
CN107993637B (zh) * 2017-11-03 2021-10-08 厦门快商通信息技术有限公司 一种卡拉ok歌词分词方法与系统
CN108831425B (zh) * 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
CN111046226B (zh) * 2018-10-15 2023-05-05 阿里巴巴集团控股有限公司 一种音乐的调音方法及装置
US11693616B2 (en) * 2019-08-25 2023-07-04 Smule, Inc. Short segment generation for user engagement in vocal capture applications
CN110660376B (zh) * 2019-09-30 2022-11-29 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置及存储介质
CN111125028B (zh) * 2019-12-25 2023-10-24 腾讯音乐娱乐科技（深圳）有限公司 识别音频文件的方法、装置、服务器及存储介质
CN111402844B (zh) * 2020-03-26 2024-04-09 广州酷狗计算机科技有限公司 歌曲合唱的方法、装置及系统

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3241372B2 (ja) * 1990-11-27 2001-12-25 パイオニア株式会社 カラオケ演奏方法
JPH04199096A (ja) * 1990-11-29 1992-07-20 Pioneer Electron Corp カラオケ演奏装置
JPH0561491A (ja) * 1991-09-02 1993-03-12 Sanyo Electric Co Ltd カラオケ装置及びその記録媒体
JPH0744182A (ja) 1993-07-21 1995-02-14 Hitachi Ltd 音楽再生装置
KR0129964B1 (ko) * 1994-07-26 1998-04-18 김광호 악기선택 가능한 영상노래반주장치
JP2838977B2 (ja) * 1995-01-17 1998-12-16 ヤマハ株式会社 カラオケ装置
JP2820052B2 (ja) 1995-02-02 1998-11-05 ヤマハ株式会社 コーラス効果付与装置
JP3662969B2 (ja) 1995-03-06 2005-06-22 富士通株式会社 カラオケシステム
JP3587916B2 (ja) * 1995-10-31 2004-11-10 ブラザー工業株式会社 映像音声データ供給装置
US6231347B1 (en) * 1995-11-20 2001-05-15 Yamaha Corporation Computer system and karaoke system
JP3353595B2 (ja) * 1996-03-21 2002-12-03 ヤマハ株式会社 自動演奏装置およびカラオケ装置
JP3871382B2 (ja) * 1996-09-11 2007-01-24 ブラザー工業株式会社 楽音再生装置
JP3709631B2 (ja) * 1996-11-20 2005-10-26 ヤマハ株式会社 カラオケ装置
JP4013281B2 (ja) * 1997-04-18 2007-11-28 ヤマハ株式会社 カラオケデータ伝送方法、カラオケ装置およびカラオケデータ記録媒体
JP4029442B2 (ja) * 1997-07-18 2008-01-09 ヤマハ株式会社 通信カラオケシステム
KR100270340B1 (ko) 1998-08-17 2000-12-01 김대기 이동전화망을 이용한 노래반주 서비스 시스템 및 그 구현방법
US6979769B1 (en) * 1999-03-08 2005-12-27 Faith, Inc. Data reproducing device, data reproducing method, and information terminal
JP4172610B2 (ja) * 1999-08-03 2008-10-29 株式会社タイトー プレイヤー参加型通信カラオケシステム
US6740804B2 (en) * 2001-02-05 2004-05-25 Yamaha Corporation Waveform generating method, performance data processing method, waveform selection apparatus, waveform data recording apparatus, and waveform data recording and reproducing apparatus
US20020189429A1 (en) * 2001-06-18 2002-12-19 Ziqiang Qian Portable digital music player with synchronized recording and display
TWI244838B (en) 2002-01-07 2005-12-01 Compal Electronics Inc Method of karaoke by network system
JP4188013B2 (ja) * 2002-07-17 2008-11-26 株式会社第一興商 ファイル保管サーバに預託した歌唱トラック録音ファイルをカラオケ演奏装置に取り寄せて合唱することができる通信カラオケシステム、カラオケ演奏装置
JP2004240065A (ja) * 2003-02-04 2004-08-26 Konami Co Ltd カラオケ装置、音声出力制御方法、ならびに、プログラム
JP4168851B2 (ja) * 2003-06-20 2008-10-22 ヤマハ株式会社 カラオケ装置
US7134876B2 (en) * 2004-03-30 2006-11-14 Mica Electronic Corporation Sound system with dedicated vocal channel
JP4382786B2 (ja) 2006-08-22 2009-12-16 株式会社タイトー 音声ミックスダウン装置、音声ミックスダウンプログラム
US20080184870A1 (en) * 2006-10-24 2008-08-07 Nokia Corporation System, method, device, and computer program product providing for a multiple-lyric karaoke system
KR20080082019A (ko) 2006-12-29 2008-09-11 고리텍 주식회사 원음 노래방 서비스를 제공하는 휴대 노래방 시스템 및 그방법
US8138409B2 (en) * 2007-08-10 2012-03-20 Sonicjam, Inc. Interactive music training and entertainment system
CN101131816B (zh) 2007-09-30 2012-01-04 炬力集成电路设计有限公司 一种音频文件生成方法、装置及数码播放器
TWI343532B (en) * 2007-11-19 2011-06-11 Inventec Besta Co Ltd Network chorusing system and method thereof
JP2010014823A (ja) * 2008-07-01 2010-01-21 Nippon Telegr & Teleph Corp <Ntt> 楽曲情報制御装置
JP4844623B2 (ja) * 2008-12-08 2011-12-28 ヤマハ株式会社 合唱合成装置、合唱合成方法およびプログラム
JP5331494B2 (ja) * 2009-01-19 2013-10-30 株式会社タイトー カラオケサービスシステム、端末装置
CN101483536B (zh) 2009-02-10 2010-11-03 腾讯科技（深圳）有限公司 传输用于实现网络卡拉ok的数据的方法、系统和客户端
CN101859561B (zh) 2009-04-07 2012-12-26 林文信 伴唱歌词自动显示方法
US20110126103A1 (en) * 2009-11-24 2011-05-26 Tunewiki Ltd. Method and system for a "karaoke collage"
JP2011191357A (ja) 2010-03-12 2011-09-29 Yamaha Corp カラオケシステム
JP5429495B2 (ja) * 2010-07-28 2014-02-26 ブラザー工業株式会社 録画装置及び録画プログラム
CN102456340A (zh) * 2010-10-19 2012-05-16 盛大计算机（上海）有限公司 基于互联网的卡拉ok对唱方法及系统
TW201228290A (en) * 2010-12-28 2012-07-01 Tse-Ming Chang Networking multi-person asynchronous chorus audio/video works system
CN102497448A (zh) 2011-12-26 2012-06-13 深圳市五巨科技有限公司 一种移动终端在线音乐播放的方法及系统
JP2014006480A (ja) 2012-06-27 2014-01-16 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN103165119B (zh) 2013-01-31 2015-12-09 华为技术有限公司 K歌方法及系统
CN103295568B (zh) * 2013-05-30 2015-10-14 小米科技有限责任公司 一种异步合唱方法和装置
US9224374B2 (en) * 2013-05-30 2015-12-29 Xiaomi Inc. Methods and devices for audio processing
CN103337240B (zh) 2013-06-24 2016-03-30 华为技术有限公司 处理语音数据的方法、终端、服务器及系统
CN103841278B (zh) 2014-03-11 2017-11-28 华为技术有限公司 歌曲点唱的处理方法、装置及系统
CN104392711A (zh) 2014-08-27 2015-03-04 贵阳朗玛信息技术股份有限公司 一种实现卡拉ok功能的方法及装置
CN105006234B (zh) * 2015-05-27 2018-06-29 广州酷狗计算机科技有限公司 一种k歌处理方法及装置
CN105023559A (zh) * 2015-05-27 2015-11-04 腾讯科技（深圳）有限公司 K歌处理方法及系统
CN104966527B (zh) * 2015-05-27 2017-04-19 广州酷狗计算机科技有限公司 K歌处理方法、装置以及k歌处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024774A (ko) * 2019-08-26 2021-03-08 주식회사 이멜벤처스 노래방 어플리케이션에서의 듀엣 노래부르기 제공 방법 및 시스템

Also Published As

Publication number Publication date
WO2016188211A1 (zh) 2016-12-01
EP3306606A1 (en) 2018-04-11
US20180090116A1 (en) 2018-03-29
JP2018519536A (ja) 2018-07-19
US10403255B2 (en) 2019-09-03
EP3306606A4 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
KR20180012800A (ko) 오디오 처리 방법, 장치 및 시스템
JP6456525B2 (ja) カラオケ処理方法、装置、およびシステム
TWI576822B (zh) Ｋ歌處理方法及系統
US9602388B2 (en) Session terminal apparatus and network session system
CN103915086A (zh) 信息处理的方法、装置和系统
JP6452229B2 (ja) カラオケ効果音設定システム
JP5311071B2 (ja) 楽曲再生装置及び楽曲再生プログラム
JP2013160890A (ja) 情報処理プログラム、情報処理装置、歌詞表示方法、及び通信システム
JP6944357B2 (ja) 通信カラオケシステム
JP6170692B2 (ja) 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム
JP5902119B2 (ja) カラオケ装置、カラオケプログラム、及び記録媒体
CN113270080A (zh) 合唱方法、系统、装置、终端及计算机可读存储介质
JP4397330B2 (ja) 楽曲再生装置及び楽曲再生プログラム
JP6543897B2 (ja) 楽曲再生装置、および楽曲再生プログラム。
JP6924119B2 (ja) カラオケ装置
JP6220576B2 (ja) 複数人による通信デュエットに特徴を有する通信カラオケシステム
KR102244150B1 (ko) 블록체인과 스마트 단말기를 이용한 온라인 노래방 시스템 및 이를 이용한 온라인으로 노래하는 방법
JP2009521008A (ja) コンテンツアイテムを混合するときに音の衝突を回避する電子装置及び方法
JP6574697B2 (ja) カラオケシステム
JP2021157007A (ja) フォトムービー生成システム、フォトムービー生成装置、ユーザ端末、フォトムービー生成方法、及びプログラム
JP5510435B2 (ja) カラオケ装置及びプログラム
JPWO2020208811A1 (ja) 再生制御装置、プログラムおよび再生制御方法
JP2015032949A (ja) 通信装置及びプログラム
JP2008176347A (ja) 楽曲再生装置及び楽曲再生プログラム
JP2013117552A (ja) 音声制御装置、音声制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application