KR102523768B1 - 비디오 더빙 방법, 디바이스, 장치 및 저장 매체 - Google Patents

비디오 더빙 방법, 디바이스, 장치 및 저장 매체 Download PDF

Info

Publication number
KR102523768B1
KR102523768B1 KR1020227027484A KR20227027484A KR102523768B1 KR 102523768 B1 KR102523768 B1 KR 102523768B1 KR 1020227027484 A KR1020227027484 A KR 1020227027484A KR 20227027484 A KR20227027484 A KR 20227027484A KR 102523768 B1 KR102523768 B1 KR 102523768B1
Authority
KR
South Korea
Prior art keywords
video
audio recording
audio
timeline
target video
Prior art date
Application number
KR1020227027484A
Other languages
English (en)
Other versions
KR20220119743A (ko
Inventor
얀 쩡
첸 차오
치판 쳉
핑페이 푸
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20220119743A publication Critical patent/KR20220119743A/ko
Application granted granted Critical
Publication of KR102523768B1 publication Critical patent/KR102523768B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Abstract

본 개시는 비디오 더빙 방법, 디바이스, 장치 및 저장 매체를 제공한다. 방법은: 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작을 수신하면, 제1 시점에 대응하는 비디오 프레임으로부터 시작하여, 타임라인에 기초하여 타겟 비디오를 재생하는 단계 및 오디오 데이터를 수신하는 단계; 및 제2 시점에 대한 오디오 레코딩 종료 트리거 동작을 수신하면, 오디오 레코딩 파일을 생성하는 단계를 포함하고, 오디오 레코딩 파일은 제1 시점에 대응하는 비디오 프레임을 시작 프레임으로 하고 및 제2 시점에 대응하는 비디오 프레임을 종료 프레임으로 하는, 비디오 세그먼트의 타임라인과 연결 관계를 갖는다. 본 개시는 타겟 비디오를 재생하면서 타임라인 기반의 오디오 레코딩이 가능하도록 하고, 차례로 대응하는 비디오 세그먼트의 타임라인과 연결된 오디오 레코딩 파일을 생성하여, 오디오 레코딩 파일과 비디오 세그먼트의 타임라인이 이후 작업을 위해 다시 정렬할 필요가 없으므로, 정확한 비디오 더빙 결과가 용이하고, 수동 타임라인 정렬의 지루한 작업으로 인해, 부정확한 더빙 결과가 발생하지 않는다.

Description

비디오 더빙 방법, 디바이스, 장치 및 저장 매체
본 개시는 데이터 처리 분야에 관한 것으로, 보다 상세하게는 비디오 더빙 방법(video dubbing method), 장치(apparatus), 디바이스(device) 및 저장 매체(storage medium)에 관한 것이다.
본 출원은 2020년 7월 23일에 출원된 중국 특허 출원 번호 202010728035.2에 대한 우선권을 주장하며, 그 전체 개시는 본 출원의 일부로서 참고로 여기에 포함된다.
비디오 더빙(video dubbing)은 디바이스를 통해 소리를 레코딩하여 비디오의 픽처를 더빙하는 것을 말한다. 현재, 오디오 데이터는 일반적으로 오디오 데이터(audio data)를 포함하는 오디오 레코딩 파일(audio recording file)을 얻기 위해 별도의 오디오 레코딩 창(audio recording window)에 기초하여 레코딩되고, 그런 다음 타겟 비디오의 오디오 트랙(audio track)에 오디오 레코딩 파일이 추가되고 수동으로 타임라인(timeline)을 맞추면, 타겟 비디오의 더빙이 완료된다.
그러나, 타겟 비디오의 더빙을 완료하려면, 사용자가 오디오 레코딩을 수행해야 할 뿐만 아니라, 오디오 레코딩 파일을 타겟 비디오의 오디오 트랙의 타임라인과 수동으로 일치시켜야 하므로, 분명히 복잡한 작업이다. 또한, 수동으로 타임라인을 일치시키면 비디오 더빙 결과가 부정확해지는 문제가 있을 수 있다.
전술한 문제점을 해결하거나 전술한 문제점을 적어도 부분적으로 해결하기 위해, 본 개시는 수동으로 타임라인을 맞출 필요가 없는 비디오 더빙 방법, 장치, 디바이스 및 저장 매체를 제공하고, 비디오 더빙 결과의 정확도를 향상시킨다.
제1 측면에서, 본 개시는 비디오 더빙 방법을 제공하고, 방법은:
타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 제1 시점에 대응하는 비디오 픽처(video picture)로부터 시작하여, 타임라인에 기초하여 타겟 비디오를 재생하는 단계 및 타임라인에 기초하여 오디오 데이터를 수신하는 단계; 및
타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계를 포함하고, 오디오 레코딩 파일이 비디오 클립(video clip)을 더빙하기 위해 구성되고, 비디오 클립은 제1 시점에 대응하는 비디오 픽처를 시작 프레임(starting frame)으로 취하고, 제2 시점에 대응하는 비디오 픽처를 종료 프레임(ending frame)으로 취하고, 오디오 레코딩은 파일은 비디오 클립의 타임라인과 연결 관계(linkage relationship)를 가진다.
선택적인 실시예에서, 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작(end trigger operation)에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계는:
타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신할 때 재생되고 있는 비디오 픽처를 따르도록 오디오 트랙 상의 포인터(pointer)를 제어하는 단계를 더 포함하고, 포인터는 현재 오디오 레코딩 진행을 나타내도록 구성된다.
선택적 실시예에서, 방법은:
비디오 더빙이 일시정지된 상태에서, 포인터에 대한 드래그 동작에 응답하여, 드래그 동작의 타겟 프레임에 대응하는 시점을 사용하여 제1 시점을 업데이트하는 단계를 더 포함한다.
선택적인 실시예에서, 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작(end trigger operation)에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계는:
타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신할 때 타임라인에 기초하여 오디오 데이터의 파형도를 표시하는 단계를 더 포함한다.
선택적인 실시예에서, 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 제1 시점에 대응하는 비디오 픽처로부터 시작하기 전에, 타임라인에 기초하여 타겟 비디오를 재생하는 단계 및 타임라인에 기초하는 오디오 데이터를 수신하는 단계는:
타겟 비디오의 제1 시점의 위치에 플래싱 애니메이션(flashing animation)을 표시하는 단계를 더 포함하고, 플래싱 애니메이션은 제1 시점에 기초하여 오디오 레코딩의 준비를 프롬프트 하도록 구성된다.
선택적인 실시예에서, 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계는:
비디오 클립의 타임라인과 연계된 비디오 클립 및 오디오 레코딩 파일에 대해 재생 미리보기를 수행하는 단계를 더 포함한다.
제2 측면에서, 본 개시는 비디오 더빙 장치(video dubbing apparatus)를 더 제공하고, 장치는:
타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 제1 시점에 대응하는 비디오 픽처로부터 시작하여, 타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하고 오디오 데이터를 수신하도록 구성되는 수신 모듈(receiving module); 및
타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하도록 구성되는 생성 모듈(generation module)을 포함하고; 오디오 레코딩 파일이 비디오 클립을 더빙하기 위해 구성되고, 비디오 클립은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로 취하고, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취하고, 오디오 레코딩은 파일은 비디오 클립의 타임라인과 연결 관계를 가진다.
선택적인 실시예에서, 장치는:
타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신할 때 재생되고 있는 비디오 픽처를 따르도록 오디오 트랙 상의 포인터를 제어하도록 구성되는 제어 모듈(control module)을 더 포함하고, 포인터는 현재 오디오 레코딩 진행을 나타내도록 구성된다.
제3 측면에서, 본 개시는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 명령(instruction)은 컴퓨터 판독 가능한 저장 매체에 저장되고, 명령은, 단말 디바이스에서 실행될 때, 단말 디바이스가 상술된 방법 중 어느 하나를 구현할 수 있게 한다.
제4 측면에서, 본 개시는 메모리; 프로세서; 및 메모리에 저장되고 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하며, 여기서 프로세서는, 컴퓨터 프로그램을 실행할 때, 위에서 언급된 방법 중 어느 하나를 구현한다.
종래 기술과 비교하여, 본 개시의 실시예에 의해 제공되는 기술적 솔루션은 다음과 같은 이점이 있다.
본 개시는 비디오 더빙 방법을 제공하고, 그 방법은: 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작을 수신할 때, 제1 시점에 대응하는 비디오 픽처로부터 시작하여, 타임라인에 기초하여 타겟 비디오를 재생하는 단계 및 타임라인에 기초하여 오디오 데이터를 수신하는 단계; 및 제2 시점에 대한 오디오 레코딩 종료 트리거 동작을 수신할 때, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계를 포함한다. 상술된 방법에서, 오디오 레코딩 파일은 비디오 클립의 타임라인과 연결 관계를 가지고, 비디오 클립은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로 취하고, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취한다. 본 개시는 타겟 비디오을 재생하면서 타임라인에 기초하여 오디오 레코딩을 수행하기 때문에, 생성된 오디오 레코딩 파일은 대응하는 비디오 클립의 타임라인과 연결 관계를 가지고, 즉, 오디오 레코딩 파일과 비디오 클립의 타임라인을 다시 일치시키지 않고도, 보다 정확한 비디오 더빙 결과를 얻을 수 있으므로, 타임라인을 수동으로 일치시켜 발생하는 복잡한 작업 및 부정확한 비디오 더빙 결과의 문제를 피할 수 있다.
본 명세서의 도면은 본 명세서에 통합되어 본 명세서의 일부를 형성하며, 본 개시에 따른 실시예를 도시하고, 본 개시의 원리를 설명하기 위해 명세서와 함께 사용된다.
본 개시의 실시예 또는 선행 기술의 기술 솔루션을 보다 명확하게 설명하기 위해, 이하에서는 실시예 또는 종래 기술의 설명에 사용되어야 하는 도면을 간략하게 소개한다. 당업자라면 이러한 도면으로부터 창의적인 노동 없이 다른 도면을 얻을 수 있음은 자명하다.
도 1은 본 개시의 일 실시예에서 제공하는 비디오 더빙 방법의 흐름도이다;
도 2는 본 개시의 적어도 하나의 실시예에 의해 제공되는 레코딩되지 않은 상태의 비디오 오디오 레코딩(video audio recording)의 인터페이스의 개략도이다;
도 3은 본 개시의 적어도 하나의 실시예에 의해 제공되는 레코딩 상태의 비디오 오디오 레코딩의 인터페이스의 개략도이다;
도 4는 본 개시의 적어도 하나의 실시예에서 제공하는 비디오 더빙 장치의 구조 블록도이다; 및
도 5는 본 개시의 적어도 하나의 실시예에 의해 제공되는 비디오 더빙 디바이스의 구조적 블록도이다.
상술한 본 개시의 목적, 특징 및 이점을 보다 잘 이해하기 위하여, 본 개시의 해결방안을 아래에서 더 설명한다. 본 개시의 실시예 및 실시예의 특징은 충돌이 없는 경우에 서로 결합될 수 있음에 유의해야 한다.
본 개시내용의 완전한 이해를 용이하게 하기 위해 많은 특정 세부사항이 하기 설명에 예시되어 있으며, 그러나 본 개시는 또한 여기에 설명된 것과 다른 방식으로 구현될 수 있고; 명백하게, 기술된 실시예들은 단지 일부일 뿐이지, 본 개시의 모든 실시예는 아니다.
현재, 비디오는 보통 별도의 오디오 레코딩 창에 기초하여 더빙된다. 오디오 레코딩 파일을 얻은 후 오디오 레코딩 파일을 비디오의 타임라인과 수동으로 일치시키고 마지막으로 비디오 더빙을 완료해야 한다.
그러나, 오디오 레코딩 파일을 비디오의 타임라인에 수동으로 일치시키는 방식은 복잡한 작업의 문제가 있을 뿐만 아니라 부정확한 비디오 더빙 결과를 초래할 수 있다.
이를 위해, 본 개시는 비디오 더빙 방법을 제공하고, 방법은: 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작을 수신할 때, 제1 시점에 대응하는 비디오 픽처로부터 시작하여, 타임라인에 기초하여 타겟 비디오를 재생하는 단계 및 타임라인에 기초하여 오디오 데이터를 수신하는 단계; 및 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작을 수신할 때, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계를 포함한다. 상술된 방법에서, 오디오 레코딩 파일은 비디오 클립의 타임라인과 연결 관계를 가지고, 비디오 클립은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로 취하고, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취한다.
본 개시는 타겟 비디오를 재생하면서 타임라인에 기초하여 오디오 레코딩을 하기 때문에, 생성된 오디오 레코딩 파일은 대응하는 비디오 클립의 타임라인과 연결 관계를 가지고, 즉, 오디오 레코딩 파일과 비디오 클립의 타임라인을 다시 일치시키지 않고도, 보다 정확한 비디오 더빙 결과를 얻을 수 있으므로, 타임라인을 수동으로 일치시켜 발생하는 복잡한 작업 및 부정확한 비디오 더빙 결과의 문제를 피할 수 있다.
이에 기초하여, 본 개시의 적어도 일 실시예는 비디오 더빙 방법을 제공한다. 도 1은 본 개시의 적어도 하나의 실시예에서 제공하는 비디오 더빙 방법의 흐름도로서, 다음과 같은 동작을 포함한다.
S101은: 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 제1 시점에 대응하는 비디오 픽처(video picture)로부터 시작하여, 타임라인에 기초하여 타겟 비디오를 재생하는 단계 및 타임라인에 기초하여 오디오 데이터를 수신하는 단계.
예를 들어, 타겟 비디오는 본 개시의 실시예의 처리 대상으로서 사전에 획득된 임의의 비디오이다.
예를 들어, 제1 시점은 타겟 비디오의 시작 시점 또는 타겟 비디오의 임의의 시점이다. 제1 시점은 사용자의 오디오 레코딩 요구 사항(audio recording requirement)에 따라 결정될 수 있다.
실제 애플리케이션에서, 타겟 비디오를 더빙하기 전에 타겟 비디오의 오디오 트랙이 먼저 표시된다. 도 2는 본 개시의 적어도 실시예에 의해 제공되는 레코딩되지 않은 상태의 비디오 오디오 레코딩의 인터페이스의 개략도이다. 예를 들어, 사용자는 오디오 트랙에서 오디오 레코딩이 시작되는 타겟 비디오의 제1 시점을 결정하고, 그런 다음 제1 시점에 대한 오디오 레코딩 시작 동작을 트리거할 수 있다. 구체적으로, 제1 시점부터 오디오 레코딩 시작 동작은 오디오 레코딩 시작 버튼을 클릭하는 동작에 의해 트리거될 수 있다.
따라서, 시스템은, 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작을 수신하고 타겟 비디오의 제1 시점에 대응하는 비디오 픽처로부터 시작한 후에, 타임라인에 기초하여 타겟 비디오를 재생하고, 비디오 오디오 레코딩을 실현하기 위해 타임라인에 기초하여 사용자가 입력한 오디오 데이터를 수신한다.
본 개시의 실시예에서는 동일한 타임라인에 기초하여 제1 시점에 대응하는 비디오 픽처로부터 타겟 비디오를 재생함과 동시에 사용자에 의해 입력된 오디오 데이터를 수신한다. 따라서, 최종적으로 획득한 오디오 레코딩 파일은 타겟 비디오의 타임라인과 연결 관계를 가지며, 이후에 오디오 레코딩 파일과 타겟 비디오의 타임라인을 일치시킬 필요가 없다.
선택적인 실시예에서, 타겟 비디오의 제1 시점을 결정한 후, 비디오 오디오 레코딩의 인터페이스는 타겟 비디오의 제1 시점의 위치에서 플래싱 애니메이션을 표시한다. 예를 들어, 플래싱 애니메이션은 도 2에 도시된 바와 같이 "오디오 레코딩 준비..."의 플래싱 애니메이션으로, 제1 시점에 기초하여 사용자에게 오디오 레코딩을 준비하도록 프롬프트 하도록 구성된다. 예를 들어, 도 2에서 포인터의 위치는 타겟 비디오의 제1 시점의 위치이다.
예를 들어, 플래싱 애니메이션을 표시하는 제1 시점의 위치는 타겟 비디오의 오디오 트랙에서 제1 시점 부근의 위치를 포함한다.
S102는: 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계.
예를 들어, 오디오 레코딩 파일이 비디오 클립을 더빙하기 위해 구성되고, 비디오 클립은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로 취하고 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취하고, 오디오 레코딩 파일은 비디오 클립의 타임라인과 연결 관계를 가진다.
예를 들어, 제2 시점은 타겟 비디오의 종료 시점 또는 타겟 비디오의 임의의 시점이다. 제2 시점은 사용자의 레코딩 요구 사항에 따라 결정될 수 있다. 예를 들어, 제2 시점은 타겟 비디오의 제1 시점 이후이다.
실제 응용에서, 사용자는 오디오 트랙의 타겟 비디오에서 오디오 레코딩을 종료하기 위한 제2 시점을 결정할 수 있고, 그런 다음 제2 시점에 대한 오디오 레코딩 종료 동작을 트리거할 수 있다. 구체적으로, 제1 시점부터 제2 시점까지의 오디오 레코딩 종료 동작은 오디오 레코딩 종료 버튼을 클릭하는 동작에 의해 트리거될 수 있다.
본 개시의 실시예에서, 오디오 레코딩 종료 트리거 동작을 수신한 후, 제1 시점부터 제2 시점까지 수신된 오디오 데이터를 포함하는 오디오 레코딩 파일이 생성된다. 예를 들어, 오디오 레코딩 파일은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 비디오 클립을 더빙하도록 구성된다.
오디오 레코딩 파일은 비디오 클립의 타임라인과 연결 관계를 가지므로, 본 개시의 실시예는 오디오 레코딩 파일과 비디오 클립의 타임라인을 일치시키지 않고도 보다 정확한 비디오 더빙 결과를 자동으로 얻을 수 있다.
선택적인 실시예에서, 사용자가 현재 더빙 진행 상황을 알 수 있도록 하기 위해, 오디오 트랙의 포인터는 타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신하는 프로세스에서 재생 중인 비디오 픽처를 따르도록 제어될 수 있고, 및 포인터의 위치는 현재 오디오 레코딩 진행 상황을 나타내도록 구성된다. 도 3은 본 개시의 적어도 실시예에 의해 제공되는 레코딩 상태에서 비디오 오디오 레코딩의 인터페이스의 개략도이고, 예를 들어, 오디오 트랙 상의 포인터는 재생 중인 비디오 픽처에 따라 도 2의 포인터의 시작 위치에서 도 3의 위치로 이동한다.
또 다른 선택적인 실시예에서, 더빙된 부분의 레코딩 데이터가 성공적으로 시스템에 수신되었음을 사용자가 보다 직관적으로 느낄 수 있도록, 즉, 오디오 레코딩이 효과적이고, 본 개시의 적어도 하나의 실시예는 타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신하는 프로세스에서 타임라인에 기초하여 수신된 오디오 데이터의 파형도(waveform diagram)를 표시한다. 파형도 표시를 통해 사용자는 더빙된 부분의 오디오 데이터가 효과적임을 보다 직관적으로 느낄 수 있다. 도 3에 도시된 바와 같이, 오디오 데이터의 파형도는 더빙된 부분의 오디오 트랙에 표시되고, "오디오 레코딩..."이라는 프롬프트는 또한 사용자에게 오디오 레코딩이 현재 진행 중임을 프롬프트 하기 위해 파형도 아래에 표시될 수 있다.
다른 선택적인 실시예에서, 비디오 더빙 일시정지(video dubbing pause)는 일시정지 더빙 버튼에 의해 트리거된다. 비디오 더빙이 일시정지된 상태에서 타겟 비디오는 비디오 픽처 재생을 중지하고 사용자가 입력한 오디오 데이터 수신을 중지한다. 비디오 더빙이 일시 중지된 상태에서, 사용자는 제1 시점의 업데이트, 즉, 오디오 트랙 상의 포인터를 타겟 비디오의 비디오 프레임에 대응하는 시점으로 드래그하여 비디오 더빙의 시작 시점을 업데이트를 트리거할 수 있다
구체적으로, 비디오 더빙이 일시정지된 상태에서, 오디오 트랙 상의 포인터에 대한 드래그 동작이 수신되고, 드래그 동작의 타겟 프레임에 대응하는 시점을 사용하여 비디오 더빙의 제1 시점이 업데이트된다. 예를 들어, 드래그 동작의 타겟 프레임은 드래그 동작에 대응하는 마우스를 놓을 때의 비디오 프레임이고, 제1 시점은 비디오 프레임에 대응하는 시점으로 업데이트된다. 이어서, 제2 시점이 결정된 후, 업데이트된 제1 시점부터 제2 시점까지의 비디오 클립에 대한 더빙 동작이 트리거된다.
다른 선택적인 실시예에서, 비디오 더빙이 완료된 후, 비디오 더빙에 대응하는 오디오 레코딩 파일 및 비디오 클립이 미리보기 된다. 구체적으로, 타임라인과 연계된 오디오 레코딩 파일과 비디오 클립을 미리보기 재생되어, 사용자가 비디오 더빙이 완료된 후 비디오 재생 픽처를 느낄 수 있도록 한다.
본 개시의 실시예에서 제공하는 비디오 더빙 방법에 있어서, 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작을 수신하고, 제1 시점에 대응하는 비디오 픽처로부터 시작할 때, 타겟 비디오는 타임라인에 기초하여 재생되고 오디오 데이터는 타임라인에 기초하여 수신된다. 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작을 수신하면, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하고, 오디오 레코딩 파일은 오디오 레코딩 파일은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취하는 비디오 클립의 타임라인과 연결 관계를 가진다. 본 개시의 실시예는 타겟 비디오를 재생하면서 타임라인에 기초하여 오디오 레코딩을 하기 때문에, 생성된 오디오 레코딩 파일은 대응하는 비디오 클립의 타임라인과 연결 관계를 가지고, 즉, 오디오 레코딩 파일과 비디오 클립의 타임라인을 다시 일치시키지 않고도, 보다 정확한 비디오 더빙 결과를 얻을 수 있으므로, 타임라인을 수동으로 일치시켜 발생하는 복잡한 작업 및 부정확한 비디오 더빙 결과의 문제를 피할 수 있다.
본 개시는 전술한 방법 실시예와 동일한 본 개시의 개념에 기초하여 비디오 더빙 장치를 더 제공한다. 도 4는 본 개시의 적어도 하나의 실시예에 의해 제공되는 비디오 더빙 장치의 구조적 블록도이고, 장치는 수신 모듈(receiving module)(401) 및 생성 모듈(generation module)(402)을 포함한다.
수신 모듈(401)은, 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 제1 시점에 대응하는 비디오 픽처로부터 시작하여 타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신하도록 구성된다.
생성 모듈(402)은, 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하도록 구성된다. 예를 들어, 오디오 레코딩 파일은 비디오 클립을 더빙하도록 구성되고, 비디오 클립은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로 취하고, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취하고, 오디오 레코딩 파일은 비디오 클립의 타임라인과 연결 관계가 있다.
선택적인 실시예에서, 장치는 제어 모듈을 더 포함한다.
타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신할 때 재생되고 있는 비디오 픽처를 따르도록 오디오 트랙 상의 포인터를 제어하도록 구성되는 제어 모듈을 더 포함하고, 포인터는 현재 오디오 레코딩 진행을 나타내도록 구성된다.
선택적인 실시예에서, 장치는 업데이트 모듈(update module)을 더 포함한다.
업데이트 모듈(update module)은, 비디오 더빙이 일시정지된 상태에서 포인터에 대한 드래그 동작에 응답하여, 드래그 동작의 타겟 프레임에 대응하는 시점을 사용하여 제1 시점을 업데이트하도록 구성된다.
선택적인 실시예에서, 장치는 제1 표시 모듈(first display module)을 더 포함한다.
제1 표시 모듈은 타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신할 때 타임라인에 기초하여 오디오 데이터의 파형도를 표시하도록 구성된다.
선택적인 실시예에서, 장치는 제2 표시 모듈(second display module)을 더 포함한다.
제2 표시 모듈은 타겟 비디오의 제1 시점의 위치에 플래싱 애니메이션을 표시하도록 구성되고, 플래싱 애니메이션은 제1 시점에 기초하여 오디오 레코딩 준비를 프롬프트 하도록 구성된다.
선택적인 실시예에서, 장치는 미리보기 모듈(preview module)을 더 포함한다.
미리보기 모듈은 오디오 레코딩 파일 및 비디오 클립에 대한 미리보기 재생을 수행하도록 구성된다.
본 개시의 실시예에서 제공되는 비디오 더빙 장치는, 타겟 비디오의 제1 시점에 대한 오디오 레코딩 시작 트리거 동작을 수신하고 제1 시점에 대응하는 비디오 픽처로부터 시작할 때, 타임라인에 기초하여 타겟 비디오를 재생하고 타임라인에 기초하여 오디오 데이터를 수신한다. 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작을 수신하면, 제1 시점부터 제2 시점까지의 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하고, 오디오 레코딩 파일은 오디오 레코딩 파일은 제1 시점에 대응하는 비디오 픽처를 시작 프레임으로, 제2 시점에 대응하는 비디오 픽처를 종료 프레임으로 취하는 비디오 클립의 타임라인과 연결 관계를 가진다. 본 개시의 실시예는 타겟 비디오를 재생하면서 타임라인에 기초하여 오디오 레코딩을 하기 때문에, 생성된 오디오 레코딩 파일은 대응하는 비디오 클립의 타임라인과 연결 관계를 가지고, 즉, 오디오 레코딩 파일과 비디오 클립의 타임라인을 다시 일치시키지 않고도, 보다 정확한 비디오 더빙 결과를 얻을 수 있으므로, 타임라인을 수동으로 일치시켜 발생하는 복잡한 작업 및 부정확한 비디오 더빙 결과의 문제를 피할 수 있다.
또한, 본 개시의 적어도 일 실시예는 도 5에 도시된 바와 같이 비디오 더빙 디바이스(video dubbing device)를 더 제공하며, 디바이스는 프로세서(processor)(501), 메모리(memory)(502), 입력 장치(input apparatus)(503) 및 출력 장치(output apparatus)(504)를 포함한다. 비디오 더빙 디바이스의 프로세서(501)의 양은 하나 이상일 수 있으며, 도 5에서는 하나의 프로세서를 예로 들어 설명한다. 본 개시의 일부 실시예에서, 프로세서(501), 메모리(502), 입력 장치(503), 및 출력 장치(504)는 버스 또는 다른 수단을 통해 연결될 수 있고, 그 중 버스를 통한 연결은 도 5의 예이다.
메모리(502)는 소프트웨어 프로그램 및 모듈을 저장할 수 있고, 프로세서(501)는 메모리(502)에 저장된 소프트웨어 프로그램 및 모듈을 실행하여 비디오 더빙 디바이스의 다양한 기능 애플리케이션 및 데이터 처리를 실행한다. 메모리(502)는 주로 저장 프로그램 영역과 저장 데이터 영역을 포함할 수 있고, 저장 프로그램 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램 등을 저장할 수 있다. 또한, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 휘발성 고체 상태 저장 디바이스와 같은 비휘발성 메모리를 더 포함할 수 있다. 입력 장치(503)는 입력 디지털 또는 문자 정보를 수신할 수 있고 비디오 더빙 디바이스의 사용자 설정 및 기능 제어와 관련된 신호 입력을 생성할 수 있다.
구체적으로, 일 실시예에서, 프로세서(501)는 명령에 따라 하나 이상의 애플리케이션의 프로세스에 대응하는 실행 파일을 메모리(502)에 로드할 수 있고, 메모리(502)에 저장된 애플리케이션은 프로세서(501)에 의해 실행되어, 위에서 언급한 비디오 더빙 디바이스의 다양한 기능을 실현한다.
여기에서 "제1" 및 "제2"와 같은 관계 용어는 한 엔터티 또는 작업을 다른 엔터티 또는 작업과 구별하는 데만 사용되고, 이러한 엔터티 또는 작업 간의 실제 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 더욱이, 용어 "포함하다(include)", "포함하다(comprise)" 또는 이들의 다른 변형은 비배타적 포함을 포함하도록 의도되어 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 디바이스는 이러한 요소뿐만 아니라, 명시적으로 나열되지 않은 기타 요소 또는 프로세스, 방법, 물품 또는 디바이스에 고유한 요소도 포함된다. 추가 제한 없이 "...를 포함한다"라는 문장으로 정의된 요소는 대응하는 요소를 포함하는 프로세스, 방법, 물품 또는 디바이스에서 다른 동일한 요소의 존재를 배제하지 않는다.
이상에서 설명된 것은 본 개시의 특정 구현에 불과하며, 이를 통해 당업자는 본 개시를 이해하거나 구현할 수 있다. 이들 실시예에 대한 다양한 수정은 당업자에게 명백할 것이며, 여기에 정의된 일반적인 원리는 본 개시의 사상 또는 범위를 벗어나지 않고 다른 실시예에서 구현될 수 있다. 따라서, 본 개시는 여기에 설명된 실시예에 제한되지 않고, 여기에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범위를 따를 것이다.

Claims (10)

  1. 비디오 더빙 방법에 있어서,
    타겟 비디오의 오디오 트랙을 표시하는 단계, 및 상기 타겟 비디오에서 오디오 녹음이 시작되는 상기 오디오 트랙 상의 제1 시점을 결정하는 단계;
    상기 타겟 비디오의 상기 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 상기 제1 시점에 대응하는 비디오 픽처로부터 시작하여, 타임라인에 기초하여 상기 타겟 비디오를 재생하는 단계 및 상기 타임라인에 기초하여 오디오 데이터를 수신하는 단계, 재생 중인 비디오 픽처를 따라가도록 상기 오디오 트랙 상의 포인터를 제어하는 단계, 및 상기 오디오 데이터를 수신하는 경우, 더빙된 부분의 상기 오디오 트랙 상에 상기 오디오 데이터의 파형도를 실시간으로 표시하는 단계 - 상기 포인터는 현재 오디오 녹음 진행을 나타내도록 구성됨 -; 및
    상기 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 상기 제1 시점부터 상기 제2 시점까지의 상기 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하는 단계를 포함하고,
    상기 오디오 레코딩 파일이 비디오 클립을 더빙하기 위해 구성되고, 상기 비디오 클립은 상기 제1 시점에 대응하는 상기 비디오 픽처를 시작 프레임으로 취하고, 상기 제2 시점에 대응하는 상기 비디오 픽처를 종료 프레임으로 취하고, 상기 오디오 레코딩 파일은 상기 비디오 클립의 타임라인과 연결 관계를 갖는
    방법.
  2. 제1항에 있어서,
    비디오 더빙이 일시정지된 상태에서, 포인터에 대한 드래그 동작에 응답하여, 드래그 동작의 타겟 프레임에 대응하는 시점을 사용하여 제1 시점을 업데이트하는 단계를 더 포함하는
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 타겟 비디오의 제1 시점에 대한 상기 오디오 레코딩 시작 트리거 동작에 응답하여, 상기 제1 시점에 대응하는 상기 비디오 픽처로부터 시작하기 전에, 상기 타임라인에 기초하여 상기 타겟 비디오를 재생하는 단계 및 상기 타임라인에 기초하는 상기 오디오 데이터를 수신하는 단계는:
    상기 타겟 비디오의 제1 시점의 위치에 플래싱 애니메이션을 표시하는 단계를 더 포함하고, 상기 플래싱 애니메이션은 상기 제1 시점에 기초하여 오디오 레코딩의 준비를 프롬프트 하도록 구성되는
    방법.
  4. 제1항 또는 제2항에 있어서,
    상기 타겟 비디오의 제2 시점에 대한 상기 오디오 레코딩 종료 트리거 동작에 응답한 이후에, 상기 제1 시점부터 상기 제2 시점까지의 상기 오디오 데이터를 포함하는 상기 오디오 레코딩 파일을 생성하는 단계는:
    상기 타임라인과 연계된 상기 비디오 클립 및 상기 오디오 레코딩 파일에 대해 재생 미리보기를 수행하는 단계를 더 포함하는
    방법.
  5. 비디오 더빙 장치에 있어서,
    타겟 비디오의 오디오 트랙을 표시하고 상기 타겟 비디오에서 오디오 녹음이 시작되는 상기오디오 트랙 상의 제1 시점을 결정하도록 구성된 결정 모듈;
    상기 타겟 비디오의 상기 제1 시점에 대한 오디오 레코딩 시작 트리거 동작에 응답하여, 상기 제1 시점에 대응하는 비디오 픽처로부터 시작하여, 타임라인에 기초하여 상기 타겟 비디오를 재생하고 상기 타임라인에 기초하고 오디오 데이터를 수신하도록 구성되는 수신 모듈;
    상기 타임라인에 기초하여 상기 타겟 비디오를 재생하고 상기 타임라인에 기초하여 상기 오디오 데이터를 수신할 때 재생되고 있는 비디오 픽처를 따르도록 상기 오디오 트랙 상의 포인터를 제어하도록 구성된 제어 모듈 - 상기 포인터는 현재 오디오 녹음 진행을 나타내도록 구성됨 -;
    상기 오디오 데이터를 수신하는 경우, 더빙된 부분의 오디오 트랙 상에 상기 오디오 데이터의 파형도를 실시간으로 표시하도록 구성된 표시 모듈; 및
    상기 타겟 비디오의 제2 시점에 대한 오디오 레코딩 종료 트리거 동작에 응답하여, 상기 제1 시점부터 상기 제2 시점까지의 상기 오디오 데이터를 포함하는 오디오 레코딩 파일을 생성하도록 구성되는 생성 모듈을 포함하고;
    상기 오디오 레코딩 파일이 비디오 클립을 더빙하기 위해 구성되고, 상기 비디오 클립은 상기 제1 시점에 대응하는 상기 비디오 픽처를 시작 프레임으로 취하고, 상기 제2 시점에 대응하는 상기 비디오 픽처를 종료 프레임으로 취하고, 상기 오디오 레코딩 파일은 상기 비디오 클립의 타임라인과 연결 관계를 갖는
    장치.
  6. 컴퓨터 판독 가능 저장 매체에 있어서,
    명령은 컴퓨터 판독 가능 저장 매체에 저장되고, 상기 명령이, 단말 디바이스에서 실행될 때, 상기 단말 디바이스가 제1항 또는 제2항에 따른 방법을 구현할 수 있게 하는 컴퓨터 판독 가능 저장 매체.
  7. 디바이스에 있어서,
    메모리;
    프로세서; 및
    상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하고,
    상기 프로세서는, 상기 컴퓨터 프로그램을 실행할 때, 제1항 또는 제2항에 따른 방법을 구현하는
    디바이스.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020227027484A 2020-07-23 2021-07-22 비디오 더빙 방법, 디바이스, 장치 및 저장 매체 KR102523768B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010728035.2 2020-07-23
CN202010728035.2A CN111741231B (zh) 2020-07-23 2020-07-23 一种视频配音方法、装置、设备及存储介质
PCT/CN2021/107817 WO2022017451A1 (zh) 2020-07-23 2021-07-22 视频配音方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
KR20220119743A KR20220119743A (ko) 2022-08-30
KR102523768B1 true KR102523768B1 (ko) 2023-04-20

Family

ID=72657716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027484A KR102523768B1 (ko) 2020-07-23 2021-07-22 비디오 더빙 방법, 디바이스, 장치 및 저장 매체

Country Status (10)

Country Link
US (1) US11817127B2 (ko)
EP (1) EP4090009A4 (ko)
JP (1) JP7344395B2 (ko)
KR (1) KR102523768B1 (ko)
CN (1) CN111741231B (ko)
AU (1) AU2021312196B2 (ko)
BR (1) BR112022016017A2 (ko)
CA (1) CA3167985A1 (ko)
MX (1) MX2022009952A (ko)
WO (1) WO2022017451A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741231B (zh) 2020-07-23 2022-02-22 北京字节跳动网络技术有限公司 一种视频配音方法、装置、设备及存储介质
CN113421577A (zh) * 2021-05-10 2021-09-21 北京达佳互联信息技术有限公司 一种视频配音方法、装置、电子设备和存储介质
CN114666516A (zh) * 2022-02-17 2022-06-24 海信视像科技股份有限公司 显示设备及流媒体文件合成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959773A (zh) * 2016-04-29 2016-09-21 魔方天空科技（北京）有限公司 多媒体文件的处理方法和装置
CN106911900A (zh) * 2017-04-06 2017-06-30 腾讯科技（深圳）有限公司 视频配音方法及装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4027393A (en) 1992-04-10 1993-11-18 Avid Technology, Inc. Digital audio workstation providing digital storage and display of video information
KR100236974B1 (ko) * 1996-12-13 2000-02-01 정선종 동화상과 텍스트/음성변환기 간의 동기화 시스템
US8009966B2 (en) * 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
KR20070006159A (ko) * 2005-07-07 2007-01-11 엘지전자 주식회사 오디오 더빙 제어방법
US10242415B2 (en) * 2006-12-20 2019-03-26 Digimarc Corporation Method and system for determining content treatment
JP2008310844A (ja) 2007-06-12 2008-12-25 Funai Electric Co Ltd ダビング装置
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
JP4946874B2 (ja) * 2008-01-09 2012-06-06 ソニー株式会社 再生装置および再生方法
US20110113335A1 (en) 2009-11-06 2011-05-12 Tandberg Television, Inc. Systems and Methods for Replacing Audio Segments in an Audio Track for a Video Asset
US8875025B2 (en) * 2010-07-15 2014-10-28 Apple Inc. Media-editing application with media clips grouping capabilities
JP2014506434A (ja) * 2011-01-04 2014-03-13 ソニー株式会社 メディアファイル内のイベントのロギング
US8244103B1 (en) * 2011-03-29 2012-08-14 Capshore, Llc User interface for method for creating a custom track
RU2527732C2 (ru) 2012-10-03 2014-09-10 Денис Юрьевич Чирков Способ озвучивания видеотрансляции
US20150363899A1 (en) * 2013-07-08 2015-12-17 Philip R. Krause Method and apparatus for generating and distributing creative works
CN104468317B (zh) * 2013-09-16 2018-10-12 联想(北京)有限公司 一种信息处理方法及第一电子设备
CN104104987B (zh) * 2014-07-29 2018-05-18 小米科技有限责任公司 视频播放中画面与声音同步方法及装置
US20160365087A1 (en) * 2015-06-12 2016-12-15 Geulah Holdings Llc High end speech synthesis
CN105657498B (zh) * 2016-02-17 2018-11-06 腾讯科技（深圳）有限公司 移动终端的视频录制方法和装置
CN106060424A (zh) 2016-06-14 2016-10-26 徐文波 视频配音方法和装置
CN106293347B (zh) * 2016-08-16 2019-11-12 广东小天才科技有限公司 一种人机交互的学习方法及装置、用户终端
US20180330756A1 (en) * 2016-11-19 2018-11-15 James MacDonald Method and apparatus for creating and automating new video works
US10582277B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN107197186A (zh) * 2017-04-14 2017-09-22 武汉鲨鱼网络直播技术有限公司 一种音视频压制系统及方法
CN107295416B (zh) * 2017-05-05 2019-11-22 中广热点云科技有限公司 截取视频片段的方法和装置
US11109111B2 (en) * 2017-12-20 2021-08-31 Flickray, Inc. Event-driven streaming media interactivity
KR102598824B1 (ko) * 2018-02-26 2023-11-06 구글 엘엘씨 미리 레코딩된 비디오들에 대한 자동화된 보이스 번역 더빙
US10565973B2 (en) * 2018-06-06 2020-02-18 Home Box Office, Inc. Audio waveform display using mapping function
CN108769733A (zh) * 2018-06-22 2018-11-06 三星电子（中国）研发中心 视频剪辑方法和视频剪辑装置
US20200007946A1 (en) * 2018-06-29 2020-01-02 Rovi Guides, Inc. Selectively delivering a translation for a media asset based on user proficiency level in the foreign language and proficiency level required to comprehend the media asset
US10706347B2 (en) * 2018-09-17 2020-07-07 Intel Corporation Apparatus and methods for generating context-aware artificial intelligence characters
CN110971957B (zh) * 2018-09-30 2022-04-15 阿里巴巴集团控股有限公司 一种视频编辑方法、装置以及移动终端
CN109587543B (zh) 2018-12-27 2021-04-02 秒针信息技术有限公司 音频同步方法和装置及存储介质
CN109819313B (zh) 2019-01-10 2021-01-08 腾讯科技（深圳）有限公司 视频处理方法、装置及存储介质
CN110753263A (zh) * 2019-10-29 2020-02-04 腾讯科技（深圳）有限公司 视频配音方法、装置、终端及存储介质
CN111741231B (zh) * 2020-07-23 2022-02-22 北京字节跳动网络技术有限公司 一种视频配音方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959773A (zh) * 2016-04-29 2016-09-21 魔方天空科技（北京）有限公司 多媒体文件的处理方法和装置
CN106911900A (zh) * 2017-04-06 2017-06-30 腾讯科技（深圳）有限公司 视频配音方法及装置

Also Published As

Publication number Publication date
JP2023506587A (ja) 2023-02-16
EP4090009A4 (en) 2023-08-09
AU2021312196B2 (en) 2023-07-27
EP4090009A1 (en) 2022-11-16
JP7344395B2 (ja) 2023-09-13
KR20220119743A (ko) 2022-08-30
WO2022017451A1 (zh) 2022-01-27
CA3167985A1 (en) 2022-01-27
US20220383905A1 (en) 2022-12-01
US11817127B2 (en) 2023-11-14
BR112022016017A2 (pt) 2023-01-31
CN111741231B (zh) 2022-02-22
MX2022009952A (es) 2022-09-19
AU2021312196A1 (en) 2022-09-08
CN111741231A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
KR102523768B1 (ko) 비디오 더빙 방법, 디바이스, 장치 및 저장 매체
US10939069B2 (en) Video recording method, electronic device and storage medium
US20050235198A1 (en) Editing system for audiovisual works and corresponding text for television news
US11941728B2 (en) Previewing method and apparatus for effect application, and device, and storage medium
JPH1031878A (ja) ビデオ及び／又はオーディオの再生制御装置及び再生制御方法
WO2017012440A1 (zh) 音视频跳转播放的方法和装置
WO2020024165A1 (zh) 视频剪辑方法、装置、设备及存储介质
WO2022252998A1 (zh) 一种视频处理方法、装置、设备及存储介质
KR20230157473A (ko) 멀티미디어 리소스 클리핑 방법 및 장치, 디바이스 및 저장 매체
US20240114198A1 (en) Video processing method, apparatus, device and storage medium
WO2023246331A1 (zh) 用于内容拍摄的方法、装置、设备和存储介质
KR101396364B1 (ko) 컨텐츠를 저장한 정보저장매체, 재생 방법 및 장치
CN110955355A (zh) 电子白板的文件处理方法及装置、计算机可读存储介质
RU2805241C1 (ru) Способ, устройство, оборудование для озвучивания видео и носитель информации
WO2022253349A1 (zh) 一种视频编辑方法、装置、设备及存储介质
JP3542293B2 (ja) マルチメディアタイトル編集装置、マルチメディアタイトル編集方法、及びマルチメディアタイトル編集プログラムを記録した記録媒体
WO2023093907A1 (zh) 视频处理方法、装置、设备及介质
WO2024056023A1 (zh) 一种视频编辑方法、装置、设备及存储介质
WO2024099280A1 (zh) 视频编辑方法、装置、电子设备以及存储介质
JP3558051B2 (ja) 動画編集再生プログラム、動画編集再生プログラムを記録したコンピュータ読み取り可能な記録媒体、動画編集再生装置および方法
CN118055199A (zh) 视频剪辑方法及装置
JP2005020202A (ja) 再生装置、再生方法、その記録媒体およびプログラム
JP2000112785A (ja) プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant