KR20070098362A - Apparatus and method for synthesizing a background music to a moving image - Google Patents
Apparatus and method for synthesizing a background music to a moving image Download PDFInfo
- Publication number
- KR20070098362A KR20070098362A KR1020060029917A KR20060029917A KR20070098362A KR 20070098362 A KR20070098362 A KR 20070098362A KR 1020060029917 A KR1020060029917 A KR 1020060029917A KR 20060029917 A KR20060029917 A KR 20060029917A KR 20070098362 A KR20070098362 A KR 20070098362A
- Authority
- KR
- South Korea
- Prior art keywords
- background music
- playback
- control tool
- video
- playback section
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 16
- 238000001308 synthesis method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 3
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 3
- 239000004571 lime Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000003780 insertion Methods 0.000 abstract description 5
- 230000037431 insertion Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
도 1은 일반적인 3차원 영상 제작 절차를 나타낸 흐름도.1 is a flow chart showing a general three-dimensional image production procedure.
도 2는 본 발명이 적용되는 음성 합성을 위한 타임 라인 컨트롤 도구를 나타낸 도면.2 is a diagram illustrating a timeline control tool for speech synthesis to which the present invention is applied.
도 3은 본 발명의 실시 예에 따른 배경 음악을 동영상에 합성시키는 음성 합성 장치를 나타낸 블록도.3 is a block diagram illustrating an apparatus for synthesizing a voice of a background music according to an exemplary embodiment of the present invention.
도 4는 본 발명의 실시 예에 따른 배경 음악을 동영상에 합성시키는 음성 합성 방법을 나타낸 흐름도.4 is a flowchart illustrating a speech synthesis method for synthesizing background music into a video according to an exemplary embodiment of the present invention.
도 5는 본 발명의 실시 예에 따른 배경 음악 재생 구간 지정을 위한 편집 도구를 나타낸 도면.5 is a diagram illustrating an editing tool for designating a background music playback section according to an embodiment of the present invention.
도 6은 본 발명의 실시 예에 따른 배경 음악 재생 구간 설정 방법을 나타낸 도면.6 is a diagram illustrating a method for setting a background music playback section according to an exemplary embodiment of the present invention.
도 7은 본 발명의 실시 예에 따른 배경 음악 재생 시점 선택 후 입력 화면을 나타낸 도면.7 is a diagram illustrating an input screen after selecting a background music playback time point according to an exemplary embodiment of the present invention.
도 8은 본 발명의 실시 예에 따른 배경 음악 재생 구간 선택 후 입력 화면을 나타낸 도면.8 is a diagram illustrating an input screen after selecting a background music playback section according to an exemplary embodiment of the present invention.
도 9는 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서의 배경 음악 재생 구간 이동 방법을 나타낸 도면.9 is a diagram illustrating a method of moving a background music playback section on a timeline control tool according to an embodiment of the present invention.
도 10은 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서의 배경 음악 재생 순서 변경 방법을 나타낸 도면.10 is a diagram illustrating a method of changing a background music playing order on a timeline control tool according to an embodiment of the present invention.
도 11은 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서 배경 음악 재생 시간을 줄이는 방법을 나타낸 도면.FIG. 11 illustrates a method of reducing background music playing time on a timeline control tool according to an embodiment of the present invention. FIG.
도 12는 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서 배경 음악 재생 시간을 늘리는 방법을 나타낸 도면.12 is a diagram illustrating a method of increasing a background music playing time on a timeline control tool according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>
200 : 타임 라인 컨트롤 도구 201 : 타임 라인200: Timeline Control Tool 201: Timeline
202 : 위치 표시선 203 : 삽입 동작 표시 영역202: position indicator line 203: insertion operation display area
204 : 말풍선 표시 영역 205 : 효과음 표시 영역204: speech bubble display area 205: sound effect display area
206 : 줌인 버튼 207 : 줌아웃 버튼206: Zoom In Button 207: Zoom Out Button
208 : 복귀 버튼 209 : 감추기 버튼208: return button 209: hide button
301 : 오브젝트 선택부 302 : 타임 라인 제어부301: object selection unit 302: timeline control unit
303 : 동영상 재생부 304 : 배경음 선택부303: Video playback unit 304: Background sound selection unit
305 : 재생 구간 설정부 310 : 배경 음악 정보 데이터베이스305: Playback section setting unit 310: Background music information database
320 : 오브젝트 정보 데이터베이스 330 : 출력 장치320: object information database 330: output device
본 발명은 3차원 영상 제작 방법에 관한 것으로, 보다 상세하게는 3차원 영상 제작에 있어서 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법에 관한 것이다.The present invention relates to a three-dimensional image production method, and more particularly, to a speech synthesis apparatus and method for synthesizing background music to a video in the three-dimensional image production.
과거 컴퓨터 등에 의해 제작되는 영상들은 기술적인 어려움으로 인해 2차원 영상이 대부분이었으나, 최근 들어 소프트웨어의 발전과 컴퓨터 처리 속도의 향상 등으로 인해 보다 현실감 있게 표현 가능한 3차원 영상이 많이 제작되고 있다. 또한, 최근에는 영화 등의 제작에 3차원 컴퓨터 그래픽(Computer Graphic; CG) 등이 많이 사용되고 있으나, 제작 기술이 정교해질수록 그 비용은 천문학적인 금액이 된다. 아울러, 근래에는 게임 등에도 3차원 애니메이션 기법들이 적용되어 보다 사실적인 게임 상황을 제공하게 된다.In the past, images produced by computers were mostly 2D images due to technical difficulties, but recently, 3D images that can be expressed more realistically have been produced due to development of software and improvement of computer processing speed. In addition, in recent years, 3D computer graphics (CG) and the like have been widely used in the production of movies, etc., but as the production technology becomes more sophisticated, the cost becomes an astronomical amount. In addition, recently, 3D animation techniques are applied to games, etc., to provide a more realistic game situation.
통상적으로 3차원 영상(즉, 3차원 애니메이션)을 제작하기 위해서는 컴퓨터상에서 실행되는 각종 3D 영상 제작용 소프트웨어(예컨대, 3D MAX 등)를 이용하게 된다. 그러나 일반적인 3차원 영상 제작 소프트웨어들은 그 기능이 복잡하고 사용법이 까다로워 전문적인 학습 과정이 없이는 일반인들이 사용하기에는 상당한 어려움이 있으며, 간단한 영상의 제작에도 상당히 많은 시간이 소요된다.In general, in order to produce a 3D image (ie, 3D animation), various 3D image production software (eg, 3D MAX, etc.) executed on a computer is used. However, the general 3D image production software is complicated and difficult to use, so it is difficult for the general public to use it without a professional learning process, and it takes a considerable time to produce a simple image.
한편, 3차원 영상을 제작하기 위한 기술로는 여러 가지 기술들이 있다. 예컨대, 스토리 보드의 작성, 물체의 표현, 키 프레임의 설정 및 인비틴(In-between) 프레임의 생성 과정을 거치는 키프레임 애니메이션 방법이 있으며, 3차원 모델의 각 부분들을 하나의 모델로 연결하는 역운동학(Inverse Kinematics) 방법이 있다. 상기 역운동학 방법은 인간이나 로봇과 같이 계층적으로 구성된 구조체를 표현하기에 적절한 방법이다. 또한, 인간의 움직임을 만들어내는 가장 자연스러운 방법으로 3차원 컴퓨터 애니메이션의 생성을 위해 가장 많이 사용되는 기술인 모션 캡처 (Motion Capture) 방법이 있다. 아울러, 특정 물체에 대한 알고리즘을 만들어 움직임을 생성하는 절차적 방식에 의한 애니메이션(Procedural Animation) 방법 등이 있다.On the other hand, there are a number of techniques for producing a three-dimensional image. For example, there is a keyframe animation method that creates a storyboard, expresses an object, sets a key frame, and generates an in-between frame. There is an Inverse Kinematics method. The inverse kinematics method is suitable for representing hierarchically structured structures such as humans and robots. In addition, the most natural way to generate human motion is the Motion Capture method, which is the most used technique for generating three-dimensional computer animation. In addition, there is a procedural animation method by creating an algorithm for a specific object and generating a motion.
이하, 3차원 영상 제작 과정을 도 1을 참조하여 간략히 설명한다. 상기 도 1을 참조하면, 먼저 영상에 대한 배경 제작을 위해 세트를 선택하여 배치(S101)하고, 각종 소품들을 배치(S102)하게 된다. 그런 다음, 상기 세트 상에 하나 이상의 캐릭터를 적절히 배치(S103)한 후, 상기 배치된 캐릭터에 대한 동작을 시간 순서에 따라 지정(S104)하게 되며, 이때 각 캐릭터에 말 풍선 기능을 추가함으로써 캐릭터의 대사를 표현할 수도 있다. 그런 다음, 카메라 등을 적절히 위치시킨 후 촬영(S105)을 수행하게 된다. 마지막으로, 상기 촬영된 영상에 각종 효과음(effect sound), 배경음(BGM; BackGround Music), 자막 등을 삽입하는 등의 영상 편집(S106) 과정을 거침으로써 최종적으로 3차원 영상물이 생성된다.Hereinafter, a 3D image production process will be briefly described with reference to FIG. 1. Referring to FIG. 1, first, a set is selected and arranged (S101), and various props are arranged (S102) to produce a background for an image. Then, after appropriately placing one or more characters on the set (S103), the action for the arranged character is specified in time order (S104), and at this time, by adding a speech balloon function to each character of the character You can also express metabolism. Then, after properly positioning the camera or the like to perform the shooting (S105). Finally, a three-dimensional image is finally generated by performing an image editing process (S106) such as inserting various effect sounds, background music (BGM), subtitles, and the like into the photographed image.
상술한 바와 같이 종래의 3차원 영상 제작은 숙련된 전문가가 상당히 복잡한 기능을 가지는 전용 소프트웨어를 이용하여 고난도의 작업을 통해 수행된다. 따라서, 전용 소프트웨어에 대한 전문적인 교육을 받지 않은 일반인들은 3차원 영상물을 제작하기 힘들뿐만 아니라, 전문가라 할지라도 상당한 제작 시간이 소요된다. 따라서, 일반인들이 용이하게 3차원 영상을 제작할 수 있는 소프트웨어의 필요성이 대두된다.As described above, the conventional three-dimensional image production is performed by a skilled person through highly difficult work using dedicated software having a fairly complicated function. Therefore, the general public who does not have professional education about the dedicated software is not only hard to produce 3D images, but also requires a considerable amount of production time even for professionals. Thus, there is a need for software that can easily produce 3D images for the general public.
한편, 영상에 있어서 효과음 및 음악은 그 영상이 전달하고자 하는 메시지를 좀더 명확하고 효과적으로 전달하기 위한 적절한 수단이다. 특히, 3차원 그래픽으로 제작된 영상의 경우 실사를 촬영한 동영상에 비해 인물 캐릭터의 움직임이나 형상 및 색에 있어서 부자연스러울 수밖에 없으므로, 결과적으로 미리 제작된 3D 영상과 배경 음악 및 효과음 간의 동기(Sync)를 맞추기가 매우 어렵다는 문제점이 있다.On the other hand, the effect sound and music in the image is a suitable means for delivering the message to be conveyed more clearly and effectively. In particular, in the case of a video produced with 3D graphics, the motion, shape, and color of a human character may be unnatural in comparison with a video recorded with live action, and as a result, a synchronization between a pre-produced 3D video, background music, and sound effects is performed. There is a problem that is very difficult to fit.
즉, 제작된 3D 영상과 배경 음악 또는 효과음 간에 동기(Sync)를 맞추기 위해서는, 시간 조절, 믹싱(mixing), 볼륨의 조절, 채널의 선택, 영상의 길이를 고려한 음악 길이 편집 등 다소 전문적이며 복잡한 절차를 통해야 가능하다 따라서, 음악의 길이와 무관하게 용이하게 영상 내에서 배경 음악을 삽입하고 편집할 수 있는 수단의 필요성이 요구된다.In other words, in order to synchronize the produced 3D video with the background music or sound effects, a somewhat professional and complicated procedure such as adjusting the time, mixing, adjusting the volume, selecting a channel, and editing the music length in consideration of the video length Therefore, there is a need for a means for easily inserting and editing background music in an image regardless of the length of the music.
본 발명의 목적은 타임 라인 컨트롤 도구를 사용하여 배경음악을 참조하도록 함으로써 배경음악의 삽입을 용이하게 할 수 있는 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법을 제공함에 있다.It is an object of the present invention to provide a speech synthesis apparatus and method for synthesizing background music into a video that can facilitate the insertion of background music by referring to the background music using a timeline control tool.
또한, 본 발명의 목적은 타임 라인 컨트롤 도구를 사용하여 배경음악을 참조하도록 함으로써 삽입된 배경음악의 편집을 용이하게 할 수 있는 배경 음악을 동영 상에 합성시키는 음성 합성 장치 및 방법을 제공함에 있다.It is also an object of the present invention to provide a speech synthesis apparatus and method for synthesizing background music on a movie that can facilitate editing of inserted background music by referring to the background music using a timeline control tool.
또한, 본 발명의 목적은 타임 라인 컨트롤 도구를 사용하여 배경음악을 참조하도록 함으로써 배경음악 중 사용자가 원하는 구간에 대한 재생을 용이하게 할 수 있는 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법을 제공함에 있다.It is also an object of the present invention to provide a speech synthesis apparatus and method for synthesizing background music into a video that can facilitate playback of a desired section of the background music by referring to the background music using a timeline control tool. Is in.
상기한 목적을 달성하기 위한 본 발명의 장치는, 타임 라인 컨트롤 도구를 재생하고, 상기 타임 라인 컨트롤 도구 상에서 재생될 배경 음악에 대한 재생 구간을 설정하는 타임 라인 제어부; 배경 음악 정보 데이터베이스로부터 동영상에 삽입하고자 하는 배경 음악 파일을 선택하는 배경음 선택부; 및 상기 타임 라인 컨트롤 도구 상에 매핑 가능한 길이만큼 재생 구간을 설정하는 재생 구간 설정부;를 포함하는 것을 특징으로 한다.The apparatus of the present invention for achieving the above object, the timeline control tool for playing back, and setting the playback section for the background music to be played on the timeline control tool; A background sound selection unit for selecting a background music file to be inserted into the video from the background music information database; And a playback section setting unit configured to set a playback section by a length that can be mapped on the timeline control tool.
상기 장치는, 오브젝트 정보 데이터베이스로부터 각종 오브젝트를 선택하고, 상기 선택된 각종 오브젝트를 상기 타임 라인 컨트롤 도구 상에 매핑시키는 오브젝트 선택부;를 더 포함하는 것을 특징으로 한다.The apparatus may further include an object selecting unit for selecting various objects from an object information database and mapping the selected various objects on the timeline control tool.
상기 타임 라임 제어부는, 상기 오브젝트 편집부에 의해 설정된 각종 오브젝트 정보와 상기 재생 구간 설정부에 의한 배경 음악 편집 정보를 종합하여 동기화하는 것을 특징으로 한다.The time lime control unit synthesizes and synchronizes various object information set by the object editing unit and background music editing information by the reproduction section setting unit.
상기 장치는, 상기 종합된 동영상 재생을 위한 정보에 따라 상기 해당 정보를 믹싱하여 동영상으로 재생시키는 동영상 재생부;를 더 포함하는 것을 특징으로 한다.The apparatus may further include a video reproducing unit for mixing the corresponding information according to the information for reproducing the synthesized video to reproduce the video.
상기 배경음 선택부는, 상기 선택된 배경 음악 파일의 전체 재생 구간에서 재생하고자 하는 특정 구간을 추가로 선택하는 것을 특징으로 한다.The background sound selecting unit may further select a specific section to be played in the entire playback section of the selected background music file.
상기한 목적을 달성하기 위한 본 발명의 방법은, 타임 라인 컨트롤 도구를 실행시키는 단계; 배경 음악 정보 데이터베이스로부터 삽입할 배경 음악의 목록을 검색한 후 선택하는 단계; 상기 타임 라인 컨트롤 도구 상에서 상기 선택된 배경 음악이 재생될 구간을 선택하는 단계; 및 상기 선택된 배경 음악의 길이 및 재생 구간의 길이를 고려하여 해당 배경 음악의 재생 영역을 산출하여 상기 타임 라인 컨트롤 도구 상의 선택된 영역에 매핑시키는 단계;를 포함하는 것을 특징으로 한다.The method of the present invention for achieving the above object comprises the steps of: executing a timeline control tool; Retrieving and selecting a list of background music to be inserted from the background music information database; Selecting a section in which the selected background music is to be played on the timeline control tool; And calculating a playback area of the background music in consideration of the length of the selected background music and the length of the playback section, and mapping the playback area of the background music to the selected area on the timeline control tool.
상기 배경 음악 재생 구간 선택 단계에서, 재생 구간을 별도로 선택하지 않을 경우에는 상기 선택된 배경 음악의 처음부터 해당 재생 시간만큼 재생하는 것으로 처리하는 것을 특징으로 한다.In the step of selecting a background music playback section, if a playback section is not selected separately, the playback is performed by the corresponding playback time from the beginning of the selected background music.
상기 배경 음악의 재생 영역 산출은, 상기 타임 라인 컨트롤 도구 상에서 해당 배경 음악의 재생 시작 위치 및 종료 위치를 설정할 경우에는 상기 선택된 배경 음악의 길이가 해당 재생 구간 내에 정확히 일치하도록 자동으로 재편집되는 것을 특징으로 한다.The playback area calculation of the background music may be automatically re-edited so that the length of the selected background music is exactly matched within the corresponding playback section when the playback start position and the end position of the background music are set on the timeline control tool. It is done.
한편, 상기 배경 음악을 동영상에 합성시키는 음성 합성 방법에 대한 정보는 서버 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류 의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the information on the speech synthesis method for synthesizing the background music into a moving picture may be stored in a recording medium readable by a server computer. Such recording media includes all types of recording media on which programs and data are stored so that they can be read by a computer system. Examples include Read Only Memory (ROM), Random Access Memory (RAM), Compact Disk (CD), Digital Video Disk (DVD) -ROM, Magnetic Tape, Floppy Disk, Optical Data Storage, etc. It also includes implementations in the form of (eg, transmission over the Internet). In addition, these recording media can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
상술한 바와 같이 일반적으로 음악을 포함한 영상을 제작할 때 배경 음악(BGM; Background Music)은 영상의 전체 길이에 맞춰 정확히 자르고, 자른 부분을 해당 영상에 동기를 맞추어서 편집해야 하는 불편함이 있었다. 그러나 본 발명에서는 해당 배경 음악의 시작점을 설정하고, 영상 편집의 타임 라인 상에서 상기 해당 배경 음악을 참조하도록 구현함으로써 음악의 길이와 무관하게 영상 내 배경 음악을 삽입하고 이를 통해 영상 편집을 용이하게 할 수 있게 된다.As described above, when producing an image including music in general, background music (BGM) is inconveniently required to be precisely cut to the entire length of the image, and to edit the cut portion in synchronization with the corresponding image. However, in the present invention, by setting the starting point of the background music, and implementing the reference to the background music on the timeline of the video editing, it is possible to insert the background music in the video irrespective of the length of the music and thereby facilitate the video editing. Will be.
또한, 특히 3D 영상에 삽입되는 배경 음악 또는 효과음에 대한 편집상의 어려운 점을 해결하기 위하여 본 발명에서는 일반적인 형식의 동영상 파일이 아닌 객체 및 배경 오브젝트 데이터를 기반으로 하는 방식의 영상 편집 방법을 적용하여 이에 따른 배경 음악 및 효과음을 영상 데이터 기반 시스템 위에 표현함으로써, 배경 음악 또는 효과음의 동기 조절이 용이하게 구현 가능하도록 한다.In addition, in order to solve the difficulty in editing the background music or sound effects inserted in the 3D video, in the present invention, by applying the video editing method of the method based on the object and background object data rather than the video file of the general format By expressing the background music and the effect sound according to the image data based system, the synchronization of the background music or the effect sound can be easily implemented.
한편, 상기 본 발명에 따른 타임 라인 컨트롤 도구 상에서의 배경 음악 편집 방법을 이용할 때, 다음과 같은 기능이 구현될 수 있다.On the other hand, when using the background music editing method on the timeline control tool according to the present invention, the following functions can be implemented.
첫째, 3D 데이터에 대한 타임 스케쥴(Time Schedule)(배경 음악, 효과음 포 함)이 가능하므로, 사용자가 자신이 원하는 시점에서 배경 음악 또는 효과음의 삽입이 가능하게 되며, 삽입된 배경 음악 또는 효과음의 볼륨 조절 등을 사용자가 자유롭게 설정할 수 있다.First, since the time schedule (including background music and sound effects) for 3D data is possible, the user can insert a background music or sound effect at a point of time desired by the user and the volume of the inserted background music or sound effects. The user can freely set the adjustment.
둘째, 상기에서 언급한 배경 음악 또는 효과음의 시간에 대한 제어가 가능하므로, 특정 시점으로 이동 또는 길이 조절, 순서 변경이 가능하다. 즉, 사용자가 삽입된 배경 음악이나 효과음을 자신이 원하는 위치로 이동시킬 수 있으며, 삽입된 배경 음악 및 효과음의 순서를 사용자 임의로 변경할 수 있고, 삽입된 배경 음악 및 효과음의 길이 조절을 통하여 사용자가 원하는 만큼 음악의 길이를 조절할 수 있으므로, 배경 음악 및 효과음의 편집을 자유롭게 할 수 있다.Second, since it is possible to control the time of the background music or the effect sound mentioned above, it is possible to move to a specific time point, adjust the length or change the order. That is, the user can move the inserted background music or the effect sound to the desired position, the user can change the order of the inserted background music and the effect sound arbitrarily, and adjust the length of the inserted background music and the sound effect. Since the length of the music can be adjusted as much as possible, the background music and the sound effects can be freely edited.
셋째, 배경 음악의 경우 웹 스트리밍(Web Streaming) 방식을 이용하여 실시간으로 사용자가 선택한 음악을 제작된 3D 영상에서 자유롭게 삽입할 수 있으며, 사용자가 재생을 원하는 시점부터 배경 음악을 재생시킬 수 있으며, 재생 구간을 설정함으로써, 배경 음악을 처음부터 순차적으로 재생하는 것이 아니라 자신이 원하는 재생 구간만을 재생할 수가 있다.Third, in the case of background music, the user can freely insert the music selected by the user in real time using a web streaming method in the produced 3D image, and the background music can be played from the point where the user wants to play. By setting the section, it is possible to play back only the desired playback section rather than sequentially playing the background music from the beginning.
넷째, 한 가지의 배경 음악만을 이용하여 3D 영상을 제작하는 것이 아니라 동일한 영상 내에 사용자가 임으로 각 상황에 맞는 배경 음악을 선택한 후 재생 시점이나, 재생 구간을 설정함으로써 다양한 장르의 배경 음악들을 하나의 3D 영상 내에서 재생시킬 수가 있게 된다.Fourth, instead of producing a 3D video using only one background music, users can randomly select the background music for each situation and set the playback time point or playback section in the same video. It can be played back in the video.
이하 본 발명의 바람직한 실시 예에 따른 상세한 설명을 첨부된 도면들을 참조하여 설명한다. 하기에는 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성 에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION Hereinafter, a detailed description of a preferred embodiment of the present invention will be described with reference to the accompanying drawings. In the following description, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
한편, 본 발명을 설명하기에 앞서, 도 2를 참조하여 본 발명에 따른 용이한 배경음악의 편집 및 수정을 위해 사용되는 타임 라인 컨트롤 도구에 대해 설명하기로 한다.Meanwhile, before describing the present invention, a timeline control tool used for easy editing and modification of background music according to the present invention will be described with reference to FIG. 2.
도 2는 본 발명이 적용되는 음성 합성을 위한 타임 라인 컨트롤 도구를 나타낸 도면이다. 상기 도 2를 참조하면, 상기 타임 라인 컨트롤 도구(200)는 시간 순으로 영상을 편집할 수 있는 타임 라인(201)과 상기 타임 라인(221) 상에서 현재 편집 중인 시간의 위치를 나타내는 위치 표시선(202)이 기본적으로 구비된다. 또한, 상기 각 타임 라인(201) 상에서 각각 캐릭터의 동작, 말풍선, 효과음 등을 삽입하여 편집할 수 있는 삽입 동작 표시 영역(203), 말풍선 표시 영역(204), 효과음 표시 영역(205) 등이 구비된다. 아울러, 상기 타임 라인 컨트롤 도구(200)를 제어하기 위한 줌인 버튼(206), 줌아웃 버튼(207), 복귀 버튼(208), 감추기 버튼(209) 등이 추가로 구비될 수 있다.2 is a diagram illustrating a timeline control tool for speech synthesis to which the present invention is applied. Referring to FIG. 2, the
사용자는 자신이 추가하고자 하는 동작을 기저장된 동작 데이터베이스로부터 불러온 후 본 발명에 따라 상기 동작 편집 영역(203)의 해당 시간 위치에 추가함으로써 동작에 대한 편집이 용이하게 수행될 수 있다. 상기 타임 라인 컨트롤 도구(200) 상에서 구현되는 각 기능들은 하기 <표 1>과 같다.The user can easily edit the operation by reading the operation to be added from the pre-stored operation database and adding the operation to the corresponding time position of the
즉, 본 발명에 따라 상기 타임 라인 컨트롤 도구(200)의 효과음 표시 영역 상에 배경 음악에 대한 재생 구간을 설정하여, 해당 정보를 참조하도록 함으로써 동영상에 삽입되는 배경음악에 대한 편집을 용이하게 구현할 수 있게 된다.That is, according to the present invention, the playback section for the background music is set on the effect sound display area of the
이하, 도 3 및 도 4를 참조하여 본 발명의 실시 예에 따른 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법을 설명하기로 한다.Hereinafter, a voice synthesis apparatus and method for synthesizing background music into a video according to an embodiment of the present invention will be described with reference to FIGS. 3 and 4.
도 3은 본 발명의 실시 예에 따른 배경 음악을 동영상에 합성시키는 음성 합성 장치를 나타낸 블록도이다. 상기 도 3을 참조하면, 본 발명에 따른 음성 합성 장치(300)는 오브젝트 선택부(301), 타임 라인 제어부(302), 동영상 재생부(303), 배경음 선택부(304) 및 재생 구간 설정부(305) 등으로 구성될 수 있다.3 is a block diagram illustrating a speech synthesis apparatus for synthesizing background music into a video according to an exemplary embodiment of the present invention. Referring to FIG. 3, the
먼저, 상기 타임 라인 제어부(302)에서는 상술한 바와 같이 타임 라인 컨트롤 도구를 재생하고, 상기 타임 라인 컨트롤 도구 상에서 편집된 데이터를 동영상 제어부(303)로 전송함으로써 해당 편집에 의해 제작된 동영상을 재생시키게 된다.First, the
상기 오브젝트 선택부(301)는 오브젝트 정보 데이터베이스(320)로부터 각종 오브젝트(예컨대, 캐릭터, 소품 등)를 선택하게 되며, 상기 선택된 각종 오브젝트는 상기 타임 라인 제어부(302)에서 타임 라인 컨트롤 도구 상에 매핑시키게 된다. 즉, 상기 타임 라인 컨트롤 도구의 특정 시간 구간에 상기 선택된 해당 오브젝트를 매핑시키고, 해당 시간 구간에서 상기 오브젝트가 동영상 내에 배치 또는 이동하도록 구현하게 된다.The
한편, 본 발명에 따라 상기 도 2에서 상술한 바와 같이 상기 타임 라인 컨트롤 도구 상에서 배경 음악에 대한 편집도 용이하게 구현될 수 있다. 즉, 상기 배경음 선택부(304)에서는 배경 음악 정보 데이터베이스(310)로부터 동영상에 삽입하고자 하는 배경 음악 파일을 선택하게 되고, 상기 선택된 배경 음악 파일에 대한 정보는 상기 재생 구간 설정부(305)로 전송된다.Meanwhile, according to the present invention, editing of background music can be easily implemented on the timeline control tool as described above with reference to FIG. 2. That is, the background
상기 재생 구간 설정부(305)에서는 본 발명의 실시 예에 따른 각종 방법에 따라 타임 라인 컨트롤 상에 매핑 가능한 길이만큼 재생 구간이 설정된다. 상기 설정된 해당 배경 음악에 대한 재생 구간 정보(즉, 재생 구간 편집 정보)는 상기 타임 라인 제어부(302)에서 해당 시간 구간 영역 상에 매핑된다.The playback
따라서, 상기 타임 라임 제어부(302)에서는 상기 오브젝트 편집부(301)에 의해 설정된 각종 오브젝트 정보와 상기 재생 구간 설정부(305)에 의한 배경 음악 편집 정보를 종합하여 동기화하게 되고, 상기 종합된 동영상 재생을 위한 정보에 따라 상기 동영상 재생부(303)에서 믹싱되어 동영상으로 재생된다. 또한, 상기 재생되는 동영상은 출력 장치(330)를 통해 디스플레이된다.Accordingly, the time
한편, 상기 재생 구간 설정부(305)에서는 본 발명의 실시 예에 따라 사용자가 상기 배경 음악 중에서 재생하고자 하는 구간에 대한 정보 또는 상기 타임 라인 컨트롤 도구 상에 삽입하고자 하는 재생 구간에 대한 정보를 이용하여 상기 해당 배경 음악에 대한 동영상 내에서의 재생 구간을 자동으로 설정하게 된다.On the other hand, the playback
보다 구체적으로 설명하면, 사용자는 동영상에 삽입하고자 하는 배경 음악을 선택하고, 해당 배경 음악의 전체 재생 구간 중에서 재생을 원하는 구간만을 선택하게 된다. 이때, 사용자가 재생 구간을 특별히 지정하지 않을 경우에는 전체 구간을 처음부터 재생시키는 것으로 처리하게 된다. 또한, 상기 사용자는 상기 배경 음악의 전체 재생 구간 중에서 시작점 또는 종료점만을 선택할 수도 있으며, 시작점 및 종료점을 함께 선택할 수도 있다.In more detail, the user selects the background music to be inserted into the video and selects only the section to be played from the entire playback sections of the background music. At this time, if the user does not specify a playback section in particular, the entire section is played from the beginning. In addition, the user may select only a start point or an end point from the entire playback section of the background music, or may select a start point and an end point together.
그런 다음, 상기 선택된 배경 음악을 동영상 재생 과정 중 삽입하게 될 특정 영역에 매핑시키게 된다. 이때, 상술한 바와 같이 본 발명에 따라 타임 라인 컨트롤 도구를 사용하게 되며, 상기 타임 라인 컨트롤 도구 상에서 사용자가 배경 음악을 삽입하고자 하는 시점에 해당 배경 음악을 삽입하게 된다. 이때, 상기 타임 라인 컨트롤 도구 상에 삽입된 배경 음악의 시작점에서 상기 기선택된 해당 배경 음악의 시작점이 매핑된다. 또한, 상기 타임 라인 컨트롤 도구 상에서 삽입된 배경 음악에 대한 재생 설정 길이에 따라 해당 배경 음악의 선택된 부분이 편집되어 삽입된다.Then, the selected background music is mapped to a specific area to be inserted during the video playback process. In this case, as described above, the timeline control tool is used according to the present invention, and the background music is inserted at the time when the user wants to insert the background music on the timeline control tool. At this time, the start point of the pre-selected background music is mapped from the start point of the background music inserted on the timeline control tool. Also, the selected portion of the background music is edited and inserted according to the playback setting length for the background music inserted on the timeline control tool.
예컨대, 선택된 배경 음악의 총 재생 길이가 4분 35초이고, 사용자는 상기 선택된 배경 음악에서 특정 부분인 3분 14초부터 3분 20초 사이의 6초 동안의 구간을 삽입시킬 구간으로 선택할 경우, 상기 선택된 부분이 편집되어 상기 타임 라인 컨트롤 도구의 해당 선택된 부분에 매핑된다. 이때, 만약 상기 타임 라인 컨트롤 도구의 재생 구간에서 10초 내지 25초 사이의 총 15초 구간 동안 상기 해당 선택된 배경 음악이 재생되도록 설정할 경우, 상기 선택된 배경 음악의 길이가 6초이기 때문에, 해당 선택된 배경 음악 부분이 두 번 반복하여 재생되고, 3초의 길이만큼만 한 번 더 재생된다.For example, when the total playing length of the selected background music is 4 minutes 35 seconds, and the user selects a section for inserting 6 seconds between 3 minutes 14 seconds and 3 minutes 20 seconds, which is a specific part of the selected background music, The selected portion is edited and mapped to the corresponding selected portion of the timeline control tool. At this time, if the selected background music is set to be played for a total of 15 seconds between 10 seconds and 25 seconds in the playing section of the timeline control tool, the selected background music has a length of 6 seconds. The music section is played twice, and once more for the length of 3 seconds.
보다 구체적인 배경 음악 재생 및 편집 방법은 후술하기로 한다.A more detailed background music playback and editing method will be described later.
도 4는 본 발명의 실시 예에 따른 배경 음악을 동영상에 합성시키는 음성 합성 방법을 나타낸 흐름도이다. 상기 도 4를 참조하면, 먼저 본 발명에 따른 배경 음악 합성을 위해 상기 도 2에 도시된 바와 같은 타임 라인 컨트롤 도구를 실행(S401)시키게 된다. 그런 다음, 배경 음악 정보 데이터베이스(310)로부터 삽입할 배경 음악의 목록을 검색한 후 선택(S402)하게 된다. 이때, 사용자는 선택적으로 상기 선택된 배경 음악에서 재생하고자 하는 특정 구간을 선택할 수가 있게 된다. 만약, 재생 구간을 별도로 선택하지 않을 경우에는 상기 선택된 배경 음악의 처음부터 해당 재생 시간만큼 재생하는 것으로 처리하게 된다.4 is a flowchart illustrating a voice synthesis method for synthesizing background music into a video according to an exemplary embodiment of the present invention. Referring to FIG. 4, first, a timeline control tool as shown in FIG. 2 is executed (S401) for background music synthesis according to the present invention. Then, the list of background music to be inserted is searched for from the background
그런 다음, 상기 타임 라인 컨트롤 도구 상에서 상기 선택된 배경 음악이 재생될 구간을 선택(S403)하게 되며, 해당 배경 음악의 재생 구간을 설정(S404)하게 된다. 이때, 본 발명의 실시 예에 따라 선택된 배경 음악의 길이 및 재생 구간의 길이를 고려하여 해당 배경 음악의 재생 영역을 산출하여 상기 타임 라인 컨트롤 도구 상의 선택된 영역에 매핑(S405)시키게 된다.Then, a section in which the selected background music is to be played is selected (S403) on the timeline control tool, and a playing section of the background music is set (S404). In this case, the playback area of the background music is calculated in consideration of the length of the selected background music and the length of the playback section according to an embodiment of the present invention and mapped to the selected area on the timeline control tool (S405).
예컨대, 상기 타임 라인 컨트롤 도구 상에서 해당 배경 음악의 재생 시작 위치만을 지정할 경우에는 상기 선택된 배경 음악의 길이만큼 지난 시점이 해당 배경 음악의 종료 시점이 된다.For example, when only the playback start position of the background music is designated on the timeline control tool, the time point that passes the length of the selected background music becomes the end time of the background music.
다른 방법으로, 상기 타임 라인 컨트롤 도구 상에서 해당 배경 음악의 재생 시작 위치 및 종료 위치(즉, 재생 구간 영역)를 설정할 경우에는 상기 선택된 배경 음악의 길이가 해당 재생 구간 내에 정확히 일치하도록 자동으로 재편집된다. 즉, 상기 선택된 배경 음악의 길이가 해당 재생 구간보다 짧을 경우에는 상기 선택된 배경 음악이 선택된 처음 위치부터 반복되어 재생되도록 편집되며, 상기 선택된 배경 음악의 길이가 해당 재생 구간보다 길 경우에는 상기 선택된 배경 음악의 처음 부분에서부터 상기 해당 재생 구간의 길이만큼 잘라서 삽입하게 된다.Alternatively, when the playback start position and the end position (i.e., the playback section area) of the background music are set on the timeline control tool, the length of the selected background music is automatically re-edited to exactly match the corresponding playback section. . That is, when the length of the selected background music is shorter than the corresponding playback section, the selected background music is edited to be repeatedly played from the first position selected. When the length of the selected background music is longer than the corresponding playback section, the selected background music is edited. The length of the corresponding playback section is cut and inserted from the beginning of.
상기와 같이 배경 음악에 대한 편집이 완료되고, 타임 라인 컨트롤 상에서 편집된 동영상을 재생(S406)시킴으로써 동영상에 배경 음악을 삽입하는 절차가 종료된다.As described above, the editing of the background music is completed, and the procedure of inserting the background music into the video is terminated by playing the edited video on the timeline control (S406).
이하, 도 5 내지 도 12를 참조하여 상술한 바와 같은 배경 음악 재생 편집 방법을 각 상황에 따라 보다 구체적으로 설명한다.Hereinafter, the background music reproduction editing method as described above with reference to FIGS. 5 to 12 will be described in more detail according to each situation.
도 5는 본 발명의 실시 예에 따른 배경 음악 재생 구간 지정을 위한 편집 도구를 나타낸 도면이다. 상기 도 5를 참조하면, 타임 라인 컨트롤 도구 실행 후, 배경 음악 삽입을 선택하게 되면, 도시된 바와 같은 배경 음악 재생 구간 설정을 위한 편집 도구가 실행된다. 즉, 상기 배경 음악 재생 구간 설정을 위한 컨트롤 도구에서 특정 배경 음악이 선택되면, ①로 표시된 부분과 같이 사용자가 자신이 음악을 재생하고자 원하는 위치 또는 구간을 선택할 수가 있게 된다.5 is a diagram illustrating an editing tool for designating a background music playback section according to an exemplary embodiment of the present invention. Referring to FIG. 5, after the timeline control tool is executed and the background music insertion is selected, the editing tool for setting the background music playback section as shown is executed. That is, when a specific background music is selected in the control tool for setting the background music playback section, the user can select a desired position or section for playing music as shown by the ①.
그런 다음, ②로 표시된 BGM 입력 버튼을 클릭하게 되면, 지정한 위치부터 배경 음악이 재생된다. 이때, 만약 재생 구간을 선택하지 않고 상기 BGM 입력 버튼을 클릭할 경우 재생 가능한 시간 내에서 상기 선택된 배경 음악의 끝부분까지 재생된다.Then, if you click the BGM input button marked with ②, the background music is played from the specified position. At this time, if the BGM input button is clicked without selecting a play section, the play is performed to the end of the selected background music within a playable time.
도 6을 참조하여 재생 구간 설정 방법을 보다 구체적으로 설명한다. 도 6은 본 발명의 실시 예에 따른 배경 음악 재생 구간 설정 방법을 나타낸 도면이다. 상기 도 6을 참조하면, 먼저 ①에서와 같이 재생 구간 설정 버튼을 클릭하게 된다. 그런 다음, ②에서와 같이 재생하고자 원하는 구간을 마우스로 드래그하여 재생 구간 설정을 하게 된다. 이때, 상기와 같이 마우스로 드래그하여 재생 구간을 설정하게 되면, ③에서와 같이 재생 바에 설정된 재생 구간이 표시된다. 마지막으로, 재생 구간 설정 후 ④에서와 같이 BGM 입력 버튼을 클릭하게 되면, 재생 구간이 설정된 영역만 타임 라인 컨트롤 내의 BGM 표시 영역에 삽입된다.A method of setting a playback section will be described in more detail with reference to FIG. 6. 6 is a diagram illustrating a method for setting a background music playback section according to an exemplary embodiment of the present invention. Referring to FIG. 6, first, as in ①, the playback section setting button is clicked. Then, as shown in ②, the desired section to be played with the mouse is dragged to set the playback section. At this time, if the playback section is set by dragging with the mouse as described above, the playback section set in the playback bar is displayed as in ③. Finally, when the BGM input button is clicked as in ④ after setting the playback section, only the region where the playback section is set is inserted into the BGM display region in the timeline control.
도 7은 본 발명의 실시 예에 따른 배경 음악 재생 시점 선택 후 입력 화면을 나타낸 도면이다. 상기 도 5 및 도 6에서 상술한 방법에 따라 배경 음악에 대한 재생 시점을 선택하여 입력하게 되면, 상기 도 7에 도시된 바와 같이 배경 음악 재생을 위한 편집 도구에서 지정한 재생 위치 시간부터 해당 음악의 끝 부분 시간까지를 계산하여 타임 라인 컨트롤 도구 내의 BGM 영역 표시 부분에 막대 형태로 표시된다.7 is a diagram illustrating an input screen after selecting a background music playback time point according to an exemplary embodiment of the present invention. 5 and 6, when the playback time for the background music is selected and input according to the method described above with reference to FIG. 5, the end of the music starts from the playback position time designated by the editing tool for playing the background music as shown in FIG. 7. Up to the partial time is calculated and displayed as a bar in the BGM area display part within the timeline control tool.
도 8은 본 발명의 실시 예에 따른 배경 음악 재생 구간 선택 후 입력 화면을 나타낸 도면이다. 상기 도 7에서와 달리 배경 음악 재생을 위한 편집 도구에서 재생 시작 시점과 끝 시점을 설정하고 BGM 입력 버튼을 클릭할 경우, 상기 재생 구간이 설정된 영역만 타임 라인 컨트롤 내의 BGM 표시 영역에 삽입된다.8 is a diagram illustrating an input screen after selecting a background music playback section according to an embodiment of the present invention. Unlike in FIG. 7, when the playback start time and the end time are set in the editing tool for background music playback and the BGM input button is clicked, only the region where the playback section is set is inserted into the BGM display area in the timeline control.
한편, 본 발명의 실시 예에 따라 상기 타임 라인 컨트롤 도구 상에 삽입된 배경 음악 재생 구간은 상기 타임 라인 컨트롤 도구 상에 표시된 배경 음악에 대한 막대 바를 마우스로 드래그함으로써 용이하게 위치 조정 및 편집이 가능하게 된다. 즉, 재생 구간을 늘이거나 줄일 수 있으며, 재생 위치 또는 순서를 변경시킬 수가 있게 된다.Meanwhile, the background music playback section inserted on the timeline control tool according to an embodiment of the present invention enables easy position adjustment and editing by dragging the bar bar for the background music displayed on the timeline control tool with a mouse. do. That is, the playback section can be increased or decreased, and the playback position or order can be changed.
도 9는 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서의 배경 음악 재생 구간 이동 방법을 나타낸 도면이다. 상기 도 9를 참조하면, 삽입된 BGM을 영상의 시점에 맞추어서 제어할 수 있다. 즉, 영상과 삽입된 BGM을 사용자가 원하는 시간의 위치로 시프트(Shift)함으로써 제작된 영상과 배경 음악 간의 시간 동기(Time Sync)를 조절할 수 있게 된다. 따라서, 상기 삽입된 BGM의 막대 바를 마우스로 드래그하여 이동시키게 되면, 상기 이동에 의해 사용자가 3D 영상과 BGM 간의 시간 동기를 맞출 수가 있다.9 is a diagram illustrating a method of moving a background music playback section on a timeline control tool according to an exemplary embodiment of the present invention. Referring to FIG. 9, the inserted BGM may be controlled according to the viewpoint of the image. That is, by shifting the image and the inserted BGM to a desired time position, the time synchronization between the produced image and the background music can be adjusted. Therefore, when the bar bar of the inserted BGM is moved by dragging the mouse, the movement enables the user to synchronize the time between the 3D image and the BGM.
도 10은 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서의 배경 음악 재생 순서 변경 방법을 나타낸 도면이다. 상기 도 10을 참조하면, 삽입된 BGM을 사용자가 임의로 이동 및 순서를 변경할 수 있다. 즉, 사용자의 선택에 따라서 BGM의 재생 순서를 변경함으로써 더욱더 자유로운 BGM 연출이 가능하다.10 is a diagram illustrating a method of changing a background music playing order on a timeline control tool according to an exemplary embodiment of the present invention. Referring to FIG. 10, a user can arbitrarily move and change the inserted BGM. In other words, by changing the playback order of the BGM according to the user's selection, it is possible to create a more free BGM.
이때에는, 2개의 BGM이 삽입된 상태에서 재생이 되는 BGM의 순서를 변경할 수 있다. 즉, 1번 BGM을 2번 BGM 뒤로 이동할 경우 재생되는 BGM의 순서가 변경된다.At this time, the order of BGMs to be reproduced can be changed while two BGMs are inserted. In other words, if you move BGM 1 back to 2 BGM, the order of BGM to be played is changed.
도 11은 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서 배경 음악 재생 시간을 줄이는 방법을 나타낸 도면이다. 상기 도 11을 참조하면, 타임 라인 컨트롤 도구에 삽입된 BGM의 재생 시간을 늘리거나 줄일 수 있다. 단, 이미 배경 음악 편집 도구에서 재생 시작 시점 또는 재생 구간을 지정해 놓은 상태이므로, BGM 늘이기를 할 경우 이미 지정되어 있는 부분을 늘어난 시간만큼 반복 재생하게 된다. 반대로, BGM 줄이기를 할 경우에는 재생 시작 시점 또는 재생 구간을 지정해 놨을 경우 재생 시작 시점을 기준으로 줄어든 만큼만 BGM을 재생시키게 된다.11 is a diagram illustrating a method of reducing background music playing time on a timeline control tool according to an exemplary embodiment of the present invention. Referring to FIG. 11, the playing time of the BGM inserted into the timeline control tool may be increased or shortened. However, since the playback start point or playback section is already specified in the background music editing tool, when the BGM is extended, the previously designated part is repeatedly played for the increased time. On the contrary, when the BGM is reduced, the BGM is played back only as much as the playback start point or the playback section is reduced based on the start point.
따라서, 도시된 바와 같이 사용자가 삽입된 BGM의 재생 시간을 줄였을 경우, 배경 음악 편집 도구에서 지정한 시작 지점을 기준으로 재생 시간이 줄어든다. 즉, 상기 배경 음악 편집 도구에서 지정한 재생 시간보다 재생 시간이 줄어들게 된다.Therefore, when the user reduces the playing time of the inserted BGM, the playing time is reduced based on the start point designated by the background music editing tool. That is, the playback time is shorter than the playback time specified by the background music editing tool.
도 12는 본 발명의 실시 예에 따른 타임 라인 컨트롤 도구 상에서 배경 음악 재생 시간을 늘리는 방법을 나타낸 도면이다. 상기 도 11을 참조하면, 반대로 이미 지정된 BGM의 재생 시간을 늘릴 경우에는 지정된 재생 시간보다 더 긴 시간이 재생되므로, 이 경우에는 BGM을 끝까지 재생한 후 늘어난 시간만큼 반복 재생하게 된다.12 is a diagram illustrating a method of increasing a background music playing time on a timeline control tool according to an embodiment of the present invention. Referring to FIG. 11, on the contrary, if the playing time of the already designated BGM is increased, a longer time than the playing time is played. In this case, the playing of the BGM is repeated until the end of the playing.
한편, 본 발명의 실시 예에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.On the other hand, in the embodiment of the present invention has been described with respect to specific embodiments, various modifications are possible without departing from the scope of the invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the appended claims, but also by the equivalents of the claims.
본 발명에 따르면, 3D 데이터에 대한 타임 스케줄이 가능하므로, 사용자가 자신이 원하는 시점에서 배경 음악 또는 효과음의 삽입이 가능하게 되며, 삽입된 배경 음악 또는 효과음의 볼륨 조절 등을 사용자가 자유롭게 설정할 수 있게 되는 장점이 있다.According to the present invention, since the time schedule for the 3D data is possible, the user can insert the background music or the sound effect at his or her desired point, and the user can freely set the volume control of the inserted background music or the sound effect. It has the advantage of being.
또한, 상기 배경 음악 또는 효과음의 시간에 대한 제어가 가능하므로, 특정 시점으로 이동 또는 길이 조절, 순서 변경이 가능하다. 즉, 사용자가 삽입된 배경 음악이나 효과음을 자신이 원하는 위치로 이동시킬 수 있으며, 삽입된 배경 음악 및 효과음의 순서를 사용자 임의로 변경할 수 있고, 삽입된 배경 음악 및 효과음의 길이 조절을 통하여 사용자가 원하는 만큼 음악의 길이를 조절할 수 있으므로, 배경 음악 및 효과음의 편집을 자유롭게 할 수 있게 되는 장점이 있다.In addition, since the control of the time of the background music or the sound effect is possible, it is possible to move to a specific time point, adjust the length or change the order. That is, the user can move the inserted background music or the effect sound to the desired position, the user can change the order of the inserted background music and the effect sound arbitrarily, and adjust the length of the inserted background music and the sound effect. Since the length of the music can be adjusted as much, there is an advantage that the editing of the background music and the sound effects can be made free.
아울러, 배경 음악의 경우 웹 스트리밍(Web Streaming) 방식을 이용하여 실시간으로 사용자가 선택한 음악을 제작된 3D 영상에서 자유롭게 삽입할 수 있으며, 사용자가 재생을 원하는 시점부터 배경 음악을 재생시킬 수 있으며, 재생 구간을 설정함으로써, 배경 음악을 처음부터 순차적으로 재생하는 것이 아니라 자신이 원하는 재생 구간만을 재생할 수가 있게 되는 장점이 있다.In addition, in the case of background music, the user can freely insert the music selected by the user in real time using a web streaming method in the produced 3D image, and the background music can be played from the point where the user wants to play. By setting the section, it is possible to play only the desired playback section instead of sequentially playing the background music from the beginning.
마지막으로, 한 가지의 배경 음악만을 이용하여 3D 영상을 제작하는 것이 아니라 동일한 영상 내에 사용자가 임으로 각 상황에 맞는 배경 음악을 선택한 후 재생 시점이나, 재생 구간을 설정함으로써 다양한 장르의 배경 음악들을 하나의 3D 영상 내에서 재생시킬 수가 있게 되는 장점이 있다.Lastly, instead of creating a 3D video using only one background music, users can randomly select a background music for each situation in the same video, and then set the playback time or playback section to create a background music of various genres. There is an advantage that can be reproduced in the 3D image.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060029917A KR20070098362A (en) | 2006-03-31 | 2006-03-31 | Apparatus and method for synthesizing a background music to a moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060029917A KR20070098362A (en) | 2006-03-31 | 2006-03-31 | Apparatus and method for synthesizing a background music to a moving image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20070098362A true KR20070098362A (en) | 2007-10-05 |
Family
ID=38804439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060029917A KR20070098362A (en) | 2006-03-31 | 2006-03-31 | Apparatus and method for synthesizing a background music to a moving image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20070098362A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120128956A (en) * | 2011-05-18 | 2012-11-28 | 엘지전자 주식회사 | A digital device and a method of processing contents thereof |
| KR101238423B1 (en) * | 2009-12-30 | 2013-02-28 | 최현호 | Real-time content publication method and system thereof |
| CN110687921A (en) * | 2019-10-30 | 2020-01-14 | 上海歌尔泰克机器人有限公司 | Unmanned aerial vehicle flight control method and device, electronic equipment and storage medium |
| KR102111990B1 (en) * | 2019-03-14 | 2020-05-18 | 장석규 | Method, Apparatus and System for Controlling Contents using Wearable Apparatus |
| JP2021067922A (en) * | 2019-10-28 | 2021-04-30 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Content editing support method and system based on real time generation of synthetic sound for video content |
| CN114640751A (en) * | 2022-01-24 | 2022-06-17 | 深圳市大富网络技术有限公司 | Video processing method, system, device and storage medium related to audio |
| KR102417373B1 (en) * | 2022-01-20 | 2022-07-06 | 홍성래 | Sound editing system |
-
2006
- 2006-03-31 KR KR1020060029917A patent/KR20070098362A/en not_active Application Discontinuation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101238423B1 (en) * | 2009-12-30 | 2013-02-28 | 최현호 | Real-time content publication method and system thereof |
| KR20120128956A (en) * | 2011-05-18 | 2012-11-28 | 엘지전자 주식회사 | A digital device and a method of processing contents thereof |
| KR101880458B1 (en) * | 2011-05-18 | 2018-07-20 | 엘지전자 주식회사 | A digital device and a method of processing contents thereof |
| KR102111990B1 (en) * | 2019-03-14 | 2020-05-18 | 장석규 | Method, Apparatus and System for Controlling Contents using Wearable Apparatus |
| JP2021067922A (en) * | 2019-10-28 | 2021-04-30 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Content editing support method and system based on real time generation of synthetic sound for video content |
| CN110687921A (en) * | 2019-10-30 | 2020-01-14 | 上海歌尔泰克机器人有限公司 | Unmanned aerial vehicle flight control method and device, electronic equipment and storage medium |
| KR102417373B1 (en) * | 2022-01-20 | 2022-07-06 | 홍성래 | Sound editing system |
| CN114640751A (en) * | 2022-01-24 | 2022-06-17 | 深圳市大富网络技术有限公司 | Video processing method, system, device and storage medium related to audio |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7565059B2 (en) | Dynamic variation of output media signal in response to input media signal | |
| JP4461149B2 (en) | Creation of a new music video by intercutting image data provided by the user into an existing music video | |
| US20090046097A1 (en) | Method of making animated video | |
| KR20070020252A (en) | Method of and system for modifying messages | |
| KR20070098362A (en) | Apparatus and method for synthesizing a background music to a moving image | |
| JPH11341350A (en) | Multimedia information editing and reproducing device, recording medium with multimedia information reproduction program and recording medium with sequence information respectively recorded on them | |
| KR20040111363A (en) | Moving picture data generation system, moving picture data generation method, moving picture data generation program, and information recording medium | |
| JPH056251A (en) | Device for previously recording, editing and regenerating screening on computer system | |
| JP2008123672A (en) | Editing system | |
| JP2022553766A (en) | Systems and methods for creating 2D films from immersive content | |
| US20240203058A1 (en) | System and method for performance in a virtual reality environment | |
| CN105763923A (en) | Video and video template editing methods and device thereof | |
| EP2113121B1 (en) | Method to synchronize audio and graphics in a multimedia presentation | |
| JPWO2018066382A1 (en) | Reproducing apparatus and reproducing method, recording apparatus and recording method, reproducing recording apparatus and reproducing recording method, and program | |
| JP5044503B2 (en) | Effect image playback device, effect image playback method, effect image playback program, and recording medium | |
| US20100306701A1 (en) | Creation, Previsualization, Communication, and Documentation of Choreographed Movement | |
| JP2008125050A (en) | Video image reproducing apparatus and video image reproducing method | |
| JP2005167822A (en) | Information reproducing device and information reproduction method | |
| JP4347752B2 (en) | Electronic album display system, electronic album display method, remote controller, and remote control program | |
| KR100383019B1 (en) | Apparatus for authoring a music video | |
| KR20070098364A (en) | Apparatus and method for coding and saving a 3d moving image | |
| JP2004228803A (en) | Photographing device | |
| KR102524870B1 (en) | Device for serving dance image based on midi sound and method for the same, and recording medium readable by computing device | |
| KR20070089503A (en) | Method of inserting a transition movement between two different movements for making 3-d video | |
| JP5607332B2 (en) | Movie playback apparatus and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |