KR100719101B1 - Real-time multilayer image synthesis recording system and method, and the store device which records a method - Google Patents

Real-time multilayer image synthesis recording system and method, and the store device which records a method Download PDF

Info

Publication number
KR100719101B1
KR100719101B1 KR1020050096410A KR20050096410A KR100719101B1 KR 100719101 B1 KR100719101 B1 KR 100719101B1 KR 1020050096410 A KR1020050096410 A KR 1020050096410A KR 20050096410 A KR20050096410 A KR 20050096410A KR 100719101 B1 KR100719101 B1 KR 100719101B1
Authority
KR
South Korea
Prior art keywords
image
video
file
recording
real
Prior art date
Application number
KR1020050096410A
Other languages
Korean (ko)
Other versions
KR20070016902A (en
Inventor
조상환
Original Assignee
주식회사 오아시스미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오아시스미디어 filed Critical 주식회사 오아시스미디어
Priority to KR1020050096410A priority Critical patent/KR100719101B1/en
Publication of KR20070016902A publication Critical patent/KR20070016902A/en
Application granted granted Critical
Publication of KR100719101B1 publication Critical patent/KR100719101B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2545CDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 실시간 다층영상 합성기록 시스템 및 방법, 그리고 그 방법이 기록된 기록매체에 관한 것이다. The present invention relates to a real-time multilayer image composite recording system and method, and a recording medium on which the method is recorded.

더욱 상세하게는 3차원 동영상과 알파채널을 실시간 합성하여 멀티미디어 CD를 제작하는 일체형 시스템에 있어서, 입력되는 동영상에 배경 분리영상인 크로마채널을 합성하고, 사운드에 반응하는 실시간 알파채널과 합성하여 3차원 다층 동영상을 생성 후 비디오 파일과 오디오 파일로 변환 및 압축하는 영상합성수단과, 상기 비디오 파일과 오디오 파일 및 상기 비디오 파일과 오디오 파일을 선택적으로 제어하는 제어프로그램을 실시간으로 저장매체에 기록하는 기록수단을 포함하는 일체형 영상합성장치 및 상기 영상합성수단과 기록수단을 원격제어하는 제어장치를 포함하여 이루어지는 실시간 다층영상 합성기록 시스템과 방법, 그리고 그 방법이 기록된 기록매체에 관한 것이다.More specifically, in an integrated system for producing a multimedia CD by synthesizing a 3D video and an alpha channel in real time, a chroma channel, which is a background separated image, is synthesized on an input video and synthesized with a real time alpha channel that responds to sound. Image synthesizing means for converting and compressing a multi-layer video into a video file and an audio file, and recording means for recording the video file and audio file and a control program for selectively controlling the video file and the audio file on a storage medium in real time. A real-time multilayer image synthesizing system and method comprising an integrated image synthesizing apparatus comprising a and a control apparatus for remotely controlling the image synthesizing means and recording means, and a recording medium on which the method is recorded.

다층영상, 장면전환, 알파채널, 3차원 다층 동영상, 스트리밍, 크로마키 Multilayer, transition, alpha channel, 3D multilayer, streaming, chroma key

Description

실시간 다층영상 합성기록 시스템 및 방법, 그리고 그 방법이 기록된 기록매체{Real-time multilayer image synthesis recording system and method, and the store device which records a method}Real-time multilayer image synthesis recording system and method, and the store device which records a method}

도 1은 본 발명의 바람직한 일 실시예에 따른 실시간 다층영상 합성기록 시스템의 전체적인 구성도를 나타내는 도면이다. 1 is a view showing the overall configuration of a real-time multi-layer composite image recording system according to an embodiment of the present invention.

도 2는 본 발명에 따른 영상합성장치의 내부 블럭 구성을 나타내는 도면이다.2 is a block diagram illustrating an internal block configuration of an image synthesizing apparatus according to the present invention.

도 3은 본 발명에 따른 영상합성수단에 포함된 프로그램의 블럭 구성을 나타내는 도면이다. 3 is a block diagram of a program included in the image synthesizing means according to the present invention.

도 4는 본 발명의 바람직한 일 실시예에 따른 실시간 다층영상 합성기록 방법을 나타내는 순서도이다.4 is a flowchart illustrating a real-time multilayer image composite recording method according to an exemplary embodiment of the present invention.

*** 도면의 주요부분에 대한 부호의 설명 ****** Explanation of symbols for main parts of drawing ***

100 : 입력장치 200 : 영상합성장치100: input device 200: video synthesis device

210 : 영상합성수단 211 : 배경영상 입력부210: image synthesis means 211: background image input unit

212 : 카메라 소스 입력부 213 : 3D 특수효과부212: camera source input unit 213: 3D special effects unit

214 : 오디오 소스 입력부 215 : 시스템 제어부214: audio source input unit 215: system control unit

216 : 영상합성부 217 : 음성인식부216: video synthesis unit 217: voice recognition unit

218 : 파일압축변환부 250 : 기록수단218: file compression conversion unit 250: recording means

252 ; 센서 발광부 254 : 센서 수광부252; Sensor light emitter 254: Sensor light receiver

256 : 감지회로 258 : 제어부256: detection circuit 258: control unit

290 : 프로젝트D/B 291 : 프로젝트 해석모듈290: Project D / B 291: Project Analysis Module

292 : 화상제어 모듈 293 : 특수효과 생성모듈292: image control module 293: special effect generation module

294 : 장면전환 처리모듈 295 : 정지화상 처리모듈294: scene change processing module 295: still image processing module

296 : 영상음향 결합모듈 297 : 녹음 처리모듈296: video sound combination module 297: recording processing module

300 : 제어장치 300: control device

본 발명은 실시간 다층영상 합성기록 시스템 및 방법, 그리고 그 방법이 기록된 기록매체에 관한 것이다. The present invention relates to a real-time multilayer image composite recording system and method, and a recording medium on which the method is recorded.

더욱 상세하게는 그린스크린, 일반스크린, CCD카메라, 웹카메라 등의 영상입력장치를 이용하여 생성된 동영상과 배경분리 영상인 크로마채널과 합성하고, 사운드 입력장치(마이크, 오디오 시스템, MP3, 가요 반주기 등)로 입력되는 사운드에 반응하여 생성된 알파채널을 실시간 합성한 3차원 다층영상 멀티미디어 CD를 실시간 제작할 수 있는 실시간 다층영상 합성기록 시스템 및 방법, 그리고 그 방법이 기록된 기록매체에 관한 것이다. More specifically, it is synthesized with the chroma channel, which is a video and background separated image, generated using image input devices such as green screen, general screen, CCD camera, web camera, and sound input device (microphone, audio system, MP3, flexible half cycle). The present invention relates to a real-time multi-layered composite image recording system and method for real-time production of a 3D multi-layered multimedia multimedia CD synthesized with an alpha channel generated in response to a sound inputted to the sound, and a recording medium on which the method is recorded.

일반적으로 인터넷과 초고속통신망, 컴퓨터의 연산능력이 발달함에 따라 카메라, 캠코더 등으로 촬영한 동영상을 통한 멀티미디어(Multimedia) 구현 양식이 급속도로 다양화 되어지고 있고, 상기 동영상을 다양한 저장매체에 저장하여 정보전달의매체로 활용하면서 그 중요성이 증대되고 있다. In general, as the computing power of the Internet, a high-speed communication network, and a computer develops, a multimedia implementation form through a video taken by a camera or a camcorder is rapidly diversifying, and the video is stored in various storage media for information. Its importance is increasing as a medium of transmission.

한편, 이러한 동영상을 제작하는 기법으로 크로마키(Chroma-Key) 기법을 이용해서 배경화면과 피사체모델을 합성한다. 크로마키 기법은 색상차를 이용하여 화면의 합성을 전기적으로 수행하는 특수 효과로써, 텔레비전 카메라의 RGB(적·녹·청)의 3원색으로부터 키잉(keying) 신호를 만들지만, 보통 인간의 피부색의 보색인 청색을 필터색으로 만들어 쓴다. 우선 청색 배경과 그 앞의 피사체를 촬영한 카메라의 출력을 각각 2개의 레벨 신호로 나누어 2개의 게이트 회로의 제어 전압으로 가한다. 다음에 배경을 촬상한 카메라 출력으로부터 피사체 부분을 빼내어 혼합 회로로 앞 카메라의 출력과 조합하면 완성된다. Meanwhile, as a technique for producing such a video, a background image and a subject model are synthesized using a chroma-key technique. The chroma key technique is a special effect that uses color difference to electrically synthesize the screen. It creates a keying signal from the three primary colors of RGB (red, green, blue) of a television camera. Use complementary blue as the filter color. First, the output of a camera photographing a blue background and a subject in front of it is divided into two level signals and applied as control voltages of two gate circuits. Next, the subject part is extracted from the camera output of the background image and combined with the output of the front camera by a mixing circuit.

이 기술과정은 모두 전자회로(電子回路)에서 행하여지므로 스위치 조작만으로 순간적으로 합성할 수 있다. 같은 원리에 의한 화상합성은 영화제작에서도 컬러 필름을 사용해서 행해지고 있는데, 며칠 간의 작업일정과 고도의 숙련이 필요하다. All of these technical processes are performed in electronic circuits, and can be synthesized instantaneously with only a switch operation. Image synthesis based on the same principle is performed using color film in film production, which requires a few days of work schedule and high skill.

하지만, 이러한 동영상 제작기법은 동영상 캡쳐보드에 소프트웨어를 포함시켜서 동작하는 것으로 기존 영상 시장에 나와 있는 동영상 캡쳐보드의 기능을 그대로 이용한 것에 지나지 않는 것이고, 또한 기존의 동영상 파일은 그 자체로 완결된 하나의 동영상 데이터로만 이루어져 있다는 이유로 인해 일단 동영상 파일을 완성 한 후 재생하는 것만이 가능하였다. However, this video production technique works by incorporating software into the video capture board, which is merely a function of the video capture board function that is available in the existing video market, and the existing video file is a completed one by itself. Due to the fact that it consists only of video data, it was only possible to play after completing the video file.

물론, 동영상 파일의 편집이 불가능한 것은 아니었으나, 이 또한 동영상 파일의 편집을 통해 제2의 동영상을 완성한 후 재생하는 과정을 볼 때 편집을 통한 과정도 완성 후 재생이라는 완전히 동일한 과정이었고, 또한 전자회로만으로 생성된 동영상의 화질과 음질은 깨끗하지 못하다는 단점이 있었다. Of course, the editing of the video file was not impossible, but also when the second video was played after the second file was edited, the editing process was also the same process of completion and playback. There was a drawback that the quality and sound quality of the generated video are not clear.

또한, 최근 컴퓨터로 동영상을 제작하는 장비 및 소프트웨어가 많이 나오고는 있지만 비전문가들이 동영상을 만드는 것은 매우 어려운 실정이고, 장비 역시 카메라 영상을 처리하는 장치, 사운드를 처리하는 장치 등 별도의 장비를 구축하여야 하기 때문에 많은 비용과 공간적 제약을 받는 단점이 있었고, 다양한 산업적 응용을 위해서는 동영상 파일의 실시간 제어 및 편집, 재생이 필요하나 이를 구현할 수 없다는 기능상의 문제점도 있었다. In addition, although there are a lot of equipment and software for making videos with computers, it is very difficult for non-specialists to make videos, and the equipments also need to build a separate equipment such as a camera image processing device and a sound processing device. Due to this, there are disadvantages of cost and space limitation, and there are also functional problems that require real-time control, editing, and playback of video files for various industrial applications, but they cannot be implemented.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 동영상 파일에 사운드에 반응하는 알파채널의 층을 실시간 부가하고 배경 분리영상인 크로마채널을 합성하여 최종적으로 다수의 층을 가진 3차원 다층 동영상을 실시간으로 합성하고 다양한 재생장치에서 재생할 수 있도록 저장매체에 기록하는 실시간 다층영상 합성기록 시스템 및 방법을 제공하는 데 목적이 있고, The present invention has been made to solve the above-described problems, a three-dimensional multilayer having a plurality of layers finally by adding a layer of an alpha channel in response to the sound to a video file in real time and synthesize a chroma channel as a background separation image It is an object of the present invention to provide a real-time multi-layer composite image recording system and method for synthesizing a video in real time and recording on a storage medium for playback on various playback devices,

다른 목적으로는, 3차원 다층 동영상을 비디오 파일과 오디오 파일로 변환 및 압축한 후 상기 저장매체에 기록할 때 재생장치에 상관없이 선택적으로 실행될 수 있도록 하는 제어프로그램을 함께 기록하여 재생장치에 상관없이 실행될 수 있는 실시간 다층영상 합성기록 시스템 및 방법을 제공하는 데 목적이 있고, Another purpose is to convert and compress a 3D multi-layer video into a video file and an audio file, and then record a control program that can be selectively executed regardless of the playback device when recording to the storage medium. To provide a real-time multi-layer composite recording system and method that can be implemented,

또 다른 목적으로는, 종래의 하드웨어로 생성되는 동영상을 하드웨어와 소프트웨어의 실시간 결합으로 깨긋한 화질과 음질의 3차원 다층 동영상을 누구나 쉽게 제작할 수 있는 실시간 다층영상 합성기록 시스템 및 방법을 제공하는 데 그 목적이 있다. It is another object of the present invention to provide a real-time multi-layered composite image recording system and method that enables anyone to easily create a 3D multi-layered video having a smooth image quality and sound quality by combining a hardware generated by a hardware with software in real time. There is a purpose.

상술한 바와 같은 목적은, 3차원 동영상과 알파채널을 실시간 합성하여 멀티미디어 CD를 제작하는 일체형 시스템과 방법, 그리고 그 방법이 기록된 기록매체에 있어서, 입력되는 동영상에 배경 분리영상인 크로마채널을 합성하고, 사운드에 반응하는 실시간 알파채널과 합성하여 3차원 다층 동영상을 생성 후 비디오 파일과 오디오 파일로 변환 및 압축하는 영상합성수단과, 상기 비디오 파일과 오디오 파일 및 상기 비디오 파일과 오디오 파일을 선택적으로 제어하는 제어프로그램을 실시간으로 저장매체에 기록하는 기록수단을 포함하는 일체형 영상합성장치 및 상기 영상합성수단과 기록수단을 원격제어하는 제어장치를 포함하는 시스템과, As described above, an integrated system and method for producing a multimedia CD by synthesizing a 3D video and an alpha channel in real time, and a recording channel on which the method is recorded, synthesizes a chroma channel, which is a background separated image, into an input video. Image synthesis means for generating a 3D multilayer video by synthesizing with a real-time alpha channel responsive to sound, and converting and compressing the video file into an audio file, and selectively converting the video file and the audio file and the video file and the audio file. A system comprising an integrated image synthesizing apparatus comprising recording means for recording a control program to be controlled on a storage medium in real time, and a control apparatus for remotely controlling the image synthesizing means and recording means;

(a) 사용자가 동영상 스토리가 설계되어 있는 기 저장된 프로젝트 파일을 선택하는 단계와, (b) 상기 사용자의 영상과 사운드를 입력받아 상기 프로젝트 내용에 따라 기 설정된 배경화면, 장면전환, 정지화상, 3D입체를 합성하여 동영상 파일을 생성하는 단계와, (c) 상기 동영상 파일에 사운드에 반응하는 실시간 알파채널 을 실시간 합성하여 3차원 다층 동영상을 생성하는 단계와, (d) 상기 3차원 다층 동영상을 실시간으로 비디오 파일로 변환 및 압축하여 임시 저장공간에 저장하다가 끝남을 알리는 제어신호를 감지하면, 상기 비디오 파일을 오디오 파일로 복사 및 변환하는 단계와, (e) 상기 비디오 파일과 오디오 파일을 제어 프로그램과 함께 실시간 저장매체에 기록하는 단계를 포함하여 이루어지는 방법이 제공되고, (a) selecting a pre-stored project file in which a video story is designed, and (b) receiving a user's image and sound, and setting a preset background, scene change, still picture, and 3D according to the project content. Generating a video file by synthesizing three-dimensional images, (c) generating a three-dimensional multilayer video by real-time synthesizing a real-time alpha channel responsive to sound in the video file, and (d) real-time generating the three-dimensional multilayer video. And converting and compressing the video file into a temporary storage space and detecting the end of the control signal, copying and converting the video file into an audio file, and (e) converting the video file and the audio file into a control program. Provided is a method comprising the steps of recording to a real-time storage medium together,

(A) 사용자가 동영상 스토리가 설계되어 있는 기 저장된 프로젝트 파일을 선택하거나 프로젝트 프로그램을 이용하여 동영상 스토리를 설계하여 저장할 수 있도록 하는 기능과, (B) 다수의 카메라와 사운드 입력장치를 이용하여 입력되는 사용자의 영상과 사운드 데이터를 영상과 사운드로 분리하여 처리할 수 있도록 하는 기능과, (C) 상기 입력되는 상기 사용자의 영상과 프로젝트 내용에 따라 기 설정된 배경화면, 장면전환 효과, 정지화상 처리, 3D 입체효과 등을 합성하여 동영상 파일을 생성하는 기능과, (D) 상기 동영상 파일과 입력되는 사운드에 반응하는 다양한 알파이미지를 결합하여 최종 렌더링 된 3차원 다층 동영상 파일을 생성하는 기능과, (E) 상기 최종 렌더링 된 3차원 다층 동영상 파일을 비디오 파일인 스트리밍 파일로 변환하여 압축한 후 임시 저장공간에 저장하는 기능과, (F) 끝남을 알리는 신호를 감지하면, 상기 비디오 파일을 자동적으로 오디오 파일로 복사 및 변환하고, 상기 비디오 파일과 오디오 파일을 재생장치에서 선택적으로 실행할 수 있도록 하는 제어프로그램과 함께 저장매체에 기록하는 기능을 실현시키기 위한 프로그램을 기록한 기록매체를 제공함으로써 달성된다. (A) A function that allows a user to select a pre-stored project file for which a video story is designed or to design and save a video story using a project program, and (B) Inputs using a plurality of cameras and sound input devices. (C) a function of separating and processing a user's video and sound data into a video and sound; and (C) a preset background, scene change effect, still picture processing, and 3D according to the input user's video and project contents. A function of generating a video file by synthesizing a stereoscopic effect, (D) a function of generating a final rendered 3D multilayer video file by combining the video file and various alpha images in response to an input sound, and (E) After converting the final rendered 3D multilayer video file into a streaming file which is a video file, (F) automatically detects the end signal, automatically copies and converts the video file to an audio file, and selectively executes the video file and the audio file on a playback device. It is achieved by providing a recording medium having recorded thereon a program for realizing a function of recording on a storage medium together with a control program.

이하 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른 실시간 다층영상 합성기록 시스템 및 방법, 그리고 그 방법이 기록된 기록매체에 관해서 더욱 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, a real-time multilayer image composite recording system and method according to an exemplary embodiment of the present invention, and a recording medium on which the method is recorded will be described in more detail.

도 1은 본 발명의 바람직한 일 실시예에 따른 실시간 다층영상 합성기록 시스템의 전체적인 구성도를 나타내는 도면이다. 도 1을 참조하여 더욱 상세하게 설명하면, 1 is a view showing the overall configuration of a real-time multi-layer composite image recording system according to an embodiment of the present invention. In more detail with reference to Figure 1,

본 발명인 실시간 다층영상 합성기록 시스템은 일체형 시스템으로 영상합성장치(200)과 이를 제어하기 위한 제어장치(300)로 구성된다.The real-time multi-layer composite image recording system of the present invention comprises an image synthesizing apparatus 200 and a control apparatus 300 for controlling the integrated system.

상기 영상합성장치(200)은 카메라로 입력되는 영상을 별도로 처리하는 영상 처리장치, 사운드를 입력받아 별도로 처리하는 사운드 처리장치, 상기 영상과 사운드를 합성하는 합성장치 등으로 구성된 종래의 노래방에서 사용되는 동영상시스템을 개선하여 공간적인 제약을 줄이면서 음질과 화질을 더욱 뛰어나게 만든 일체형 시스템으로 영상합성수단(210)과 기록수단(250)으로 구성된다. The image synthesizing apparatus 200 is used in a conventional karaoke consisting of an image processing apparatus for separately processing the image input to the camera, a sound processing unit for receiving the sound separately, a synthesis apparatus for synthesizing the image and sound, etc. It is composed of an image synthesizing means 210 and a recording means 250 as an integrated system that improves the video quality and improves the sound quality and image quality while reducing spatial constraints.

상기 영상합성수단(210)는 다양한 입력장치(100)인 그린스크린, 일반스크린, CCD카메라, 웹카메라 등에 의해 촬영된 사용자의 춤, 반주 등의 영상을 입력받아, 기 저장된 자연배경, 도시배경, 동화배경, 무대배경 및 특수배경 등의 다양한 배경영상, 3D특수효과 및 본 발명의 수학적 알고리즘이 적용된 고유의 장면전환과 함께 배경분리영상 기법인 소프트 크로마키(Soft Chroma-Key) 기법을 적용하여 실시간으로 동영상을 생성하고, 상기 동영상에 마이크, 오디오 시스템, MP3, 가요 반주기 등에 의해 입력되는 사운드에 반응하여 생성되는 투명, 반투명, 불투명 등의 알파채널(α-channel)을 동기화한 후 실시간으로 합성하여 3차원 다층 동영상을 생성하고, 상기 3차원 다층 동영상을 다시 고유의 포맷인 스트리밍 기술을 적용시켜 비디오 파일과 오디오 파일로 변환 및 압축하는 역할을 한다. The image synthesizing unit 210 receives an image of a user's dance, accompaniment, etc. photographed by various input devices 100 such as a green screen, a general screen, a CCD camera, a web camera, etc. Various background images such as fairy tale backgrounds, stage backgrounds and special backgrounds, 3D special effects, and unique scene transitions applied with the mathematical algorithm of the present invention, and Soft Chroma-Key, a background separation image technique, is applied in real time. Create a video, and synchronize the alpha channel (α-channel) such as transparent, translucent, opaque, etc. generated in response to the sound input by the microphone, audio system, MP3, flexible half cycle, etc. Create 3D multi-layer video and convert the 3D multi-layer video to video file and audio file by applying streaming technology, which is a unique format. It serves to compress.

상기 소프트 크로마키(Soft Chroma-Key) 기법은 크로마키(Soft Chroma-Key) 기법은 더욱 개선하여 본 발명에 적용한 기술로써, 기존방법으로 크로마키를 쓴 경우 청색성분으로 끊겨서 나뉜 합성부분의 경계에 지 터가 생기든가, 키 신호를 얻기 위한 청색성분이 전경쪽에 덮이는 등 합성이 부자연스럽게 보인다. The Soft Chroma-Key technique is a technique applied to the present invention by further improving the Soft Chroma-Key technique. When the chroma key is used in the conventional method, it is divided into a blue component at the boundary of the synthesized part. Synthesis seems unnatural, such as jitter or the blue component covering the key to obtain the key signal.

하지만, 본 발명에서는 영상파형의 디졸브 성에 착안하여 키 신호에 경사를 준 대형파를 사용하고, 또 색 포 그를 해소하는 회로를 씀으로서 지 터나 청색 포 그가 없는 자연스런 화면합성이 되게 하였고, 상기 회로는 조명 조건의 변화, 피사체의 변화 등으로 키 신호가 변화하게 되는데 이 변화를 수습하는 회로를 설치해 변화가 있을 때는 자동적으로 추종해서 항상 최고의 값을 얻도록 하였다. However, in the present invention, by using the large wave inclined to the key signal by paying attention to the dissolveability of the image waveform, and by using a circuit to eliminate the color fogging, the natural screen synthesis without jitter or blue fogging is achieved. Key signals change due to changes in lighting conditions, subject changes, etc., and a circuit for rectifying these changes is installed so that when there is a change, it automatically follows to get the best value.

상기 알파채널(α-channel)은 배경영상에 합쳐지면 알파채널(α-channel)이 불투명의 속성을 가지고 있을 경우, 알파채널(α-channel)의 투명부분을 제외한 나머지 영상이 배경영상 위를 완전히 덮게 되며, 알파채널(α-channel)이 반투명의 속성을 가지고 있을 경우, 알파채널(α-channel)과 배경영상의 겹쳐지는 부분은 배경영상을 볼 수 있게 되는 기술로, 실제로 정지영상에 대해서는 실제로 구현되고 있는 기술이나 동영상에서는 현재까지 구현 불가능한 기술이다. When the alpha channel is combined with the background image and the alpha channel has an opaque property, the remaining images except for the transparent portion of the alpha channel are completely over the background image. If the alpha channel has a semi-transparent property, the overlapping part of the alpha channel and the background image is a technology that allows you to see the background image. It is a technology that can not be implemented so far in the technology or video being implemented.

하지만 본 발명에서는 동영상에 실시간 적용할 수 있는 상기 알파채널(α- channel)를 개발하였고 이를 영상합성수단에 적용하였다. However, the present invention has developed the alpha channel (α-channel) that can be applied to the video in real time and applied it to the image synthesis means.

상기 영상합성수단(210)은 상기 고유의 포맷인 스트리밍 기술이 적용된 비디오 파일을 임시 저장공간에 저장하고 있다가 사용자의 영상, 노래 등의 끝남을 알리는 신호를 감지하게 되면 상기 스트리밍 파일인 비디오 파일을 오디오 파일로 변환 및 복사한다. The video synthesizing unit 210 stores the video file to which the unique format streaming technology is applied in a temporary storage space and detects a signal indicating the end of the user's video or song. Convert and copy audio files.

상기 기록수단(250)은 삽입된 저장매체가 전용 저장매체인지를 판단 한 후, 상기 비디오 파일과 오디오 파일, 그리고 상기 비디오 파일과 오디오 파일을 선택적으로 재생시키기 위한 제어프로그램과 함께 하나의 섹터 내에 함께 실시간으로 다양한 저장매체(CD(Compact Disk), DVD(Digital Video Disk), Audio CD, VCD(Video Compact Disk) 등)에 자동적으로 레코딩 처리하는 역할을 한다. The recording means 250 determines whether the inserted storage medium is a dedicated storage medium, and then, together with a control program for selectively playing the video file and the audio file and the video file and the audio file, It automatically records to various storage media (CD (Compact Disk), DVD (Digital Video Disk), Audio CD, VCD (Video Compact Disk), etc.) in real time.

상기 제어프로그램은 상기 저장매체가 삽입되는 재생장치의 종류를 파악하여 상기 비디오 파일과 오디오 파일의 위치정보를 제공하여 실행되게끔 하는 역할을 수행한다. The control program plays a role of determining the type of the playback device into which the storage medium is inserted and providing the location information of the video file and the audio file to be executed.

상기 CD(Compact Disk), DVD(Digital Video Disk), Audio CD, VCD(Video Compact Disk)등에는 본 발명의 실시간 다층영상 합성기록 시스템에 사용되는 전용 저장매체임을 확인할 수 있는 특정 마크가 삽입된 것이 특징이다. The CD (Compact Disk), DVD (Digital Video Disk), Audio CD, VCD (Video Compact Disk), etc. is inserted into a specific mark that can be identified as a dedicated storage medium used in the real-time multi-layer video composite recording system of the present invention It is characteristic.

상기 CD(Compact Disk), DVD(Digital Video Disk), Audio CD, VCD(Video Compact Disk)등의 다양한 저장매체에 저장되는 비디오 파일과 오디오 파일은 상기 프로그램에 의해 CD(Compact Disk), DVD(Digital Video Disk), Audio CD, VCD(Video Compact Disk)등의 재생장치에서 자동적으로 선택되어 실행되는 것이 특징이다. Video files and audio files stored in various storage media such as compact disk (CD), digital video disk (DVD), audio CD, and video compact disk (VCD) are used by the program for compact disk (CD) and DVD (Digital). It is automatically selected and executed in playback devices such as Video Disk, Audio CD, and VCD (Video Compact Disk).

상기 제어장치(300)는 적외선, RF, 블루투스, 지그비(ZigBee) 등의 무선통신을 이용하여 본 발명인 영상입력장치와 연결된 다양한 입력장치(100)와 영상합성수단 및 녹화장치인 CD-ROM 등의 기록수단 등을 제어하는 기능을 한다. The control device 300 uses a variety of input device 100 and the video synthesis means and recording device CD-ROM, etc. connected to the video input device of the present invention using wireless communication such as infrared, RF, Bluetooth, ZigBee (ZigBee) It controls the recording means.

상기 제어장치(300)는 고유의 주파수 대역을 사용하여 기타 가전제품과의 주파수 혼용으로 발생할 수 있는 시스템 오 동작을 미연에 방지하여 성능을 최적화하고, USB포트와 연결하여 AAA 충전용 건전지를 충전하여 다시 사용할 수 있고, 반경 15M 이내의 사방 어느 곳에서든 원활하게 실시간 다층영상 합성기록 시스템을 편리하게 제어할 수 있는 것이 특징이다. The control device 300 uses a unique frequency band to prevent system malfunctions that may occur by mixing with other home appliances in advance, thereby optimizing performance, and charging AAA rechargeable batteries by connecting to a USB port. It can be used again and conveniently controls the real-time multi-layer composite recording system anywhere within a radius of 15M.

도 2는 본 발명에 따른 영상합성장치의 내부 블럭 구성을 나타내는 도면이다. 도 2를 참조하여 더욱 상세하게 설명하면, 2 is a block diagram illustrating an internal block configuration of an image synthesizing apparatus according to the present invention. Referring to Figure 2 in more detail,

본 발명의 영상합성장치는 영상합성수단(210)과 기록수단(250)을 더 포함하여 구성된다. The image sum growth value of the present invention further comprises an image synthesizing means 210 and a recording means 250.

상기 영상합성수단(210)은 일체형 시스템으로 시스템 제어부(215), 배경영상 입력부(211), 카메라 소스 입력부(212), 3D 특수효과부(213), 오디오 소스 입력부(214), 영상합성부(216), 음성인식부(217), 파일압축변환부(218) 등을 더 포함하여 구성된다.The image synthesizing means 210 is an integrated system. The system control unit 215, the background image input unit 211, the camera source input unit 212, the 3D special effects unit 213, the audio source input unit 214, the image synthesis unit ( 216, a voice recognition unit 217, a file compression conversion unit 218, and the like.

상기 시스템 제어부(215)는 상기 제어장치(300)의 입력신호를 수신받아 입력장치, 영상합성수단, 기록수단 등을 원격제어한다.The system controller 215 receives an input signal from the control device 300 to remotely control the input device, the image synthesizing means, the recording means, and the like.

상기 배경영상 입력부(211)는 자연배경, 도시배경, 동화배경, 무대배경, 특수배경 등을 이용하여 에디터(EDIT)프로그램으로 특수효과, 고유장면전환 효과, 3차원 입체영상을 구현하는 프로젝트 파일을 생성하여 다양한 테마 영상별로 제작하여 저장하고 제공한다. The background image input unit 211 uses a natural background, a city background, a fairy tale background, a stage background, a special background, and the like to create a project file for implementing special effects, unique scene switching effects, and 3D stereoscopic images using an editor program. Create, save and provide various theme videos.

상기 카메라 소스 입력부(212)는 상기 입력장치(100)의 카메라를 기 설정된 순서로 선택하여 사용자의 비디오 영상을 촬영함과 동시에 1번 카메라에서 2번, 3번, 4번 등의 카메라로 스위칭되는 동안 상기 영상합성장치(200)에 내장된 고유의 화면전환 효과를 적용하여 자연스런 스위칭이 이루어지도록 하는 기능을 한다. The camera source input unit 212 selects the cameras of the input device 100 in a preset order to capture a video image of the user and is switched from the first camera to the second, third, and fourth cameras. During this time, a natural switching is performed by applying a unique screen switching effect built in the image synthesizing apparatus 200.

상기 3D 특수효과부(213)는 3D특수효과의 데이터를 미리 저장하고 있다가 전용 에디터로 기 저장된 배경영상과 적절히 조합하여 주제별, 테마 프로젝트 파일을 연출 생성하여 그린 스크린 앞에서 CCD 카메라로 촬영된 사용자의 영상 데이터에 특수효과를 가미하여 3차원 입체 영상으로 합성하는 기능을 한다. The 3D special effects unit 213 pre-stores the data of the 3D special effects, and then creates a theme project file for each theme by combining the background image with a pre-stored editor with a dedicated editor. It adds special effects to image data and synthesizes them into 3D stereoscopic images.

상기 오디오 소스 입력부(214)는 상기 사운드 입력장치인 마이크, 오디오 시스템, CD플레이어, MP3, 가요 반주기 등을 통하여 입력된 아날로그 및 디지털 사운드의 입력신호를 통제하고, 입력된 아날로그 신호를 디지탈 신호로 변환하는 기능을 한다. The audio source input unit 214 controls the input signals of analog and digital sound input through the sound input device such as a microphone, an audio system, a CD player, an MP3, a flexible half cycle, and converts the input analog signals into digital signals. Function.

상기 영상합성부(216)는 기 저장된 배경화면, 3차원 입체효과, 고유의 장면 전환 효과를 카메라로 촬영된 사용자의 영상과 합성하여 동영상 파일을 생성하는 기능과, 동영상을 합성하는 데 있어 단순 합성뿐만 아니라 알파(Alpha)채널을 포함한 다양한 합성기법을 지원한다. The image synthesizing unit 216 generates a video file by synthesizing a pre-stored background, three-dimensional stereoscopic effect, and a unique scene change effect with a user's image photographed with a camera, and simple synthesis in synthesizing a video. It also supports a variety of synthesis techniques, including the alpha channel.

상기 음성인식부(217)는 입력된 사운드 신호정보를 분석, 추출하여 기 저장된 사운드 정보를 시각화한 알파채널을 호출하여 배경영상과 카메라로 촬영된 사용자 영상, 3차원 입체효과 영상에 투명, 반투명, 불투명 등으로 생성된 알파이미지를 적용하여 사운드, 음악에 반응하는 영상을 연출 및 합성한다. The voice recognition unit 217 analyzes and extracts the input sound signal information and calls an alpha channel that visualizes previously stored sound information to make the background image, the user image photographed by the camera, the transparent, translucent, 3D stereoscopic image, Apply alpha image created by opacity to create and synthesize images that respond to sound and music.

상기 파일압축변환부(218)는 상기 영상합성부(216)에 의해 생성된 동영상 파일과 입력된 사운드 신호, 특수효과를 동기화하여 실시간으로 합성 렌더링 되어 완성된 3차원 다층 동영상을 고유의 스트리밍 파일인 비디오 파일(asf)로 변환 및 압축 저장하고, 동시에 합성된 3차원 다층 동영상에서 기 설정된 시간에 따라 포토, 그래픽 파일을 추출, 임시 메모리에 저장하여 기록수단(250)으로 전송한다. The file compression converter 218 synchronizes the video file generated by the image synthesizer 216 with the input sound signal and special effects, and synthesizes and renders the completed 3D multilayer video as a unique streaming file. A video file asf is converted, compressed and stored, and at the same time, the photo and graphic files are extracted and stored in a temporary memory according to a predetermined time in the synthesized 3D multilayer video and transmitted to the recording means 250.

상기 파일압축변환부(218)는 최종 렌더링된 3차원 다층 동영상을 지정된 특정시간마다 사진을 추출하여 고유 플레이어에 저장하고 핸드폰 및 인터넷으로 전송할 수 있는 것을 특징으로 한다. The file compression converter 218 may extract the final rendered 3D multilayer video at a specific specific time, store the pictures in a unique player, and transmit the same to a mobile phone and the Internet.

상기 기록수단(250)은 센서 발광부(252), 센서 수광부(254), 감지회로(256), 제어부(258)를 더 포함하여 구성된다. The recording means 250 further includes a sensor light emitting unit 252, a sensor light receiving unit 254, a sensing circuit 256, and a control unit 258.

상기 센서 발광부(252)는 상기 기록수단(250)에 삽입된 저장매체의 표면에 특정마크가 삽입된 부분에 빛을 쏘기위한 역할을 수행한다. The sensor light emitting unit 252 serves to shoot light at a portion where a specific mark is inserted into the surface of the storage medium inserted into the recording means 250.

상기 센서 수광부(254)는 상기 센서 발광부(252)에 의해 쏘아진 빛이 상기 저장매체의 표면에 삽입된 특정마크에 부딪혀 반사되는 값을 수신하고 그 값을 증폭시켜 감지회로(256)로 전송하는 역할을 수행한다. The sensor light receiver 254 receives a value reflected by the light emitted by the sensor light emitter 252 from a specific mark inserted into the surface of the storage medium, amplifies the value, and transmits the amplified value to the sensing circuit 256. It plays a role.

상기 감지회로(256)는 상기 센서 수광부(254)에서 전송된 값을 이용하여 전용 저장매체인지를 판단하는 역할을 수행한다. The sensing circuit 256 determines whether a dedicated storage medium is used by using the value transmitted from the sensor light receiver 254.

상기 제어부(258)는 상기 감지회로(256)에 의해 판단되어진 결과값에 따라 상기 기록수단(250)에 삽입된 저장매체를 퇴출 또는 레코딩을 진행하는 역할을 제어한다. The controller 258 controls the role of ejecting or recording the storage medium inserted into the recording means 250 according to the result value determined by the sensing circuit 256.

상기 기록수단(250)에 삽입되는 저장매체가 전용 저장매체인지를 판단하는 방법으로는 라인 트레이서를 이용하는데, 상기 라인 트레이서는 바닥에 그어진 선을 따라 흰색은 반사(0) 검은색은 흡수(1)하는 간단한 디지털 원리가 적용되는 단순한 동작원리로서, 상기 센서 발광부(252)에서 쏘는 빛이 저장매체의표면에 부딪혀 반사되는 값을 상기 센서 수광부(254)가 받아서 그 값을 증폭시켜 상기 감지회로(256)에 전송하게 된다. 상기 감지회로(256)는 수신된 값이 0일 때는 삽입된 저장매체를 퇴출시키고, 1일 때는 레코딩을 진행하게 된다. A line tracer is used as a method of determining whether the storage medium inserted into the recording means 250 is a dedicated storage medium. The line tracer has white reflections (0) and black absorptions (1) along a line drawn on the bottom. As a simple operation principle to which a simple digital principle is applied, the sensor light receiving unit 254 receives a value reflected by the light emitted from the sensor light emitting unit 252 from the surface of the storage medium and amplifies the value. To 256. The detection circuit 256 exits the inserted storage medium when the received value is 0, and proceeds with recording when it is 1.

도 3은 본 발명에 따른 영상합성수단(210)에 포함된 프로그램의 블럭 구성을 나타내는 도면이다. 도 3을 참조하여 프로그램의 구성에 대해 더욱 상세하게 설명하면,3 is a block diagram of a program included in the image synthesizing means 210 according to the present invention. Referring to Figure 3 in more detail with respect to the configuration of the program,

본 발명인 상기 영상합성수단(210)에 탑재되는 프로그램은 프로젝트 D/B(290), 프로젝트 해석모듈(291), 화상제어 모듈(292), 특수효과 생성모듈(293), 장면전환 처리모듈(294), 정지화상 처리모듈(295), 영상음향 결합모듈(296), 녹음 처리모듈(297) 등을 더 포함하여 구성된다. The program mounted on the image synthesizing means 210 of the present invention includes a project D / B 290, a project analysis module 291, an image control module 292, a special effect generating module 293, a scene change processing module 294 ), A still image processing module 295, a video sound combining module 296, a recording processing module 297 and the like.

상기 프로그램은 영상합성수단(210)에 탑재되기도 하고 별도의 컴퓨터가 읽을 수 있는 저장매체에 기록하여 제공하는 것을 특징으로 한다. The program may be mounted on the image synthesizing unit 210 or recorded and provided on a separate computer readable storage medium.

상기 프로젝트D/B(290)는 상기 사용자가 제작하고자 하는 동영상의 스토리 내용을 저장하는 기능을 수행한다.The project D / B 290 stores a story content of a video to be produced by the user.

상기 동영상 스토리는 상기 사용자가 자신이 만들고자 하는 동영상의 전체적인 내용을 설정하는 것으로 배경화면, 장면처리, 특수효과 등을 상기 영상합성수단에서 제공되는 프로젝트 프로그램을 이용하여 설정할 수도 있다.The video story is to set the overall contents of the video that the user wants to make, it is also possible to set the background screen, scene processing, special effects, etc. using the project program provided by the image synthesizing means.

상기 프로젝트 해석모듈(291)은 상기 프로젝트 내용에 따라 다양한 화상제어모듈(292), 특수효과 생성모듈(293), 장면전환 처리모듈(294), 정지화상 처리모듈(295) 등을 제어하는 기능을 수행한다.The project analysis module 291 controls the various image control module 292, the special effect generation module 293, the scene change processing module 294, the still image processing module 295, etc. according to the project contents. Perform.

상기 화상제어 모듈(292)은 입력되는 반주의 반주 음향 또는 음악파일의 오디오 음향에 따라 이들 특수효과, 동영상 장면전환, 정지화상, 이미지 동영상에 다양한 알파이미지를 합성하고 제어하는 기능을 수행한다.The image control module 292 performs a function of synthesizing and controlling various alpha images to these special effects, moving picture transitions, still pictures, and moving pictures according to the input accompaniment sound or the audio sound of the music file.

상기 특수효과 생성모듈(293)은 상기 프로젝트 해석모듈(291)의 제어에 따라 프로젝트 내용에 맞는 특수효과를 생성하여 합성하는 기능을 수행한다. The special effect generation module 293 performs a function of generating and synthesizing the special effects suitable for the project contents under the control of the project analysis module 291.

상기 장면전환 처리모듈(294)는 상기 프로젝트 해석모듈(291)의 제어에 따라 프로젝트 내용에 맞는 장면전환 효과를 생성하여 합성하는 기능을 수행한다.The scene change processing module 294 generates and synthesizes a scene change effect suitable for the project contents under the control of the project analysis module 291.

상기 장면전환 처리모듈(294)은 두개의 임계값을 설정하여 특징값이 높은 임계값 이상이면 급격한 장면전환으로 판단하고, 낮은 임계값 이상이면 낮은 임계값 이상의 값을 갖는 구간에서 특징값을 누적하여 이 누적한 특징값이 주어진 임계값보다 클 경우에 점진적 장면전환으로 판단하는 것을 특징으로 한다. The scene change processing module 294 sets two thresholds to determine a sudden scene change if the feature value is higher than or equal to a high threshold value, and accumulates the feature values in a section having a value equal to or lower than a low threshold value. When the cumulative feature value is larger than a given threshold, the feature is determined as a gradual scene change.

일반적으로 장면전환 검출을 위한 기본적인 방법은 연속한 프레임 간의 특징값의 차이가 미리 설정된 임계값 이상이면 장면전환이 발생한 것으로 판단하는 것이다. 이런 방법으로는 급격한 장면전환은 비교적 쉽게 검출할 수 있으나 점진적인 장면전환은 검출하기 어렵다. 즉, 임계값이 너무 높게 설정되면 점진적인 장면전환을 찾아낼 수 없고, 반대로 임계값이 너무 낮게 설정되면 하나의 점진적 장면전환에서 너무 많은 장면전환을 찾아내게 되거나 물체의 빠른 움직임 등으로 인한 영상의 변화를 장면전환으로 잘못검출하게 되어 화질이 떨어지는 원인이 된다. In general, a basic method for detecting a scene change is to determine that a scene change occurs when a difference in feature values between consecutive frames is equal to or greater than a preset threshold. In this way, abrupt scene changes can be detected relatively easily, but progressive scene changes are difficult to detect. In other words, if the threshold value is set too high, it is impossible to find a gradual transition. On the contrary, if the threshold value is set too low, too many transitions are found in one gradual transition or the image changes due to rapid movement of an object. Can be detected incorrectly as a scene change, causing the image quality to deteriorate.

하지만, 본 발명에서는 점진적 장면전환 구간 내와 구간 전후의 특징값의 변화를 관찰하여 점진적 장면전환을 검출하는 방법을 사용하기 때문에 특징값의 일시적인 변화에 둔감하며, 서로 다른 영상에 대해서도 적응적으로 대응하는 장점이 있다.However, since the present invention uses a method for detecting a gradual scene change by observing changes in feature values before and after a gradual scene change section, the present invention is insensitive to temporary changes in feature values and adaptively responds to different images. There is an advantage.

상기 특징값으로는 HSV 컬러 히스토그램을 사용하였으며, 영상의 작은 변화에 덜 민감하도록 히스토그램의 각 성분이 4bit 양자화되었다. 프레임간의 차이를 구하기 위해서는

Figure 112005057833117-pat00001
방법을 사용하였다. 일반적으로 임계값에 기반한 장면전환 검출방법은 사용된 임계값에 따라 결과가 크게 좌우되는데, 이러한 임계값에 대한 의존도를 낮추기 위해 적응적 임계값의 사용이 필요하다. As the feature value, an HSV color histogram was used, and each component of the histogram was 4-bit quantized to be less sensitive to small changes in the image. To find the difference between frames
Figure 112005057833117-pat00001
Method was used. In general, the scene change detection method based on the threshold value is highly dependent on the threshold value used, and it is necessary to use an adaptive threshold value to reduce the dependency on the threshold value.

즉, 본 발명은 적응적 임계값을 설정하기 위해 현재 프레임의 앞, 뒤로 길이 N인 로컬 윈도우를 씌워 윈도우 내의 특징값의 평균을 이용하여 임계값을 설정하는That is, the present invention sets a threshold using an average of feature values in the window by covering a local window of length N before and after the current frame to set an adaptive threshold.

Figure 112005057833117-pat00002
을 사용하였는데, 상기
Figure 112005057833117-pat00003
는 선택된 적응적 임계값이고,
Figure 112005057833117-pat00004
는 미리 선택되는 임계값이고,
Figure 112005057833117-pat00005
은 로컬 윈도우 내의 평균값으로, 현재 프레임의 특징값이 위와 같이 얻어진 적응적 임계값보다 크면서, 윈도우 내의 최대값일 경우 장면전환이 발생한 것으로 판단하게 된다.
Figure 112005057833117-pat00002
Was used, the above
Figure 112005057833117-pat00003
Is the selected adaptive threshold,
Figure 112005057833117-pat00004
Is a preselected threshold,
Figure 112005057833117-pat00005
Is an average value in the local window. If the feature value of the current frame is larger than the adaptive threshold value obtained as described above, it is determined that the scene change has occurred when the maximum value is in the window.

즉, 이 방법은 두개의 임계값을 설정하여 특징값이 높은 임계값 이상이면 급격한 장면전환으로 판단하고, 낮은 임계값 이상이면 낮은 임계값 이상의 값을 갖는 구간에서 특징값을 누적하여 이 누적한 특징값이 주어진 임계값보다 클 경우에 점진적 장면전환으로 판단하게 된다. In other words, this method sets two thresholds, and if the feature value is higher than or equal to the high threshold value, it is determined as a sudden scene change. If the feature value is higher than or equal to the low threshold value, the cumulative feature is accumulated by accumulating the feature value in a section having a value higher than or equal to the low threshold value. If the value is greater than the given threshold, it is determined as a gradual transition.

상기의 방법을 적용함으로써, 점진적인 장면전환에 대해서 잘 동작하고, 다양한 영상에 대하여 적응적으로 대응하며, 노이즈와 같은 일시적인 변화에 둔감한 장점을 갖기 때문에 화질이 뛰어난 동영상을 만들어 내게 되는 것이다. By applying the above method, it works well for gradual scene changes, adaptively responds to various images, and has a merit of being insensitive to temporary changes such as noise.

상기 정지화상 처리모듈(295)은 상기 프로젝트 해석모듈(291)의 제어에 따라 프로젝트 내용에 맞는 정지화상을 처리하는 기능을 수행한다. The still image processing module 295 performs a function of processing a still image suitable for the project contents under the control of the project analysis module 291.

상기 영상음향 결합모듈(296)은 상기 화상제어모듈(292)에 의해 생성된 동영상을 사운드와 결합되어 최종 비디오 파일인 스트리밍 파일로 변환 및 압축하는 기 능을 수행한다. The image sound combining module 296 converts and compresses the video generated by the image control module 292 into a streaming file which is a final video file combined with sound.

상기 녹음 처리모듈(297)은 상기 사용자가 자신의 목소리 등을 입력하여 비디오 파일에 삽입할 수 있도록 하는 기능을 수행하는데, 상기 기록수단(250)을 이용하여 저장매체에 기록할 때 비디오 파일과 오디오 파일 뿐만 아니라 상기와 같이 사용자가 자신의 목소리를 입력하거나 또는 특정업체의 광고성 메시지도 입력할 수 있도록 하는 기능을 한다. The recording processing module 297 performs a function of allowing the user to input his / her voice or the like into a video file. When recording to a storage medium using the recording means 250, the video file and the audio are recorded. As well as a file, as described above, the user can input his or her voice or a specific company's advertising message.

도 4는 본 발명의 바람직한 일 실시예에 따른 실시간 다층영상 합성기록 방법을 나타내는 순서도이다. 도 4를 참조하여 기록방법에 대해 더욱 상세하게 설명하면, 4 is a flowchart illustrating a real-time multilayer image composite recording method according to an exemplary embodiment of the present invention. The recording method will be described in more detail with reference to FIG.

사용자가 그린스크린, 일반스크린, CCD카메라, 웹카메라, 사운드 입력장치(마이크, 오디오 시스템, MP3, 가요 반주기 등) 등을 이용하여 멀티미디어 CD를 제작하기위해 상기 영상합성장치(200)를 상기 제어장치(300)를 이용하여 설정하게 되는데(S502), The control device comprises the image synthesizing apparatus 200 for a user to produce a multimedia CD using a green screen, a general screen, a CCD camera, a web camera, a sound input device (microphone, audio system, MP3, music half cycle, etc.). It is set using (300) (S502),

상기 사용자가 상기 영상합성수단(210)에 상기 사용자들을 위하여 동영상 스토리를 미리 설계하여 제공되는 프로젝트 파일을 선택하거나(S504), 상기 사용자가 직접 상기 영상합성수단(210)에서 제공하는 프로젝트 에디터(EDIT) 프로그램을 이용하여 상기 사용자가 원하는 방식의 동영상 스토리를 설계하여 프로젝트 파일로 저장할 수도 있다(S506). The user selects a project file provided in advance by designing a video story for the users in the image synthesizing means 210 (S504), or the project editor (EDIT) directly provided by the user in the image synthesizing means 210 The user may design a video story in a manner desired by the user and store it as a project file (S506).

상기 사용자가 프로젝트 파일을 선택하게 되면 상기 영상합성수단(210)은 상 기 사용자의 반주나 춤, 모습 등의 영상을 촬영하여 입력받고, 마이크, 오디오 시스템, 노래 반주기 등의 사운드 입력장치를 이용하여 사운드의 입력을 받는다(S508). When the user selects a project file, the image synthesizing unit 210 receives and inputs an image of the user's accompaniment, dance, and appearance, and uses a sound input device such as a microphone, an audio system, and a song half cycle. The sound is input (S508).

상기 입력된 사용자의 반주나 춤, 모습 등의 영상은 배경분리 영상기법인 소프트 크로마키채널에 의해 상기 사용자가 선택한 프로젝트 내용에 따라 기 설정된 배경화면, 장면전환 효과, 정지화상 처리, 3D 입체효과 등 다양한 효과를 처리하고 합성하여(S510) 동영상 파일을 생성한다(S512). The input images such as accompaniment, dance, and appearance of the user are pre-set background, scene change effect, still image processing, 3D stereoscopic effect, etc. according to the project content selected by the user by soft chroma key channel which is a background separation image technique. Various effects are processed and synthesized (S510) to generate a video file (S512).

또한, 상기 사용자가 선택한 프로젝트의 내용에 알파채널이 있는지를 분석하여 알파채널이 있으면 알파채널 믹서 처리를 통하여 상기 입력된 사용자의 사운드에 반응하여 투명, 불투명, 반투명 등의 다양한 알파이미지가 생성되어 상기 사용자의 합성된 동영상 파일에 실시간 적으로 반영된다(S514).In addition, if there is an alpha channel in the contents of the project selected by the user, if there is an alpha channel, various alpha images such as transparent, opaque, and translucent are generated in response to the input user's sound through an alpha channel mixer process. It is reflected in the synthesized video file of the user in real time (S514).

상기 동영상 파일에 실시간 적으로 반영되는 다양한 알파이미지를 동기화한 후 결합하여 최종 렌더링 된 3차원 다층 동영상을 생성하게 된다(S516).Synchronizing and combining various alpha images reflected in the video file in real time generates a final rendered 3D multilayer video (S516).

상기 최종 렌더링 된 3차원 다층 동영상은 고유의 스트리밍 파일인 비디오 파일로 변환하여 압축한 후 저장매체에 기록하기 위한 임시 저장공간에 저장한다(S518).The final rendered 3D multi-layer video is converted into a video file, which is a unique streaming file, compressed and stored in a temporary storage space for recording on a storage medium (S518).

상기 사용자의 반주, 노래, 춤 등의 끝남을 알리는 신호를 감지하게 되면 상기 임시 저장공간에 저장된 상기 비디오 파일은 프로그램에 의해 자동적으로 오디오 파일로 복사 및 변환하게 되고(S522), When detecting a signal indicating the end of the accompaniment, song, dance, etc. of the user, the video file stored in the temporary storage space is automatically copied and converted into an audio file by the program (S522),

상기 비디오 파일과 오디오 파일은 CD(Compact Disk), DVD(Digital Video Disk), Audio CD, VCD(Video Compact Disk) 등의 다양한 저장매체에 자동적으로 레코딩 처리가 이루어진다. 이때, CD(Compact Disk), DVD(Digital Video Disk), Audio CD, VCD(Video Compact Disk) 등의 재생장치에서 실행될 수 있도록 하는 제어프로그램과 함께 기록되어 멀티미디어 CD가 제작되게 된다(S524). The video file and the audio file are automatically recorded on various storage media such as a compact disk (CD), a digital video disk (DVD), an audio CD, and a video compact disk (VCD). At this time, the multimedia CD is produced by being recorded with a control program that can be executed in a playback device such as a compact disk (CD), a digital video disk (DVD), an audio CD, a video compact disk (VCD), or the like (S524).

이렇게 제작된 저장매체는 다양한 재생매체에 상관없이 실행되게 된다. The storage medium thus produced is executed regardless of various playback media.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다. As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalent claims.

상술한 바와 같이 본 발명인 실시간 다층영상 합성기록 시스템 및 방법은, 동영상 파일에 사운드에 반응하는 알파채널의 층을 부가하고 배경 분리영상인 크로마채널을 합성하여 최종적으로 다수의 층을 가진 3차원 다층영상을 실시간으로 합성할 수 있는 효과가 있고, As described above, the present invention is a real-time multi-layer composite image recording system and method, by adding a layer of the alpha channel in response to the sound to the video file and synthesized a chroma channel, which is a background separation image, and finally a three-dimensional multilayer image having a plurality of layers To synthesize in real time,

다른 효과로는, 3차원 다층영상인 비디오 파일과 오디오 파일을 상기 다양한 저장매체에 기록할 때 재생장치가 선택적으로 읽어들일 수 있도록 하는 제어프로그램을 함께 기록하기 때문에 상기 재생장치에 상관없이 실행할 수 있는 효과가 있고, Another effect is that it can be executed irrespective of the playback apparatus because it records together a control program which allows the playback apparatus to selectively read the video file and the audio file, which are three-dimensional multilayer images, on the various storage media. It works,

또 다른 효과로는, 동영상과 사운드의 입력을 소프트 크로마키 기법과 고유의 장면전환 알고리즘을 실시간 적용함으로써, 깨끗한 화질 및 음질의 3차원 다층영상을 생성할 수 있는 효과가 있고, Another effect is that by applying the soft chroma key technique and a unique scene change algorithm in real time to the input of the video and sound, there is an effect that can produce a three-dimensional multilayer image of clear and sound quality,

또 다른효과로는, 다수의 하드웨어로 구성되고 복잡하면서 공간을 많이 차지하였던 기존의 동영상 시스템을 소수의 칩과 소프트웨어의 조합으로 제어가능한 일체형 시스템으로 구성하였기 때문에 시스템 설치에 관한 인력 및 비용 절감의 효과와 비전문가에 의한 3차원 다층영상을 쉽게 제작할 수 있는 효과가 있다. Another effect is that the existing video system, which is composed of a large number of hardware and complicated and occupies a lot of space, is composed of an integrated system that can be controlled by a combination of a few chips and software. It is effective to easily produce 3D multi-layer images by non-experts.

Claims (16)

3차원 동영상과 알파채널을 실시간 합성하여 멀티미디어 CD를 제작하는 일체형 시스템에 있어서, In the integrated system for producing a multimedia CD by real-time synthesis of 3D video and alpha channel, 입력되는 동영상에 배경 분리영상인 크로마채널을 합성하고, 사운드에 반응하는 실시간 알파채널과 합성하여 3차원 다층 동영상을 생성 후 비디오 파일과 오디오 파일로 변환 및 압축하는 영상합성수단과, 상기 비디오 파일과 오디오 파일 및 상기 비디오 파일과 오디오 파일을 선택적으로 제어하는 제어프로그램을 실시간으로 저장매체에 기록하는 기록수단을 포함하는 일체형 영상합성장치; 및 Image synthesis means for synthesizing a chroma channel, which is a background separated image, into an input video and synthesizing it with a real-time alpha channel that responds to sound, and converting and compressing a 3D multilayer video into a video file and an audio file; An integrated image synthesizing apparatus including recording means for recording an audio file and a control program for selectively controlling the video file and the audio file on a storage medium in real time; And 상기 영상합성수단과 기록수단을 원격제어하는 제어장치; 를 포함하여 이루어지는 실시간 다층영상 합성기록 시스템. A control device for remotely controlling the image synthesizing means and the recording means; Real time multi-layer composite recording system comprising a. 제 1 항에 있어서, 상기 영상합성수단은 The method of claim 1, wherein the image synthesizing means 카메라로 촬영하는 외부영상을 기 설정된 순서로 외부영상을 촬영함과 동시에 화면전환 효과를 적용하여 자연스런 스위칭이 이루어지도록 함과 동시에 아날로그 신호인 외부영상을 디지털 신호로 변환하는 카메라 소스 입력부; A camera source input unit for capturing an external image captured by a camera in a predetermined order and applying a screen switching effect to perform natural switching and at the same time converting an external image that is an analog signal into a digital signal; 사운드 입력장치을 통하여 입력되는 아날로그 또는 디지털 신호를 통제하고, 입력된 아날로그 또는 디지털 신호를 디지털 신호로 변환하는 오디오 소스 입력부; An audio source input unit controlling an analog or digital signal input through a sound input device and converting the input analog or digital signal into a digital signal; 상기 제어장치의 제어신호를 수신받아 영상합성수단과 기록수단을 원격제어하고, 상기 입력된 외부영상과 사운드를 합성하여 저장매체에 기록하는 것을 전반적으로 제어하는 시스템 제어부; A system control unit which receives the control signal of the control device and remotely controls the image synthesizing means and the recording means, and synthesizes the input external image and sound and records them on a storage medium; 기 저장된 배경화면, 3차원 입체효과, 장면전환 효과를 카메라로 촬영된 외부영상과 배경 분리영상인 크로마채널을 합성하여 동영상을 생성하는 영상합성부; An image synthesizer for generating a moving image by synthesizing an external image captured by a camera with a previously stored background image, a 3D stereoscopic effect, and a scene change effect and a chroma channel as a background separated image; 상기 입력된 사운드 정보를 분석 및 추출하여 기 저장된 사운드 정보에 반응하는 알파채널을 호출하고, 상기 동영상에 알파채널을 실시간 적용하여 사운드에 반응하는 영상을 연출 또는 합성하는 음성인식부; 및 A voice recognition unit for analyzing and extracting the input sound information, calling an alpha channel in response to pre-stored sound information, and directing or synthesizing an image in response to sound by applying an alpha channel to the video in real time; And 상기 동영상과 알파채널을 실시간 합성 렌더링하여 3차원 다층 동영상을 생성하여 스트리밍 파일인 비디오 파일로 변환 및 압축하여 임시 메모리에 저장하고, 상기 시스템 제어부에 의해 상기 저장된 비디오 파일을 오디오 파일로 변환 및 압축하여 제어프로그램과 함께 기록수단으로 전송하는 파일압축변환부; 를 더 포함하여 이루어지는 실시간 다층영상 합성기록 시스템. Real-time composite rendering of the video and alpha channel to generate a 3D multi-layer video, convert and compress it into a video file, which is a streaming file, store it in a temporary memory, and convert and compress the stored video file into an audio file by the system controller. A file compression converting unit which transmits to the recording means together with the control program; Real time multi-layer composite image recording system further comprises. 제 1 항에 있어서, 상기 영상합성수단은 The method of claim 1, wherein the image synthesizing means 자연배경, 도시배경, 동화배경, 무대배경 및 특수배경을 저장하고, 특수효과, 장면전환 및 3차원 입체영상을 구현하는 프로젝트 파일을 테마 영상별로 제작하여 저장하고 제공하는 배경영상 입력부; A background image input unit for storing a natural background, a city background, a fairy tale background, a stage background, and a special background, and creating and storing a project file for each theme image to implement special effects, transitions, and 3D stereoscopic images; 카메라로 촬영하는 외부영상을 기 설정된 순서로 외부영상을 촬영함과 동시에 화면전환 효과를 적용하여 자연스런 스위칭이 이루어지도록 함과 동시에 아날로그 신호인 외부영상을 디지털 신호로 변환하는 카메라 소스 입력부; A camera source input unit for capturing an external image captured by a camera in a predetermined order and applying a screen switching effect to perform natural switching and at the same time converting an external image that is an analog signal into a digital signal; 3D특수효과의 데이터를 저장하고 있다가 기 저장된 배경영상과 조합한 후 주제별 또는 테마별 프로젝트 파일을 연출 생성하여 상기 외부영상에 특수효과를 가미하는 3D 특수효과부; 3D special effects unit for storing the data of the 3D special effects, combined with the pre-stored background image to produce a project file for each theme or theme to add a special effect to the external image; 사운드 입력장치을 통하여 입력되는 아날로그 또는 디지털 신호를 통제하고, 입력된 아날로그 또는 디지털 신호를 디지털 신호로 변환하는 오디오 소스 입력부; An audio source input unit controlling an analog or digital signal input through a sound input device and converting the input analog or digital signal into a digital signal; 상기 제어장치의 제어신호를 수신받아 영상합성수단과 기록수단을 원격제어하고, 상기 입력된 외부영상과 사운드를 합성하여 저장매체에 기록하는 것을 전반적으로 제어하는 시스템 제어부; A system control unit which receives the control signal of the control device and remotely controls the image synthesizing means and the recording means, and synthesizes the input external image and sound and records them on a storage medium; 기 저장된 배경화면, 3차원 입체효과, 장면전환 효과를 카메라로 촬영된 외부영상과 배경 분리영상인 크로마채널을 합성하여 동영상을 생성하는 영상합성부; An image synthesizer for generating a moving image by synthesizing an external image captured by a camera with a previously stored background image, a 3D stereoscopic effect, and a scene change effect and a chroma channel as a background separated image; 상기 입력된 사운드 정보를 분석 및 추출하여 기 저장된 사운드 정보에 반응하는 알파채널을 호출하고, 상기 동영상에 알파채널을 실시간 적용하여 사운드에 반응하는 영상을 연출 또는 합성하는 음성인식부; 및 A voice recognition unit for analyzing and extracting the input sound information, calling an alpha channel in response to pre-stored sound information, and directing or synthesizing an image in response to sound by applying an alpha channel to the video in real time; And 상기 동영상과 알파채널을 실시간 합성 렌더링하여 3차원 다층 동영상을 생성하여 스트리밍 파일인 비디오 파일로 변환 및 압축하여 임시 메모리에 저장하고, 상기 시스템 제어부에 의해 상기 저장된 비디오 파일을 오디오 파일로 변환 및 압축하여 제어프로그램과 함께 기록수단으로 전송하는 파일압축변환부; 를 더 포함하여 이루어지는 실시간 다층영상 합성기록 시스템. Real-time composite rendering of the video and alpha channel to generate a 3D multi-layer video, convert and compress it into a video file, which is a streaming file, store it in a temporary memory, and convert and compress the stored video file into an audio file by the system controller. A file compression converting unit which transmits to the recording means together with the control program; Real time multi-layer composite image recording system further comprises. 제 2 항 또는 제 3 항에 있어서, 상기 영상합성부는The method of claim 2 or 3, wherein the image synthesis unit 키 신호에 경사를 준 대형파와 색 포그를 해소하는 회로로 구성된 소프트 크로마키를 적용한 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. A real-time multi-layer composite image recording system comprising a soft chroma key composed of a large wave tilted to a key signal and a circuit for solving color fog. 제 2 항 또는 제 3 항에 있어서, 상기 파일압축변환부는 The method of claim 2 or 3, wherein the file compression conversion unit 최종 합성 렌더링된 3차원 다층 동영상을 지정된 특정시간마다 사진을 추출하여 저장하는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. Real-time multi-layer composite image recording system, characterized in that for extracting and storing a picture of the final composite rendered 3D multi-layer video at a specific time. 제 1 항에 있어서, 상기 영상합성수단은 The method of claim 1, wherein the image synthesizing means 상기 사용자가 제작하고자 하는 3차원 다층 동영상의 프로젝트 내용을 저장하는 프로젝트 D/B; A project D / B for storing project contents of a 3D multilayer video to be produced by the user; 상기 프로젝트 내용에 따라 화상제어모듈, 특수효과 생성모듈, 장면전환 처리모듈 및 정지화상 처리모듈을 제어하는 프로젝트 해석모듈; A project analysis module for controlling an image control module, a special effect generating module, a scene change processing module, and a still image processing module according to the project contents; 입력되는 사운드에 따라 특수효과, 동영상 장면전환, 정지화상 및 이미지 동영상에 알파채널을 합성하고 제어하는 화상제어모듈; An image control module for synthesizing and controlling an alpha channel to a special effect, a video transition, a still image, and an image video according to an input sound; 상기 프로젝트 해석모듈의 제어에 따라 프로젝트 내용에 맞는 특수효과를 생성하여 합성하는 특수효과 생성모듈; A special effect generation module for generating and synthesizing a special effect corresponding to the project contents according to the control of the project analysis module; 상기 프로젝트 해석모듈의 제어에 따라 프로젝트 내용에 맞는 장면전환 효과를 생성하여 합성하는 장면전환 처리모듈; A scene change processing module for generating and synthesizing a scene change effect suitable for project contents under the control of the project analysis module; 상기 프로젝트 해석모듈의 제어에 따라 프로젝트 내용에 맞는 정지화상을 처리하는 정지화상 처리모듈; A still picture processing module for processing a still picture according to the project contents according to the control of the project analysis module; 상기 화상제어모듈에 의해 생성된 3차원 다층 동영상을 사운드와 결합하여 스트리밍 파일인 비디오 파일로 변환 및 압축하는 영상음향 결합모듈; 및A video sound combining module for converting and compressing the 3D multi-layer video generated by the image control module into a video file which is a streaming file by combining the sound with the sound; And 상기 스트리밍 파일인 비디오 파일에 목소리를 삽입할 수 있도록 하는 녹음 처리모듈; 을 포함하는 프로젝트 프로그램을 더 포함하여 이루어지는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. A recording processing module for inserting a voice into the video file which is the streaming file; Real-time multi-layer composite image recording system, characterized in that further comprises a project program comprising a. 제 6 항에 있어서, 상기 장면전환 처리모듈은 The method of claim 6, wherein the scene change processing module 두개의 임계값을 설정하여 특징값이 높은 임계값 이상이면 급격한 장면전환으로 판단하고, 낮은 임계값 이상이면 낮은 임계값 이상의 값을 갖는 구간에서 특징값을 누적하여 이 누적한 특징값이 주어진 임계값보다 클 경우에 점진적 장면전환으로 판단하는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. If two feature values are set and the feature value is higher than or equal to the high threshold value, it is determined as a sudden scene change. Real-time multi-layer composite image recording system, characterized in that it is determined to be a progressive scene change when larger. 제 1 항에 있어서, 상기 기록수단은 A recording apparatus as claimed in claim 1, wherein said recording means 상기 기록수단에 삽입된 저장매체의 표면에 빛을 쏘기위한 센서 발광부; A sensor light emitting part for shooting light onto a surface of a storage medium inserted into the recording means; 상기 센서 발광부에 의해 쏘아진 빛이 저장매체의 표면에 부딪혀 반사되는 값을 수신하고 그 값을 증폭시켜 감지회로로 전송하는 센서 수광부; A sensor light receiver configured to receive a value reflected by the light emitted by the sensor light emitter from the surface of the storage medium, amplify the value, and transmit the amplified value to a sensing circuit; 상기 센서 수광부에서 전송된 값을 이용하여 저장매체를 판단하는 감지회로; 및 A sensing circuit that determines a storage medium using the value transmitted from the sensor light receiver; And 상기 감지회로에 의해 판단되어진 결과값에 따라 상기 기록수단에 삽입된 저장매체를 퇴출 또는 레코딩을 진행하는 제어부; 를 더 포함하여 이루어지는 실시간 다층영상 합성기록 시스템. A control unit for discharging or recording the storage medium inserted into the recording unit according to the result value determined by the sensing circuit; Real time multi-layer composite image recording system further comprises. 제 8 항에 있어서, 상기 센서는 The method of claim 8, wherein the sensor 광센서 또는 자기센서 중에 어느 하나 인것을 특징으로 하는 실시간 다층영상 합성기록 시스템. Real-time multi-layer composite recording system, characterized in that either optical sensor or magnetic sensor. 제 8 항에 있어서, 상기 감지회로는The method of claim 8, wherein the sensing circuit 라인 트레이서 방식 또는 자기 마크 방식 중에 어느 하나를 사용하여 판단하는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. A real-time multilayer image composite recording system, characterized in that it is determined using either a line tracer method or a magnetic mark method. 제 1 항 또는 제 8 항에 있어서, 상기 기록수단은 9. A recording apparatus according to claim 1 or 8, wherein said recording means 상기 제어장치의 제어신호 또는 노래가 끝나는 신호가 있을 때에 임시 저장된 상기 스트리밍 파일인 비디오 파일을 저장매체에 기록하는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. And a video file, which is the streaming file, which is temporarily stored when a control signal of the control device or a song ends, is recorded on a storage medium. 제 1 항 또는 제 8 항에 있어서, 상기 기록수단은 9. A recording apparatus according to claim 1 or 8, wherein said recording means 비디오 파일과 오디오 파일 및 재생장치에서 선택적으로 실행될 수 있도록 하는 제어프로그램과 함께 하나의 섹터 내에 함께 기록하는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. A real-time multi-layer composite image recording system characterized by recording together in one sector together with a video file, an audio file, and a control program which can be selectively executed in a playback apparatus. 제 12 항에 있어서, 상기 제어프로그램은 The method of claim 12, wherein the control program 상기 재생장치의 종류를 판단하여 상기 저장매체에 저장된 비디오 파일 또는 오디오 파일의 위치정보를 제공하여 실행시키는 것을 특징으로 하는 실시간 다층영상 합성기록 시스템. And determining the type of the playback device to provide the location information of the video file or the audio file stored in the storage medium. 3차원 동영상과 알파채널을 실시간 합성하여 멀티미디어 CD를 제작하는 방법에 있어서, In the method for producing a multimedia CD by real-time synthesis of 3D video and alpha channel, (a) 사용자가 동영상 스토리가 설계되어 있는 기 저장된 프로젝트 파일을 선택하는 단계; (a) selecting a pre-stored project file in which a video story is designed; (b) 상기 사용자의 영상과 사운드를 입력받아 상기 프로젝트 내용에 따라 기 설정된 배경화면, 장면전환, 정지화상, 3D입체를 합성하여 동영상 파일을 생성하는 단계; (b) generating a moving image file by inputting the user's image and sound and synthesizing a preset background image, a scene changeover, a still image, and a 3D object according to the project contents; (c) 상기 동영상 파일에 사운드에 반응하는 실시간 알파채널을 실시간 합성하여 3차원 다층 동영상을 생성하는 단계; (c) generating a three-dimensional multilayer video by real-time synthesizing a real-time alpha channel responsive to sound in the video file; (d) 상기 3차원 다층 동영상을 실시간으로 비디오 파일로 변환 및 압축하여 임시 저장공간에 저장하다가 끝남을 알리는 제어신호를 감지하면, 상기 비디오 파일을 오디오 파일로 복사 및 변환하는 단계; (d) converting and compressing the 3D multi-layer video into a video file in real time and storing it in a temporary storage space and then copying and converting the video file into an audio file when detecting a control signal indicating an end; (e) 상기 비디오 파일과 오디오 파일을 제어 프로그램과 함께 실시간 저장매 체에 기록하는 단계; 를 포함하여 이루어지는 실시간 다층영상 합성기록 방법.(e) recording the video file and the audio file together with a control program in a real time storage medium; Real time multilayer image composite recording method comprising a. 제 14 항에 있어서, 상기 (e)단계에서15. The method of claim 14, wherein in step (e) 상기 프로그램은 다양한 저장매체에 저장된 상기 비디오 파일과 오디오 파일을 다양한 재생장치에서 선택적으로 실행될 수 있도록 하는 것을 특징으로 하는 실시간 다층영상 합성기록 방법. And the program is configured to selectively execute the video file and the audio file stored in various storage media in various playback devices. 3차원 동영상과 알파채널을 실시간 합성하여 멀티미디어 CD를 제작하는 일체형 시스템과 방법에 있어서, In the integrated system and method for producing a multimedia CD by real-time synthesis of 3D video and alpha channel, (A) 사용자가 동영상 스토리가 설계되어 있는 기 저장된 프로젝트 파일을 선택하거나 프로젝트 프로그램을 이용하여 동영상 스토리를 설계하여 저장할 수 있도록 하는 기능;(A) a function for allowing a user to select a pre-stored project file for which a video story is designed or to design and save a video story using a project program; (B) 다수의 카메라와 사운드 입력장치를 이용하여 입력되는 사용자의 영상과 사운드 데이터를 영상과 사운드로 분리하여 처리할 수 있도록 하는 기능; (B) a function for separating and processing the video and sound data of the user input by using a plurality of cameras and sound input devices; (C) 상기 입력되는 상기 사용자의 영상과 프로젝트 내용에 따라 기 설정된 배경화면, 장면전환 효과, 정지화상 처리, 3D 입체효과를 합성하여 동영상 파일을 생성하는 기능; (C) generating a video file by synthesizing a preset background image, a scene change effect, a still image process, and a 3D stereoscopic effect according to the input image of the user and the project contents; (D) 상기 동영상 파일과 입력되는 사운드에 반응하는 다양한 알파이미지를 결합하여 최종 렌더링 된 3차원 다층 동영상 파일을 생성하는 기능; (D) generating a final rendered 3D multilayer video file by combining the video file and various alpha images in response to the input sound; (E) 상기 최종 렌더링 된 3차원 다층 동영상 파일을 스트리밍 파일인 비디오 파일로 변환하여 압축한 후 임시 저장공간에 저장하는 기능; (E) converting the final rendered 3D multilayer video file into a video file which is a streaming file, compressing the compressed file, and storing the compressed 3D multilayer video file in a temporary storage space; (F) 끝남을 알리는 신호를 감지하면, 상기 비디오 파일을 자동적으로 오디오 파일로 복사 및 변환하고, 상기 비디오 파일과 오디오 파일을 재생장치에서 선택적으로 실행할 수 있도록 하는 제어프로그램과 함께 저장매체에 기록하는 기능; 을 실현시키기 위한 프로그램을 기록한 기록매체로서, 컴퓨터에 의해 처리가능한 것을 특징으로 하는 기록매체. (F) upon detection of an end signal, automatically copying and converting the video file into an audio file, and recording the video file and the audio file on a storage medium together with a control program for selectively executing the video file and the audio file. function; A recording medium having recorded thereon a program for realizing the same, wherein the recording medium can be processed by a computer.
KR1020050096410A 2005-08-05 2005-10-13 Real-time multilayer image synthesis recording system and method, and the store device which records a method KR100719101B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050096410A KR100719101B1 (en) 2005-08-05 2005-10-13 Real-time multilayer image synthesis recording system and method, and the store device which records a method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050071632 2005-08-05
KR1020050096410A KR100719101B1 (en) 2005-08-05 2005-10-13 Real-time multilayer image synthesis recording system and method, and the store device which records a method

Publications (2)

Publication Number Publication Date
KR20070016902A KR20070016902A (en) 2007-02-08
KR100719101B1 true KR100719101B1 (en) 2007-05-17

Family

ID=41635156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050096410A KR100719101B1 (en) 2005-08-05 2005-10-13 Real-time multilayer image synthesis recording system and method, and the store device which records a method

Country Status (1)

Country Link
KR (1) KR100719101B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130069A1 (en) * 2007-04-24 2008-10-30 Oasismedia Co., Ltd. Real-time multilayer image synthesis recording system and method, and a recording medium using the system and method
KR100934471B1 (en) * 2008-04-17 2009-12-30 (주)아이스타티브이 Image Production Apparatus and Method Using Chroma Key
WO2015133667A1 (en) * 2014-03-07 2015-09-11 이모션웨이브 주식회사 Online virtual stage system for mixed reality performance service
KR101688926B1 (en) * 2015-05-28 2016-12-22 (주)소셜네트워크 Apparatus and method for making augmented reality video used chromakey
KR102318683B1 (en) * 2020-08-07 2021-10-28 우윤우 Creative education system that generates video from picture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036585A (en) * 1999-10-09 2001-05-07 손동주 3-LAYER PICTURE COMPOSITION APPARATUS AND METHOD USING α-CHANNEL AND MOVING PICTURES
KR20050047800A (en) * 2003-11-18 2005-05-23 김영면 Apparatus and system for making a moving picture
KR20050067109A (en) * 2005-02-05 2005-06-30 주식회사 스타씨엠 A method for manufacuturing and displaying a real type 2d video information program including a video, a audio, a caption and a message information, and a memory devices recorded a program for displaying thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036585A (en) * 1999-10-09 2001-05-07 손동주 3-LAYER PICTURE COMPOSITION APPARATUS AND METHOD USING α-CHANNEL AND MOVING PICTURES
KR20050047800A (en) * 2003-11-18 2005-05-23 김영면 Apparatus and system for making a moving picture
KR20050067109A (en) * 2005-02-05 2005-06-30 주식회사 스타씨엠 A method for manufacuturing and displaying a real type 2d video information program including a video, a audio, a caption and a message information, and a memory devices recorded a program for displaying thereof

Also Published As

Publication number Publication date
KR20070016902A (en) 2007-02-08

Similar Documents

Publication Publication Date Title
JP3615195B2 (en) Content recording / playback apparatus and content editing method
KR100748060B1 (en) Internet broadcasting system of Real-time multilayer multimedia image integrated system and Method thereof
US20140153900A1 (en) Video processing apparatus and method
US8170239B2 (en) Virtual recording studio
WO2007126097A1 (en) Image processing device and image processing method
WO2007126096A1 (en) Image processing device and image processing method
JP2002142189A (en) Image processor, image processing method, and storage medium
KR100719101B1 (en) Real-time multilayer image synthesis recording system and method, and the store device which records a method
US20100080536A1 (en) Information recording/reproducing apparatus and video camera
KR100530086B1 (en) System and method of automatic moving picture editing and storage media for the method
KR100748059B1 (en) Real-time multilayer multimedia image integrated board
US8249425B2 (en) Method and apparatus for controlling image display
JP2012217144A (en) Image editing device, image editing method, and program
JP2009260748A (en) Storage and playback device
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
KR20140072785A (en) Video processing apparatus and method
JP4698961B2 (en) Electronic camera and electronic camera control program
KR20070064082A (en) System and method for producing moving image using chroma-key
WO2008130069A1 (en) Real-time multilayer image synthesis recording system and method, and a recording medium using the system and method
JP2007266661A (en) Imaging apparatus, information processor, and imaging display system
KR20000067376A (en) A system for producing live image using song accompaniment system
JP2012137560A (en) Karaoke device and control method and control program for karaoke device
CN102630025A (en) Method and system for processing signal
JP5293102B2 (en) Image reproducing apparatus and program
JP2012129887A (en) Imaging apparatus, control method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110610

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee