KR20180131270A

KR20180131270A - Image synthesis apparatus and method

Info

Publication number: KR20180131270A
Application number: KR1020170068035A
Authority: KR
Inventors: 김창규
Original assignee: 주식회사 벅스비전
Priority date: 2017-05-31
Filing date: 2017-05-31
Publication date: 2018-12-10

Abstract

The present invention relates to a method and an apparatus for synthesizing an image, wherein the method and the apparatus are capable of synthesizing a background image and a live image of a performer and displaying the same on a screen or TV. The present invention relates to an image synthesis method for synthesizing and displaying pre-prepared background image information and a live cast image of a performer, wherein the performer′s cast image which is left/right reversed in a monitor display device for watching of the performer is displayed by being synthesized with the background image information.

Description

[0001] Image synthesis apparatus and method [0002]

본 발명은 배경 화상과 출연자의 생의 촬영 화상을 합성해 스크린이나 TV 등에 표시 가능하게 한 화상 합성 방법 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for synthesizing a background image and a live-shot image of a performer so that they can be displayed on a screen or a TV.

배경 화상이나 음악 소프트를 비디오 테잎이나 레이저 디스크, CD(콤팩트 디스크), CD-ROM(콤팩트 디스크를 이용한 독출 전용 메모리) 등에 미리 기억해 두어, 연주자가 희망하는 곡목의 배경 화상 및 음악 소프트를 읽어 사용하는 화상 합성 장치가 공지이다.Background images and music software are stored in advance in a videotape, a laser disk, a CD (compact disc), a CD-ROM (a read-only memory using a compact disc), and the background image and music software desired by the performer are read and used A picture synthesizing apparatus is known.

즉, 배경 화상에 가사를 겹쳐 스크린이나 CRT(TV) 등에 표시함과 동시에, 음악의 반주를 출력시키는 것이다. 이 경우 배경 화상이 복수종 준비되어 있고, 출력하는 곡목에 대해서 미리 결정한 배경 화상을 선택하거나 기호의 것을 선택할 수 있도록 하고 있다. 또한 이들 배경 화상이나 음악 소프트를 외부의 호스트 데이터베이스에서 통신회선을 통해 판독해, 소망의 장소에서 사용할 수 있도록 한 통신 화상 합성 장치도 공지기술이다.That is, the lyrics are superimposed on the background image and displayed on a screen, a CRT (TV) or the like, and an accompaniment of the music is outputted. In this case, a plurality of types of background images are prepared, and a predetermined background image can be selected for the outputted music piece or a symbol of a desired one can be selected. Further, a communication image synthesizing apparatus that reads these background images and music software through a communication line from an external host database and makes them available for use in a desired place is a known technology.

한쪽 컴퓨터를 사용한 디지털 신호 처리에 의해 복수의 화상을 합성해 애니메이션 영화를 제작하는 방법도 많이 알려져 있다. 예를 들어 좋아하는 배경 화상 안에 다른 디지털 신호화한 화상을 합성해 새로운 화상을 만드는 것이다.It is well known that a plurality of images are synthesized by digital signal processing using one computer to produce an animated movie. For example, you can create a new image by synthesizing different digitized images into your favorite background image.

종래의 화상 합성 장치에서는 미리 결정된 1종 또는 복수종의 배경 화상에 가사가 겹쳐서 표시되는 것이었기 때문에 몇 번이나 연주할 경우에 같은 배경 화상이 반복해 사용되게 된다. 이 때문에 연주자가 달라도 표시 화면에 나타나는 배경이 변함없기 때문에 동석하는 다른 사람들의 흥미를 잃게 하는 문제가 있었다.In the conventional image synthesizing apparatus, since the lyrics are superimposed and displayed on the predetermined one or plural types of background images, the same background image is repeatedly used in many times of playing. Because of this, the background of the display on the display screen does not change even if the performer is different, which causes the interest of the other people who are sitting there to be lost.

컴퓨터 화상 처리로 복수의 미리 준비한 화상 소프트를 합성해 애니메이션 영화를 만들 경우에는 조합하는 화상의 치수나 위치 등을 미리 고려해 준비해 둘 필요가 있고, 전문적 지식을 필요로 할 뿐만 아니라 준비가 번거롭다.When a plurality of previously prepared image softwares are synthesized by computer image processing to produce an animated film, the dimensions and position of the images to be combined need to be prepared in advance and require expert knowledge and preparation is troublesome.

거기서 화상 합성 장치의 표시 화면이나 애니메이션 영화에 출연자 자신의 생의 화상(출연 화상)을 합성해, 현장에서 합성 화상을 보면서 연기할 수 있도록 하는 것을 생각된다. 스테이지상의 출연자 자신의 화상을 배경 화상 안에 등장시킴으로써, 동석하는 다른 사람들의 흥미를 강하게 끌어당길 수 있기 때문이다.It is conceivable that the creator's own live image (appearance image) can be synthesized on the display screen or animated movie of the image synthesizing apparatus, and can be postponed while watching the synthesized image in the field. The appearance of the performer's own image on the stage in the background image makes it possible to attract the interest of other people who are sitting there.

그러나 이 경우에는 출연 화상은 합성 화상 상에서는 출연자의 실제의 움직임과 반대로 나타난다. 예를 들면 출연자가 우측을 향하거나 오른쪽으로 이동하면, 이것을 촬영한 출연 화상은 합성 화상 상에서 좌측을 향하거나 왼쪽으로 이동한다. 이 때문에 출연자는 이 합성 화상을 보면서 연기할 때, 합성 화상상의 움직임과 좌우 대칭이 되도록 연기하지 않으면 안되어 연기가 어려워져, 상당한 습관을 필요로 한다고 하는 문제가 있었다.In this case, however, the casting image appears on the composite image as opposed to the actual movement of the casting person. For example, when a performer moves to the right or to the right, the casting image of the moving image moves leftward or leftward on the composite image. Therefore, the performer has to postpone it so as to be symmetrical with the motion on the composite image when postponing watching the synthesized image, so that it becomes difficult to smoke, and there is a problem that a considerable habit is required.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 스테이지의 출연자의 생의 화상을 배경 화상에 합성함으로써, 스크린이나 TV 등의 표시 화상을 출연자마다SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for synthesizing a live image of a performer of a stage on a background image,

변화시키고 사용자나 주위 동석자의 흥미를 강하게 끌어당길 수 있고 또한 출연자는 합성 화상을 보면서 용이하게 연기할 수 있도록 한 화상 합성 방법 및 장치를 제공하는 것을 목적으로 한다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide a method and an apparatus for synthesizing a picture, which enables a performer to easily delight while watching a synthesized image.

본 발명이 해결하려는 과제는 전술한 과제로 제한되지 아니하며, 언급되지 아니한 또 다른 기술적 과제들은 후술할 내용으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for controlling the same.

상기 목적을 달성하기 위한 본 발명에 따른 화상 합성 방법은 미리 준비된 배경용 화상 정보와 출연자의 생의 출연 화상을 합성해 표시하는 화상 합성 방법으로서, 출연자가 보기 위한 모니터 표시 장치에 좌우 반전시킨 출연자의 출연 화상을 상기 배경용 화상 정보와 합성해 표시하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an image composition method for compositing and displaying background image information and a live appearance image of a performer in advance, the method comprising the steps of: And combines the displayed image with the image information for background and displays it.

또한, 출연자를 촬영한 화상에 미러 반전 화상 처리를 실시함으로써 좌우 반전 화상을 얻는 것을 특징으로 한다.Further, a mirror inversion image processing is performed on an image of a cast, thereby obtaining a left-right reversed image.

본 발명에 따른 화성 합성 방법 및 장치는 출연자가 보는 모니터 표시 수단에는 자기 자신의 화상이 좌우 반전되어 배경 화상과 합성되어서 표시된다.In the Mars synthesis method and apparatus according to the present invention, the monitor display means viewed by the performer is displayed by being synthesized with the background image by reversing the image of the user himself / herself.

합성 화상 상에서 출연자가 예를 들면 우측을 향하거나 오른쪽으로 이동할 필요가 있을 때에는, 출연자는 촬영 카메라 전으로 자기 자신의 우측을 향하거나 오른쪽으로 이동한다. 이 출연자의 촬영 화상은 좌우 반전되고 모니터에 표시되기 때문에, 모니터상에서도 우측을 향해 또한 오른쪽으로 이동한다. 이 때문에 출연자는 좌우를 혼란하는 일 없이 용이하게 연기할 수 있다.When the performer needs to move to the right or to the right, for example, on the synthesized image, the performer moves toward the right side of himself or the right side before the photographing camera. The photographed image of this performer is reversed horizontally and displayed on the monitor, so that it moves toward the right and also to the right on the monitor. For this reason, the performer can easily postpone the left and right without confusion.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명에 따른 화상 합성 장치의 기본 구성을 나타내는 도면이다.1 is a diagram showing a basic configuration of a picture synthesizing apparatus according to the present invention.

본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명하되, 이미 주지되어진 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.The preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings, in which the technical parts already known will be omitted or compressed for simplicity of explanation.

화상 합성 장치(10)에서는 조작반(12)으로 곡목이나 이용하는 배경 화상의 종류를 선택한다. 배경은 곡목에 따라 미리 결정해 두어도 괜찮다. 여기서 곡목이 선택되면, 이 곡의 음악 데이터 및 가사의 데이터가 외부의 호스트 데이터베이스(14)에서전화 회선 등의 통신 회로(16)를 통해 수신부(18)에 보내진다. 배경 화상을 지정하는 신호도 동시에 보낼 수 있도록 해도 괜찮다.In the picture synthesizing apparatus 10, the operation panel 12 selects a piece of music or a background image to be used. The background can be predetermined according to the piece. When the music piece is selected, the music data and the lyrics data of the music piece are sent from the external host database 14 to the receiver 18 via the communication circuit 16 such as a telephone line. It is also possible to send a signal specifying the background image at the same time.

수신부(18)에는 코드화된 디지털 신호로서 음악 데이터와 가사가 입력된다. 수신부(18)에서는 음악 데이터 처리부(20)로 음악 데이터를 나타내는 신호를 디코딩하고 아날로그 신호로 바꾸어 증폭해 스피커(22)에서 음악으로서 출력한다. 이 화상 합성 장치에서는 노래의 반주 음악이 출력된다.The receiver 18 receives music data and lyrics as coded digital signals. The receiving unit 18 decodes the signal representing the music data to the music data processing unit 20, converts it into an analog signal, amplifies the analog signal, and outputs the amplified signal as music in the speaker 22. In this picture synthesizing apparatus, accompaniment music of a song is outputted.

수신부(18)에서는 가사 데이터 처리부(24)로 가사의 데이터를 디코딩해 문자열의 화상(이하 가사화상이라고 한다)으로 바꾼다. 한쪽 화상 합성 장치(10)는 복수 종류의 배경 화상이 되는 영상 소프트를 스톡부(26)에 기억하고 있다. 스톡부(26)는 예를 들면 광디스크, 광학 자기 디스크, 비디오 테잎, CD-ROM 등의 기억 매체에 디지털 정보로서 이 배경 화상을 기억한다.In the receiving unit 18, the lyrics data processing unit 24 decodes the lyrics data and converts the lyrics data into an image of a character string (hereinafter referred to as a lyrics image). The one-side image synthesizing apparatus 10 stores image software which becomes a plurality of types of background images in the stock unit 26. [ The stock unit 26 stores this background image as digital information on a storage medium such as an optical disc, an optical magnetic disc, a video tape, or a CD-ROM.

조작반(12)으로 곡목을 지정하는 곳의 곡목에 대응하는 배경 화상이 이 스톡부 (26)에서 읽어진다. 출연자가 기호의 배경 화상을 지정할 수 있도록 해도 괜찮다.The background image corresponding to the music piece at the place where the music piece is designated by the operation panel 12 is read by this stock portion 26. [ It may be possible for the performer to specify the background image of the symbol.

도 1에 나타내는 실시형태에서는 이 텔레비전 카메라(36)는 스테이지(38)를 향해 설치되어 있다. 스테이지(38)의 배후에는 푸른 벽(42)이 있다. 푸른 벽(42)을 대신해 푸른 커튼을 이용해도 괜찮다. 푸른 벽(42)의 색은 후기하는 합성 수단(48)으로 크로마키처리를 하는데 적합한 색이면 좋다.In the embodiment shown in Fig. 1, the television camera 36 is provided toward the stage 38. Fig. Behind the stage 38 is a blue wall 42. You can use blue curtains instead of blue wall (42). The color of the blue wall 42 may be a color suitable for chroma key processing by the later synthesizing means 48.

출연자(44)는 텔레비전 카메라(36)로 촬영되어, 크로마키처리에 의해 그 배경이 소거되어 화상(출연 화상)이 된다. 이 출연 화상은 화상 반전 수단(46)으로 좌우 반전되고 나서, 합성부(28)에서 배경 화상과 합성된다.The performer 44 is photographed by the television camera 36, and the background is erased by the chroma key processing to become an image (emergent image). The resulting image is reversed left and right by the image reversing means 46 and then synthesized with the background image in the composing unit 28. [

이 합성된 화상에는 상기 가사 데이터 처리부(24)가 출력하는 가사화상이 합성 수단(48)으로 합성된다. 이 합성 화상은 모니터 텔레비전(50) 및 대형 프로젝터 TV (52)에 출력된다.The synthesized image is synthesized by the composing unit 48 with the lyrics image output by the lyrics data processing unit 24. [ The composite image is output to the monitor television 50 and the large projector TV 52. [

본 발명을 애니메이션 영화를 만들 때나 대전형 게임을 할 때 이용하면, 자기 자신을 그 안에 합성해 출연시키는 것이 간단하게 수행할 수 있다. 즉 어느 등장 인물의 화상을 지운 영화 소프트나 대전형 게임 소프트를 준비해 두어, 이 영화나 게임 화면을 모니터 텔레비전에 비추어, 이것을 보면서 연기하는 출연자를 촬영해, 이것을 좌우 반전함으로써, 출연 화상을 작성한다. 그리고 이 출연 화상을 배경 화상과 합성해 텔레비전 화면에 출력하거나 비디오 장치 등에 녹화해도 괜찮다.When the present invention is used when making an animated movie or playing a competitive game, it is possible to simply perform composing itself into it and appearing. In other words, movie software or game game software in which a character of a character is erased is prepared, and a movie or a game screen is photographed on a monitor television to shoot a performer who plays it while watching this movie. The resulting image may be combined with the background image and output to a television screen or recorded on a video device or the like.

청구항 1의 발명은 이상과 같이 배경 화상 정보로 출연자의 촬영 화상을 좌우 반전시켜 배경 화상과 합성해 모니터 표시 수단에 출력하는 것이다. 따라서 출연자는 모니터 표시 수단을 보고 좌우를 잘못하는 일 없이 용이하게 연기할 수 있어 특별한 습관도 불필요하다.According to the invention of claim 1, as described above, the photographed image of the performer is reversed horizontally by background image information, synthesized with the background image, and output to the monitor display means. Therefore, the performer can easily postpone the play without mistaking the left and right by looking at the monitor display means, and no special habit is required.

위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시예에만 국한되는 것으로 이해되어져서는 아니 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. And the scope of the present invention should be understood as the following claims and their equivalents.

12 : 조작반
14 : 데이터베이스
16 : 통신회로
20 : 음악데이터처리부
24 : 가사데이터처리부
26 : 영상소프트스톡부
28 : 합성부
36 : 카메라
42 : 푸른벽
46 : 화상반전수단
48 : 합성수단
50 : 모니터TV
52 : 프로젝터TV
54 : 비디오녹화장치12: Operation Panel
14: Database
16: Communication circuit
20: Music data processing section
24: Lyrics data processor
26: Image Soft Stock Department
28:
36: Camera
42: Blue wall
46: Image reversing means
48: Synthetic means
50: Monitor TV
52: Projector TV
54: Video recording device

Claims

There is provided an image composition method for synthesizing and displaying a background image information prepared in advance and a live appearance image of a performer as a composite image display method in which a starring image of a cast, Wherein the image is synthesized.

The image synthesis method according to claim 1, wherein mirror inversion image processing is performed on an image of a cast member to obtain a left / right inverted image.