KR20150106821A - Karaoke system using video recognition and method for dispaying background video on the same - Google Patents

Karaoke system using video recognition and method for dispaying background video on the same Download PDF

Info

Publication number
KR20150106821A
KR20150106821A KR1020150006387A KR20150006387A KR20150106821A KR 20150106821 A KR20150106821 A KR 20150106821A KR 1020150006387 A KR1020150006387 A KR 1020150006387A KR 20150006387 A KR20150006387 A KR 20150006387A KR 20150106821 A KR20150106821 A KR 20150106821A
Authority
KR
South Korea
Prior art keywords
image
user
unit
background image
information
Prior art date
Application number
KR1020150006387A
Other languages
Korean (ko)
Other versions
KR101925631B1 (en
Inventor
이종현
이계산
정진욱
서효덕
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20150106821A publication Critical patent/KR20150106821A/en
Application granted granted Critical
Publication of KR101925631B1 publication Critical patent/KR101925631B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Abstract

Disclosed are a karaoke system using an image recognition and a method for displaying a background image in the same. In the system, a photographing unit photographs the image of a user under an environment to perform a chroma-key photographing process. A storage unit stores the background images provided by song and the information of composite regions to be synthesized with a user image by background image, respectively. An image control unit receives the background image corresponding to the song selected by the user in a karaoke room through a background image storage unit and obtains the user image photographed by the photographing unit through a chroma-key method, and then, plays and outputs the composite image through a display unit after the user image is composed on the background image by using the information of the composite region corresponding to the background image provided through the storage unit.

Description

영상 인식을 이용한 노래방 시스템 및 그 시스템에서의 배경 영상 표시 방법{KARAOKE SYSTEM USING VIDEO RECOGNITION AND METHOD FOR DISPAYING BACKGROUND VIDEO ON THE SAME}TECHNICAL FIELD [0001] The present invention relates to a karaoke system using image recognition, and a background image display method in the system. [0002]

본 발명은 영상 인식을 이용한 노래방 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a karaoke system using image recognition and a control method thereof.

노래방은 1990년대부터 부산 지역을 중심으로 크게 번져 전국적으로 확산된 영상 가라오케 영업소를 말하지만, 최근에는 영상 및 가사를 표시하는 모니터와 노래 반주를 재상하는 반주기를 설치해 놓고 일반인들이 모니터를 통해 표시되는 가사를 보면서 반주에 맞춰 노래를 부를 수 있도록 해주는 방음 시설이 된 장소를 말한다. Karaoke is a video karaoke sales office that spread widely throughout the country since 1990s, but in recent years, it has installed monitors and video recorders, and a karaoke recital for singing accompaniments. It is a place that has been soundproofed so that you can sing along to the accompaniment while watching.

노래방 시스템은 노래방에 설치되며 수많은 곡의 음원과 가사를 데이터베이스화하여 저장하고 있는 반주기에 원하는 노래의 코드번호를 입력하면 해당 노래의 반주와 함께 가사가 모니터에 표시될 수 있도록 만들어져 있는 시스템이다.The karaoke system is installed in a karaoke system and is a system that allows lyrics to be displayed on the monitor along with the accompaniment of the song when the code number of the desired song is entered in a half-tone period in which a large number of songs and lyrics are stored in a database.

그런데, 종래의 노래방 시스템에서는 가수별로 지정된 뮤직 비디오 또는 영상만 표시되고 또한 함께 표시되는 가사를 보면서 노래만 부르는 기능을 가지고 있기 때문에 모니터를 통해 표시되는 영상으로 인한 노래방에서의 흥미를 유발할 수 있는 추가 기능이 요구되고 있다.However, in the conventional karaoke system, only the music video or video designated by the artist is displayed, and since the karaoke system has a function of singing only while viewing the lyrics displayed together, additional functions .

본 발명이 이루고자 하는 기술적 과제는 사용자들이 노래 부를 때 또는 행사 등의 상황에서 배경 영상이 사용자의 모습과 합성되어 실시간으로 표시됨으로써 사용자들로 하여금 더욱 더 흥미를 유발할 수 있고 재미있는 상황 연출이 가능한 노래방 시스템 및 그 제어 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a karaoke system capable of inducing users more interest and displaying interesting situations by displaying a background image combined with a user's appearance in real- And a control method thereof.

본 발명의 한 특징에 따른 노래방 시스템은,A karaoke system according to an aspect of the present invention includes:

크로마키 촬영이 가능한 환경 하에 있는 사용자의 영상을 촬영하는 촬영부; 노래별로 제공되는 배경 영상과 배경 영상별로 사용자 영상이 합성될 합성 영역의 정보를 각각 저장하는 저장부; 및 노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상을 상기 배경 영상 저장부를 통해 받고, 상기 촬영부에 의해 촬영되는 사용자의 영상을 크로마키 기법을 통해서 취득한 후, 상기 저장부를 통해 제공되는 상기 배경 영상에 해당하는 합성 영역의 정보를 사용하여 사용자의 영상을 배경 영상에 합성한 후 표시부를 통해 재생 출력하는 영상 제어부를 포함한다.A photographing unit for photographing a user's image under an environment in which chroma key photography is possible; A storage unit for storing information of a combined area in which a user image is to be combined for each background image and a background image provided for each song; And a background image corresponding to a song selected by the user in the karaoke system through the background image storage unit, acquires the user's image photographed by the photographing unit through the chroma key technique, And an image control unit for combining the user's image with the background image using the information of the composite area corresponding to the image, and reproducing and outputting the composite image through the display unit.

여기서, 상기 영상 제어부는, 상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상을 입력받아서 재생할 부분의 영상을 제공하는 배경 영상 제공부; 상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상에 대응되는 합성 영역의 정보를 입력받아서 상기 배경 영상 제공부에서 재생되는 영상 부분에서 사용자 영상이 합성될 합성 영역 정보를 추출하는 합성 영역 추출부; 상기 촬영부에 의해 촬영되어 입력되는 영상에 대해 크로마키 기법을 사용하여 사용자 영상을 검출하는 영상 검출부; 및 상기 합성 영역 추출부에서 추출되는 합성 영역 정보에 기초하여 상기 배경 영상 제공부에서 제공되는 배경 영상에 상기 영상 검출부에서 검출되는 사용자 영상을 합성한 후 합성된 사용자 배경 영상을 상기 표시부를 통해 표시하는 영상 합성부를 포함한다.Here, the image control unit may include a background image providing unit that receives a background image corresponding to a song selected by the user from the storage unit and provides an image of a portion to be reproduced; A synthesis region extracting unit that receives information of a synthesis region corresponding to a background image corresponding to a song selected by a user from the storage unit and extracts synthesis region information for synthesizing a user image in an image portion reproduced in the background image providing unit part; An image detector for detecting a user image by using a chroma key technique on an image captured and input by the photographing unit; And synthesizing the user image detected by the image detection unit with the background image provided by the background image providing unit based on the synthesized region information extracted by the synthesized region extracting unit, and displaying the synthesized user background image through the display unit And an image synthesizing unit.

또한, 상기 영상 검출부는 검출되는 사용자 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 분석한 후 상기 합성 영역 추출부에서 추출되는 합성 영역에 해당되는 사용자의 합성용 영상을 검출하여 상기 영상 합성부로 제공하는 것을 특징으로 한다.In addition, the image detector may analyze a user image using a motion tracking method for a detected user image, detect an image for synthesis of a user corresponding to the synthesized area extracted by the synthesized area extractor, .

또한, 상기 저장부는, 노래별로 제공되는 배경 영상을 저장하는 배경 영상 저장부; 및 상기 배경 영상 저장부에 저장되어 있는 각 배경 영상별로 사용자 영상이 합성될 영역 정보를 저장하는 합성 영역 정보 저장부를 포함한다.The storage unit may include a background image storage unit for storing a background image provided for each song; And a synthesis region information storage unit for storing region information for synthesizing a user image for each background image stored in the background image storage unit.

또한, 상기 합성 영역 정보 저장부는, 각 배경 영상별로 얼굴 영역 정보를 저장하는 얼굴 영역 정보 저장부; 및 각 배경 영상별로 신체 영역 정보를 저장하는 신체 영역 정보 저장부를 포함한다.The composite region information storage unit may include a face region information storage unit for storing face region information for each background image; And a body region information storage unit for storing body region information for each background image.

또한, 상기 영상 검출부는 상기 합성 영역의 형태를 판단하여 판단되는 합성 영역의 형태에 따라 상기 촬영부로부터 입력되는 사용자 영상으로부터 합성용 영상을 검출하고, 상기 영상 합성부는 상기 합성 영역의 형태에 기초하여 상기 배경 영상에 상기 합성용 영상을 합성하는 것을 특징으로 한다.The image detecting unit may detect an image for synthesis from a user image input from the photographing unit according to the shape of the combining area determined by determining the shape of the combining area, and the image combining unit may calculate, based on the shape of the combining area, And the synthesizing image is synthesized with the background image.

본 발명의 다른 특징에 따른 배경 영상 표시 방법은,According to another aspect of the present invention,

노래방 시스템이 배경 영상에 사용자 영상을 합성하여 표시하는 배경 영상 표시 방법으로서, 노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상과 사용자 영상을 상기 배경 영상에 합성하기 위한 합성 영역의 정보를 획득하는 단계; 크로마키 기법을 사용하여 촬영되는 사용자 영상을 취득하는 단계; 및 상기 합성 영역의 정보를 사용하여 상기 사용자 영상을 상기 배경 영상에 합성하여 표시하는 단계를 포함한다.A method of displaying a background image in which a karaoke system synthesizes a user image on a background image, the method comprising: obtaining a background image corresponding to a song selected by a user in a karaoke room and information on a composite region for compositing a user image with the background image step; Acquiring a user image to be photographed using a chroma key technique; And synthesizing and displaying the user image on the background image using the information of the composite area.

여기서, 상기 표시하는 단계는, 상기 합성 영역의 정보를 사용하여 상기 사용자 영상에서 합성용 영상을 검출하는 단계; 상기 합성 영역의 정보를 사용하여 상기 배경 영상에 상기 합성용 영상을 합성하여 합성 영상을 생성하는 단계; 및 상기 합성 영상을 표시부로 출력하여 대응되는 영상을 표시하는 단계를 포함한다.The displaying may include detecting an image for synthesis in the user image using information of the combining area; Generating a composite image by synthesizing the composite image with the background image using the information of the composite region; And outputting the composite image to a display unit to display a corresponding image.

또한, 상기 취득하는 단계에서 크로마키 기법을 통해 촬영되는 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 취득하는 것을 특징으로 한다.Further, in the acquiring step, a user image is acquired using a motion tracking method for an image photographed through the chroma key technique.

또한, 상기 합성 영역은 사용자의 얼굴이나 신체 전부가 해당되는 것을 특징으로 한다.In addition, the composite area corresponds to a face of a user or a whole body of a user.

본 발명의 또 다른 특징에 따른 노래방 시스템은,A karaoke system according to another aspect of the present invention includes:

크로마키 촬영이 가능한 환경 하에 있는 사용자의 영상을 촬영하는 촬영부; 노래별로 제공되는 배경 영상과 배경 영상별로 사용자 영상이 합성될 합성 영역의 정보를 각각 저장하는 저장부; 및 노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상을 상기 배경 영상 저장부를 통해 받고, 크로마키 기법을 사용하여 상기 촬영부에 의해 촬영되는 사용자의 영상으로부터 상기 합성 영역의 정보를 사용하여 합성용 영상을 검출한 후, 상기 저장부를 통해 제공되는 상기 배경 영상을 표시부를 통해 재생 출력하는 동시에 상기 합성용 영상을 투명 표시부－여기서 투명 표시부는 화면에 표시되는 정보 영상을 제외한 나머지 부분에서는 화면의 뒷배경이 비춰보이는 표시 장치이며, 상기 투명 표시부는 상기 표시부의 영상이 표시되는 화면에 밀착되어 설치되어 있음－를 통해 재생 출력하는 영상 제어부를 포함한다.A photographing unit for photographing a user's image under an environment in which chroma key photography is possible; A storage unit for storing information of a combined area in which a user image is to be combined for each background image and a background image provided for each song; And a background image corresponding to a song selected by the user in the karaoke system through the background image storage unit and using the information of the composite area from the user's image photographed by the photographing unit using the chroma key technique, And a transparent display unit for displaying the synthesized image, wherein the transparent display unit displays the background image provided through the storage unit on the back side of the screen in the remaining part except for the information image displayed on the screen, And the transparent display unit is installed in close contact with a screen on which the image of the display unit is displayed.

여기서, 상기 영상 제어부는, 상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상을 입력받아서 재생할 부분의 영상을 제공하는 배경 영상 제공부; 상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상에 대응되는 합성 영역의 정보를 입력받아서 상기 배경 영상 제공부에서 재생되는 영상 부분에서 사용자 영상이 합성될 합성 영역 정보를 추출하는 합성 영역 추출부; 크로마키 기법을 사용하여 상기 촬영부에 의해 촬영되는 사용자의 영상으로부터 상기 합성 영역의 정보를 사용하여 합성용 영상을 검출하는 영상 검출부; 및 상기 저장부에서 제공되는 배경 영상을 상기 표시부로 제공하여 표시되도록 하는 동시에, 상기 영상 검출부에서 검출되는 합성용 영상을 상기 투명 표시부르 제공하여 표시되도록 하는 출력 동기부를 포함한다.Here, the image control unit may include a background image providing unit that receives a background image corresponding to a song selected by the user from the storage unit and provides an image of a portion to be reproduced; A synthesis region extracting unit that receives information of a synthesis region corresponding to a background image corresponding to a song selected by a user from the storage unit and extracts synthesis region information for synthesizing a user image in an image portion reproduced in the background image providing unit part; An image detection unit for detecting a composite image using information of the composite region from an image of a user photographed by the photographing unit using a chroma key technique; And an output synchronization unit for providing the background image provided from the storage unit to the display unit and displaying the synthesized image, and for providing the synthesized image detected by the image detection unit to the transparent display unit.

또한, 상기 영상 검출부는 검출되는 사용자 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 분석한 후 상기 합성 영역 추출부에서 추출되는 합성 영역에 해당되는 사용자의 합성용 영상을 검출하는 것을 특징으로 한다.The image detector may analyze a user image using a motion tracking method for a user image to be detected, and may detect a user image for synthesis corresponding to a synthesized area extracted by the synthesized area extractor.

또한, 상기 영상 검출부는 상기 합성 영역의 형태를 판단하여 판단되는 합성 영역의 형태에 따라 상기 촬영부로부터 입력되는 사용자 영상으로부터 합성용 영상을 검출하는 것을 특징으로 한다.In addition, the image detecting unit may detect an image for synthesis from a user image input from the photographing unit according to the shape of the combining area determined by determining the shape of the combining area.

또한, 상기 합성 영역의 형태는 사용자의 얼굴이나 신체 전부를 나타내는 형태인 것을 특징으로 한다.In addition, the shape of the composite area is a shape representing a face of a user or a whole body of a user.

또한, 상기 출력 동기부는 상기 합성 영역 추출부를 통해 전달되는 합성 영역의 정보에 기초하여 상기 표시부로 표시되는 배경 영상과 상기 투명 표시부로 표시되는 합성용 영상의 동기를 일치시키는 것을 특징으로 한다.The output synchronization unit may synchronize the background image displayed on the display unit and the image for synthesis displayed on the transparent display unit based on the information of the composite area transmitted through the composite area extracting unit.

또한, 상기 영상의 동기는 상기 배경 영상이 재생되는 시간과 상기 합성 영역의 정보에 나타나 있는 합성 영상이 재생되는 시간과의 일치를 통해 이루어지는 것을 특징으로 한다.In addition, the synchronization of the image is performed by matching the time at which the background image is reproduced and the time at which the composite image represented by the information of the composite region is reproduced.

본 발명의 또 다른 특징에 따른 배경 영상 표시 방법은, According to another aspect of the present invention,

노래방 시스템이 배경 영상에 사용자 영상을 합성하여 표시하는 배경 영상 표시 방법으로서, 노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상과 사용자 영상을 상기 배경 영상에 합성하기 위한 합성 영역의 정보를 획득하는 단계; 크로마키 기법을 사용하여 촬영되는 사용자의 영상으로부터 상기 합성 영역의 정보를 사용하여 합성용 영상을 검출하는 단계; 및 상기 배경 영상을 표시부로 출력하여 표시하는 동시에 상기 합성용 영상을 투명 표시부－여기서 투명 표시부는 화면에 표시되는 정보 영상을 제외한 나머지 부분에서는 화면의 뒷배경이 비춰보이는 표시 장치이며, 상기 투명 표시부는 상기 표시부의 영상이 표시되는 화면에 밀착되어 설치되어 있음－로 출력하는 표시하는 단계를 포함한다.A method of displaying a background image in which a karaoke system synthesizes a user image on a background image, the method comprising: obtaining a background image corresponding to a song selected by a user in a karaoke room and information on a composite region for compositing a user image with the background image step; Detecting a composite image using information of the composite region from an image of a user photographed using a chroma key technique; And a transparent display unit for displaying the background image on a display unit and displaying the composite image, wherein the transparent display unit is a display unit in which the background of the screen is visible in the remaining part except for the information image displayed on the screen, And displaying the image of the display unit in a close contact with a display screen.

여기서, 상기 검출하는 단계에서 크로마키 기법을 통해 촬영되는 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 취득하는 것을 특징으로 한다.Here, in the detecting step, a user image is acquired using a motion tracking method for an image captured through the chroma key technique.

또한, 상기 합성 영역은 사용자의 얼굴이나 신체 전부가 해당되는 것을 특징으로 한다.In addition, the composite area corresponds to a face of a user or a whole body of a user.

본 발명에 따르면, 사용자들이 노래 부를 때 또는 행사 등의 상황에서 배경 영상이 사용자의 모습과 합성되어 실시간으로 표시됨으로써 사용자들로 하여금 더욱 더 흥미를 유발할 수 있고 재미있는 상황 연출이 가능하다.According to the present invention, a background image is combined with a user's appearance when a user is singing or in an event, and displayed in real time, thereby enabling users to be more interested and to create an interesting situation.

또한, 배경 영상에 사용자의 영상을 쉽게 합성하여 표시함으로써 합성 영상 표시를 위한 비용이 절감될 수 있다.In addition, the cost of displaying a composite image can be reduced by easily compositing and displaying a user's image on a background image.

도 1은 본 발명의 제1 실시예에 따른 노래방 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 도 1에 도시된 합성 영역 정보 저장부의 구성을 도시한 도면이다.
도 3은 도 1에 도시된 영상 제어부의 구체적인 구성을 도시한 도면이다.
도 4는 본 발명의 제1 실시예에 따른 노래방 시스템에서의 배경 영상 표시 방법의 흐름도이다.
도 5는 본 발명의 제2 실시예에 따른 노래방 시스템의 구성을 개략적으로 도시한 도면이다.
도 6은 도 5에 도시된 표시부와 투명 표시부의 설치 상태를 도시한 도면이다.
도 7은 도 5에 도시된 영상 제어부의 구체적인 구성을 도시한 도면이다.
도 8는 본 발명의 제2 실시예에 따른 노래방 시스템에서의 배경 영상 표시 방법의 흐름도이다.1 is a diagram showing a schematic configuration of a karaoke system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of the combined area information storage unit shown in FIG. 1. FIG.
3 is a diagram showing a specific configuration of the image control unit shown in FIG.
4 is a flowchart of a background image display method in the karaoke system according to the first embodiment of the present invention.
5 is a view schematically showing a configuration of a karaoke system according to a second embodiment of the present invention.
6 is a view showing the installation state of the display unit and the transparent display unit shown in Fig.
7 is a diagram showing a specific configuration of the image control unit shown in FIG.
8 is a flowchart of a background image display method in a karaoke system according to a second embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

먼저, 도면을 참고하여 본 발명의 제1 실시예에 따른 노래방 시스템에 대해 설명한다.First, a karaoke system according to a first embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 제1 실시예에 따른 노래방 시스템의 개략적인 구성을 도시한 도면이다.1 is a diagram showing a schematic configuration of a karaoke system according to a first embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 노래방 시스템(10)은 크로마키(chroma key) 제공부(100), 촬영부(200), 저장부(300) 및 영상 제어부(400)를 포함한다. 이 때, 도 1에서는 설명의 편의상 본 발명의 특징과 관련 없는 노래방 시스템(10)의 일반적인 구성 및 그 동작에 대한 설명은 생략하였다. 예를 들어, 노래방 시스템(10)은 사용자가 노래를 선곡할 수 있도록 하는 입력 수단, 노래 반주를 재생하는 반주 수단 등을 더 포함할 수 있음은 당연하다.1, the karaoke system 10 according to the first embodiment of the present invention includes a chroma key providing unit 100, a photographing unit 200, a storage unit 300, and a video control unit 400). 1, the general configuration of the karaoke system 10, which is not related to the features of the present invention, and a description of its operation are omitted for convenience of explanation. For example, the karaoke system 10 may further include input means for allowing the user to select a song, accompaniment means for playing back the song accompaniment, and the like.

먼저, 본 발명의 제1 실시예에서는 크로마키 기법을 사용하여 노래방에서 노래를 부르는 사용자의 영상을 취득하는 것을 가정하여 설명한다. 이러한 크로마키 기법은 특정 계열의 색상, 특히 파란 색상을 배경 화면에서 제거하여 다른 영상과 합성할 수 있는 기법으로, TV 방송 영상 등의 제작 시에 피촬영자의 영상과 사전에 준비한 배경 화면을 합성할 때 사용되는 기법이다.First, a first embodiment of the present invention will be described on the assumption that an image of a user singing in a karaoke room is acquired using a chroma key technique. This chroma key technique is a technique that can combine the colors of a certain series, especially the blue color, from other background images, and synthesize them with other images. It is a technique used when.

크로마키 제공부(100)는 노래방의 무대의 조명 및 배경 화면을 단색 처리하여 크로마키 영상을 취득할 수 있는 환경을 제공한다. 특히, 크로마키 제공부(100)는 사용자의 영상을 크로마키 영상으로 취득하기 위해 블루스크린을 배경 화면으로 사용한다. The chroma keyer 100 provides an environment in which chroma key images can be obtained by performing monochromatic processing of the lighting of the karaoke scene and the background screen. In particular, the chroma keyer 100 uses a blue screen as a background image to acquire a user's image as a chroma key image.

촬영부(200)는 크로마키 제공부(100)를 통해 제공되는 환경에 위치한 사용자의 영상을 촬영한다. 이러한 촬영부(200)는 디지털 카메라로 구현될 수 있으며, 렌즈로부터 입력되는 영상을 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 촬상 소자를 통해 촬영하여 해당 사용자 영상을 출력할 수 있다.The photographing unit 200 photographs an image of a user located in an environment provided through the chroma key providing unit 100. The photographing unit 200 may be implemented as a digital camera. The photographing unit 200 photographs an image input from a lens through an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) .

저장부(300)는 노래별로 제공되는 배경 영상을 저장하는 배경 영상 저장부(310)와 배경 영상 저장부(310)에 저장되어 있는 각 배경 영상별로 사용자 영상이 합성될 영역 정보를 저장하는 합성 영역 정보 저장부(320)를 포함한다. 여기서, 배경 영상은 주로 뮤직비디오일 것이나 그 외에, 영화, 애니메이션, CF, 드라마, 뉴스, 스포츠 등의 각동 동영상 컨텐츠일 수 있다.The storage unit 300 includes a background image storage unit 310 for storing a background image provided for each song and a synthesized region for storing region information for synthesizing a user image for each background image stored in the background image storage unit 310. [ And an information storage unit 320. Here, the background image may mainly be a music video, but may also be a moving image content such as a movie, an animation, a CF, a drama, a news, and a sports.

한편, 본 발명의 제1 실시예에서 배경 영상에 사용자 영상이 합성되는 영역은 다양한 형태를 가질 수 있으며, 배경 영상 중에서 사람의 일부 영역, 예를 들어 얼굴이거나 또는 사람의 신체 전부일 수 있다. 본 발명의 제1 실시예에서는 설명의 편의를 위해 배경 영상에 등장하는 한 사람의 얼굴과 신체 전부를 각각 합성될 수 있는 영역으로 설정하는 것으로 가정하여 설명한다.Meanwhile, in the first embodiment of the present invention, the area where the user image is synthesized in the background image may have various shapes, and may be a part of the background image, for example, a face or a whole body of a person. In the first embodiment of the present invention, for the sake of convenience of explanation, it is assumed that a face of a person appearing in a background image and a whole body are set as areas that can be synthesized.

따라서, 상기한 합성 영역 정보 저장부(320)는 도 2에 도시된 바와 같이, 각 배경 영상별로 얼굴 영역 정보를 저장하는 얼굴 영역 정보 저장부(321, 322)와 각 배경 영상별로 신체 영역 정보를 저장하는 신체 영역 정보 저장부(323, 324)를 포함한다. 이러한 얼굴 영역 정보 저장부(321, 322)와 신체 영역 정보 저장부(323)에 각각 저장되는 얼굴 영역 정보와 신체 영역 정보는 해당되는 배경 영상을 사용하여 미리 설정되어야 한다. 특히, 각 영역 정보는 배경 영상의 전체에 걸쳐서 재생 시점에 동기된 얼굴 영역 정보 및 신체 영역 정보를 가져야 되므로 이러한 정보가 정확하게 배경 영상과 일치하도록 사전 작업을 통해 해당 영역 정보가 설정되어야 한다.2, the synthesis area information storage unit 320 includes face area information storage units 321 and 322 for storing face area information for each background image, and body area information for each background image. And body region information storage units 323 and 324 for storing the body region information. The face region information and the body region information, which are stored in the face region information storage units 321 and 322 and the body region information storage unit 323, respectively, should be set in advance using the corresponding background image. In particular, since each area information must have face area information and body area information synchronized with the reproduction time point throughout the background image, the corresponding area information must be set through the dictionary operation so that the information matches the background image accurately.

다음, 영상 제어부(400)는 노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상을 배경 영상 저장부(310)를 통해 받고, 촬영부(200)에 의해 촬영되는 사용자의 영상을 크로마키 기법을 통해서 취득한 후, 합성 영역 정보 저장부(320)로부터 제공되는 배경 영상에 해당하는 합성 영역 정보를 사용하여 사용자의 영상을 배경 영상에 합성한 후 표시부(500)를 통해 재생 출력한다. 이 때, 표시부(500)는 LCD(Liquid Crystal Display)나 LED(Light Emitting Diode) 표시장치 등이다.Next, the image control unit 400 receives the background image corresponding to the song selected by the user in the karaoke room through the background image storage unit 310, and displays the user's image photographed by the photographing unit 200 using a chroma key technique The synthesized region information corresponding to the background image provided from the composite region information storage unit 320 is used to synthesize the user's image with the background image, and reproduced and output through the display unit 500. [ The display unit 500 may be a liquid crystal display (LCD), a light emitting diode (LED) display, or the like.

도 3은 도 1에 도시된 영상 제어부(400)의 구체적인 구성을 도시한 도면이다.FIG. 3 is a diagram showing a specific configuration of the image control unit 400 shown in FIG.

도 3에 도시된 바와 같이, 영상 제어부(400)는 배경 영상 제공부(410), 합성 영역 추출부(420), 영상 검출부(430) 및 영상 합성부(440)를 포함한다.3, the image control unit 400 includes a background image providing unit 410, a synthesis region extracting unit 420, an image detecting unit 430, and an image synthesizing unit 440.

배경 영상 제공부(410)는 저장부(300)의 배경 영상 저장부(310)로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상을 입력받아서 재생할 부분의 영상을 제공한다.The background image providing unit 410 receives the background image corresponding to the song selected by the user from the background image storage unit 310 of the storage unit 300 and provides the image of the part to be reproduced.

합성 영역 추출부(420)는 사용자에 의해 선곡된 노래에 해당되는 배경 영상에 대응되는 합성 영역 정보를 합성 영역 정보 저장부(320)로부터 입력받아서 배경 영상 제공부(410)에서 재생되는 영상 부분에서 사용자 영상이 합성될 합성 영역 정보를 추출한다. 이 때, 합성 영역 정보 저장부(320)에서 얼굴을 합성할 것인지 신체 전부를 합성할 것인지에 대해서는 노래 선곡시 함께 선택되도록 할 수 있다. 또는, 사용자의 선택이 없는 경우 얼굴 합성을 기본으로 하고 별도의 선택이 있는 경우에만 선택에 따라 얼굴 합성 또는 신체 합성을 수행하는 것으로 한다.The composite region extracting unit 420 receives the composite region information corresponding to the background image corresponding to the song selected by the user from the composite region information storage unit 320, And extracts the composite area information to be combined with the user image. At this time, whether to synthesize the face or the entire body in the composite region information storage unit 320 can be selected together with the song selection. Alternatively, if there is no selection by the user, the face synthesis is performed on the basis of the face synthesis and the face synthesis or the body synthesis is performed according to the selection only when there is a separate selection.

영상 검출부(430)는 촬영부(200)에 의해 촬영되어 입력되는 영상에 대해 크로마키 기법을 사용하여 사용자 영상만을 남긴 후 모션 트래킹 방식을 사용하여 사용자 영상을 분석한 후 합성 영역 추출부(420)에서 추출되는 합성 영역에 해당되는 사용자의 영상을 검출한다. 즉, 합성 영역이 얼굴 영역이면 영상 검출부(430)는 사용자 영상에서 얼굴 영상만을 취득하고, 만약 합성 영역이 신체 영역이면 영상 검출부(430)는 사용자 영상에서 신체 영역 모두를 사용자 영상으로 검출하게 된다. 여기서, 모션 트래킹 방식은 최근 대두되어 여러 분야에 적용되고 있는 영상처리 기술로서, 일련의 영상을 비교하여 유동(moving) 부분과 고정(reference) 부분을 분리하고, 영상에서의 유동 부분이 움직이는 궤적을 추적하는 방식을 말한다. The image detecting unit 430 analyzes the user image using the motion tracking method after leaving only the user image using the chroma key technique on the image captured by the photographing unit 200, The image of the user corresponding to the composite region extracted from the image is detected. That is, if the combined region is a face region, the image detecting unit 430 acquires only the face image from the user image, and if the combined region is the body region, the image detecting unit 430 detects all of the body regions as the user image in the user image. Here, the motion tracking method is an image processing technique which is applied to various fields in recent years and is a technique of comparing a series of images to separate a moving part and a reference part, It is the method of tracking.

영상 합성부(440)는 합성 영역 추출부(420)에서 추출되는 합성 영역에 기초하여 배경 영상 제공부(410)에서 제공되는 배경 영상에 영상 검출부(430)에서 검출되는 사용자 영상을 합성한 후 합성된 사용자 배경 영상을 표시부(500)를 통해 표시한다. 따라서, 표시부(500)를 통해 표시되는 사용자 배경 영상은 선곡된 노래의 배경 영상에 실제 노래를 부르는 사용자의 얼굴 또는 신체가 합성되어 표시되면서 노래의 가사도 함께 표시되고, 반주기를 통해서는 노래의 반주가 재생 출력된다.The image synthesizing unit 440 synthesizes the user image detected by the image detecting unit 430 with the background image provided by the background image providing unit 410 based on the composite area extracted by the composite area extracting unit 420, And displays the user background image through the display unit 500. Accordingly, the user background image displayed through the display unit 500 displays the lyrics of the song together with the face or body of the user who is actually singing the song being displayed on the background image of the selected song, and the accompaniment of the song through the half- And reproduced and outputted.

이와 같이, 본 발명의 제1 실시예에서는 사용자들이 노래 부를 때 또는 행사 등의 상황에서 사용자들이 배경 영상이 사용자의 모습과 합성되어 실시간으로 표시됨으로써 사용자들로 하여금 더욱 더 흥미를 유발할 수 있고 재미있는 상황 연출이 가능해진다.As described above, according to the first embodiment of the present invention, when a user is singing or in an event, a background image is synthesized with a user's background in real time so that users can be more interested, It becomes possible to direct.

이하, 도면을 참고하여 본 발명의 제1 실시예에 따른 노래방 시스템에서의 배경 영상 표시 방법에 대해 설명한다.Hereinafter, a background image display method in a karaoke system according to a first embodiment of the present invention will be described with reference to the drawings.

도 4는 본 발명의 제1 실시예에 따른 노래방 시스템에서의 배경 영상 표시 방법의 흐름도이다.4 is a flowchart of a background image display method in the karaoke system according to the first embodiment of the present invention.

도 4를 참고하면, 영상 제어부(400)에서는 입력 수단(도시되지 않음)을 통해 입력되는 노래 번호에 해당되는 노래의 배경 영상과 합성 영역 정보를 배경 영상 저장부(310)와 합성 영역 정보 저장부(320)로부터 각각 제공받는 동시에 촬영부(200)로부터 촬영되는 영상을 제공받는다(S100). 4, the image control unit 400 may include a background image of the song corresponding to the song number input through the input unit (not shown) and the synthesized area information to the background image storage unit 310, (S100) while receiving images from the photographing unit 200, respectively.

그 후, 제공받은 합성 영역 정보를 통해 재생될 배경 영상에서의 합성 영역을 검출하고(S110), 촬영부(200)로부터 제공되는 영상으로부터 크로마키 기법을 사용하여 사용자 영상을 취득하고 취득되는 사용자 영상으로부터 합성 영역에 해당하는 합성용 영상을 검출한다(S120).Thereafter, the synthesized region in the background image to be reproduced is detected through the provided synthesized region information (S110), the user image is acquired from the image provided from the photographing unit 200 using the chroma key technique, The synthesized image corresponding to the synthesized area is detected (S120).

계속해서, 영상 제어부(400)는 합성 영역 정보에 기초하여 재생될 배경 영상에 합성용 영상을 합성한 후(S130) 표시부(500)를 통해 합성된 영상을 표시한다(S140).Subsequently, the image control unit 400 synthesizes the synthesized image on the background image to be reproduced based on the synthesized area information (S130), and displays the synthesized image on the display unit 500 (S140).

한편, 본 발명의 제1 실시예에서는 노래방에서 실제로 노래하고 있는 사용자의 영상을 크로마키 기법을 사용하여 취득한 후 취득되는 사용자 영상을 배경 영상에 합성한 후 합성된 영상을 표시하는 것으로 설명하였으나, 사용자 영상을 크로마키 기법을 사용하여 취득한 후 취득되는 사용자 영상을 합성 영역에 해당되는 합성용 영상으로 검출하여 이를 배경 영상에 합성하여 표시하기 위해서는 재생될 배경 영상에 실시간으로 합성용 영상을 합성해야 하므로 빠른 속도의 영상 합성 처리가 요구된다.Meanwhile, in the first embodiment of the present invention, it is described that a user's image, which is actually being sang in a karaoke room, is acquired using a chroma key technique, In order to detect a user image obtained after acquiring an image using a chroma key technique as a synthesizing image corresponding to a synthesizing region and to synthesize the user image with a background image, a synthesizing image must be synthesized in real time on a background image to be reproduced, Speed image synthesis processing is required.

따라서, 본 발명의 제2 실시예에서는 다른 방식의 배경 영상 제어에 대해 설명한다.Therefore, the second embodiment of the present invention will be described with respect to background image control in another manner.

이하, 도면을 참고하여 본 발명의 제2 실시예에 대해 설명한다.Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.

도 5는 본 발명의 제2 실시예에 따른 노래방 시스템의 구성을 개략적으로 도시한 도면이다.5 is a view schematically showing a configuration of a karaoke system according to a second embodiment of the present invention.

도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 노래방 시스템(20)은 크로마키 제공부(600), 촬영부(700), 저장부(800), 영상 제어부(900), 표시부(1000) 및 투명 표시부(1100)를 포함한다. 5, the karaoke system 20 according to the second embodiment of the present invention includes a chroma key providing unit 600, a photographing unit 700, a storage unit 800, an image control unit 900, (1000) and a transparent display portion (1100).

여기서, 크로마키 제공부(600), 촬영부(700), 저장부(800) 및 표시부(500)는 본 발명의 제1 실시예에서 도 1을 참고하여 설명된 크로마키 제공부(100), 촬영부(200), 저장부(300) 및 표시부(1000)와 그 기능 및 동작이 동일하므로 여기에서는 그에 대한 설명을 생략하고, 다른 기능을 수행하는 구성요소에 대해서만 설명한다.The chroma keyer 600, the photographing unit 700, the storage unit 800, and the display unit 500 may be the same as those of the chroma key unit 100 described with reference to FIG. 1 in the first embodiment of the present invention, The storage unit 300, and the display unit 1000, the description thereof will be omitted and only the components that perform other functions will be described.

영상 제어부(900)는 노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상을 배경 영상 저장부(810)를 통해 받아서 표시부(1000)를 통해 표시함과 동시에, 촬영부(700)에 의해 촬영되는 사용자의 영상을 크로마키 기법을 통해서 취득한 후, 합성 영역 정보 저장부(820)로부터 제공되는 배경 영상에 해당하는 합성 영역 정보를 사용하여 사용자의 영상으로부터 합성용 영상을 검출한 후 투명 표시부(1100)를 통해 표시한다. 이 때, 영상 제어부(900)는 표시부(1000)을 통해 표시되는 배경 영상과 투명 표시부(1100)를 통해 표시되는 합성용 영상이 동일한 배경 영상을 기준으로 동기화되도록 제어를 수행한다. 여기서, 투명 표시부(1100)는 투명 LCD 등이 투명 표시 장치로 구현되며, 이러한 투명 표시장치는 화면에 표시되는 정보 영상을 제외한 나머지 부분에서는 화면의 뒷배경이 비춰보이는 표시 장치를 말한다.The image control unit 900 receives the background image corresponding to the song selected by the user in the karaoke system through the background image storage unit 810 and displays the background image through the display unit 1000, After the user's image is acquired through the chroma key technique, the image for synthesis is detected from the user's image using the composite area information corresponding to the background image provided from the composite area information storage unit 820, Lt; / RTI > At this time, the image control unit 900 controls the background image displayed through the display unit 1000 and the synthesized image displayed through the transparent display unit 1100 to be synchronized based on the same background image. Here, the transparent display unit 1100 is implemented by a transparent display device such as a transparent LCD, and the transparent display device refers to a display device in which the background of the screen is seen in the remaining portion except the information image displayed on the screen.

한편, 본 발명의 제2 실시예에서는 도 6에 도시되어 있는 바와 같이, 투명 표시부(1100)가 표시부(1000)에서 영상이 표시되는 화면의 앞부분에 밀착되어 설치되어 있기 때문에, 표시부(1000)를 통해 배경 영상이 표시될 때 표시부(1000)의 화면 전면에 설치되어 있는 투명 표시부(1100)에서 사용자의 합성용 영상이 표시됨으로써 표시부(1000)와 투명 표시부(1100)의 전면에서 멀리 떨어져 있는 사용자는 투명 표시부(1100)에 표시된 사용자의 합성용 영상과 표시부(1000)에 표시되는 배경 영상이 겹쳐져서 보임으로써 결과적으로 배경 영상에 사용자의 합성용 영상이 합성되어 표시되는 것으로 인식할 것이다.6, since the transparent display unit 1100 is disposed in close contact with the front portion of the screen on which the image is displayed on the display unit 1000, the display unit 1000 A user who is far from the front of the display unit 1000 and the transparent display unit 1100 by displaying the user's synthesized image on the transparent display unit 1100 installed on the front surface of the display unit 1000 when the background image is displayed through the transparent display unit 1100 The synthesized image of the user displayed on the transparent display unit 1100 and the background image displayed on the display unit 1000 are overlapped and recognized as a result that the user's synthesized image is synthesized and displayed on the background image.

도 7은 도 5에 도시된 영상 제어부(900)의 구체적인 구성을 도시한 도면이다.FIG. 7 is a diagram showing a specific configuration of the image control unit 900 shown in FIG.

도 7에 도시된 바와 같이, 영상 제어부(900)는 배경 영상 제공부(910), 합성 영역 추출부(920), 영상 검출부(930) 및 출력 동기부(940)를 포함한다. 여기서, 배경 영상 제공부(910), 합성 영역 추출부(910) 및 영상 검출부(930)는 본 발명의 제1 실시예의 도 3을 참고하여 설명한 배경 영상 제공부(410), 합성 영역 추출부(420) 및 영상 검출부(430)와 그 기능 및 동작이 동일하므로 여기에서는 구체적인 설명을 생략한다.7, the image control unit 900 includes a background image providing unit 910, a synthesized area extracting unit 920, an image detecting unit 930, and an output synchronizing unit 940. Here, the background image providing unit 910, the synthesized area extracting unit 910, and the image detecting unit 930 are the same as those of the background image providing unit 410, 420 and the image detecting unit 430 are the same in function and operation, and a detailed description thereof will be omitted here.

출력 동기부(940)는 배경 영상 제공부(410)에서 제공되는 배경 영상을 표시부(1000)로 제공하여 표시되도록 하는 동시에, 영상 검출부(930)에서 검출되는 사용자의 합성용 영상을 투명 표시부(1100)로 제공하여 표시되도록 하여, 표시부(1000)와 투명 표시부(1100)의 밀착 배열에 따른 배경 영상에 사용자의 합성용 영상이 합성된 것과 같이 표시할 수 있다. 이 때, 출력 동기부(940)는 합성 영역 추출부(920)를 통해 전달되는 합성 영역 정보에 기초하여 표시부(1000)로 표시되는 배경 영상과 투명 표시부(1100)로 표시되는 합성용 영상의 동기를 일치시킨다. 이러한 동기의 일치는 예를 들어 배경 영상이 재생되는 시간과 합성 영역의 정보에 나타나 있는 합성 영상이 재생되는 시간과의 일치를 통해 이루어질 수 있다.The output synchronizing unit 940 provides the background image provided by the background image providing unit 410 to the display unit 1000 and displays the combined image for the user detected by the image detecting unit 930 on the transparent display unit 1100 So that the background image according to the close arrangement of the display unit 1000 and the transparent display unit 1100 can be displayed as a composite image of the user. At this time, the output synchronization unit 940 synchronizes the background image displayed on the display unit 1000 and the image for synthesis displayed on the transparent display unit 1100 based on the composite area information transmitted through the composite area extracting unit 920 . Such synchronization can be achieved by, for example, matching the time when the background image is reproduced and the time when the composite image reproduced by the information of the composite region is reproduced.

이와 같이, 본 발명의 제2 실시예에서는 사용자들이 노래 부를 때 또는 행사 등의 상황에서 사용자들이 배경 영상이 사용자의 모습과 합성된 것같이 실시간으로 표시됨으로써 사용자들로 하여금 더욱 더 흥미를 유발할 수 있고 재미있는 상황 연출이 가능해진다. 또한, 배경 영상에 사용자의 영상을 쉽게 합성하여 표시함으로써 합성 영상 표시를 위한 비용이 절감될 수 있다.As described above, according to the second embodiment of the present invention, when a user is singing or in an occasion such as an event, a background image is displayed in real time as if a background image is synthesized with a user's appearance, thereby making users more interested It becomes possible to produce an interesting situation. In addition, the cost of displaying a composite image can be reduced by easily compositing and displaying a user's image on a background image.

이하, 도면을 참고하여 본 발명의 제2 실시예에 따른 노래방 시스템에서의 배경 영상 표시 방법에 대해 설명한다.Hereinafter, a background image display method in a karaoke system according to a second embodiment of the present invention will be described with reference to the drawings.

도 8는 본 발명의 제2 실시예에 따른 노래방 시스템에서의 배경 영상 표시 방법의 흐름도이다.8 is a flowchart of a background image display method in a karaoke system according to a second embodiment of the present invention.

도 8을 참고하면, 영상 제어부(900)에서는 입력 수단(도시되지 않음)을 통해 입력되는 노래 번호에 해당되는 노래의 배경 영상과 합성 영역 정보를 배경 영상 저장부(810)와 합성 영역 정보 저장부(820)로부터 각각 제공받는 동시에 촬영부(700)로부터 촬영되는 영상을 제공받는다(S200). 8, in the image control unit 900, a background image of the song corresponding to the song number input through the input means (not shown) and the composite region information are stored in the background image storage unit 810, And receives images from the photographing unit 700 (S200).

그 후, 제공받은 합성 영역 정보를 통해 재생될 배경 영상에서의 합성 영역을 검출하고(S210), 촬영부(700)로부터 제공되는 영상으로부터 크로마키 기법을 사용하여 사용자 영상을 취득하고 취득되는 사용자 영상으로부터 합성 영역에 해당하는 합성용 영상을 검출한다(S220).Thereafter, the synthesized region in the background image to be reproduced is detected through the provided synthesized region information (S210), the user image is acquired from the image provided from the photographing section 700 using the chroma key technique, The synthesized image corresponding to the synthesized area is detected (S220).

그 후, 영상 제어부(400)는 상기 단계(S200)에서 제공받은 배경 영상과 상기 단계(S220)에서 검출되는 사용자의 합성용 영상을 재생 동기가 일치되도록 하여 배경 영상은 표시부(1000)로 제공하여 표시되도록 함과 동시에 합성용 영상은 투명 표시부(1100)로 제공하여(S230) 표시되도록 하여 결과적으로 표시부(1000) 및 투명 표시부(1100)를 통해 배경 영상에 사용자의 영상이 합성된 영상을 표시한다(S240).Then, the image control unit 400 provides the background image to the display unit 1000 so that the background image provided in the step S200 and the synthesized image of the user detected in the step S220 match the reproduction motions And the synthesized image is provided to the transparent display unit 1100 (S230) so that the display unit 1000 and the transparent display unit 1100 display the combined image of the user's image on the background image (S240).

한편, 상기에서는 영상 제어부(400)가 배경 영상에 합성용 영상을 그대로 합성하여 표시부(500)를 통해 표시하는 것으로 설명하였으나, 배경 영상에 합성용 영상을 합성할 때 배경 영상과 합성용 영상이 이질감이 느껴지지 않도록 하는 기법을 사용하여 영상 합성을 수행할 수도 있다. 이러한 기법으로는 다층 레이어 합성 등이 사용될 수 있다.In the above description, it is described that the image controller 400 synthesizes the synthesized image as it is on the background image and displays it through the display unit 500. However, when the synthesized image is synthesized on the background image, It is also possible to perform image synthesis using a technique for preventing the user from feeling. As such a technique, a multilayer layer synthesis or the like can be used.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (20)

크로마키 촬영이 가능한 환경 하에 있는 사용자의 영상을 촬영하는 촬영부;
노래별로 제공되는 배경 영상과 배경 영상별로 사용자 영상이 합성될 합성 영역의 정보를 각각 저장하는 저장부; 및
노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상을 상기 배경 영상 저장부를 통해 받고, 상기 촬영부에 의해 촬영되는 사용자의 영상을 크로마키 기법을 통해서 취득한 후, 상기 저장부를 통해 제공되는 상기 배경 영상에 해당하는 합성 영역의 정보를 사용하여 사용자의 영상을 배경 영상에 합성한 후 표시부를 통해 재생 출력하는 영상 제어부
를 포함하는 노래방 시스템.A photographing unit for photographing a user's image under an environment in which chroma key photography is possible;
A storage unit for storing information of a combined area in which a user image is to be combined for each background image and a background image provided for each song; And
A background image corresponding to a song selected by a user in a karaoke room is received through the background image storage unit, a user's image captured by the photographing unit is acquired through a chroma key technique, Synthesizes the user's image with the background image using the information of the synthesized area corresponding to the synthesized area,
/ RTI > 제1항에 있어서,
상기 영상 제어부는,
상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상을 입력받아서 재생할 부분의 영상을 제공하는 배경 영상 제공부;
상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상에 대응되는 합성 영역의 정보를 입력받아서 상기 배경 영상 제공부에서 재생되는 영상 부분에서 사용자 영상이 합성될 합성 영역 정보를 추출하는 합성 영역 추출부;
상기 촬영부에 의해 촬영되어 입력되는 영상에 대해 크로마키 기법을 사용하여 사용자 영상을 검출하는 영상 검출부; 및
상기 합성 영역 추출부에서 추출되는 합성 영역 정보에 기초하여 상기 배경 영상 제공부에서 제공되는 배경 영상에 상기 영상 검출부에서 검출되는 사용자 영상을 합성한 후 합성된 사용자 배경 영상을 상기 표시부를 통해 표시하는 영상 합성부
를 포함하는 노래방 시스템.The method according to claim 1,
The image control unit includes:
A background image providing unit for receiving a background image corresponding to a song selected by a user from the storage unit and providing an image of a portion to be reproduced;
A synthesis region extracting unit that receives information of a synthesis region corresponding to a background image corresponding to a song selected by a user from the storage unit and extracts synthesis region information for synthesizing a user image in an image portion reproduced in the background image providing unit part;
An image detector for detecting a user image by using a chroma key technique on an image captured and input by the photographing unit; And
A synthesized region extracting unit for synthesizing the user image detected by the image detecting unit on the background image provided by the background image providing unit based on the synthesized region information extracted by the synthesized region extracting unit, Synthesizing unit
/ RTI > 제2항에 있어서,
상기 영상 검출부는 검출되는 사용자 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 분석한 후 상기 합성 영역 추출부에서 추출되는 합성 영역에 해당되는 사용자의 합성용 영상을 검출하여 상기 영상 합성부로 제공하는
것을 특징으로 하는 노래방 시스템.3. The method of claim 2,
The image detecting unit analyzes a user image using a motion tracking method for a user image to be detected, and detects an image for synthesis of a user corresponding to a synthesized region extracted by the synthesized region extracting unit and provides the synthesized image to the image synthesizing unit
The karaoke system comprising: 제2항에 있어서,
상기 저장부는,
노래별로 제공되는 배경 영상을 저장하는 배경 영상 저장부; 및
상기 배경 영상 저장부에 저장되어 있는 각 배경 영상별로 사용자 영상이 합성될 영역 정보를 저장하는 합성 영역 정보 저장부
를 포함하는 노래방 시스템.3. The method of claim 2,
Wherein,
A background image storage unit for storing a background image provided for each song; And
A background image storage unit for storing a background image of each background image,
/ RTI > 제4항에 있어서,
상기 합성 영역 정보 저장부는,
각 배경 영상별로 얼굴 영역 정보를 저장하는 얼굴 영역 정보 저장부; 및
각 배경 영상별로 신체 영역 정보를 저장하는 신체 영역 정보 저장부
를 포함하는 노래방 시스템.5. The method of claim 4,
The composite area information storage unit stores,
A face region information storage unit for storing face region information for each background image; And
A body area information storage unit for storing body area information for each background image,
/ RTI > 제5항에 있어서,
상기 영상 검출부는 상기 합성 영역의 형태를 판단하여 판단되는 합성 영역의 형태에 따라 상기 촬영부로부터 입력되는 사용자 영상으로부터 합성용 영상을 검출하고,
상기 영상 합성부는 상기 합성 영역의 형태에 기초하여 상기 배경 영상에 상기 합성용 영상을 합성하는 것을 특징으로 하는 노래방 시스템.6. The method of claim 5,
Wherein the image detecting unit detects an image for synthesis from a user image input from the photographing unit in accordance with a shape of a combining area determined by determining a shape of the combining area,
Wherein the image synthesizing unit synthesizes the synthesizing image on the background image based on the shape of the synthesizing area. 노래방 시스템이 배경 영상에 사용자 영상을 합성하여 표시하는 배경 영상 표시 방법에 있어서,
노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상과 사용자 영상을 상기 배경 영상에 합성하기 위한 합성 영역의 정보를 획득하는 단계;
크로마키 기법을 사용하여 촬영되는 사용자 영상을 취득하는 단계; 및
상기 합성 영역의 정보를 사용하여 상기 사용자 영상을 상기 배경 영상에 합성하여 표시하는 단계
를 포함하는 배경 영상 표시 방법.A method of displaying a background image in which a karaoke system synthesizes a user image with a background image,
Obtaining information of a background area corresponding to a song selected by a user in a karaoke room and information of a composite area for compositing a user picture with the background image;
Acquiring a user image to be photographed using a chroma key technique; And
Synthesizing the user image with the background image using the information of the synthesis area and displaying
And displaying the background image. 제7항에 있어서,
상기 표시하는 단계는,
상기 합성 영역의 정보를 사용하여 상기 사용자 영상에서 합성용 영상을 검출하는 단계;
상기 합성 영역의 정보를 사용하여 상기 배경 영상에 상기 합성용 영상을 합성하여 합성 영상을 생성하는 단계; 및
상기 합성 영상을 표시부로 출력하여 대응되는 영상을 표시하는 단계
를 포함하는 배경 영상 표시 방법.8. The method of claim 7,
Wherein the displaying comprises:
Detecting an image for synthesis in the user image using the information of the synthesized region;
Generating a composite image by synthesizing the composite image with the background image using the information of the composite region; And
Outputting the composite image to a display unit and displaying a corresponding image
And displaying the background image. 제7항에 있어서,
상기 취득하는 단계에서 크로마키 기법을 통해 촬영되는 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 취득하는 것을 특징으로 하는 배경 영상 표시 방법.8. The method of claim 7,
Wherein the acquiring step acquires a user image by using a motion tracking method on an image captured through a chroma key technique. 제7항 내지 제9항 중 어느 한 항에 있어서,
상기 합성 영역은 사용자의 얼굴이나 신체 전부가 해당되는 것을 특징으로 하는 배경 영상 표시 방법.10. The method according to any one of claims 7 to 9,
Wherein the synthesized area corresponds to a face of the user or a whole body of the user. 크로마키 촬영이 가능한 환경 하에 있는 사용자의 영상을 촬영하는 촬영부;
노래별로 제공되는 배경 영상과 배경 영상별로 사용자 영상이 합성될 합성 영역의 정보를 각각 저장하는 저장부; 및
노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상을 상기 배경 영상 저장부를 통해 받고, 크로마키 기법을 사용하여 상기 촬영부에 의해 촬영되는 사용자의 영상으로부터 상기 합성 영역의 정보를 사용하여 합성용 영상을 검출한 후, 상기 저장부를 통해 제공되는 상기 배경 영상을 표시부를 통해 재생 출력하는 동시에 상기 합성용 영상을 투명 표시부－여기서 투명 표시부는 화면에 표시되는 정보 영상을 제외한 나머지 부분에서는 화면의 뒷배경이 비춰보이는 표시 장치이며, 상기 투명 표시부는 상기 표시부의 영상이 표시되는 화면에 밀착되어 설치되어 있음－를 통해 재생 출력하는 영상 제어부
를 포함하는 노래방 시스템.A photographing unit for photographing a user's image under an environment in which chroma key photography is possible;
A storage unit for storing information of a combined area in which a user image is to be combined for each background image and a background image provided for each song; And
Receiving a background image corresponding to a song selected by a user in a karaoke room through the background image storage unit and generating a synthesized image using the information of the synthesized area from a user's image photographed by the photographing unit using a chroma key technique The background image provided through the storage unit is reproduced and output through the display unit, and the synthesized image is displayed on the transparent display unit. Herein, the transparent display unit displays the background image of the rest of the screen except for the information image displayed on the screen And the transparent display unit is installed in close contact with a screen on which the image of the display unit is displayed.
/ RTI > 제11항에 있어서,
상기 영상 제어부는,
상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상을 입력받아서 재생할 부분의 영상을 제공하는 배경 영상 제공부;
상기 저장부로부터 사용자에 의해 선곡된 노래에 해당되는 배경 영상에 대응되는 합성 영역의 정보를 입력받아서 상기 배경 영상 제공부에서 재생되는 영상 부분에서 사용자 영상이 합성될 합성 영역 정보를 추출하는 합성 영역 추출부;
크로마키 기법을 사용하여 상기 촬영부에 의해 촬영되는 사용자의 영상으로부터 상기 합성 영역의 정보를 사용하여 합성용 영상을 검출하는 영상 검출부; 및
상기 저장부에서 제공되는 배경 영상을 상기 표시부로 제공하여 표시되도록 하는 동시에, 상기 영상 검출부에서 검출되는 합성용 영상을 상기 투명 표시부르 제공하여 표시되도록 하는 출력 동기부
를 포함하는 노래방 시스템.12. The method of claim 11,
The image control unit includes:
A background image providing unit for receiving a background image corresponding to a song selected by a user from the storage unit and providing an image of a portion to be reproduced;
A synthesis region extracting unit that receives information of a synthesis region corresponding to a background image corresponding to a song selected by a user from the storage unit and extracts synthesis region information for synthesizing a user image in an image portion reproduced in the background image providing unit part;
An image detection unit for detecting a composite image using information of the composite region from an image of a user photographed by the photographing unit using a chroma key technique; And
And an output synchronization unit for providing the background image provided by the storage unit to the display unit and displaying the image for synthesis, the synthesized image being detected by the image detection unit,
/ RTI > 제12항에 있어서,
상기 영상 검출부는 검출되는 사용자 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 분석한 후 상기 합성 영역 추출부에서 추출되는 합성 영역에 해당되는 사용자의 합성용 영상을 검출하는
것을 특징으로 하는 노래방 시스템.13. The method of claim 12,
The image detecting unit analyzes a user image using a motion tracking method for a user image to be detected, and detects an image for synthesis of a user corresponding to a combining area extracted by the combining area extracting unit
The karaoke system comprising: 제12항에 있어서,
상기 영상 검출부는 상기 합성 영역의 형태를 판단하여 판단되는 합성 영역의 형태에 따라 상기 촬영부로부터 입력되는 사용자 영상으로부터 합성용 영상을 검출하는 것을 특징으로 하는 노래방 시스템.13. The method of claim 12,
Wherein the image detecting unit detects the image for synthesis from the user image input from the photographing unit according to the shape of the combining area determined by determining the shape of the combining area. 제12항에 있어서,
상기 합성 영역의 형태는 사용자의 얼굴이나 신체 전부를 나타내는 형태인 것을 특징으로 하는 노래방 시스템.13. The method of claim 12,
Wherein the shape of the composite region is a shape representing a face of the user or a whole body of the user. 제12항에 있어서,
상기 출력 동기부는 상기 합성 영역 추출부를 통해 전달되는 합성 영역의 정보에 기초하여 상기 표시부로 표시되는 배경 영상과 상기 투명 표시부로 표시되는 합성용 영상의 동기를 일치시키는 것을 특징으로 하는 노래방 시스템.13. The method of claim 12,
Wherein the output synchronization unit synchronizes the background image displayed on the display unit and the image for synthesis displayed on the transparent display unit based on the information of the composite area transmitted through the composite area extracting unit. 제16항에 있어서,
상기 영상의 동기는 상기 배경 영상이 재생되는 시간과 상기 합성 영역의 정보에 나타나 있는 합성 영상이 재생되는 시간과의 일치를 통해 이루어지는 것을 특징으로 하는 노래방 시스템. 17. The method of claim 16,
Wherein the synchronization of the video is performed by matching the time at which the background image is reproduced and the time at which the composite image represented by the information of the composite area is reproduced. 노래방 시스템이 배경 영상에 사용자 영상을 합성하여 표시하는 배경 영상 표시 방법에 있어서,
노래방에서 사용자에 의해 선곡된 노래에 해당하는 배경 영상과 사용자 영상을 상기 배경 영상에 합성하기 위한 합성 영역의 정보를 획득하는 단계;
크로마키 기법을 사용하여 촬영되는 사용자의 영상으로부터 상기 합성 영역의 정보를 사용하여 합성용 영상을 검출하는 단계; 및
상기 배경 영상을 표시부로 출력하여 표시하는 동시에 상기 합성용 영상을 투명 표시부－여기서 투명 표시부는 화면에 표시되는 정보 영상을 제외한 나머지 부분에서는 화면의 뒷배경이 비춰보이는 표시 장치이며, 상기 투명 표시부는 상기 표시부의 영상이 표시되는 화면에 밀착되어 설치되어 있음－로 출력하는 표시하는 단계
를 포함하는 배경 영상 표시 방법.A method of displaying a background image in which a karaoke system synthesizes a user image with a background image,
Obtaining information of a background area corresponding to a song selected by a user in a karaoke room and information of a composite area for compositing a user picture with the background image;
Detecting a composite image using information of the composite region from an image of a user photographed using a chroma key technique; And
Wherein the background image is outputted to the display unit and displayed, and at the same time, the synthesizing image is displayed on a transparent display unit, wherein the transparent display unit is a display unit in which the backside of the screen is visible in the remaining portions except for the information image displayed on the screen, In which the image of the display unit is closely attached to the screen on which the image is displayed -
And displaying the background image. 제18항에 있어서,
상기 검출하는 단계에서 크로마키 기법을 통해 촬영되는 영상에 대해 모션 트래킹 방식을 사용하여 사용자 영상을 취득하는 것을 특징으로 하는 배경 영상 표시 방법.19. The method of claim 18,
Wherein the user image is acquired using a motion tracking method for an image captured through the chroma key technique in the detecting step. 제18항 또는 제19항에 있어서,
상기 합성 영역은 사용자의 얼굴이나 신체 전부가 해당되는 것을 특징으로 하는 배경 영상 표시 방법.20. The method according to claim 18 or 19,
Wherein the synthesized area corresponds to a face of the user or a whole body of the user.
KR1020150006387A 2014-03-12 2015-01-13 Karaoke system using video recognition and method for dispaying background video on the same KR101925631B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140029244 2014-03-12
KR20140029244 2014-03-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160147036A Division KR20160130966A (en) 2014-03-12 2016-11-04 Karaoke system using video recognition and method for dispaying background video on the same

Publications (2)

Publication Number Publication Date
KR20150106821A true KR20150106821A (en) 2015-09-22
KR101925631B1 KR101925631B1 (en) 2019-02-27

Family

ID=54245534

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150006387A KR101925631B1 (en) 2014-03-12 2015-01-13 Karaoke system using video recognition and method for dispaying background video on the same
KR1020160147036A KR20160130966A (en) 2014-03-12 2016-11-04 Karaoke system using video recognition and method for dispaying background video on the same

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020160147036A KR20160130966A (en) 2014-03-12 2016-11-04 Karaoke system using video recognition and method for dispaying background video on the same

Country Status (1)

Country Link
KR (2) KR101925631B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982346B1 (en) * 2017-06-14 2019-05-27 주식회사 더미리 Apparatus for providing singing service
KR101973206B1 (en) * 2017-06-14 2019-04-29 주식회사 더미리 Apparatus for providing singing service
KR102011868B1 (en) * 2019-04-22 2019-08-26 주식회사 더미리 Apparatus for providing singing service

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110100536A (en) * 2010-03-04 2011-09-14 주식회사 토비스 Multi-layer image display device
KR20130123820A (en) * 2012-05-04 2013-11-13 주식회사 자우영상 Real time image synthesis apparatus and image synthesis method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110100536A (en) * 2010-03-04 2011-09-14 주식회사 토비스 Multi-layer image display device
KR20130123820A (en) * 2012-05-04 2013-11-13 주식회사 자우영상 Real time image synthesis apparatus and image synthesis method

Also Published As

Publication number Publication date
KR20160130966A (en) 2016-11-15
KR101925631B1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
KR100851612B1 (en) Interactive teleconferencing display system
CN106648083B (en) Enhanced playing scene synthesis control method and device
US8499038B1 (en) Method and mechanism for performing cloud image display and capture with mobile devices
CN107645655B (en) System and method for performing in video using performance data associated with a person
CN109416931A (en) Device and method for eye tracking
US8291328B2 (en) System and method for synchronizing a real-time performance with a virtual object
US20100328432A1 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
US20150070467A1 (en) Depth key compositing for video and holographic projection
JP2014168126A (en) Image processor, image processing method and program
JP2010183317A (en) Imaging device, image composition and display device, image composition and display method, and program
JP2009253555A (en) Information processing apparatus, information processing method, program, and recording medium
KR101925631B1 (en) Karaoke system using video recognition and method for dispaying background video on the same
CN106101576B (en) A kind of image pickup method, device and the mobile terminal of augmented reality photo
Gowing et al. Enhanced visualisation of dance performance from automatically synchronised multimodal recordings
WO1997028654A2 (en) Chroma keying studio system
JP2004525560A (en) Interactive teleconference display system
KR20150085254A (en) Service system and service method for live dance class and live dance music room
KR101773891B1 (en) System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner
CA3051610A1 (en) Capturing and synchronizing motion with recorded audio/video
KR20150038147A (en) Image generation method
JP4039610B2 (en) Image composition apparatus and method, and image display apparatus and method
CN116170624A (en) Object display method and device, electronic equipment and storage medium
JPH07212653A (en) Picture processing unit
JP2020057329A (en) Guide system
JP2004172862A (en) Image composition method and composite image delivery system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101006348; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161104

Effective date: 20181018

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant