KR102006604B1 - Apparatus for recording synthesis image using sound recognition - Google Patents

Apparatus for recording synthesis image using sound recognition Download PDF

Info

Publication number
KR102006604B1
KR102006604B1 KR1020160167998A KR20160167998A KR102006604B1 KR 102006604 B1 KR102006604 B1 KR 102006604B1 KR 1020160167998 A KR1020160167998 A KR 1020160167998A KR 20160167998 A KR20160167998 A KR 20160167998A KR 102006604 B1 KR102006604 B1 KR 102006604B1
Authority
KR
South Korea
Prior art keywords
image
touch screen
screen panel
photographed
microphone
Prior art date
Application number
KR1020160167998A
Other languages
Korean (ko)
Other versions
KR20180066778A (en
Inventor
허승회
Original Assignee
허승회
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 허승회 filed Critical 허승회
Priority to KR1020160167998A priority Critical patent/KR102006604B1/en
Publication of KR20180066778A publication Critical patent/KR20180066778A/en
Application granted granted Critical
Publication of KR102006604B1 publication Critical patent/KR102006604B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H04N5/23222—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H04N5/23216—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명의 실시 형태는 반주에 맞추어 노래부르는 사람인 가창자를 촬영한 촬영 영상과 미리 저장되어 있는 배경영상이 합성된 합성영상이 표시되는 터치스크린패널; 소리를 입력받는 마이크; 재생 시에 소리가 출력되는 스피커; 상기 터치스크린패널의 전면에 마련되어, 촬영 영상을 생성하는 카메라; 및 상기 마이크를 통해 음성이 감지되는 경우, 상기 카메라를 통해 촬영되는 촬영 영상을 배경영상과 합성하여 합성영상을 생성하여 상기 디스플레이패널에 표시하는 디스플레이 표시의 제어를 수행하는 제어부;를 포함할 수 있다.A touch screen panel in which a synthesized image in which a photographed image of a singing person who is singing along with an accompaniment and a background image stored in advance is synthesized is displayed; A microphone for receiving sound; A speaker for outputting sound during reproduction; A camera provided on a front surface of the touch screen panel to generate a photographed image; And a controller for controlling the display of the synthesized image by synthesizing the photographed image photographed by the camera with the background image and displaying the combined image on the display panel when voice is detected through the microphone .

Description

소리인식을 통한 합성영상의 자동녹화 장치{Apparatus for recording synthesis image using sound recognition}TECHNICAL FIELD [0001] The present invention relates to an automatic recording apparatus for recording a composite image using sound recognition,

본 발명은 합성영상을 자동녹화하는 장치로서, 노래방에서 사용되는 합성영상 자동녹화 장치에 관한 것이다.The present invention relates to an apparatus for automatically recording a synthesized image, and an apparatus for automatically recording a synthesized image used in a karaoke system.

노래 연습을 하기 위한 장치로서는 반주기(일명, '가라오케'라고 함)가 알려져 있다. As a device for practicing singing, there is known a karaoke machine (aka, karaoke).

반주기[일명 가라오케(karaoke)]란 기기 내에 저장되어 있는 노래 중 사용자에 의해 선곡된 노래의 반주[오디오 데이터]를 출력하는 기기로서, 이에 사용자가 TV에 표시되는 가사를 보고 스피커에서 출력되는 반주를 들으면서 마이크를 사용해 노래를 따라 부르게 된다.A karaoke [aka karaoke] is a device for outputting accompaniment [audio data] of a song selected by the user among the songs stored in the device, so that the user can see the lyrics displayed on the TV, I listen to the song by listening to the microphone while listening.

노래방은 모니터와 반주기를 설치해 놓고 일반인들이 모니터를 통해 디스플레이되는 가사를 보면서 반주에 맞춰 노래를 부를 수 있도록 해주는 방음시설이 된 장소를 말한다. 자신의 음악적 성취 또는 유희를 목적으로 다른 사람들의 방해를 받지 않고 노래를 부르는 곳으로, 스트레스를 해소하거나 친목을 도모하는 공간으로 이용되고 있다. 이러한 노래방은 한국(노래방), 일본(가라오케), 중국(KTV), 필리핀(비디오케) 등 아시아 지역에서 성행하면서 하나의 오락 문화로서 정착되어 왔다. Karaoke is a sound-proof place with a monitor and a half-drum set, allowing the public to sing along to the accompaniment while watching the lyrics displayed on the monitor. It is a place to sing songs without disturbing others for the purpose of their musical achievement or play, and is being used as a space to relieve stress or to promote fellowship. These karaoke rooms have been established as an entertainment culture in the Asian region such as Korea (karaoke), Japan (karaoke), China (KTV), and the Philippines (Videoke).

노래방 시스템은 수많은 곡의 음원과 가사를 데이터베이스화하여 저장하고 있는 반주기에 원하는 노래의 코드번호를 입력하면 해당 노래의 반주와 함께 가사가 디스플레이될 수 있도록 만들어져 있다.The karaoke system is designed so that lyrics can be displayed along with the accompaniment of the song by inputting the code number of the desired song in a half-cycle period in which a large number of songs and lyrics are stored in a database.

이러한 기본 기능 이외에도 다양한 즐길 거리를 제공하기 위해 노래 배틀 기능, 댄스 따라하기 기능, 동영상 업로드 기능 등이 추가로 서비스된다.In addition to these basic functions, songs battle function, dance follow-up function, and video upload function are additionally provided to provide various enjoyment.

상기와 같은 반주기는, 사용자가 반주기에 장착된 선택버튼을 눌러 선곡 및 연주키를 설정한다. 이렇게 선곡과 함께 연주키를 누르면 반주가 시작되며 사용자는 마이크를 통해 반주에 맞추어 노래를 부르면 된다. 이때, 사용자가 원할 경우 별도로 구비된 녹음장치에 사용자가 부르는 노래가 녹음된다.In the above-mentioned half-period, the user presses the selection button mounted on the half-cycle to set the selection and play keys. When you press the play key with the song selection, the accompaniment starts and you can sing along to the accompaniment through the microphone. At this time, when the user desires, a song called by the user is recorded in a separate recording device.

이와 같이 사용자의 음성만 녹음이 가능하였던 것을 최근 화상데이터의 처리 및 저장기술의 발달로 카메라로 촬영된 사용자의 노래하는 모습을 화상으로 저장할 수도 있다.In this way, only the voice of the user could be recorded, and the image of the user who is photographed by the camera with the recent development of image data processing and storage technology can be stored as an image.

그런데 기존의 특허등록되어 있는 시스템들은 단순히 사용자의 노래부르는 모습만을 녹화해주거나 영상합성이 된다고 하더라도 반주기와 전기적으로 연결시켜야만 노래 시작과 정지를 감지해서 녹화를 진행할 수 있거나 사람이 직접 녹화 시작/정지 조작을 해야만 하지만 본 발명은 노래부르는 소리를 감지하기 때문에 전기적인 연결이나 수동조작을 할 필요가 없는 발명이다.  However, existing patented systems simply record the user's singing or synthesize the image, even if it is electrically connected to the half-cycle to detect the start and stop of the song can be recorded, or the person can manually start / stop recording However, the present invention is an invention that does not require electrical connection or manual operation because it detects the sound of singing.

한국공개특허 10-2007-0063393호Korean Patent Publication No. 10-2007-0063393

본 발명의 기술적 과제는 반주기와 아무런 연결 또는 사용자의 조작없이, 소리인식을 통해 합성영상 자동녹화 수단을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a synthetic video automatic recording means through sound recognition without any connection with a half-period or user's operation.

본 발명의 실시 형태는 반주에 맞추어 노래부르는 사람인 가창자를 촬영한 촬영 영상과 미리 저장되어 있는 배경영상이 합성된 합성영상이 표시되는 터치스크린패널; 소리를 입력받는 마이크; 재생 시에 소리가 출력되는 스피커; 상기 터치스크린패널의 전면에 마련되어, 촬영 영상을 생성하는 카메라; 및 상기 마이크를 통해 음성이 감지되는 경우, 상기 카메라를 통해 촬영되는 촬영 영상을 배경영상과 합성하여 합성영상을 생성하여 상기 디스플레이패널에 표시하는 디스플레이 표시의 제어를 수행하는 제어부;를 포함할 수 있다.A touch screen panel in which a synthesized image in which a photographed image of a singing person who is singing along with an accompaniment and a background image stored in advance is synthesized is displayed; A microphone for receiving sound; A speaker for outputting sound during reproduction; A camera provided on a front surface of the touch screen panel to generate a photographed image; And a controller for controlling the display of the synthesized image by synthesizing the photographed image photographed by the camera with the background image and displaying the combined image on the display panel when voice is detected through the microphone .

상기 합성영상 자동녹화 장치는, 인터넷 통신 또는 이동 통신을 지원하는 통신부; 상기 합성 영상이 저장되는 메모리;를 포함하며, 상기 터치스크린패널은, 가창자의 휴대폰 번호, 이메일 주소를 입력받으며, 상기 제어부는, 상기 합성영상을 메모리에 저장하는 메모리 저장과, 상기 메모리에 저장된 합성영상을 상기 가창자의 휴대폰 번호, 이메일 주소로 전송하는 합성영상 전송을 수행할 수 있다.The automatic synthesized video recording apparatus includes: a communication unit for supporting Internet communication or mobile communication; And a memory for storing the synthesized image, wherein the touch screen panel receives a cell phone number and an e-mail address of a presenter, the control unit includes: a memory for storing the synthesized image in a memory; And a composite image transmission in which an image is transmitted to a cell phone number and an e-mail address of the voice changer.

상기 제어부는, 상기 마이크를 통해 감지되는 소리의 음량이 미리 설정된 노래 기준 음량보다 미리 설정된 기준 시간 이상 초과하여 클 경우 상기 합성영상의 생성, 합성영상의 메모리 저장, 및 터치스크린패널 표시를 수행하며, 상기 마이크를 통해 감지되는 소리의 음량이 상기 노래 기준 음량보다 미리 설정된 기준 시간 이상 초과하여 작을 경우 상기 합성영상의 생성, 합성영상의 메모리 저장, 및 터치스크린패널 표시를 종료한다.Wherein the controller performs the generation of the composite image, the storage of the synthesized image, and the display of the touch screen panel when the volume of the sound detected through the microphone is greater than a predetermined reference time, When the volume of the sound detected through the microphone is smaller than the reference standard time by more than a predetermined reference time, the generation of the composite image, the storage of the synthesized image, and the display of the touch screen panel are terminated.

상기 카메라는, 터치스크린패널의 전방을 촬영하여 가창자 촬영 영상을 생성하는 가창자 촬영 카메라; 및 노래방내의 좌석 방향을 촬영하여 관람객 촬영 영상을 생성하는 관람객 촬영 카메라;를 포함하며, 상기 제어부는, 가창자 촬영 영상과 관람객 촬영 영상을 배경영상에 합성한 합성영상을 생성하여, 상기 메모리 저장 및 디스플레이패널 표시 및 합성영상 전송을 수행할 수 있다.A camera for capturing an image of a front side of the touch screen panel to generate a custody image; And a viewer photographing camera for photographing the direction of the seat in the karaoke room to generate a photograph of a visitor, wherein the controller generates a composite image obtained by synthesizing the photographed image and the guest photographing image on the background image, Panel display and composite video transmission can be performed.

상기 제어부는, 상기 가창자 촬영 영상의 크기와 관람객 촬영 영상의 크기를 서로 다르게 하여 합성영상을 생성할 수 있다.The control unit may generate a composite image by making the size of the photographed image different from the size of the photographed image of the viewer.

상기 제어부는, 상기 마이크를 통해 감지되는 소리의 음량이 상기 노래 기준 음량보다 크지만 미리 설정된 환호 기준 음량보다 작을 경우에는 상기 가창자 촬영 영상의 크기를 상기 관람객 촬영 영상의 크기보다 크게 하여 합성영상을 생성하며, 상기 마이크를 통해 감지되는 소리의 음량이 상기 환호 기준 음량보다 크거나 같을 경우에는 상기 관람객 촬영 영상의 크기를 상기 가창자 촬영 영상의 크기보다 크게 하여 합성영상을 생성할 수 있다.When the volume of the sound detected through the microphone is larger than the song reference volume but smaller than a preset reference volume, the control unit may increase the size of the photographed image to be larger than the size of the guest image, And when the volume of the sound detected through the microphone is equal to or greater than the loudspeaker reference volume, the size of the guest image may be larger than the size of the adult image.

상기 합성영상 자동녹화 장치는, 관람객 촬영 영상의 객체 형상을 판독하는 이미지 판독부;를 포함하며, 상기 제어부는, 관람객 촬영 영상의 객체 형상이 사람 기립 형상인 경우 상기 관람객 촬영 영상의 크기를 상기 가창자 촬영 영상의 크기보다 크게 하여 합성영상을 생성할 수 있다.And an image reading unit for reading an object shape of an image of a visitor image when the object shape of the image of the visitor image is a human standing image, The synthesized image can be generated with a size larger than the size of the photographed image.

본 발명의 실시 형태에 따르면 소리를 이용하여 합성된 영상을 자동녹화할 수 있어, 반주기와 아무런 연결없이 설치가 용이하고 수동조작해서 녹화를 할 필요가 없다. 또한 본 발명의 실시 형태에 따르면 다양한 합성영상을 제공함으로써, 사용자의 흥미를 높일 수 있다.According to the embodiment of the present invention, it is possible to automatically record an image synthesized by using sound, and it is easy to install without any connection with a half-period, and there is no need to record manually. Also, according to the embodiment of the present invention, it is possible to increase the interest of the user by providing various composite images.

도 1은 본 발명의 실시예에 따른 소리인식을 통한 합성영상 자동녹화 장치의 구성 블록도.
도 2는 본 발명의 실시예에 따른 터치스크린패널의 전면을 도시한 그림.
도 3은 본 발명의 실시예에 따라 가창자를 촬영하는 모습을 도시한 그림.
도 4는 본 발명의 실시예에 따른 가창자의 영상과 배경영상이 합성된 합성영상이 표시되는 터치스크린패널을 도시한 그림.
도 5는 본 발명의 실시예에 따른 카메라의 구성 블록도.
도 6은 본 발명의 실시예에 따라 가창자 촬영 영상이 관람객 촬영 영상보다 크게 하여 합성영상이 표시되는 모습을 도시한 그림.
도 7은 본 발명의 실시예에 따라 관람객 촬영 영상이 가창자 촬영 영상보다 크게 하여 합성영상이 표시되는 모습을 도시한 그림.1 is a block diagram of an apparatus for automatically recording a composite image through sound recognition according to an embodiment of the present invention.
FIG. 2 is a front view of a touch screen panel according to an embodiment of the present invention. FIG.
FIG. 3 is a diagram showing a state in which a phoneme is photographed according to an embodiment of the present invention. FIG.
FIG. 4 is a diagram illustrating a touch screen panel in which a synthesized image obtained by synthesizing an image of a phonetic character and a background image according to an embodiment of the present invention is displayed. FIG.
5 is a block diagram of a camera according to an embodiment of the present invention;
FIG. 6 is a view showing a composite image displayed in a case where a phantom shot image is larger than a guest shot image according to an embodiment of the present invention.
FIG. 7 is a view showing a composite image being displayed with a viewer's photographed image being larger than a photographed image according to an embodiment of the present invention.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to achieve them, will be apparent from the following detailed description of embodiments thereof taken in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the exemplary embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete and will fully convey the concept of the invention to those skilled in the art. And the present invention is only defined by the scope of the claims. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 1은 본 발명의 실시예에 따른 소리인식을 통한 합성영상 자동녹화 장치의 구성 블록도이며, 도 2는 본 발명의 실시예에 따른 터치스크린패널의 전면을 도시한 그림이며, 도 3은 본 발명의 실시예에 따라 가창자를 촬영하는 모습을 도시한 그림이며, 도 4는 본 발명의 실시예에 따른 가창자의 영상과 배경영상이 합성된 합성영상이 표시되는 터치스크린패널을 도시한 그림이다.2 is a front view of a touch screen panel according to an exemplary embodiment of the present invention. FIG. 3 is a schematic view of a front side of a touch screen panel according to an embodiment of the present invention. FIG. 4 is a diagram illustrating a touch screen panel in which a synthesized image obtained by synthesizing a vocal image and a background image according to an exemplary embodiment of the present invention is displayed. Referring to FIG.

기존에는 노래방에서 음악 소리를 감지해서 영상합성 녹화를 진행하는 시스템으로 기존에는 노래방 반주기에서 나오는 전기적 신호를 이용하거나 사람이 직접 녹화 시작/정지를 조작해야 했으나 본 발명은 노래방 반주기와 아무런 연결이 없이 또한 인위적 조작 없이 노래의 시작과 정지를 자동으로 감지하는 방법으로 노래 부르는 모습을 미리 준비된 배경영상과 합성해서 녹화 진행하는 뮤직비디오 제작 수단을 제공한다.In the past, a system for detecting a music sound in a karaoke system and proceeding with a video synthesis recording has been used. In the past, an electric signal from a karaoke machine or a person had to manually start / stop the recording. However, A method of automatically starting and stopping a song without artificial manipulation is provided, and a music video production means for synthesizing a singing state with a background image prepared in advance and recording is performed.

이를 위하여 도 1에 도시한 바와 같이 터치스크린패널(150), 마이크(120), 카메라(130), 및 제어부(110)를 포함할 수 있다. 이밖에 통신부(140), 메모리(160), 및 스피커(170)를 더 포함할 수 있다.For this, a touch screen panel 150, a microphone 120, a camera 130, and a controller 110 may be included as shown in FIG. In addition, the communication unit 140, the memory 160, and the speaker 170 may be further included.

터치스크린패널(150)은, 반주에 맞추어 노래부르는 사람인 가창자를 촬영한 촬영 영상과 미리 저장되어 있는 배경영상이 합성된 합성영상이 표시되는 패널이다. 이러한 터치스크린패널(150)은, 가창자의 휴대폰 번호, 이메일 주소를 입력받을 수 있다. 가창자의 영상을 전달받을 가창자의 휴대폰 번호나 이메일 주소 등을 입력받는 것이다.The touch screen panel 150 is a panel in which a composite image in which a photographed image of a person singing a song accompanying the accompaniment and a background image stored in advance are combined is displayed. The touch screen panel 150 can receive a cell phone number and an e-mail address of a singer. And the mobile phone number or e-mail address of the voice-over person to receive the video of the voice of the child.

마이크(120)는 소리를 입력받는 모듈이다. 마이크(120)는 도 2에 도시한 바와 같이 터치스크린패널(150)의 측면에 마련될 수 있다. 또는 별도의 모듈로서 가창자가 파지할 수 있는 모듈 형태를 가질 수 있다.The microphone 120 is a module for receiving sound. The microphone 120 may be provided on a side surface of the touch screen panel 150 as shown in FIG. Or may have a modular form that can be held by a voice changer as a separate module.

카메라(130)는, 도 2에 도시한 바와 같이 터치스크린패널(150)의 전면에 마련되어, 촬영 영상을 생성한다. 참고로, 카메라(130)는, 렌즈 어셈블리, 필터, 광전 변환 모듈, 및 아날로그/디지털 변환 모듈을 포함할 수 있다. 렌즈 어셈블리는 줌 렌즈, 포커스 렌즈 및 보상 렌즈를 포함한다.The camera 130 is provided on the front surface of the touch screen panel 150 as shown in FIG. 2, and generates a photographed image. For reference, the camera 130 may include a lens assembly, a filter, a photoelectric conversion module, and an analog / digital conversion module. The lens assembly includes a zoom lens, a focus lens, and a compensation lens.

통신부(140)는, 인터넷 통신 또는 이동 통신을 H/W 및 S/W로서 지원하는 모듈이다. 인터넷 통신을 지원하기 위해 TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 인터넷 프로토콜에 따라서 데이터 통신이 이루어지며, 이동 통신을 지원하기 위해 3G, 4G 등의 이동 통신을 수행하는 경우에는, 무선 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기(미도시)와, 수신되는 무선 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기(미도시) 등을 포함한다.The communication unit 140 is a module that supports Internet communication or mobile communication as H / W and S / W. In order to support Internet communication, data communication is performed according to Internet protocols such as TCP / IP (Transmission Control Protocol / Internet Protocol). When mobile communication such as 3G or 4G is performed to support mobile communication, An RF transmitter (not shown) for up-converting and amplifying the frequency of the received signal, an RF receiver (not shown) for low-noise amplifying the received radio signal and down-converting the frequency.

메모리(160)는, 합성영상이 저장되는 매체이다. 이러한 메모리(160)는, 하드디스크 드라이브(Hard Disk Drive), SSD 드라이브(Solid State Drive), 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card), SM카드(Smart Media Card), MMC 카드(Multi-Media Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.The memory 160 is a medium in which composite images are stored. The memory 160 may be a hard disk drive, a solid state drive (SSD), a flash memory, a compact flash card, an SD card (Secure Digital card), an SM card A SmartMedia card, an MMC card (Multi-Media Card), a Memory Stick, or the like, which may be provided in the device or may be provided in a separate device.

스피커(170)는, 녹화된 영상의 재생시에 소리가 출력된다.The speaker 170 outputs sound when the recorded image is reproduced.

제어부(110)는, 마이크(120)를 통해 음성이 감지되는 경우, 카메라(130)를 통해 촬영되는 촬영 영상을 미리 저장된 배경 영상에 합성하여 합성영상을 생성하여 디스플레이패널에 표시하는 디스플레이 표시의 제어를 수행한다. 따라서 도 4에 도시한 바와 같이 터치스크린패널(150)의 전체 영역에 배경영상이 표시되며, 배경영상을 바탕으로 카메라(130)를 통해 촬영되는 가창자가 노래하고 있는 모습인 가창자의 영상이 함께 합성되어 표시된다. 따라서 조용한 상태에서 반주가 흘러나와 마이크(120)를 통해 이러한 반주가 감지되면 카메라(130)를 통해 촬영되는 촬영 영상을 배경영상과 합성하여 합성영상을 생성하여 디스플레이패널에 표시하게 된다.The control unit 110 generates a synthesized image by synthesizing the photographed image photographed through the camera 130 with a previously stored background image when a voice is detected through the microphone 120, . 4, the background image is displayed on the entire area of the touch screen panel 150, and the images of the viewer who is photographed by the camera 130 on the basis of the background image are synthesized together . Accordingly, when the accompaniment flows through the microphone 120 in a quiet state and the accompaniment is sensed through the microphone 120, the photographed image photographed through the camera 130 is synthesized with the background image to generate a composite image, which is displayed on the display panel.

또한 제어부(110)는, 합성영상을 메모리(160)에 저장하는 메모리(160) 저장과, 메모리(160)에 저장된 합성영상을 가창자의 휴대폰 번호, 이메일 주소로 전송하는 합성영상 전송을 수행한다. 따라서 가창자는 자신이 노래부를 때의 모습을 자신의 휴대폰, 이메일을 통해 수신하여, 유튜브 등에 올릴 수 있게 된다.The controller 110 also stores the memory 160 for storing the synthesized image in the memory 160 and transmits the synthesized image stored in the memory 160 to the cellular phone number and email address of the viewer. Therefore, a singer can receive his / her song when he / she is singing through his / her mobile phone or e-mail, and upload it to YouTube or the like.

반주가 흘러나오기 전에 조용한 목소리로 이야기를 나눌 수 있다. 이를 대비하여, 제어부(110)는, 마이크(120)를 통해 감지되는 소리의 음량이 미리 설정된 노래 기준 음량보다 미리 설정된 기준 시간 이상 초과하여 클 경우 합성영상의 생성, 합성영상의 메모리 저장, 및 터치스크린패널 표시를 수행하며, 마이크(120)를 통해 감지되는 소리의 음량이 상기 노래 기준 음량보다 미리 설정된 기준 시간 이상 초과하여 작을 경우 상기 합성영상의 생성, 합성영상의 메모리 저장, 및 터치스크린패널 표시를 종료한다.You can talk in a quiet voice before the accompaniment flows out. In contrast, when the volume of the sound detected through the microphone 120 exceeds a preset reference time, the control unit 110 generates a composite image, stores the synthesized image in a memory, When the volume of the sound detected through the microphone 120 is smaller than the reference reference time by more than a predetermined reference time, the synthesized image is generated, the synthesized image is stored in the memory, and the touch screen panel display Lt; / RTI >

참고로, 노래 기준 음량은, 일반적인 소음보다 크게 설정되고, 반주가 흘러나올 때 감지되는 음량보다 작게 설정되도록 한다. 따라서 반주가 흘러나오면 마이크(120)를 통해 입력되어 노래 기준 음량을 초과하게 되어, 합성영상의 합성영상의 생성, 합성영상의 메모리(160) 저장, 및 터치스크린패널(150) 표시를 수행하며, 반주 및 노래가 종료하면 합성영상의 생성, 합성영상의 메모리(160) 저장, 및 터치스크린패널(150) 표시가 종료된다. For reference, the song reference volume is set to be larger than the general noise, and set smaller than the volume that is detected when the accompaniment flows out. Accordingly, when the accompaniment flows, the sound is inputted through the microphone 120 and exceeds the song reference volume, thereby generating a composite image of the composite image, storing the composite image in the memory 160, and displaying the touch screen panel 150, Upon completion of the accompaniment and the song, the creation of the composite image, the storage of the composite image 160, and the display of the touch screen panel 150 are terminated.

한편, 상기의 도 1 내지 도 4는 가창자의 영상만을 합성영상으로 생성한 예를 설명하였다. 가창자가 자신의 노래 모습을 노래 경연대회에 응모하고 싶어 혼자서 노래방에서 노래부르는 모습을 촬영할 때 유용하다.In the meantime, FIG. 1 to FIG. 4 have described an example in which only a single image is generated as a composite image. It is useful when you want to take a picture of yourself singing singing in a karaoke room to sing your own song contest.

본 발명은 이에 한정되지 않고 친구들과 같이 노래방을 방문하여 즐기는 모습을 추억으로 간직하고자 하는 경우에도 적용되도록 할 수 있다. 이하 도 5 내지 도 7과 함께 상술한다.The present invention is not limited to this, and the present invention can be applied to a case in which a user enjoys a karaoke room with friends as well as memories. 5 to 7 will be described in detail below.

도 5는 본 발명의 실시예에 따른 카메라의 구성 블록도이며, 도 6은 본 발명의 실시예에 따라 가창자 촬영 영상이 관람객 촬영 영상보다 크게 하여 합성영상이 표시되는 모습을 도시한 그림이며, 도 7은 본 발명의 실시예에 따라 관람객 촬영 영상이 가창자 촬영 영상보다 크게 하여 합성영상이 표시되는 모습을 도시한 그림이다.FIG. 5 is a block diagram of a camera according to an embodiment of the present invention. FIG. 6 is a diagram illustrating a state in which a composite image is displayed when a phantom shot image is larger than a guest image, 7 is a view showing a state in which a composite image is displayed by enlarging a photograph taken by the guest according to the embodiment of the present invention.

본 발명의 카메라(130)는 도 5에 도시한 바와 같이, 터치스크린패널(150)의 전방을 촬영하여 가창자 촬영 영상을 생성하는 가창자 촬영 카메라(131)와, 노래방내의 좌석 방향을 촬영하여 관람객 촬영 영상을 생성하는 관람객 촬영 카메라(132)를 포함한다. 따라서 가창자 촬영 카메라(131)는 노래부르는 무대 방향을 향해 설치되며, 관람객 촬영 카메라(132)는 노래방내의 좌석 방향을 향하도록 설치된다.As shown in FIG. 5, the camera 130 according to the present invention includes a vocal camera 131 for photographing the front of the touch screen panel 150 to generate a vivid shot image, a camera 130 for photographing the direction of the seat in the karaoke room, And an audience photographing camera 132 for generating an image. Therefore, the photographed camera 131 is installed toward the singing direction, and the spectator photographing camera 132 is installed to face the direction of the seat in the karaoke room.

따라서 제어부(110)는, 가창자 촬영 영상과 관람객 촬영 영상을 배경영상에 합성한 합성영상을 생성하여, 메모리(160) 저장 및 디스플레이패널 표시 및 합성영상 전송을 수행할 수 있다.Accordingly, the controller 110 may generate a synthesized image obtained by synthesizing the photographed image and the photographed image on the background image, store the memory 160, display the display panel, and transmit the synthesized image.

이와 같이 합성영상에는 노래방에서 노래하는 가창자의 모습이 담긴 가창자 촬영 영상뿐만 아니라, 노래방에서 함께 즐기는 친구들인 관람객들의 모습이 담긴 관람자 촬영 영상이 포함된다. 따라서 메모리 저장, 합성영상 전송 등을 통하여 추후에 가창자 및 관람객의 모습을 함께 감상할 수 있어 영상 감상 즐거움이 배가 될 수 있다.In this way, the synthesized video includes not only the video footage of the singers singing in the karaoke room but also the viewers' footage including the viewers of the friends who are playing together in the karaoke room. Therefore, it is possible to appreciate the voice of the audience and the audience through the memory storage, the composite video transmission, etc., so that the enjoyment of the video appreciation can be doubled.

나아가 본 발명의 제어부(110)는, 가창자 촬영 영상의 크기와 관람객 촬영 영상의 크기를 서로 다르게 하여 합성영상을 생성하도록 한다.Furthermore, the controller 110 of the present invention generates a composite image by making the size of the photographed image different from the size of the photographed image of the viewer.

예를 들어, 마이크(120)를 통해 감지되는 소리의 음량이 상기 노래 기준 음량보다 크지만 미리 설정된 환호 기준 음량보다 작을 경우에는, 도 6에 도시한 바와 같이 가창자 촬영 영상의 크기를 관람객 촬영 영상의 크기보다 크게 하여 합성영상을 생성한다. 이는 가창자가 열심히 노래를 부르고 있기 때문에 가창자의 영상을 크게 합성영상에 담기도록 하기 위함이다.For example, when the volume of the sound detected through the microphone 120 is larger than the song reference volume but smaller than the predetermined reference volume, the magnitude of the photographed image is set to the size of the audience image The size of the composite image is increased. This is to allow the composer to include the composer's video in a bigger picture because the composer is singing hard.

반면에, 마이크(120)를 통해 감지되는 소리의 음량이 환호 기준 음량보다 크거나 같을 경우에는, 도 7에 도시한 바와 같이 관람객 촬영 영상의 크기를 가창자 촬영 영상의 크기보다 크게 하여 합성영상을 생성한다. 이는 노래 도중에 관람객이 환호성을 지르는 등의 행위를 하는 경우 노래방내에서 발생되는 소리의 음량이 커지게 되며, 따라서 환호 기준 음량 보다 크거나 같게 감지되고, 이러한 열광이 있을 경우 관람객 촬영 영상의 크기를 가창자 촬영 영상의 크기보다 크게 하는 것이다.On the other hand, when the volume of the sound detected through the microphone 120 is equal to or greater than the louder reference volume, as shown in FIG. 7, the size of the guest image is made larger than the size of the largest image, do. This is because when the viewer performs a cheering action or the like in the middle of a song, the volume of the sound generated in the karaoke room becomes large, and thus the volume of the sound is larger than or equal to the reference volume of the accent. Is larger than the size of the photographed image.

이와 같이 관람객 촬영 영상의 크기와 가창자 촬영 영상의 크기비율을 가변적으로 적용함으로써, 영상 감상시의 흥미를 더욱 증가시킬 수 있게 된다.As described above, by applying the size ratio of the photographed image of the viewer and the size of the photographed image variably, it is possible to further increase the interest in viewing the image.

한편, 상기에서는 관람객 촬영 영상의 크기와 가창자 촬영 영상의 크기비율을 가변적으로 적용함에 있어, 마이크(120)를 통해 감지되는 소리 음량을 이용하고 있는데, 다른 방식으로서 이미지를 판독하는 방식으로도 구현할 수 있다.In the above description, the volume of the sensed image of the viewer and the size ratio of the photographed image are variably applied. In this case, the sound volume sensed through the microphone 120 is used. Alternatively, have.

이를 위해 합성영상 자동녹화 장치는, 관람객 촬영 영상의 객체 형상을 판독하는 이미지 판독부(미도시)를 포함한다. 관람객 촬영 영상에 있는 객체들의 이미지들의 객체가 어떠한 형상을 가지는 것인지를 분석하는 것이다. 이러한 이미지의 객체 분석은 공지된 다양한 이미지 분석 알고리즘이 적용될 수 있을 것이다.To this end, the automatic synthesizing video recording apparatus includes an image reading unit (not shown) for reading the object shape of the visitor photographing image. And analyzing the shape of the object of the images of the objects in the visitor image. The object analysis of such an image may be applied to various known image analysis algorithms.

제어부(110)는, 관람객 촬영 영상의 객체 형상이 사람 기립 형상인 경우 관람객 촬영 영상의 크기를 가창자 촬영 영상의 크기보다 크게 하여 합성영상을 생성한다. 즉, 관람객 촬영 영상의 객체 형상을 분석한 결과, 사람 기립 형상인 경우 관람객들이 자리에서 일어나 환호하고 있다고 판정될 수 있으며, 이럴 경우 관람객 촬영 영상의 크기를 가창자 촬영 영상의 크기보다 크게 하여 합성 영상을 생성하는 것이다,The control unit 110 generates a composite image by enlarging the size of the guest photographing image to be larger than the size of the photographed image when the object shape of the visitor photographing image is a human standing shape. In other words, as a result of analyzing the object shape of the photograph of the visitor, it can be determined that the viewer stands up and cheers when the person stands up, and if the size of the photograph of the visitor is larger than the size of the photograph, Generate,

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.The embodiments of the present invention described above are selected and presented in order to facilitate the understanding of those skilled in the art from a variety of possible examples. The technical idea of the present invention is not necessarily limited to or limited to these embodiments Various changes, modifications, and other equivalent embodiments are possible without departing from the spirit of the present invention.

110:제어부 120:마이크
130:카메라 140:통신부
150:터치스크린패널 160:메모리
170:스피커110: control unit 120: microphone
130: camera 140:
150: touch screen panel 160: memory
170: Speaker

Claims (7)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 반주에 맞추어 노래부르는 사람인 가창자를 촬영한 촬영 영상과 미리 저장되어 있는 배경영상이 합성된 합성영상이 표시되는 터치스크린패널;
소리를 입력받는 마이크;
재생 시에 소리가 출력되는 스피커;
상기 터치스크린패널의 전면에 마련되어, 촬영 영상을 생성하는 카메라; 및
상기 마이크를 통해 음성이 감지되는 경우, 상기 카메라를 통해 촬영되는 촬영 영상을 미리 저장된 배경영상과 합성하여 합성영상을 생성하여 상기 터치스크린패널에 표시하는 디스플레이 표시의 제어를 수행하는 제어부;를 포함하고,
상기 제어부는,
상기 마이크를 통해 감지되는 소리의 음량이 미리 설정된 노래 기준 음량보다 미리 설정된 기준 시간 이상 초과하여 클 경우 상기 합성영상의 생성, 합성영상의 메모리 저장, 및 터치스크린패널 표시를 수행하며, 상기 마이크를 통해 감지되는 소리의 음량이 상기 노래 기준 음량보다 미리 설정된 기준 시간 이상 초과하여 작을 경우 상기 합성영상의 생성, 합성영상의 메모리 저장, 및 터치스크린패널 표시를 종료하고,
상기 카메라는,
상기 터치스크린패널의 전방을 촬영하여 가창자 촬영 영상을 생성하는 가창자 촬영 카메라; 및
노래방내의 좌석 방향을 촬영하여 관람객 촬영 영상을 생성하는 관람객 촬영 카메라;를 포함하며,
상기 제어부는, 가창자 촬영 영상과 관람객 촬영 영상을 배경영상에 합성한 합성영상을 생성하여, 상기 메모리 저장 및 터치스크린패널 표시 및 합성영상 전송을 수행하고,
상기 제어부는,
상기 가창자 촬영 영상의 크기와 관람객 촬영 영상의 크기를 서로 다르게 하여 합성영상을 생성하되, 상기 마이크를 통해 감지되는 소리의 음량이 상기 노래 기준 음량보다 크지만 미리 설정된 환호 기준 음량보다 작을 경우에는 상기 가창자 촬영 영상의 크기를 상기 관람객 촬영 영상의 크기보다 크게 하여 합성영상을 생성하며, 상기 마이크를 통해 감지되는 소리의 음량이 상기 환호 기준 음량보다 크거나 같을 경우에는 상기 관람객 촬영 영상의 크기를 상기 가창자 촬영 영상의 크기보다 크게 하여 합성영상을 생성함을 특징으로 하는 소리인식을 통한 합성영상 자동녹화 장치.A touch screen panel in which a synthesized image in which a photographed image of a singing person singing along with an accompaniment and a background image stored in advance is displayed is displayed;
A microphone for receiving sound;
A speaker for outputting sound during reproduction;
A camera provided on a front surface of the touch screen panel to generate a photographed image; And
And a controller for controlling the display of the synthesized image by synthesizing the photographed image photographed by the camera with a previously stored background image when the voice is sensed through the microphone and displaying the combined image on the touch screen panel ,
Wherein,
A memory of the synthesized image, and a touch screen panel display when the volume of the sound detected through the microphone is greater than a predetermined reference time longer than a preset reference volume, The memory of the synthesized image, and the touch screen panel display are terminated when the volume of the sound to be sensed is smaller than the reference standard time by a predetermined reference time or more,
The camera comprises:
A chest photographing camera for photographing a front side of the touch screen panel to generate a chest photographing image; And
And an audience photographing camera for photographing the direction of the seat in the karaoke room to generate an audience photographing image,
Wherein the control unit generates a synthesized image obtained by synthesizing the photographed image and the photographed image on the background image to perform the memory storage and display of the touch screen panel and the composite image transmission,
Wherein,
Wherein when the volume of the sound detected through the microphone is larger than the song reference volume but smaller than a predetermined reference volume, the synthesized image is generated by varying the size of the photographed image of the audience and the size of the photographed image of the audience, The size of the photographed image is made larger than the size of the photographed image of the viewer, and when the volume of the sound detected through the microphone is equal to or greater than the cheering reference volume, And the synthesized image is generated with a size larger than the size of the image. 삭제delete
KR1020160167998A 2016-12-09 2016-12-09 Apparatus for recording synthesis image using sound recognition KR102006604B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167998A KR102006604B1 (en) 2016-12-09 2016-12-09 Apparatus for recording synthesis image using sound recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167998A KR102006604B1 (en) 2016-12-09 2016-12-09 Apparatus for recording synthesis image using sound recognition

Publications (2)

Publication Number Publication Date
KR20180066778A KR20180066778A (en) 2018-06-19
KR102006604B1 true KR102006604B1 (en) 2019-08-01

Family

ID=62790356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167998A KR102006604B1 (en) 2016-12-09 2016-12-09 Apparatus for recording synthesis image using sound recognition

Country Status (1)

Country Link
KR (1) KR102006604B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126300A (en) * 2004-10-26 2006-05-18 Yamaha Corp Karaoke machine
JP2007271975A (en) * 2006-03-31 2007-10-18 Daiichikosho Co Ltd Karaoke device which disables performance discontinuing operation during singing
JP2012198305A (en) * 2011-03-18 2012-10-18 Yamaha Corp Display controller
JP2013200370A (en) * 2012-03-23 2013-10-03 Xing Inc Karaoke system
JP2016051142A (en) * 2014-09-02 2016-04-11 株式会社コシダカホールディングス Karaoke system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240276A (en) * 1997-02-27 1998-09-11 Daiichi Kosho:Kk Karaoke device
KR100764728B1 (en) 2005-12-14 2007-10-08 김성규 The wireless karaoke microphone which is having the audio processing function

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126300A (en) * 2004-10-26 2006-05-18 Yamaha Corp Karaoke machine
JP2007271975A (en) * 2006-03-31 2007-10-18 Daiichikosho Co Ltd Karaoke device which disables performance discontinuing operation during singing
JP2012198305A (en) * 2011-03-18 2012-10-18 Yamaha Corp Display controller
JP2013200370A (en) * 2012-03-23 2013-10-03 Xing Inc Karaoke system
JP2016051142A (en) * 2014-09-02 2016-04-11 株式会社コシダカホールディングス Karaoke system

Also Published As

Publication number Publication date
KR20180066778A (en) 2018-06-19

Similar Documents

Publication Publication Date Title
KR102538775B1 (en) Method and apparatus for playing audio, electronic device, and storage medium
JP2002512705A (en) Automatic accompaniment microphone and its receiving device
US20090240360A1 (en) Media player and audio processing method thereof
CN109151356A (en) video recording method and device
CN106385614A (en) Picture synthesis method and apparatus
KR101414217B1 (en) Real time image synthesis apparatus and image synthesis method
KR20120040816A (en) Operating method for file synthesis and portable device supporting the same
JP5739369B2 (en) Karaoke equipment
KR102006604B1 (en) Apparatus for recording synthesis image using sound recognition
JP6227456B2 (en) Music performance apparatus and program
JP5310682B2 (en) Karaoke equipment
KR101405091B1 (en) Personal video manufacturing system
KR102070071B1 (en) Song playing method, karaoke system and karaoke able to share and replay song performed
JP6582024B2 (en) Information support system for shows
JP6007098B2 (en) Singing video generation system
KR200360923Y1 (en) Portable multimedia data record and play apparatus
JP6893117B2 (en) Audio / video playback device
CN111696566A (en) Voice processing method, apparatus and medium
KR102013054B1 (en) Method and system for performing performance output and performance content creation
KR100974052B1 (en) Multimedia display device and multimedia system using the same and control method for multimedia system using the same
JP6063739B2 (en) Singing video generation system
KR200393283Y1 (en) The recording instrument for singing room
JP2014186155A (en) Portable terminal, program for portable terminal, server, and image browsing system
JP2011215221A (en) Karaoke singer video and singing sound recording system
KR100483625B1 (en) Multi-Media Song Accompaniment Vender

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101001617; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180412

Effective date: 20190613

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant