KR20130123820A - 실시간 영상합성 장치 및 그 방법 - Google Patents

Abstract

본 발명은 노래방, 가요주점 등에 설치되어 노래 또는 악기연주 등 행위를 취하는 동안 UCC(User Created Contents)를 제작할 수 있도록 하는 실시간 영상합성 시스템에 적용되어 촬영된 영상을 원하는 배경영상과 실시간으로 합성하여 모니터를 통해 디스플레이 시킬 수 있는 실시간 영상합성 장치 및 그 방법에 관한 것으로써,
그 방법은,
사용자 선택신호에 따라 배경영상을 결정하여 호출하고, 배경영상에서 사용자영상을 합성할 영역 및 위치를 결정하는 제1 과정; 카메라를 통해 입력되는 사용자영상 중에서 합성할 영역을 추출하는 제2 과정; 상기 제1 과정의 배경영상과 제2 과정의 사용자영상을 믹싱(mixing)방식 또는 마스킹(masking) 방식으로 합성하는 제3 과정; 및 상기 제3 과정에서 합성된 영상을 모니터로 제공하여 디스플레이 시키는 제4 과정;을 포함하여 이루어지는 것을 특징으로 한다.

Description

실시간 영상합성 장치 및 그 방법{REAL TIME IMAGE SYNTHESIS APPARATUS AND IMAGE SYNTHESIS METHOD}

본 발명은 실시간 영상합성 장치 및 그 방법에 관한 것으로써, 더욱 상세하게는 노래방, 가요주점 등에 설치되어 노래 또는 악기연주 등 행위를 취하는 동안 UCC(User Created Contents)를 제작할 수 있도록 하는 실시간 영상합성 시스템에 적용되어 촬영된 영상을 원하는 배경영상과 실시간으로 합성하여 모니터를 통해 디스플레이 시킬 수 있는 실시간 영상합성 장치 및 그 방법에 관한 것이다.

이하의 설명에서는 본 발명이 노래방에 적용되는 경우를 예로 들어 설명하지만, 본 발명의 기술적 사상은 노래방 또는 가요주점에 적용되는데 한정되지 않고, 노래 연습실, 노래교실, 음악학원, 악기동호회, 유치원, 학교, 가정, 기업 등에서 실시간으로 영상을 합성하여 UCC를 제작하는 다양한 분야에도 적용이 가능할 것이다.

노래방은 모니터와 반주기를 설치해 놓고 일반인들이 모니터를 통해 디스플레이되는 가사를 보면서 반주에 맞춰 노래를 부를 수 있도록 해주는 방음시설이 된 장소를 말한다. 자신의 음악적 성취 또는 유희를 목적으로 다른 사람들의 방해를 받지 않고 노래를 부르는 곳으로, 스트레스를 해소하거나 친목을 도모하는 공간으로 이용되고 있다.

이러한 노래방은 한국(노래방), 일본(가라오케), 중국(KTV), 필리핀(비디오케) 등 아시아 지역에서 성행하면서 하나의 오락 문화로서 정착되어 왔다.

노래방 시스템은 수많은 곡의 음원과 가사를 데이터베이스화하여 저장하고 있는 반주기에 원하는 노래의 코드번호를 입력하면 해당 노래의 반주와 함께 가사가 디스플레이될 수 있도록 만들어져 있다.

이러한 기본 기능 이외에도 다양한 즐길 거리를 제공하기 위해 노래 배틀 기능, 댄스 따라하기 기능, 동영상 업로드 기능 등이 추가로 서비스된다.

일반적인 노래방의 반주기는, 전자악기들의 입출력 명령의 표준 데이터(MIDI: Music Instrument Digital Interface)가 저장되어 있는 미디데이터 저장매체와, 사용자가 부르는 노래에 맞춰 화음을 넣어주기 위한 코러스 데이터가 저장되어 있는 코러스데이터 저장매체와, 사용자의 요구에 따라 상기 미디데이터 저장매체 및 코러스데이터 저장매체로부터 해당 데이터를 읽어와 음원모듈에 공급하는 마이크로 콘트롤러와, 상기 마이크로 콘트롤러로부터 미디데이터 및 코러스데이터를 공급받아 연주음과 화음을 생성하는 음원모듈과, 상기 마이크로 콘트롤러의 제어 하에 가사 정보 등을 온스크린(On-Screen) 처리하는 온스크린부를 포함하여 구성된다.

상기와 같은 반주기는, 사용자가 반주기에 장착된 선택버튼을 눌러 선곡 및 연주키를 설정한다. 이렇게 선곡과 함께 연주키를 누르면 반주가 시작되며 사용자는 마이크를 통해 반주에 맞추어 노래를 부르면 된다. 이때, 사용자가 원할 경우 별도로 구비된 녹음장치에 사용자가 부르는 노래가 녹음된다.

이와 같이 사용자의 음성만 녹음이 가능하였던 것을 최근 화상데이터의 처리 및 저장기술의 발달로 카메라로 촬영된 사용자의 노래하는 모습을 화상으로 저장할 수도 있다.

상기한 바와 같이, 종래의 노래방 시스템은 단순히 사용자의 노래를 녹음하거나, 또는 사용자의 노래 부르는 모습만을 녹화하기 때문에 다양하게 편집하여 UCC(User Created Contents)를 제작하고자 하는 사용자들의 욕구를 충족시키기 어려운 문제점이 있었다.

본 출원인은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 첨부도면 도 1에 도시된 바와 같은 실시간 영상합성 시스템을 출원한 바 있다.

상기 첨부도면 도 1에서와 같이, 실시간 영상합성 시스템은 마이크(100), 카메라(200), 영상처리장치(300), 스피커(400), 모니터(500)를 포함하여 구성된다.

상기 마이크(100)는 사용자가 노래를 부르는 동안 오디오 신호를 입력받아 상기 영상처리장치(300)로 제공하는 기능을 수행하고, 상기 카메라(200)는 사용자가 노래를 부르는 동안 비디오 신호를 입력받아 상기 영상처리장치(300)로 제공하는 기능을 수행한다.

상기 영상처리장치(300)는 다양한 배경영상 및 노래반주를 저장하고 있으며, 상기 마이크(100)를 통해 입력되는 오디오 신호에 노래반주를 합성하고, 상기 카메라(200)를 통해 입력되는 비디오 신호에 사용자가 선택한 배경영상을 합성하여 하나의 멀티미디어 파일로 만드는 기능을 수행한다.

또한, 상기 스피커(400)는 상기 영상처리장치(300)에서 합성된 오디오 신호를 출력하는 기능을 수행하고, 상기 모니터(500)는 상기 영상처리장치(300)에서 합성된 비디오 신호를 출력하는 기능을 수행한다.

추가적으로 상기 영상처리장치(300)로 노래선곡 또는 기능선택 등의 제어신호를 입력시키기 위한 리모콘(600)과, 상기 영상처리장치(300)로부터 제어신호를 입력받아 노래방 내부의 밝기를 결정하는 조명장치(700)를 더 포함하여 구성될 수 있다. 이때, 상기 조명장치(700)는 단순히 노래방 내부의 밝기를 조절하는데 그치지 않고 선곡된 노래에 맞추어 현란한 분위기를 연출하는 사이키 조명 등이 포함된다.

상기 영상처리장치(300)의 구성을 살펴보면, 참조번호 310은 상기 마이크(100) 및 카메라(200)로부터 입력된 오디오 신호 및 비디오 신호를 처리하는 A/V 처리부를 나타내고, 320은 다양한 배경영상 및 노래반주를 저장하는 메모리부를 나타낸다.

이때, 상기 메모리부(320)는 배경영상 및 효과영상을 저장하는 배경영상 메모리(322)와, 노래반주를 저장하는 노래반주 메모리(324)로 구분될 수 있다.

참조번호 330은 상기 A/V 처리부(310)로부터 오디오 신호 및 비디오 신호를 입력받고, 상기 메모리부(320)로부터 배경영상 및 노래반주를 입력받아 합성하는 영상합성부를 나타낸다.

참조번호 340은 상기 영상합성부(330)로부터 합성된 오디오 신호 및 비디오 신호를 입력받아 하나의 멀티미디어 파일로 임시 저장하는 임시저장부를 나타낸다.

참조번호 350은 상기 임시저장부(340)에 저장되어 있는 멀티미디어 파일을 CD(Compact Disk)에 기록하는 CD 리코더를 나타내고, 352는 상기 임시저장부(340)에 저장되어 있는 멀티미디어 파일을 USB(Universal Serial Bus)로 이동시키기 위한 USB 연결부를 나타내며, 360은 상기 임시저장부(340)에 저장되어 있는 멀티미디어 파일을 네트워크를 통해 사용자의 이메일 또는 휴대폰으로 전송하기 위한 송신부를 나타낸다.

참조번호 370은 상기 리모콘(600)으로부터 입력된 제어신호에 따라 A/V 처리부(310), 메모리부(320), 영상합성부(330), 임시저장부(340), CD 리코더(350), 송신부(360)의 동작을 제어하는 제어부를 나타낸다.

참조번호 380은 다수의 버튼으로 이루어지며 상기 제어부(370)로 제어신호를 입력시키는 선택버튼부를 나타내고, 390은 코인이 투입되는지를 판단하는 코인투입 감지부를 나타내고, 392는 상기 코인투입 감지부(390)에서 감지된 투입된 코인의 수에 따라 시스템의 동작시간을 결정하여 상기 제어부(370)로 제공하는 타이머부를 나타낸다.

상기와 같은 구성을 갖는 실시간 영상합성 시스템의 동작을 설명하면 다음과 같다.

상기 코인투입 감지부(390)에서 코인의 투입을 판단하여 상기 타이머부(392)로 제공하고, 상기 타이머부(392)에서는 상기 코인투입 감지부(390)에서 감지된 투입된 코인의 수에 따라 시스템의 동작시간을 결정하여 상기 제어부(370)로 제공한다.

시스템의 기능이 활성화 되면, 상기 제어부(370)에서는 메모리부(320)의 배경영상 메모리(322)에 저장된 다양한 배경영상의 리스트를 모니터(500)에 표시하여 사용자가 선택하도록 한다.

사용자에 의해 배경영상이 선택된 후, 상기 리모콘(600) 또는 선택버튼부(380)를 통해 선곡이 이루어지도록 한다. 이때, 선곡이 이루어지면 상기 제어부(370)는 상기 메모리부(320)의 노래반주 메모리(324)로부터 선곡된 노래의 반주를 호출하게 된다. 선곡된 노래의 반주가 상기 스피커(400)를 통해 출력되고, 선택된 배경영상과 선곡된 노래의 가사가 상기 모니터(500)를 통해 출력되는 동안 사용자가 그에 맞춰 노래를 부르게 된다.

사용자가 노래를 부르게 되면, 상기 마이크(100)는 사용자가 노래를 부르는 동안 오디오 신호를 입력받아 상기 영상처리장치(300)로 제공하고, 상기 카메라(200)는 사용자가 노래를 부르는 동안 비디오 신호를 입력받아 상기 영상처리장치(300)로 제공한다.

상기 영상처리장치(300)에서는, 먼저 A/V 처리부(310)에서 상기 마이크(100) 및 카메라(200)로부터 입력된 오디오 신호 및 비디오 신호를 처리하고, 상기 영상합성부(330)에서 상기 마이크(100)를 통해 입력되는 오디오 신호에 노래반주를 합성하여 상기 스피커(400)를 통해 출력되도록 하고, 그와 동시에 상기 카메라(200)를 통해 입력되는 비디오 신호에 사용자가 선택한 배경영상을 합성하여 상기 모니터(500)를 통해 디스플레이 되도록 한다.

이와 같은 동작에 의해 사용자가 노래를 부르는 동안 모니터(500)에서는 사용자가 노래를 부르는 모습이 선택된 배경영상과 합성되어 디스플레이 된다. 즉, 사용자가 배경영상 속에 들어간 형태로 디스플레이 되어 사용자가 노래방이 아닌 산 또는 바다 등과 같이 다른 장소에서 노래 부르는 분위기를 연출할 수 있게 된다.

상기와 같은 합성기술은 크로마키기법을 주로 이용하게 된다. 크로마키기법을 이용한 영상촬영방법은 방송국, 대형프로덕션, 광고촬영 스튜디오 등에서 사용되고 있는데, 촬영지의 현장로케 없이도 현장감을 살릴 수 있고, 특수효과 등으로 시청자에게 새로운 영상효과를 줄 수 있어 최근 들어 널리 사용되어지고 있다.

이때, 크로마키기법을 이용한 영상촬영방법은 피사체와 보색관계가 있는 색상을 배경색상으로 하고, 그 앞에 연기자나 아나운서, 진행자 등이 각종 장면을 진행하게 되고, 진행해야 할 화면 즉, 관련풍경이나 사건현장 등의 영상정보를 별도의 디스플레이장치를 이용하여 표시하게 된다.

한편, 별도의 효과영상을 추가적으로 선택하고, 선곡된 노래에 맞추어 상기 조명장치(700)가 구동되는 경우에는 더욱 색다른 분위기를 연출할 수 있을 것으로 기대된다.

상기 영상합성부(330)에서 합성된 오디오 신호 및 비디오 신호는 하나의 멀티미디어 파일로 임시저장부(340)에 저장되는데 각 노래 단위로 저장되는 것이 바람직하다.

노래를 부른 후, 사용자는 해당 멀티미디어 파일을 재생시켜 자신이 노래 부르는 모습을 시청할 수 있게 되고, 삭제 또는 저장을 결정할 수 있다.

저장이 결정되면, 상기 CD 리코더(350)를 통해 상기 임시저장부(340)에 저장되어 있는 멀티미디어 파일을 CD(Compact Disk)에 기록할 수 있고, 상기 USB 연결부(352)를 통해 상기 임시저장부(340)에 저장되어 있는 멀티미디어 파일을 사용자의 USB(Universal Serial Bus)로 이동시켜 저장할 수 있으며, 상기 송신부(360)를 통해 사용자의 이메일 또는 휴대폰으로 전송할 수 있다. 이때, CD는 물론 DVD, MP3 등에 기록 및 저장할 수 있다.

본 발명자는 상기 영상합성부(330)의 기능을 더욱 발전시켜 배경영상 영상과 카메라촬영 영상을 자연스럽게 합성하도록 하는 본 발명을 제안하기에 이르렀다.

본 발명은 상기와 같은 종래 기술을 토대로 안출된 것으로써, 그 목적은 사용자가 원하는 배경영상을 선택하도록 하고 사용자의 노래하는 모습과 실시간으로 합성하되 카메라를 통해 입력되는 영상이 표시되는 영역의 위치 및 크기를 선택할 수 있도록 하여 사용자들의 흥미를 유발시킬 수 있는 실시간 영상합성 장치 및 그 방법을 제공하는데 있다.

또한, 본 발명의 다른 목적은 노래하는 중간에 배경영상의 선택이 가능하도록 함으로써 다양한 편집이 실시간으로 이루어져 사용자가 원하는 UCC(User Created Contents)를 제작할 수 있도록 하는 실시간 영상합성 장치 및 그 방법을 제공하는데 있다.

또한, 본 발명의 또 다른 목적은 카메라의 줌(zoom) 기능을 이용하여 사용자의 모습이 전체가 표시되거나 일부만 표시되는 편집이 가능하도록 하는 실시간 영상합성 장치 및 그 방법을 제공하는데 있다.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위한 본 발명의 특징에 따르면,

사용자로부터 사용자 선택신호를 입력받는 키입력부;

상기 키입력부의 사용자 선택신호에 따라 각 구성의 동작을 결정하는 제어신호를 출력하는 제어부;

다양한 배경영상을 저장하고 상기 제어부의 제어신호에 따라 선택된 배경영상을 제공하는 배경영상 메모리;

상기 제어부의 제어신호에 따라 상기 배경영상 메모리로부터 호출된 배경영상을 처리하는 배경영상 처리부;

상기 제어부의 제어신호에 따라 사용자가 노래를 부르는 동안 그 영상을 촬영하는 카메라;

상기 제어부의 제어신호에 따라 상기 카메라를 통해 입력되는 영상에서 합성할 영역을 결정하여 추출하는 사용자영상 처리부;

상기 제어부의 제어신호에 따라 상기 배경영상 처리부의 배경영상과 사용자영상 처리부의 사용자영상을 믹싱(mixing)방식 또는 마스킹(masking) 방식으로 합성하는 합성부;

상기 합성부에서 합성된 영상을 모니터로 제공하여 디스플레이 되도록 하는 출력부;를 포함하여 구성되는 것을 특징으로 하는 실시간 영상합성 장치를 제공한다.

상기의 목적을 달성하기 위한 본 발명의 다른 특징에 따르면,

카메라를 통해 입력되는 사용자영상을 배경영상과 실시간으로 합성하고 모니터를 통해 디스플레이 시킬 수 있도록 한 실시간 영상합성 방법에 있어서,

사용자 선택신호에 따라 배경영상을 결정하여 호출하고, 배경영상에서 사용자영상을 합성할 영역 및 위치를 결정하는 제1 과정;

카메라를 통해 입력되는 사용자영상 중에서 합성할 영역을 추출하는 제2 과정;

상기 제1 과정의 배경영상과 제2 과정의 사용자영상을 믹싱(mixing)방식 또는 마스킹(masking) 방식으로 합성하는 제3 과정; 및

상기 제3 과정에서 합성된 영상을 모니터로 제공하여 디스플레이 시키는 제4 과정;을 포함하여 이루어지는 것을 특징으로 하는 실시간 영상합성 방법을 제공한다.

이때, 본 발명의 부가적인 특징에 따르면, 사용자가 노래하는 중간에 사용자 선택신호에 따라 배경영상 리스트, 합성영역 위치 및 크기 리스트를 표시하여 배경영상, 합성영역 위치 및 크기를 변경할 수 있도록 하는 제5 과정을 더 포함할 수 있다.

또한, 본 발명의 다른 부가적인 특징에 따르면, 상기 제2 과정에 사용자의 모습이 전체 또는 일부가 디스플레이 되도록 하는 단계가 포함되거나, 사용자가 노래하는 중간에 사용자 선택신호에 따라 사용자의 모습을 확대 또는 축소시키는 제6 과정을 더 포함할 수 있다.

상기와 같은 본 발명의 실시간 영상합성 장치 및 그 방법을 적용하면, 사용자가 카메라를 통해 입력되는 자신의 영상이 표시되는 영역의 위치 및 크기를 선택할 수 있도록 하고, 그에 합성되는 배경영상을 선택하도록 하여 자신이 배경영상 속에서 노래하는 분위기를 연출함으로써 사용자들의 흥미를 유발시킬 수 있는 효과가 있다.

또한, 배경영상의 리스트, 합성영역 위치 및 크기 리스트를 사용자가 쉽게 지정할 수 있도록 함으로써 보다 다양한 합성영상을 생성할 수 있게 되는 효과가 있다.

또한, 노래하는 중간에 배경영상의 선택이 가능하도록 하고, 카메라의 줌(zoom) 기능을 이용하여 사용자의 모습이 전체가 표시되거나 일부만 표시되는 편집이 가능하도록 함으로써 다양한 편집이 실시간으로 이루어져 사용자가 원하는 UCC(User Created Contents)를 제작할 수 있게 되는 효과가 있다.

도 1은 본 발명을 적용하기 위한 실시간 영상합성 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 바람직한 실시예에 의한 실시간 영상합성 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 바람직한 실시예에 의하여 실시간으로 영상을 합성하는 과정을 설명하기 위한 흐름도이다.

본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

그러나, 본 발명의 명세서에서 제시되는 실시예에 의하여 본 발명의 범위가 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 가능한 것으로 이해되어야 할 것이다.

또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

첨부도면 도 2는 본 발명의 바람직한 실시예에 의한 실시간 영상합성 장치의 구성을 나타내는 블록도이고, 도 3은 본 발명의 바람직한 실시예에 의하여 실시간으로 영상을 합성하는 과정을 설명하기 위한 흐름도이다.

본 발명에 의한 실시간 영상합성 장치는, 상기 첨부도면 도 2에서와 같이, 키입력부(10), 제어부(20), 배경영상 메모리(30), 배경영상 처리부(40), 카메라(50), 사용자영상 처리부(60), 합성부(70) 및 출력부(80)를 포함하여 구성된다.

상기 키입력부(10)는, 사용자로부터 사용자 선택신호를 입력받는 기능을 수행하는데, 다수의 버튼을 구비하는 통상적인 리모콘의 형태로 구성될 수 있다.

상기 제어부(20)는, 상기 키입력부(10)의 사용자 선택신호에 따라 각 구성의 동작을 결정하는 제어신호를 출력한다.

상기 배경영상 메모리(30)는, 다양한 배경영상을 저장하고 상기 제어부(20)의 제어신호에 따라 선택된 배경영상을 제공한다.

상기 배경영상 처리부(40)는, 상기 제어부(20)의 제어신호에 따라 구동되어 상기 배경영상 메모리(30)로부터 호출된 배경영상을 처리한다.

상기 카메라(50)는, 상기 제어부의 제어신호에 따라 사용자가 노래를 부르는 동안 그 영상을 촬영하여 상기 사용자영상 처리부(60)로 제공한다.

상기 사용자영상 처리부(60)는, 상기 제어부(20)의 제어신호에 따라 상기 카메라(50)를 통해 입력되는 영상에서 합성할 영역을 결정하여 추출한다.

상기 합성부(70)는, 상기 제어부(20)의 제어신호에 따라 상기 배경영상 처리부(40)의 배경영상과 사용자영상 처리부(60)의 사용자영상을 믹싱(mixing)방식 또는 마스킹(masking) 방식으로 합성할 수 있는데, 비디오 믹싱 랜더러 필터의 알파 브랜딩(AlphaαBlending) 기능을 사용하여 합성하는 것이 바람직하다.

이 방법은 사용자영상의 투명도(transparency)를 조정하여 다양한 분위기를 연출할 수 있는데, 그 투명도를 덜 주게 되면 사용자영상의 뒤에 있는 배경영상이 보이지 않게 되고, 투명도를 많이 주게 되면 배경영상은 잘 보이나 사용자영상이 잘 보이지 않게 된다.

이때, 본 발명에서는 사용자영상의 픽셀에 대한 경계를 부드럽게 처리하여 배경영상과의 조화를 한층 더 고급화하고, 배경영상과 사용자영상이 자연스럽게 합성되도록 한다.

상기 출력부(80)는, 상기 합성부(70)에서 합성된 영상을 모니터(도 1의 500 참조)로 제공하여 디스플레이 되도록 한다.

상기와 같은 구성을 갖는 본 발명에 의한 실시간 영상합성 장치의 동작을 첨부도면 도 3의 흐름도를 참조하여 설명하면 다음과 같다.

상기 제어부(20)에서는 키입력부(10)를 통해 입력되는 사용자 선택신호에 따라 배경영상 리스트를 모니터에 표시하여 사용자가 선택할 수 있도록 하며, 사용자 선택신호에 따라 배경영상을 결정하여 상기 배경영상 메모리(30)로부터 호출한다.(S10 단계 참조)

상기 호출된 배경영상은 상기 배경영상 처리부(40)에서 사용자영상을 합성할 영역 및 위치가 결정되고 합성을 위한 형태로 처리된다.(S20 단계 참조) 예를 들어 사용자영상을 배경화면의 중앙에 원형 또는 타원형의 형태로 디스플레이 하고자 하는 경우에는 전체 배경화면에서 해당 영역을 지울 수 있다. 또한, 배경화면에 특수한 효과 또는 텍스트를 추가하기 위하여 다수의 효과영상을 포함시킬 수 있다.

한편, 상기 카메라(50)를 통해 입력되는 사용자영상은 상기 사용자영상 처리부(60)에 제공되는데, 상기 사용자영상 처리부(60)에서는 전체 사용자영상에서 배경영상과 합성할 영역을 결정하여 추출한다.(S30 단계 참조) 이때, 사용자의 모습 전체가 디스플레이 되도록 하거나 또는 일부가 디스플레이 되도록 할 수 있다.

상기 합성부(70)에서는, 상기 제어부(20)의 제어신호에 따라 상기 배경영상 처리부(40)의 배경영상과 사용자영상 처리부(60)의 사용자영상을 합성하게 된다.(S40 단계 참조) 이때, 상기 배경영상과 사용자영상의 경계가 확연하게 구분되거나 그 경계가 구분되지 않고 부드럽게 될 수 있도록 알파 값의 명암을 통해 조절되도록 한다. 즉, 알파 브랜딩(AlphaαBlending) 기능의 알파값 변화를 통해 배경영상과 사용자영상의 경계를 정확하게 구분하거나 배경영상과 사용자영상의 경계를 구분이 안 가도록 조정할 수 있다.

그후, 합성된 영상은 모니터로 제공되어 디스플레이 된다.(S50 단계 참조)

상기와 같은 과정이 이루어지는 동안, 사용자가 노래하는 중간에 사용자 선택신호에 따라 배경영상 리스트, 합성영역 위치 및 크기 리스트를 표시하여 배경영상, 합성영역 위치 및 크기를 변경할 수 있도록 한다.

또한, 사용자가 노래하는 중간에 사용자 선택신호에 따라 사용자의 모습을 확대 또는 축소시킬 수 있다.

10 : 키입력부
20 : 제어부
30 : 배경영상 메모리
40 : 배경영상 처리부
50 : 카메라
60 : 사용자영상 처리부
70 : 합성부
80 : 출력부

Claims (4)

1. 사용자로부터 사용자 선택신호를 입력받는 키입력부;
   상기 키입력부의 사용자 선택신호에 따라 각 구성의 동작을 결정하는 제어신호를 출력하는 제어부;
   다양한 배경영상을 저장하고 상기 제어부의 제어신호에 따라 선택된 배경영상을 제공하는 배경영상 메모리;
   상기 제어부의 제어신호에 따라 상기 배경영상 메모리로부터 호출된 배경영상을 처리하는 배경영상 처리부;
   상기 제어부의 제어신호에 따라 사용자가 노래를 부르는 동안 그 영상을 촬영하는 카메라;
   상기 제어부의 제어신호에 따라 상기 카메라를 통해 입력되는 영상에서 합성할 영역을 결정하여 추출하는 사용자영상 처리부;
   상기 제어부의 제어신호에 따라 상기 배경영상 처리부의 배경영상과 사용자영상 처리부의 사용자영상을 믹싱(mixing)방식 또는 마스킹(masking) 방식으로 합성하는 합성부;
   상기 합성부에서 합성된 영상을 모니터로 제공하여 디스플레이 되도록 하는 출력부;를 포함하여 구성되는 것을 특징으로 하는 실시간 영상합성 장치.
   
2. 카메라를 통해 입력되는 사용자영상을 배경영상과 실시간으로 합성하고 모니터를 통해 디스플레이 시킬 수 있도록 한 실시간 영상합성 방법에 있어서,
   사용자 선택신호에 따라 배경영상을 결정하여 호출하고, 배경영상에서 사용자영상을 합성할 영역 및 위치를 결정하는 제1 과정;
   카메라를 통해 입력되는 사용자영상 중에서 합성할 영역을 추출하는 제2 과정;
   상기 제1 과정의 배경영상과 제2 과정의 사용자영상을 믹싱(mixing)방식 또는 마스킹(masking) 방식으로 합성하는 제3 과정; 및
   상기 제3 과정에서 합성된 영상을 모니터로 제공하여 디스플레이 시키는 제4 과정;을 포함하여 이루어지는 것을 특징으로 하는 실시간 영상합성 방법.
   
3. 제 2 항에 있어서,
   사용자가 노래하는 중간에 사용자 선택신호에 따라 배경영상 리스트, 합성영역 위치 및 크기 리스트를 표시하여 배경영상, 합성영역 위치 및 크기를 변경할 수 있도록 하는 제5 과정을 더 포함하여 이루어지는 것을 특징으로 하는 실시간 영상합성 방법.
   
4. 제 2 항에 있어서,
   상기 제2 과정에 사용자의 모습이 전체 또는 일부가 디스플레이 되도록 하는 단계가 포함되거나,
   사용자가 노래하는 중간에 사용자 선택신호에 따라 사용자의 모습을 확대 또는 축소시키는 제6 과정을 더 포함하여 이루어지는 것을 특징으로 하는 실시간 영상합성 방법.

Images