KR101145352B1 - 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법 - Google Patents

Abstract

동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법이 개시된다. 개시된 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법은, (a) 노래반주기가 작동되어 곡의 연주가 시작되는 단계와; (b) 상기 노래반주기를 이용하는 사용자에게 적외선이 조사되고, 상기 노래반주기에 연결 설치된 적외선 카메라가 동작되는 단계와; (c) 상기 사용자의 움직임을 적외선 카메라로 촬영하는 단계와; (d) 상기 적외선 카메라로 촬영한 영상을 상기 노래반주기에 전달하여 상기 촬영 영상을 2진화 처리하는 단계와; (e) 상기 2진화 처리한 처리 영상에서 상기 사용자의 움직이는 신체 중 특정 부위를 체크하는 단계와; (f) 상기 단계 (e)에서 체크한 체크 영상의 프레임간 차이를 분석하는 단계와; (g) 상기 사용자의 특정 부위가 움직인 궤적을 따라 랜덤 파티클 이미지를 상기 노래반주기에 연결된 디스플레이의 화면에 표출하는 단계;를 포함하는 것을 그 특징으로 한다.

Description

동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법{METHOD OF SHOWING INTERACTIVE EFFECTS ON DISPLAY FOR MOTION DETECTION-BASED KARAOKE PLAYER}

본 발명은 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법에 관한 것으로서, 보다 상세하게는 적외선 카메라로 캡쳐한 사용자의 데이터와 노래반주기 내의 데이터를 매칭하여 표출되는 노래반주기의 영상에 다양한 효과가 발생할 수 있도록 하기 위한 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법에 관한 것이다.

일반적으로 노래방 시스템은 다수의 곡을 노래 없이 반주만을 저장해 두고, 원하는 곡을 선택하여 흘러나오는 반주에 맞춰 노래를 부르는 오락 장치를 말한다.

이러한 노래방 시스템 중 기본적인 노래방 시스템은, 반주에 맞춰 가사자막을 화면으로 제공하면서, 그 배경영상으로 일정한 내용을 반복적으로 보여준다.

이와 같이 기본적인 노래방 시스템은 배경영상을 제공하였으나, 그것이 반복적이고 일방적인 영상임으로 해서 단순하여 다양한 소비자 욕구를 충족시키지는 못하였다.

이에 비해 보다 진보된 노래방 시스템의 경우에는, 별도의 카메라( 예컨대, 웹카메라 또는 CCTV용 카메라)를 설치하여 사용자의 동작을 포착하고, 이를 화면으로 제공함으로써 진정한 영상 반주를 실현한 것이다. 이를 보통 노래방 시스템의 영상가요 반주기라 하며, 사용자가 영상가요 반주기의 전면에 구비된 선택버튼을 눌러서 선곡한 후, 연주키를 누르면 해당 곡의 반주음이 스피커를 통하여 출력되며, 사용자가 마이크를 통해 반주에 맞추어 노래부르면 사용자의 노래 음성이 반주음과 함께 스피커를 통하여 출력된다.

이때, 영상가요 반주기에 구비된 녹음장치 및 카메라로 녹음/녹화 기능을 선택하게 되면 해당 반주음, 사용자의 음성 및 영상이 음성 및 영상저장매체에 저장하게 된다.

그러나, 보다 진보된 노래방 시스템의 영상가용 반주기의 경우에도, 사용자의 움직임에 대한 어떠한 대응이 없었으며, 단순히 카메라 등을 통한 영상의 표출 같은 것만 지원하였고, 이를 통한 상호 인터액티브한 어떠한 효과 표출이 없었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로서, 노래반주기의 영상에 다양한 효과를 주고 사용자로 하여금 움직임에 반응하는 인터액티브한 노래반주기의 화면 표출이 이루어지도록 한 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법은, (a) 노래반주기가 작동되어 곡의 연주가 시작되는 단계와; (b) 상기 노래반주기를 이용하는 사용자에게 적외선이 조사되고, 상기 노래반주기에 연결 설치된 적외선 카메라가 동작되는 단계와; (c) 상기 사용자의 움직임을 적외선 카메라로 촬영하는 단계와; (d) 상기 적외선 카메라로 촬영한 영상을 상기 노래반주기에 전달하여 상기 촬영 영상을 2진화 처리하는 단계와; (e) 상기 2진화 처리한 처리 영상에서 상기 사용자의 움직이는 신체 중 특정 부위를 체크하는 단계와; (f) 상기 단계 (e)에서 체크한 체크 영상의 프레임간 차이를 분석하는 단계와; (g) 상기 사용자의 특정 부위가 움직인 궤적을 따라 랜덤 파티클 이미지를 상기 노래반주기에 연결된 디스플레이의 화면에 표출하는 단계;를 포함하되,
상기 단계 (e)에서 상기 사용자의 특정 부위는 상기 사용자의 손, 발, 또는 머리 중 어느 하나를 포함하고,
그리고, 상기 단계 (g)에서, 상기 사용자의 움직임과 상기 랜덤 파티클 이미지가 매칭되어 상기 사용자의 움직임에 맞추어 상기 랜덤 파티클 이미지가 표출되도록 상기 노래반주기의 제어부에서 제어하는 것을 그 특징으로 한다.

본 발명의 실시예에 따르면, 노래반주기를 이용하는 사용자의 움직임을 적외선 카메라를 통해 그 특정 움직임을 파악하고, 이미 노래반주기에 구비된 화면효과를 적절하게 매칭시켜, 노래를 부르는 동안 곡에 따라 매 순간 포인트에 맞게 표출되는 지시 이벤트 혹은 자유로운 손동작을 통한 자유 이벤트 효과를 통해 사용자는 기존의 노래만 부르는 방식에서 한층 효과적인 즐거움을 느낄 수 있다.

따라서 노래방 또는 노래반주기를 이용하는 사용자에게 보다 큰 즐거움을 제공할 수 있고, 노래방 시스템(또는 노래반주기)의 사용성을 극대화시킬 수 있다.

도 1은 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법을 순차적으로 나타낸 순서도.
도 2는 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법이 적용된 노래방 시스템의 구성도.
도 3 및 도 4는 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법이 적용된 일 예시도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

도 1에는 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법을 순차적으로 나타낸 순서도가 도시되어 있고, 도 2에는 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법이 적용된 노래방 시스템의 구성도가 도시되어 있다.

우선, 도 1을 참조하여 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법이 적용된 노래반주기 시스템의 구성을 개략적으로 설명한다.

본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법이 적용된 노래방 시스템은, 전면에 구비된 기능키(function key)를 조작하여 부르고자 하는 곡이 선택되도록 구비된 노래반주기(40)와, 이 노래반주기(40)에서 선택된 곡과 관련된 가사(12) 및 영상이 표출되는 화면(11)이 구비된 디스플레이(10)와, 디스플레이(10)의 일측에 설치되어 노래방 시스템을 이용하는 사용자(50)에게 적외선(Infrared rays)을 조사하는 적외선 조사장치(30)와, 이 적외선이 조사된 사용자(50)를 촬영하여 영상 데이터를 노래반주기(40)에 제공하는 적외선 카메라(20)를 포함하여 구성된다.

상기 적외선 조사장치(30)는, 일종의 적외선 발광기로, 다수개의 적외선 발광다이오드(Ir LED)로 이루어져 있다.

그리고 상기 적외선 카메라(20)는 일반적으로 널리 이용되는 웹카메라를 이용할 수 있다. 즉, 웹카메라 내부에 있는 적외선 차단 필터(Ir cutting filter)만 제거하면 된다.

상기와 같이 구성된 노래방 시스템을 적용하여 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법을 설명한다.

도 1 및 도 2를 참조하면, 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법은, 우선, 상기 노래반주기(40)를 작동(ON)시키고, 노래반주기(40)에 곡을 선택한 후, 시작버튼을 눌러 곡이 연주되도록 한다.(단계 110)

이어서, 상기 노래반주기(40)를 이용하는 사용자(50)에게 적외선이 조사되도록 적외선 조사장치(30)를 작동시키고, 상기 노래반주기(40)에 연결 설치된 적외선 카메라(20)를 동작시킨다.(단계 120)

한편, 여기서 적외선 조사장치(30)와 적외선 카메라(20)의 작동은 동시에 이루어져도 되고 그 순서는 바뀌어도 된다.

그리고 상기 적외선이 조사되고, 노래반주기(40)를 이용하는 사용자(50)의 움직임 예컨대, 사용자가 노래를 부르면서 춤추는 동작을 적외선 카메라(20)로 촬영한다.(단계 130)

상기 단계 130에서 적외선 카메라(20)로 촬영한 영상을 노래반주기(40)로 보내면, 노래반주기(40)의 영상처리부에서 2진화 처리를 한다.(단계 140) 즉, 촬영 영상을 디지털 처리한다.

이렇게 처리된 처리 영상에서 사용자(50)의 춤추는(또는 움직이는) 신체 중 특정 부위를 체크한다.(단계 150) 상기 단계 150에서 상기 사용자(50)의 특정 부위는 도 3에 도시된 바와 같이, 사용자(50)의 손(61), 발, 또는 머리 중 어느 하나를 포함한다.

또한 체크한 영상의 프레임간 변화를 분석한다.(단계 160)

이어서, 사용자(50)의 특정 부위가 움직인 궤적(B)을 따라 랜덤 파티클 이미지를 노래반주기(40)에 연결된 디스플레이(10)에 표출한다.(단계 170)

상기 단계 170에서 상기 파티클 이미지는 후술하는 도 3 및 도 4에 도시된 바와 같은 불꽃(13), 번개, 풍선(14a,14b), 또는 꽃의 이미지 중 어느 하나를 포함하고, 이 파티클 이미지는 이미 노래반주기(40)에 저장되어 있다.

한편, 상기한 사용자의 특정 부위 및 파티클 이미지는 여기에 기재된 것에 한정되지 않고, 다양하게 적용할 수 있다.

또한 상기 단계 170에서, 사용자(50)의 특정 부위가 움직인 궤적을 따라 랜덤 파티클 이미지가 디스플레이(10)에 표출되는 이유는, 사용자(50)의 움직임의 촬영 영상(디지털 처리된 영상)과 노래반주기(40)에 이미 저장된 랜덤 파티클 이미지가 매칭(matching)되어 사용자(50)의 움직임(또는 춤동작)에 맞추어 랜덤 파티클 이미지가 노래반주기(40)의 제어부에 의해 작동되기 때문이다.

이어서, 노래반주기(40)에서 연주되고 있는 곡의 종료 여부를 판단한다.(단계 180)

상기 단계 180에서 곡이 종료되었다고 판단되면 본 프로세스를 종료하고, 곡이 종료되지 않았다고 판단되면, 즉 곡의 연주 또는 노래를 계속 부르고 싶으면 상기 단계 130부터 재 수행한다.

상기한 바와 같이 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법을 적용하면, 도 3에 도시된 바와 같이, 춤추고 있는 동안 사용자(50)의 손이 궤적(B)을 따라 움직이면, 디스플레이(10)에 표출되는 불꽃(13)의 파티클 이미지가 매칭되어 사용자(50)의 손(61)이 움직인 궤적(B)과 동일한 궤적(A)으로 움직이게 된다.

또한 도 4에 도시된 바와 같이, 디스플레이(10)의 화면(11) 하단에 표출되는 곡의 가사(12) 중 특정 부분 데이터(가사)(12a, 12b)에서 풍선 이미지라는 이벤트가 표출된다. 이렇게 이벤트의 표출에 따라 곡의 가사(12)가 표출되는 화면(11) 이외의 디스플레이(10)에 화면(11)에 예컨대, 풍선(14a,14b)의 파티클 이미지가 표출되면, 디스플레이(10)에 표출된 풍선(14a,14b)의 파티클 이미지와 움직인 사용자(50) 손(61a,61b)의 궤적이 일치되면, 풍선(14a,14b)이 터지게 된다.

즉, 일측의 풍선(14a)과 사용자(50)의 손(61a)이 일치되면 일측의 풍선(14a)이 터지게 되고, 타측의 풍선(14b)과 사용자(50)의 손(61b)이 일치되면 타측의 풍선(14b)이 터지게 된다.

이와 같이 기존 노래방에서 노래를 부르는 것 이외에 특별히 이렇다 할 이벤트적 효과가 없었지만, 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법을 적용하면, 노래반주기(40)에서 적외선 카메라(20)로 사용자(50)의 움직임(예: 노래 부르면서 동시에 하는 춤 동작(댄스))을 캡쳐하고, 캡쳐된 사용자(50)의 움직임과 노래반주기(40) 내에 저장된 데이터와 매칭되게 함으로써 노래반주기(40)(또는 노래방) 이용시 더 큰 즐거움을 제공하게 된다.

즉, 본 발명에 따른 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법은, 노래반주기(40)가 곡 연주 중 예컨대, 곡의 특정 데이터와 연동하여 임의의 물체(예: 풍선(14a,14b))가 화면(11)에 표출되면, 이와 함께 상기 적외선 카메라(20)에 캡쳐된 사용자(50)의 춤 동작과 물체가 매칭된다.

그러면, 사용자(50)의 춤 동작과 화면(11)에서 표출되는 영상 데이터가 상호작용을 하는 효과가 발생됨으로써, 노래반주기(40)를 이용하는 사용자에게 재미를 주게 된다.

상술한 바와 같이 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 보호 범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

10. 디스플레이
20. 적외선 카메라
30. 적외선 조사장치
40. 노래반주기
50. 사용자

Claims (4)

1. (a) 노래반주기가 작동되어 곡의 연주가 시작되는 단계와;
   (b) 상기 노래반주기를 이용하는 사용자에게 적외선이 조사되고, 상기 노래반주기에 연결 설치된 적외선 카메라가 동작되는 단계와;
   (c) 상기 사용자의 움직임을 적외선 카메라로 촬영하는 단계와;
   (d) 상기 적외선 카메라로 촬영한 영상을 상기 노래반주기에 전달하여 상기 촬영 영상을 2진화 처리하는 단계와;
   (e) 상기 2진화 처리한 처리 영상에서 상기 사용자의 움직이는 신체 중 특정 부위를 체크하는 단계와;
   (f) 상기 단계 (e)에서 체크한 체크 영상의 프레임간 차이를 분석하는 단계와;
   (g) 상기 사용자의 특정 부위가 움직인 궤적을 따라 랜덤 파티클 이미지를 상기 노래반주기에 연결된 디스플레이의 화면에 표출하는 단계;를 포함하되,
   상기 단계 (e)에서 상기 사용자의 특정 부위는 상기 사용자의 손, 발, 또는 머리 중 어느 하나를 포함하고,
   그리고, 상기 단계 (g)에서, 상기 사용자의 움직임과 상기 랜덤 파티클 이미지가 매칭되어 상기 사용자의 움직임에 맞추어 상기 랜덤 파티클 이미지가 표출되도록 상기 노래반주기의 제어부에서 제어하는 것을 특징으로 하는 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법.
2. 삭제
3. 제1항에 있어서,
   상기 단계 (g)에서 상기 파티클 이미지는 불꽃, 번개, 또는 꽃의 이미지를 포함하여 된 것을 특징으로 하는 동작인식 기반의 노래반주기용 화면에서의 인터액티브 효과 표출방법.
4. 삭제

Images