KR20170089688A - 관중 동작 기반의 ｉｔ 노래방 제공 시스템 및 방법 - Google Patents

관중 동작 기반의 ｉｔ 노래방 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20170089688A
KR20170089688A KR1020160010246A KR20160010246A KR20170089688A KR 20170089688 A KR20170089688 A KR 20170089688A KR 1020160010246 A KR1020160010246 A KR 1020160010246A KR 20160010246 A KR20160010246 A KR 20160010246A KR 20170089688 A KR20170089688 A KR 20170089688A
Authority
KR
South Korea
Prior art keywords
karaoke
change amount
mobile smart
smart device
information
Prior art date
Application number
KR1020160010246A
Other languages
English (en)
Other versions
KR101788695B1 (ko
Inventor
김수진
김희원
박한주
이수정
이석호
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020160010246A priority Critical patent/KR101788695B1/ko
Publication of KR20170089688A publication Critical patent/KR20170089688A/ko
Application granted granted Critical
Publication of KR101788695B1 publication Critical patent/KR101788695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • H04W4/008—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Automation & Control Theory (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 관중 동작 기반의 IT 노래방 제공 시스템 및 방법에 관한 것이다. 본 발명은, 내부의 가속도 센서에 의한 가속도의 변화량을 센싱하여 가속도 변화량 정보를 생성하는 모바일 스마트 디바이스; 및 상기 모바일 스마트 디바이스로부터 블루투스 통신으로 가속도 변화량 정보를 수신한 뒤, 미리 저장된 조명 제어 테이블에서 가속도 변화량 정보에 매칭되는 조명 제어 명령을 추출하여, 조명 제어 명령에 따른 회전형 조명장치에 대한 제어를 수행하는 아두이노 보드; 를 포함한다.
이에 의해, 관중의 동작에 따라 노래방의 조명 및 화면으로의 효과변화를 주는 노래방에 보다 생동감을 주어 보다 집중도를 높여주고, 공감대 형성 및 몰입감을 줄 수 있는 효과를 제공한다.
뿐만 아니라, 본 발명은, 모바일 스마트 디바이스의 가속도 센서를 이용하여 어느 정도 세기로 흔들고 있는 지를 센싱한 후 그에 따라 조명 및 화면에 특수효과를 낼 수 있고, 이와 함께 키넥트 센서에 의해 사용자가 팔을 들고 있는 것인지 팔을 흔들고 있는 것인지 등을 판단하여 조명 및 화면에 특수효과를 표현할 수 있으므로, 모바일 스마트 디바이스와 키넥트 센서를 복합적으로 사용의 경우 더욱 다양한 효과를 제공할 수 있다.

Description

관중 동작 기반의 ＩＴ 노래방 제공 시스템 및 방법{System for providing Information Technology karaoke based on audiance's action, and method thereof}
본 발명은 관중 동작 기반의 IT(Information Technology) 노래방 제공 시스템 및 방법에 관한 것으로, 보다 구체적으로는, 노래방에서 가창자 중심이 아닌 관중의 호응에 중점을 두어 관중이 더 많이 개입하고, 호응할 수 있는 새로운 IT 서비스를 제공하도록 하기 위한 관중 동작 기반의 IT 노래방 제공 시스템 및 방법에 관한 것이다.
우리 나라에서 노래방이 하나의 국민 여가 또는 문화로 자리 잡은 데에는 노래방 기기의 발전도 한 몫을 하고 있다.
1980년대 일본에서 들여와 상륙했던‘가라오케’는 녹음된 노래 반주음악을 틀어서 재생되는 형태로 반주를 하는 기기를 사용하였다. 그러다 노래방이 폭발적으로 증가하는데 기반이 된 노래 반주기는 1988년에 생산된 컴퓨터 기반의 연주기인 영풍전자의 ME-8800이다.
이후 노래반주기의 시장은 급속히 성장하였다. 노래반주기와 이에 필요한 모니터, 앰프, 마이크, 스피커 등의 주변기기 시장은 1994년까지 가히 폭발적인 성장세를 보였고, 노래 반주기와 주변기기 사업에 참여하는 회사들도 급속히 증가했다. 1994년 당시의 국내 노래반주기 관련시장은 연간 약 1,800억 원 정도로 성장한 것으로 추정되고 있으며, 이 중에서 업소용 노래반주기 시작은 신곡 추가용 마스크롬 시장을 포함할 경우 연간 750억 원 정도로 추정된다.
이러한 컴퓨터 기반의 노래 반주기는 가사를 자막의 형태로 보내주기도 하고, 노래에 채점을 하기도 하고, 조명과의 연결도 가능하게 된 점에서 노래방 기기의 발전을 가져오게 되었다.
오늘날은 디지털 컨버전스가 기술적으로 구현이 얼마든지 가능하여, 컴퓨터기반의 기기라면 얼마든지 다양한 형태의 IT서비스를 제공할 수 있다. 컴퓨터 기반의 노래방 기기는 얼마든지 스마트폰, 스마트 패드 등과 같은 모바일 스마트 디바이스와도 연동하여 새로운 IT 서비스를 제공하는 것이 가능하여 새로운 형태의 엔터테인먼트가 생겨날 수 있다. 이와 같이, 사용자와 IT 기기 간의 인터랙션(interation)을 실현하는 장치를 결합한 것을 HCI(Human-Computer Interaction) 시스템이라고 부른다.
한편, 우리 나라의 노래방 문화는 폐쇄성과 개방성을 동시에 지니고 있는 독특한 문화가 있다고 볼 수 있다. 사람들이 노래방에 다니는 중요한 목적 중 하나는 노래방에 가는 사람간의 친목을 돈독하기 위해서이다. 그러므로 단순히 노래만 부르다가 나오는 공간이 아닌 함께 즐기고, 호흡을 함께 공간이 되고 있다. 이렇게 함께 즐기려면 가창자만 노래를 잘해서는 안 되고, 가창자 주변의 관중의 호응이 매우 중요한 요소로 작용하고 있다.
대한민국 특허등록공보 등록번호 제10-1377208호 "등록번호 합성 영상을 이용한 노래방 시스템" 대한민국 특허공개공보 공개번호 제10-1996-0011987호 "노래방기기의 영상특수효과 재생기능을 음악에 맞추어 조작하는 장치"
본 발명은, 관중의 동작에 따라 노래방의 조명에 변화를 주는 효과나 전면에 보이는 화면에 효과를 제공하도록 하기 위한 관중 동작 기반의 IT 노래방 제공 시스템 및 방법을 제공하기 위한 것이다.
또한, 본 발명은 노래방에서 노래를 부르는 가창자가 아닌 주위에 앉아 있는 관중의 역할에 대해 분석하여 노래방 기기에 접목하여 노래방 내에서의 공감대 및 몰입감을 증대시키도록 하기 위한 관중과, 조명 및 화면 간의 다양한 인터랙션 기반 효과를 제공하도록 하기 위한 관중 동작 기반의 IT 노래방 제공 시스템 및 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템은, 내부의 가속도 센서에 의한 가속도의 변화량을 센싱하여 가속도 변화량 정보를 생성하는 모바일 스마트 디바이스; 및 상기 모바일 스마트 디바이스로부터 블루투스 통신으로 가속도 변화량 정보를 수신한 뒤, 미리 저장된 조명 제어 테이블에서 가속도 변화량 정보에 매칭되는 조명 제어 명령을 추출하여, 조명 제어 명령에 따른 회전형 조명장치에 대한 제어를 수행하는 아두이노 보드; 를 포함한다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 방법은, 모바일 스마트 디바이스가 내부의 가속도 센서에 의한 상기 모바일 스마트 디바이스에 대한 가속도의 변화량을 센싱하여 가속도 변화량 정보를 생성하는 제 1 단계; 상기 모바일 스마트 디바이스가 블루투스 통신으로 아두이노 보드로 가속도 변화량 정보를 전송하는 제 2 단계; 상기 아두이노 보드가 미리 저장된 조명 제어 테이블에서 가속도 변화량 정보에 매칭되는 조명 제어 명령을 추출하는 제 3 단계; 및 상기 아두이노 보드가 조명 제어 명령에 포함된 점멸, 색상, 조도, 회전을 기본 제어 요소로 하여, 각 제어 요소의 단일 처리 및 조합 처리를 통해 회전형 조명장치에 대한 제어를 수행하는 제 4 단계; 를 포함한다.
상기의 목적을 달성하기 위해 본 발명의 다른 실시예에 따른 관중 동작 기반의 IT 노래방 제공 방법은, 키넥트 센서가 깊이 카메라를 통해 관중의 관절과 몸체를 인식한 뒤, 각 관절 간의 위치 및 각도 정보를 생성하는 제 1 단계; 영상 처리 프로세싱 모듈이 각 관절 간의 위치 및 각도 정보를 상기 키넥트 센서로부터 수신하는 제 2 단계; 상기 영상 처리 프로세싱 모듈이 각 관절 간의 위치 및 각도 정보에 따라 관중의 동작 판단 정보를 생성하는 제 3 단계; 및 상기 영상 처리 프로세싱 모듈이 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리 및 화면 제어 관련 카테고리 중 조명 제어 관련 카테고리라고 판단한 경우, 미리 저장된 조명 제어 테이블에서 동작 판단 정보에 매칭되는 조명 제어 명령을 추출한 뒤, 추출된 조명 제어 명령으로 회전형 조명장치에 대한 제어를 수행하는 제 4 단계; 를 포함한다.
이때, 상기 제 4 단계는, 상기 영상 처리 프로세싱 모듈이 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리 및 화면 제어 관련 카테고리 중 화면 제어 관련 카테고리라고 판단한 경우, 미리 저장된 조명 관련 제어 테이블에서 동작 판단 정보에 매칭되는 화면 제어 명령을 추출한 뒤, 화면 구현 장치로 화면 제어 명령에 해당하는 특수효과를 표시하도록 프로젝터를 제어하는 것이 바람직하다.
또한, 상기 제 4 단계는, 상기 영상 처리 프로세싱 모듈이 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리 및 화면 제어 관련 카테고리 중 어느 것에도 포함되지 않는다고 판단한 경우, 상기 제 1 단계부터 다시 수행하는 것이 바람직하다.
본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템 및 방법은, 관중의 동작에 따라 노래방의 조명 및 화면으로의 효과변화를 주는 노래방에 보다 생동감을 주어 보다 집중도를 높여주고, 공감대 형성 및 몰입감을 줄 수 있는 효과를 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템 및 방법은, 모바일 스마트 디바이스의 가속도 센서를 이용하여 어느 정도 세기로 흔들고 있는 지를 센싱한 후 그에 따라 조명 및 화면에 특수효과를 낼 수 있고, 이와 함께 키넥트 센서에 의해 사용자가 팔을 들고 있는 것인지 팔을 흔들고 있는 것인지 등을 판단하여 조명 및 화면에 특수효과를 표현할 수 있으므로, 모바일 스마트 디바이스와 키넥트 센서를 복합적으로 사용의 경우 더욱 다양한 효과를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서 사용되는 하드웨어 구성으로의 아두이노 보드와 키넥트 센서를 나타내는 도면.
도 2는 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서의 관중 동작 기반의 조명 변화를 설명하기 위한 구성도.
도 3은 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서 키넥트 센서에 의한 관중의 몸동작에 의한 조명 제어를 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서 관중 동작 기반의 화면 변화를 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 방법을 나타내는 흐름도.
도 6은 본 발명의 다른 실시예에 따른 관중 동작 기반의 IT 노래방 제공 방법을 나타내는 흐름도.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 관중 동작 기반의 IT(Information Technology) 노래방 제공 시스템에서 사용되는 하드웨어 구성으로의 아두이노 보드(arduino board)(10)와 키넥트 센서(kinect sensor)(20)를 나타내는 도면이다. 도 1을 참조하면, 아두이노 보드(10)는 오픈 소스를 기반으로 한 단일 보드 마이크로컨트롤러로 완성된 보드와 관련 개발 도구 및 환경을 의미한다. 아두이노(10)는 다수의 스위치나 센서로부터 값을 받아들여, 외부 전자 장치들을 통제함으로써 환경과 상호 작용이 가능한 물건을 만들어 낼 수 있다.,
한편, 키넥트 센서(20)는 저가의 깊이 카메라를 포함함으로써, 실시간으로 깊이 정보뿐만 아니라 RGB영상과 관절 추적 정보를 제공할 수 있다. 키넥트 센서(20)로부터 제공되는 데이터의 사용은 제스처 인식을 위해 필요한 사람/신체부위 검출 및 포즈 추정을 해주어 게임이나 인간-컴퓨터 상호작용 응용 개발을 쉽게 하도록 해준다.
그리고 '키넥트 센서(20)' 또는 퍼스널 컴퓨터 등으로 형성가능한 도 2에 도시된 '노래방 기기 단말(30)'에는 영상 처리 프로세싱 모듈(100)이 형성될 수 있다. 영상 처리 프로세싱 모듈(100)은 2D와 3D로 어렵지 않게 인터랙티브 프로그램을 만들 수 있는 오픈소스코드로, OpenGL은 물론 100개 이상의 다양한 라이브러리를 통해 풍부한 기능을 제공할 수 있으며, 풍부한 서드파티 라이브러리(third party library) 기반으로 오픈소스 프로젝트의 큰 장점을 제공할 수 있다. 본 발명에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서는 이러한 기반 IT 구성요소를 사용함으로써, 노래방에서 사용할 수 있는 IT 특수효과를 구현할 수 있다.
도 2는 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서의 관중 동작 기반의 조명 변화를 설명하기 위한 구성도이다.
도 2를 참조하면, 관중 동작 기반의 IT 노래방 제공 시스템은 아두이노 보드(10), 노래방 기기 단말(30), 모바일 스마트 디바이스(40) 및 회전형 조명장치(50)를 포함하여 구성될 수 있으며, 관중의 모바일 스마트 디바이스(40)를 이용한 관중의 동작에 따라 노래방 내의 회전형 조명장치(50)에서 출력되는 조명 효과에 변화를 줄 수 있다.
즉, 관중이 손에 들고 있는 모바일 스마트 디바이스(40)는 흔들게 되면 내부의 센서 관리모듈(42)에 의해 가속도 센서(41)에 의한 가속도의 변화량이 센싱된다.
모바일 스마트 디바이스(40)는 센싱된 가속도의 변화량이 일정 한계치를 넘게 되면 블루투스 송수신부(43)를 제어하여, 블루투스 모듈(11)을 탑재한 아두이노 보드(10)로 블루투스 신호로 가속도 변화량 정보를 전송할 수 있다.
이에 따라, 아두이노 보드(10)에서는 수신한 데이터를 이용해 다시 회전형 조명기구(50)에 대한 조명의 변화를 제어할 수 있다.
특히, 본 발명에서는 모바일 스마트 디바이스(40)에 부착되어 있는 가속도 센서(41)를 이용하여 관중이 손에 들고 있는 모바일 스마트 디바이스(40)를 미리 설정된 강도 범위 분류로 흔들고 있는지를 센싱할 수 있는데, 이를 이용하면 특정 관중이 모바일 스마트 디바이스(40)를 임계치 강도 이상으로 흔드는 경우, 아두이노 보드(10)는 강도 정보를 블루투스 모듈(11)을 통해 수신한 뒤, 강도 정보에 따라 회전형 조명장치(50)의 조명을 제 1 색상(파란색)에서 제 2 색상(빨간색)으로 변화되도록 제어하거나, 미리 설정된 색상을 출력하도록 제어하는 것과 같은 특수 효과를 구현할 수 있다.
본 발명의 다른 실시예로, 관중이 모바일 스마트 디바이스(40)를 흔드는 경우 아두이노 보드(10)는 블루투스 모듈(11)을 통해 가속도 센서(11)에 의해 센싱된 모바일 스마트 디바이스(40)의 흔들림 주파수 정보를 수신한 뒤, 주파수 정보에 따라 회전형 조명장치(50)의 조명 출력의 주파수를 동기화하도록 제어할 수 있다.
또한, 관중의 모바일 스마트 디바이스(40)를 이용한 미리 설정된 동작 패턴이 발생시, 아두이노 보드(10)는 블루투스 모듈(11)로 동작 패턴 정보를 수신한 뒤, 동작 패턴 정보를 구성하는 각 동작 구성요소를 분리한 뒤, 각 동작 구성요소인 표현시간, 표현길이 및 표현방향을 분석한 뒤, 회전형 조명장치(50)로부터 출력되는 조명에 대한 각 동작 구성요소와 매칭되는 요소인 표현시간, 조명 도달 거리 및 조명 방향 정보를 조합하여 한 방향의 조명을 갑자기 밝아지도록 하거나 각 동작과 매칭된 색상을 출력하도록 하는 제어를 수행할 수 있다.
이와 같이, 모바일 스마트 디바이스(40)를 이용한 관중의 동작은 다양하게 정의할 수 있는데, 또 다른 실시예로, 일어나서 모바일 스마트 디바이스(40)를 들고 춤추고 있는 관중의 춤 동작의 박자 정보를 블루투스 모듈(11)로 수신한 아두이노 보드(10)에 의해 조명 장치(50)로 박자 컨트롤 정보를 시리얼 통신 또는 블루투스 통신 등으로 제공됨으로써, 회전형 조명장치(50)는 박자 컨트롤 정보에 맞춰 회전 속도를 동기화하여 조명을 제어할 수 있다.
이때, 아두이노 보드(10)와 노래방 기기 단말(30)은 별개의 구성요소로 분리된 뒤, 아두이노 보드(10)와 노래방 기기 단말(30) 간에 시리얼 통신 또는 블루투스 통신을 통해 데이터 송수신을 수행할 수 있으나, 하나의 구성요소로 형성되어 노래방 기기 단말(30) 내에 아두이노 보드(10)가 마이크로 컨트롤러로 동작하는 다른 실시예로도 제공가능하다.
도 3은 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서 키넥트 센서(20)에 의한 관중의 몸동작에 의한 조명 제어를 설명하기 위한 도면이다. 도 3을 참조하면, 키넥트 센서(20)에 의해 관중의 관절과 몸체의 주요부위를 인식하게 되면(도 3a 참조), 영상 처리 프로세싱 모듈(100)은 키넥트 센서(20)로부터 각 관절 간의 위치와 각도를 입력으로 받는다.
영상 처리 프로세싱 모듈(100)은 관절들의 위치와 각도 간의 관계에 대해 프로그래밍을 하여 관절의 관계에 의해 사람이 팔을 들고 있는 것인지 팔을 흔들고 있는 것인지 등을 판단하게 된다(도 3b 참조). 영상 처리 프로세싱 모듈(100)은 판단의 결과로 프로세싱과 연결되어 있는 아두이노 보드(10)로 아날로그-디지털 컨버팅이 수행된 동작 판단 정보를 전송하게 되면, 아두이노 보드(10)는 수신된 동작 판단 정보에 따라 회전형 조명기구(50)에 대한 제어를 통해 조명의 점멸을 제어하고, 색상 출력을 제어할 수 있다(도 3c 참조). 이때, 도 3c는 아두이노 보드(30)와 LED 소자를 이용한 회전형 조명장치(50)를 대체한 프로토 타입(prototype)을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 시스템에서 관중 동작 기반의 화면 변화를 설명하기 위한 도면이다. 도 4를 참조하면, 이때, 관중 동작 기반의 IT 노래방 제공 시스템은 키넥트 센서(20), 영상 처리 프로세싱 모듈(100), 프로젝터(60) 및 화면 구현 장치(70)를 포함하여 구성될 수 있다.
노래방에서 사람들의 이목이 가장 집중되는 전면에 붙어 있는 스크린, 전자 디스플레이 장치 등과 같은 화면 구현 장치(70)이다. 현재 화면 구현 장치(70)로 구현되는 화면은 현재 노래방 기기 제작자에 의해 제작된 자막이나 노래에 맞는 동영상 콘텐츠를 뿌려주는 사용자의 입장에서는 수동적인 IT 서비스만을 제공하고 있다.
이에 따라, 본 발명에서는 관중의 동작 즉, 관중이 크게 손을 흔들면 화면 구현 장치(70)에 UI 화면으로 관중이 손동작을 함께 동기화시켜 구현한다거나, 화면 구현 장치(70)에 풍선이 터지는 등의 여러 가지 콘텐츠가 나타나거나 자막이 춤을 추게 된다거나 하는 등의 특수효과를 제공할 수 있다.
또한, 화면 구현 장치(70)에 구현되는 영상의 색상이 변화하는 효과를 제공할 수 있다.
도 4를 참조하여 구체적으로 살펴보면, 관중의 동작들은 일반 카메라나 키넥트 센서(20)의 깊이 카메라에 의해 획득이 되고, 이렇게 획득된 영상은 유선이나 무선으로 노래방 기기 단말(30)로 전달이 된다. 노래방 기기 단말(30)에서의 영상 처리 프로세싱 모듈(100)은 프로세싱 기반의 영상처리를 하여 관중의 각 동작에 맞는 특수효과를 선택하고, 이와 관련된 특수효과를 영상 정보로 처리한 뒤, 처리된 영상 정보 화면의 내용을 프로젝터(60)를 통해 화면 구현 장치(70)로 구현할 수 있다.
이하에서는 도 1 내지 도 4의 내용에서 설명한 중복되는 내용에 대해서는 생략하고, 절차적 요지를 중심으로 도 5 및 도 6의 관중 동작 기반의 IT 노래방 제공 방법d에 대해서 간략하게 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 관중 동작 기반의 IT 노래방 제공 방법을 나타내는 흐름도이다. 한편, 도 5에서는 설명의 편의를 위해 회전형 조명장치(50)를 기준으로 설명하나, 후술하는 도 6에서와 같이 프로젝터(60)에 대한 제어를 통해 화면 구현 장치(70)로의 특수효과를 연출할 수 있다.
도 5를 참조하면, 모바일 스마트 디바이스(40)는 내부의 센서 관리모듈(42)의 제어에 따라 가속도 센서(41)에 의한 모바일 스마트 디바이스(40)에 대한 가속도의 변화량을 센싱하여 가속도 변화량 정보를 생성한다(S11).
단계(S11) 이후, 모바일 스마트 디바이스(40)는 블루투스 송수신부(43)를 제어하여 블루투스 통신으로 아두이노 보드(10)로 단계(S11)에서 생성된 가속도 변화량 정보를 전송한다(S12).
단계(S12) 이후, 아두이노 보드(10)는 미리 저장된 조명 제어 테이블에서 단계(S12)에 따라 수신된 가속도 변화량 정보에 매칭되는 조명 제어 명령을 추출한다(S13).
단계(S13) 이후, 아두이노 보드(10)는 단계(S13)에서 추출된 조명 제어 명령으로 회전형 조명장치(50)에 대한 제어를 수행한다(S14). 이때, 아두이노 보드(10)는 조명 제어 명령에 포함된 점멸, 색상, 조도, 회전을 기본 제어 요소로 하여, 각 제어 요소의 단일 처리 및 조합 처리를 통해 회전형 조명장치(50)에 대한 제어를 수행하는 것이 바람직하다.
도 6은 본 발명의 다른 실시예에 따른 관중 동작 기반의 IT 노래방 제공 방법을 나타내는 흐름도이다. 도 6을 참조하면, 키넥트 센서(20)는 깊이 카메라를 통해 관중의 관절과 몸체를 인식한 뒤, 각 관절 간의 위치 및 각도 정보를 생성한다(S21).
단계(S21) 이후, 영상 처리 프로세싱 모듈(100)은 각 관절 간의 위치 및 각도 정보를 키넥트 센서(20)로부터 수신한다(S22).
단계(S22) 이후, 영상 처리 프로세싱 모듈(100)은 각 관절 간의 위치 및 각도 정보에 따라 관중의 동작 판단 정보 생성한다(S23). 이를 위해 각 관절 간의 위치 및 각도의 범위에 따른 관중의 동작을 매칭하여 생성된 동작 판단 정보 테이블을 영상 처리 프로세싱 모듈(100)은 미리 갖고 있어야 한다.
단계(S23) 이후, 영상 처리 프로세싱 모듈(100)은 단계(S23)에서 생성된 동작 판단 정보에 대한 미리 저장된 조명 제어 관련 카테고리에 포함되는지 여부를 판단한다(S24).
단계(S24)의 판단결과 단계(S23)에서 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리에 포함되는 경우, 영상 처리 프로세싱 모듈(100)은 미리 저장된 조명 제어 테이블에서 동작 판단 정보에 매칭되는 조명 제어 명령을 추출한다(S25).
단계(S25) 이후, 영상 처리 프로세싱 모듈(100)은 단계(S25)에서 추출된 조명 제어 명령으로 회전형 조명장치(50)에 대한 제어를 수행한다(S26). 이때, 영상 처리 프로세싱 모듈(100)은 조명 제어 명령에 포함된 점멸, 색상, 조도, 회전을 기본 제어 요소로 하여, 각 제어 요소의 단일 처리 및 조합 처리를 통해 회전형 조명장치(50)에 대한 제어를 수행하는 것이 바람직하다.
한편, 단계(S24)의 판단결과 단계(S23)에서 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리에 포함되지 않는 경우, 영상 처리 프로세싱 모듈(100)은 동작 판단 정보에 대한 화면 제어 관련 카테고리에 포함되는지 여부를 판단한다(S27).
단계(S27)의 판단결과 단계(S23)에서 생성된 동작 판단 정보가 미리 저장된 화면 제어 관련 카테고리에 포함되지 않는 경우, 영상 처리 프로세싱 모듈(100)은 단계(S21)로 회귀한다.
반대로 단계(S27)의 판단결과 단계(S23)에서 생성된 동작 판단 정보가 미리 저장된 화면 제어 관련 카테고리에 포함되는 경우, 영상 처리 프로세싱 모듈(100)은 미리 저장된 조명 관련 제어 테이블에서 동작 판단 정보에 매칭되는 화면 제어 명령을 추출한다(S28).
단계(S28) 이후, 영상 처리 프로세싱 모듈(100)은 화면 구현 장치(70)로 화면 제어 명령에 해당하는 특수효과를 표시하도록 프로젝터(60)를 제어한다(S29).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10 : 아두이노 보드(arduino board) 11 : 블루투스 모듈
20 : 키넥트 센서(kinect sensor) 30 : 노래방 기기 단말
40 : 모바일 스마트 디바이스 41 : 가속도 센서
42 : 센서 관리모듈 43 : 블루투스 송수신부
50 : 회전형 조명장치 60 : 프로젝터
70 : 화면 구현 장치 100 : 영상 처리 프로세싱 모듈

Claims (5)

  1. 내부의 가속도 센서에 의한 가속도의 변화량을 센싱하여 가속도 변화량 정보를 생성하는 모바일 스마트 디바이스; 및
    상기 모바일 스마트 디바이스로부터 블루투스 통신으로 가속도 변화량 정보를 수신한 뒤, 미리 저장된 조명 제어 테이블에서 가속도 변화량 정보에 매칭되는 조명 제어 명령을 추출하여, 조명 제어 명령에 따른 회전형 조명장치에 대한 제어를 수행하는 아두이노 보드; 를 포함하는 것을 특징으로 하는 관중 동작 기반의 IT 노래방 제공 시스템.
  2. 모바일 스마트 디바이스가 내부의 가속도 센서에 의한 상기 모바일 스마트 디바이스에 대한 가속도의 변화량을 센싱하여 가속도 변화량 정보를 생성하는 제 1 단계;
    상기 모바일 스마트 디바이스가 블루투스 통신으로 아두이노 보드로 가속도 변화량 정보를 전송하는 제 2 단계;
    상기 아두이노 보드가 미리 저장된 조명 제어 테이블에서 가속도 변화량 정보에 매칭되는 조명 제어 명령을 추출하는 제 3 단계; 및
    상기 아두이노 보드가 조명 제어 명령에 포함된 점멸, 색상, 조도, 회전을 기본 제어 요소로 하여, 각 제어 요소의 단일 처리 및 조합 처리를 통해 회전형 조명장치에 대한 제어를 수행하는 제 4 단계; 를 포함하는 것을 특징으로 하는 관중 동작 기반의 IT 노래방 제공 방법.
  3. 키넥트 센서가 깊이 카메라를 통해 관중의 관절과 몸체를 인식한 뒤, 각 관절 간의 위치 및 각도 정보를 생성하는 제 1 단계;
    영상 처리 프로세싱 모듈이 각 관절 간의 위치 및 각도 정보를 상기 키넥트 센서로부터 수신하는 제 2 단계;
    상기 영상 처리 프로세싱 모듈이 각 관절 간의 위치 및 각도 정보에 따라 관중의 동작 판단 정보를 생성하는 제 3 단계; 및
    상기 영상 처리 프로세싱 모듈이 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리 및 화면 제어 관련 카테고리 중 조명 제어 관련 카테고리라고 판단한 경우, 미리 저장된 조명 제어 테이블에서 동작 판단 정보에 매칭되는 조명 제어 명령을 추출한 뒤, 추출된 조명 제어 명령으로 회전형 조명장치에 대한 제어를 수행하는 제 4 단계; 를 포함하는 것을 특징으로 하는 관중 동작 기반의 IT 노래방 제공 방법.
  4. 청구항 3에 있어서, 상기 제 4 단계는,
    상기 영상 처리 프로세싱 모듈이 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리 및 화면 제어 관련 카테고리 중 화면 제어 관련 카테고리라고 판단한 경우, 미리 저장된 조명 관련 제어 테이블에서 동작 판단 정보에 매칭되는 화면 제어 명령을 추출한 뒤, 화면 구현 장치로 화면 제어 명령에 해당하는 특수효과를 표시하도록 프로젝터를 제어하는 것을 특징으로 하는 관중 동작 기반의 IT 노래방 제공 방법.
  5. 청구항 3에 있어서, 상기 제 4 단계는,
    상기 영상 처리 프로세싱 모듈이 생성된 동작 판단 정보가 미리 저장된 조명 제어 관련 카테고리 및 화면 제어 관련 카테고리 중 어느 것에도 포함되지 않는다고 판단한 경우, 상기 제 1 단계부터 다시 수행하는 것을 특징으로 하는 관중 동작 기반의 IT 노래방 제공 방법.
KR1020160010246A 2016-01-27 2016-01-27 관중 동작 기반의 ｉｔ 노래방 제공 시스템 KR101788695B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160010246A KR101788695B1 (ko) 2016-01-27 2016-01-27 관중 동작 기반의 ｉｔ 노래방 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160010246A KR101788695B1 (ko) 2016-01-27 2016-01-27 관중 동작 기반의 ｉｔ 노래방 제공 시스템

Publications (2)

Publication Number Publication Date
KR20170089688A true KR20170089688A (ko) 2017-08-04
KR101788695B1 KR101788695B1 (ko) 2017-10-20

Family

ID=59654622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160010246A KR101788695B1 (ko) 2016-01-27 2016-01-27 관중 동작 기반의 ｉｔ 노래방 제공 시스템

Country Status (1)

Country Link
KR (1) KR101788695B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101235A (zh) * 2020-09-16 2020-12-18 济南大学 一种基于老年人行为特征的老年人行为识别检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102555183B1 (ko) * 2021-10-07 2023-07-18 레인보우스케이프주식회사 레이저광을 이용한 오로라 효과 디스플레이 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405439B1 (ko) * 2013-01-03 2014-06-11 양승철 동작인식 배경영상 제공시스템, 동작인식 배경영상 제공방법 및 그 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101235A (zh) * 2020-09-16 2020-12-18 济南大学 一种基于老年人行为特征的老年人行为识别检测方法
CN112101235B (zh) * 2020-09-16 2022-09-23 济南大学 一种基于老年人行为特征的老年人行为识别检测方法

Also Published As

Publication number Publication date
KR101788695B1 (ko) 2017-10-20

Similar Documents

Publication Publication Date Title
US20190005733A1 (en) Extended reality controller and visualizer
US20070180979A1 (en) Portable Music Player with Synchronized Transmissive Visual Overlays
US20220279891A1 (en) Motion-based media creation
CN104811829A (zh) 卡拉ok互动多功能特效系统
EP0710380A1 (en) An audio controlled computer-generated virtual environment
TW201537567A (zh) 同步節拍特效系統及同步節拍特效處理方法
US20220051448A1 (en) Augmented reality filters for captured audiovisual performances
WO2019124069A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2015151766A1 (ja) 投影撮影システム、カラオケ装置及びシミュレーション装置
Fels et al. Musikalscope: A graphical musical instrument
KR101788695B1 (ko) 관중 동작 기반의 ｉｔ 노래방 제공 시스템
Danjoux Choreography and sounding wearables
US20220122573A1 (en) Augmented Reality Filters for Captured Audiovisual Performances
TWI585614B (zh) 複合節拍特效系統及複合節拍特效處理方法
TWI559299B (zh) 演唱視覺特效系統及演唱視覺特效處理方法
KR101809617B1 (ko) 마이콘서트시스템
WO2018008434A1 (ja) 演奏上演装置
WO2015008756A1 (ja) 投影装置、制御装置、制御プログラム、および投影制御方法
TW201629952A (zh) 同步節拍特效系統及同步節拍特效處理方法
JP7442979B2 (ja) カラオケシステム
JP2006217183A (ja) マルチメディアデータを生成するためのデータ処理装置およびプログラム
KR101802906B1 (ko) 외부 콘텐츠 플레이어와 연동하는 증강현실시스템
JP2011154289A (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
JP2019126444A (ja) ゲームプログラムおよびゲーム装置
JP2016166928A (ja) 演出装置、演出方法、プログラム、ならびにアミューズメントシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant