KR20190093770A - 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템 - Google Patents

인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템 Download PDF

Info

Publication number
KR20190093770A
KR20190093770A KR1020180004781A KR20180004781A KR20190093770A KR 20190093770 A KR20190093770 A KR 20190093770A KR 1020180004781 A KR1020180004781 A KR 1020180004781A KR 20180004781 A KR20180004781 A KR 20180004781A KR 20190093770 A KR20190093770 A KR 20190093770A
Authority
KR
South Korea
Prior art keywords
dance
information
song
user
unit
Prior art date
Application number
KR1020180004781A
Other languages
English (en)
Inventor
이영은
Original Assignee
(주)하이에듀케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)하이에듀케이 filed Critical (주)하이에듀케이
Priority to KR1020180004781A priority Critical patent/KR20190093770A/ko
Publication of KR20190093770A publication Critical patent/KR20190093770A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D43/00—Lids or covers for rigid or semi-rigid containers
    • B65D43/02—Removable lids or covers
    • B65D43/0202—Removable lids or covers without integral tamper element
    • B65D43/0204—Removable lids or covers without integral tamper element secured by snapping over beads or projections
    • B65D43/0212—Removable lids or covers without integral tamper element secured by snapping over beads or projections only on the outside, or a part turned to the outside, of the mouth
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C51/00—Shaping by thermoforming, i.e. shaping sheets or sheet like preforms after heating, e.g. shaping sheets in matched moulds or by deep-drawing; Apparatus therefor
    • B29C51/08—Deep drawing or matched-mould forming, i.e. using mechanical means only
    • B29C51/082—Deep drawing or matched-mould forming, i.e. using mechanical means only by shaping between complementary mould parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C51/00—Shaping by thermoforming, i.e. shaping sheets or sheet like preforms after heating, e.g. shaping sheets in matched moulds or by deep-drawing; Apparatus therefor
    • B29C51/26—Component parts, details or accessories; Auxiliary operations
    • B29C51/261—Handling means, e.g. transfer means, feeding means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C51/00—Shaping by thermoforming, i.e. shaping sheets or sheet like preforms after heating, e.g. shaping sheets in matched moulds or by deep-drawing; Apparatus therefor
    • B29C51/26—Component parts, details or accessories; Auxiliary operations
    • B29C51/30—Moulds
    • B29C51/34—Moulds for undercut articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B30—PRESSES
    • B30B—PRESSES IN GENERAL
    • B30B15/00—Details of, or accessories for, presses; Auxiliary measures in connection with pressing
    • B30B15/02—Dies; Inserts therefor; Mounting thereof; Moulds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D85/00—Containers, packaging elements or packages, specially adapted for particular articles or materials
    • B65D85/70—Containers, packaging elements or packages, specially adapted for particular articles or materials for materials not otherwise provided for
    • B65D85/72—Containers, packaging elements or packages, specially adapted for particular articles or materials for materials not otherwise provided for for edible or potable liquids, semiliquids, or plastic or pasty materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29L—INDEXING SCHEME ASSOCIATED WITH SUBCLASS B29C, RELATING TO PARTICULAR ARTICLES
    • B29L2031/00—Other particular articles
    • B29L2031/56—Stoppers or lids for bottles, jars, or the like, e.g. closures
    • B29L2031/565—Stoppers or lids for bottles, jars, or the like, e.g. closures for containers

Abstract

본 발명은 자신에게 어울리는 댄스 및 노래를 추천해주고, 선택된 댄스 및 노래를 학습할 수 있도록 컨텐츠를 제공하며, SNS를 통한 실력 평가 및 정보를 공유할 수 있도록 서비스하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치 및 방법을 제공하기 위한 것으로서, 마이크 및 스피커를 포함하고, 사용자에게 음악소리를 제공하고 사용자의 음성신호를 입력받는 노래 처리부와, 디스플레이부에서 제공되는 댄스 영상을 통해 이루어지는 사용자의 움직임을 검출하는 댄스 처리부와, 상기 노래 처리부 또는 댄스 처리부로부터 입력되는 신호를 분리하여 사용자의 음향 또는 움직임을 미리 저장되어 있는 기준정보와 매칭시켜, 매칭정도에 따라 점수를 산출하거나 댄스/노래를 검출하는 분석부와, 노래 정보, 댄스 정보, 사용자 정보를 저장하고 있는 저장부와, 상기 분석부에서 분석된 점수 또는 댄스/노래 정보를 저장부에 저장하고 디스플레이부에 제공하거나, 요청된 댄스 또는 노래
정보를 저장부에서 검색하여 댄서 컨텐츠나 가수 컨텐츠와 댄스 및 노래 정보를 결합하여 디스플레이부 또는 마이크를 통해 출력하는 재생 처리부를 포함하여 구성되는데 있다.

Description

인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템{Multi-party mobile contents sharing service and system through customized music recommendation via AI Learning system}
본 발명은 휴대 단말기에서 제공되는 모바일 컨텐츠를 이용하여 댄스 및 노래를 [0001] 배울 수 있도록 제공하는 서비스에 관한 것으로, 특히 자신에게 어울리는 댄스 및 노래를 추천해주고, 선택된 댄스 및 노래를 학습할 수 있도록 컨텐츠를 제공하며, SNS를 통한 실력 평가 및 정보를 공유할 수 있도록 서비스하는 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템에 관한 것이다.
[0002] 최근에는 노래를 불러야 할 자리와 함께 노래를 자유롭게 부르고 즐길 수 있는 자리가 늘어나고 있다. 이러한 추세는 과거에 라디오나 텔레비전을 통해 듣기에 치중하였던 노래가 노래방의 보급, 휴대용 음향기기의 보급으로 인해 직접 부르고 즐기는 방향으로 변화했기 때문이다. 구체적으로 직장 회식, 친목 모임, 스트레스 해소, 취미와 같은 이유로 많은 사람이 노래를 직접 부르게 되는 기회가 많아지고 있다.
[0003] 이러한 기회의 증가는 노래를 즐기고 어느 정도의 수준을 가지는 사람에게는 불편한 자리가 아니지만, 그렇지않은 사람들도 많이 있다. 이와 같은 사람들은 노래를 좋아하지 않는 경우도 있지만, 자주 접할 수 없는 환경으로 인해 충분한 연습의 기회가 없다거나, 자신에게 맞는 곡을 찾을 기회가 없는 사람들이 많다.
[0004] 이러한 문제점을 해소하기 위해 기존의 기술로서 특허번호 10-0283800인 "컴퓨터 가요반주 시스템의 신곡연습 제어 방법"이 있다. 여기에 제시된 방법은 범용 미디 가요반주 시스템에 신곡의 가수 목소리만을 따로 별도의 오디오트랙에 저장하여 보관하고 있다가 사용자가 신곡연습키를 눌러서 노래를 재생한 경우에는 "가수목소리 웨이브"를 반주음과 함께 스피커로 내보내고 신곡연습키가 눌리지 않은 경우에는 "코러스 웨이브"데이터를 함께 스피커로 내보내도록 하고 있다.
[0005] 신곡을 연습하고자 하는 사용자는 신곡리스트에 올라와 있는 곡(가수 목소리가 별도 트랙에 존재하는 곡) 중에서 선택하여 가수목소리가 있는 노래를 들으면서 연습하도록 하고 있다.
[0006] 그러나 이 기술은 소절별로 가수노래를 듣고 다시 반주음에 맞추어서 학습하는 기능이 없다. 또한 이 시스템을 이용하려면 가수의 목소리만을 따로 오디오 트랙으로 저장된 정보가 있어야만 한다. 이것은 가수의 목소리만을 따로 갖고 있어야 하는 번거로운 일이다. 또한 신곡은 새롭게 노래를 제작할 때 가수의 목소리만을 따로 저장해서 이용한다고 하더라도 과거에 출시된 음반에서 가수의 목소리만을 따로 구분해 내는 것은 쉬운 일이 아니다.
[0007] 사용자가 신곡연습키를 누른 경우 노래가 끝날 때까지 계속해서 가수 목소리와 반주음을 믹싱한 오디오를 들어야 하기 때문에 중간에 자신이 노래를 불러서 비교해 볼 수 있는 기회가 없다. 특히 특정 소절의 반복청취가 불가능해 노래를 배우는데 어려움이 있다.
[0008] 따라서 노래를 즐겨 듣고 자주 부르는 사람들도 자신의 노래 실력을 향상시키고 싶지만 그렇게 하지 못하는 경우도 빈번하다. 특히, 전문적인 음악 교육을 받지 못하거나, 음악적 감각이 평범한 사람들의 경우 스스로 장단점을 파악해서 실력을 향상시키는 것은 매우 어려운 일이 아닐 수 없다. 일부 사람들의 경우 전문적인 교습학원을 찾아가 개설된 강의를 통해 실력 향상을 도모하기도 하지만, 비싼 강의료와 훈련 시간의 부족으로 원하는 수준의 실력 향상이 어려운 실정이다.
특히, 이러한 문제들의 대부분은 노래를 부르는 사람의 정확한 상태 즉, 정확한 [0009] 수준 파악이 곤란하여 발생하는 경우가 대부분이다. 이와 같은 문제를 가지는 일부 사람의 경우 전문가의 도움을 받아 자신의 수준을 진단하지만, 이 또한 고가의 비용과 많은 시간을 지불해야 하는 문제점이 있다.
[0010] 또한 노래와 마찬가지로 노래에 맞는 댄스라던가 율동의 경우도 자주 접할 수 없는 환경으로 인해 연습의 기회가 없어서, 전문적인 교습학원을 찾아가만 실력 향상을 도모할 수 있다. 그러나 이 또한 비싼 강의료가 발생되는 문제점이 발생되게 된다.
[0011] 따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 자신에게 어울리는 댄스 및 노래를 추천해주고, 선택된 댄스 및 노래를 학습할 수 있도록 컨텐츠를 제공하며, SNS를 통한 실력 평가 및 정보를 공유 할 수 있도록 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템을 제공하는데 그 목적이 있다.
[0012] 본 발명의 다른 목적은 댄스는 동작이나 리듬별로 동작을 분류하고, 노래는 소절별로 가사나 반주음을 분리해서 제공하고, 또한 사용자의 요구에 의해서 반복 재생하는 기능을 갖도록 서비스하는 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템을 제공하는데 있다.
[0013] 본 발명의 또 다른 목적은 사용자의 움직임 및 노래 소리를 분석하여 미리 선정된 기준에 따라 사용자에게 어울리는 객관적인 실력 평가를 제공하고, 동일한 기준에 따라 미리 분류된 댄스 또는 노래 중 사용자에게 어울리는 적어도 하나의 댄스 또는 노래를 추천해 주는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치 및 방법을 제공하는데 있다.
[0014] 본 발명의 또 다른 목적은 사용자에게 제공되는 댄스 및 노래를 학습할 수 있도록 제공되는 컨텐츠를 실제 댄서나 가수 또는 실제 댄서나 가수의 캐리커처(caricature)를 통해 학습 서비스를 제공하여 댄스 및 노래 학습에 흥미를 유발시킬 수 있도록 하는 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템을 제공 하는데 있다.
[0015] 본 발명의 또 다른 목적은 팬클럽/톡 기능 등 커뮤니티를 통한 SNS(Social Networking Service) 커뮤니티를 적용시켜 학습한 댄스 및 노래의 실력을 뽐내거나 남에게 평가받을 수 있다.
[0016] 상기와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치의 특징은 마이크 및 스피커를 포함하고, 사용자에게 음악소리를 제공하고 사용자의 음성신호를 입력받는 노래 처리부와, 디스플레이부에서 제공되는 댄스 영상을 통해 이루어지는 사용자의 움직임을 검출하는 댄스 처리부와, 상기 노래 처리부 또는 댄스 처리부로부터 입력되는 신호를 분리하여 사용자의 음향 또는 움직임을 미리 저장되어 있는 기준정보와 매칭시켜, 매칭정도에 따라 점수를 산출하거나 댄스/노래를 검출하는 분석부와, 노래 정보, 댄스 정보, 사용자 정보를 저장하고 있는 저장부와, 상기 분석부에서 분석된 점수 또는 댄스/노래 정보를 저장부에 저장하고 디스플레이부에 제공하거나, 요청된 댄스 또는 노래 정보를 저장부에서 검색하여 댄서 컨텐츠나 가수 컨텐츠와 댄스 및 노래 정보를 결합하여 디스플레이부 또는 마이크를 통해 출력하는 재생 처리부를 포함하여 구성되는데 있다.
[0017] 바람직하게 상기 댄스 및 노래 학습 서비스 제공 장치는 휴대용 단말기 내부에 포함되어 구성되는 것을 특징으로 한다.
[0018] 바람직하게 상기 분석부는 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 스틸 이미지로 변환된 패턴정보를 생성하는 신호 변환부와, 상기 신호 변환부에서 검출된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하는 패턴 처리부와, 상기 신호 변환부에서 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출하는 음향 처리부와, 상기 패턴 처리부 및 음향 처리부에서 검출된 정보를 저장부에 미리 저장하고 있는 상응하는 댄스 및 노래의 패턴 및 음정 데이터와 서로 비교하는 매칭 처리부와, 상기 매칭 처리부에서의 비교 결과에 따라 미리 정해져 있는 레벨별 수준을 검색하여 해당되는 점수를 검출하는 점수 생성부와, 상기 매칭 처리부에서의 비교 결과에 따라 그 매칭 정도가 높은 순으로 적어도 1개 이상의 댄스 및 노래정보를 저장부에서 검색하여 검출하고, 이를 사용자에게 추천하는 댄스/노래 검출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 매칭 처리부는 신호 변환부에서 생성한 음정/패턴 정보와 [0019] 저장부에 저장되어 있는 기준 음정/패턴 정보를 서로 비교하여 음정/패턴의 정확도를 측정하는 음정/패턴 측정기와, 음향 처리부 또는 패턴 처리부에서 검출한 시간정보와 저장부에 저장되어 있는 기준 시간정보를 서로 비교하여 박자/움직임의 정확도를 측정하는 박자 측정기와, 상기 음정 측정기 및 박자 측정기에서 측정된 정확도에 따라 유사도 정도를 측정하는 유사도 측정기를 포함하는 것을 특징으로 한다.
[0020] 바람직하게 상기 댄스 및 가수 컨텐츠는 해당 노래 또는 댄스를 공중파나 케이블 방송에서 부르거나 추고 있는 방송인(가수, 작곡가, 댄서 등)이거나, 또는 이들의 캐리커처를 포함하는 것을 특징으로 한다.
[0021] 바람직하게 상기 댄스 및 노래 학습 서비스 제공 장치는 동일한 댄스/음악, 또는 서비스를 제공받는 회원들 간에 서로 소셜 네트워킹 서비스(Social Networking Service : SNS)를 제공하기 위해 네트웍 망을 구축하고 서로 정보를 공유시켜 회원들 간에 의견 및 평가를 공유하도록 관리하는 커뮤니티 관리부와, 소셜 네트워킹 서비스(Social Networking Service : SNS)를 위해 구축된 네트웍 망으로 서로간의 의견 및 평가를 공유할 수 있도록 채널을 구축하여 데이터를 송수신하는 유무선 통신부를 포함하여 이루어지는 것을 특징으로 한다.
[0022] 상기와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법의 특징은 (A) 휴대용 단말기에서 댄스 및 노래 학습 서비스의 응용 프로그램이 실행되면, 휴대용 단말기 화면에 앱(App) 제공 서비스 화면을 표시하는 단계와, (B) 휴대용 단말기 화면에 제공되는 앱(App) 제공서비스를 통해, 댄스/노래 추천이 선택되면, 화면에 댄스 및 노래 중 추천받고자 하는 서비스 정보를 입력받는 단계와,
(C) 상기 (B) 단계에서 노래 추천 서비스가 입력되면, 저장부에 미리 저장하고 있는 테스트용 곡(음원)을 휴대용 단말기 화면에 제공하고, 제공된 테스트용 곡(음원)에 의해 불린 노래를 마이크를 통해 입력받아 사용자 음성 신호를 검출하는 단계와, (D) 상기 (B) 단계에서 댄스 추천 서비스가 입력되면, 저장부에 미리 저장하고 있는 테스트용 댄스 영상을 휴대용 단말기 화면에 제공하고, 제공된 테스트용 댄스 영상에 의해 촬영된 사용자의 움직임을 입력받아 사용자 움직임 정보를 검출하는 단계와, (E) 상기 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 패턴정보를 생성하는 단계와, (F) 상기 생성된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 사용자 음성신호의 변
환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출하는 단계와, (G) 상기 생성된 음정정보,
패턴정보, 시간정보 중 적어도 하나 이상을 저장부에 미리 저장하고 있는 상응하는 댄스 또는 노래의 패턴 및 음정 데이터와 서로 비교하고, 비교 정도에 따라 음정/패턴의 정확도를 측정하는 단계와, (H) 저장부에 미리 정해져 있는 노래 또는 댄스 정보 중 상기 측정된 정확도의 정도가 높은 순서로 적어도 1개 이상의 댄스 또는 노래정보를 검색하여 검출하는 단계와, (I) 상기 검출된 댄스 또는 노래정보를 휴대용 단말기 화면에 표시하여 사용자에게 어울리고, 배우기 쉬운 댄스 또는 음악을 추천하는 단계를 포함하여 이루어지는데 있다.
[0023] 바람직하게 상기 (G) 단계는 입력되는 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하는 단계와, 상기 생성된 음정정보를 시간단위로 분리하여 시간단위로 변화되는 시간정보를 검출하는 단계와, 상기 음정정보 및 시간정보를 저장부에 미리 저장되어 있는 노래들의 음정정보 및 시간정보를 기준정보로 설정하여 서로 비교하는 단계와, 상기 주파수 데이터의 대역폭 및 시간단위의 매칭정보를 통해 음정의 정확도를 측정하는 단계를 포함하는 것을 특징으로 한다.
[0024] 바람직하게 상기 (G) 단계는 카메라에 잡힌 영상을 패턴화시켜 스틸 이미지로 구성하여 패턴정보를 생성하는 단계와, 상기 생성된 패턴정보를 시간단위로 변화되는 시간정보를 검출하는 단계와, 상기 생성된 패턴정보 및 시간정보를 저장부에 미리 저장되어 있는 해당 댄싱의 패턴정보 및 시간정보를 기준정보로 설정하여 서로 비교하는 단계와, 상기 스틸 이미지의 변화 및 시간단위의 매칭정보를 통해 댄스의 정확도를 측정하는 단계를 포함하는 것을 특징으로 한다.
[0025] 상기 (A) 단계에서 휴대용 단말기 화면에 제공되는 앱(App) 제공 서비스를 통해, 댄스/노래 배우기가 선택되면, 화면에 댄스 및 노래 중 배우고자 하는 서비스 정보를 입력받는 단계와, (b) 상기 (a) 단계에서 노래 배우기 서비스가 입력되면, 저장부에 미리 저장하고 있는 노래 정보의 리스트를 휴대용 단말기 화면에 제공하는 단계와, (c) 상기 제공된 리스트 중 선택된 노래의 곡(음원)을 다시 휴대용 단말기 화면에 제공하는 단계와, (d) 휴대용 단말기 화면에서 제공된 노래 정보에 의해 불린 노래를 마이크를 통해 입력받아 사용자 음성 신호를 검출하는 단계와, (e) 상기 (a) 단계에서 댄스 배우기 서비스가 입력되면, 저장부에 미리 저장하고 있는 댄스 정보의 리스트를 휴대용 단말기 화면에 제공하는 단계와, (f) 상기 제공된 리스트 중 선택된 댄스의 영상을 다시 휴대용 단말기 화면에 제공하는 단계와, (g) 휴대용 단말기 화면에서 제공된 댄스 영상에 의해 촬영된 사용자의 움직임을 입력받아 사용자 움직임 정보를 검출하는 단계와, (h) 상기 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 패턴정보를 생성하는 단계와, (i) 상기 생성된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 사용자 음성신호의 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출하는 단계와, (j) 상기 생성된 음정정보, 패턴정보, 시간정보 중 적어도 하나 이상을 저장부에 미리 저장하고 있는 상응하는 댄스 또는 노래의 패턴 및 음정 데이터와 서로 비교하고, 비교 정도에 따라 음정 또는 패턴의 정확도를 측정하는 단계와, (k) 상기 측정된 음정 또는 패턴의 정확도를 기반으로 저장부에 미리 정해져 있는 레벨별 수준을 기준으로 측정된 정확도에 해당되는 점수를 검출하는 단계와,
(l) 상기 검출된 점수를 디스플레이부에 표시하여 사용자에게 자신의 댄스 또는 음악 점수를 제공하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
[0026] 바람직하게 상기 검출된 사용자 음성 신호 또는 사용자 움직임 정보를 소셜 네트워킹 서비스(Social Networking Service : SNS)를 통해 제공하는 단계와, 상기 공유된 사용자 음성 신호 또는 사용자 움직임 정보에 따른 평가 및 의견을 소셜 네트워킹 서비스(Social Networking Service : SNS)를 위해 구축된 네트웍 망을 통해 서로 공유하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
[0027] 이상에서 설명한 바와 같은 본 발명에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치 및 방법은 다음과 같은 효과가 있다.
[0028] 첫째, 휴대 가능한 모바일 단말기를 이용하여 댄스 또는 노래를 반복해서 재생하거나 자신의 모습을 촬영한 화상과 비교함으로써, 댄스 및 노래를 배움에 있어서 장소나 시간에 구애받지 않을 수 있다.
[0029] 둘째, 노래는 소절별로 가사이나 반주음을, 댄스는 동작이나 리듬별로 동작을 분리해서 제공하고, 또한 사용자의 요구에 의해서 반복 재생하는 기능을 갖도록 구성하여 사용자가 노래를 부르기 힘든 소절을 충분히 편리하게 연습할 수 있다.
[0030] 셋째, 사용자의 움직임 및 노래 소리를 분석하여 사용자에게 어울리는 적어도 하나의 댄스 또는 노래를 추천하여 제공함으로써, 사용자가 자신에게 어울리고, 부르기 쉬운 댄스나 노래를 용이하게 선택할 수 있다.
[0031] 넷째, 실제 댄서나 가수 또는 실제 댄서나 가수의 캐리커처(caricature)를 통해 학습 서비스를 제공함으로써, 사용자의 흥미를 높일 수 있고 댄서나 가수들의 특색을 추가로 학습할 수 있어 사용자가 보다 쉽게 파악할 수 있는 효과가 있다.
[0032] 다섯째, SNS(Social Networking Service) 커뮤니티를 통해 다른 사람들로부터 점수를 통해 평가받을 수 있어, 보다 객관적이고 정확한 자신의 실력을 검증받을 수 있다.
[0033] 도 1 은 본 발명의 실시예에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치의 구조를 나타낸 구성도
도 2 는 도 1의 매칭 처리부의 내부 구조를 상세히 나타낸 구성도
도 3 은 본 발명의 실시예에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법을 설명하기 위한 흐름도
도 4 는 휴대용 단말기에 댄스 및 노래 학습 서비스의 응용 프로그램을 실행한 경우에 휴대용 단말기 화면에 표시되는 앱(App) 제공 서비스 화면
도 5a, 도 5b는 도 3에서 사용자 음성의 유사도를 측정하는 과정을 설명하기 위한 도면
도 6 은 도 3에서 사용자 움직임의 유사도를 측정하는 과정을 설명하기 위한 도면도 7 은 본 발명의 바람직한 실시예에 따른 모바일 컨텐츠를 이용한 노래 학습 서비스를 나타낸 화면
[0034] 본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
[0035] 본 발명에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
[0036] 도 1 은 본 발명의 실시예에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치의 구조를 나타낸 구성도이다.
[0037] 도 1과 같이, 댄스 및 노래 학습 서비스 제공 장치는 노래 처리부(100)와, 댄스 처리부(200)와, 분석부(300)와, 저장부(400)와, 재생 처리부(500)와, 커뮤니티 관리부(600)와, 유무선 통신부(700)로 구성된다. 이때, 상기 댄스 및 노래 학습 서비스 제공 장치는 휴대용 단말기 내부에 포함되어 구성되는 것이 바람직하며, 이를 통해 사용자는 자신의 휴대용 단말기를 통해 공간적, 시간적 제약 없이 댄스 및 노래 학습 서비스 제공받을 수 있게 된다.
[0038] 상기 노래 처리부(100)는 사용자에게 음악소리를 제공하고 사용자의 음성신호를 입력받는다. 이에 따라, 상기 노래 처리부(100)는 사용자의 음성신호를 입력받는 마이크(110)와, 외부로 음악소리를 출력하는 스피커(120)를 포함한다.
[0039] 상기 댄스 처리부(200)는 디스플레이부(600)에서 제공되는 댄스 영상을 통해 이루어지는 사용자의 움직임을 검출한다. 이에 따라, 상기 댄스 처리부(200)는 사용자의 움직임 영상을 촬영하는 카메라부(210)와, 사용자의 움직임을 센싱하는 센서부(220)를 포함한다.
[0040] 상기 분석부(300)는 노래 처리부(100) 및 댄스 처리부(200)로부터 입력되는 신호를 서로 분리하여 사용자의 음향 또는 움직임을 미리 저장되어 있는 기준정보와 매칭시켜, 매칭정도에 따라 점수를 산출하거나 댄스/노래를 검출한다. 이에 따라, 상기 분석부(300)는 신호 변환부(310)와, 패턴 처리부(320)와, 음향 처리부(330)와, 매칭 처리부(340)와, 점수 생성부(350)와, 댄스/노래 검출부(360)를 포함한다.
[0041] 이때, 상기 신호 변환부(310)는 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성 신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 스틸 이미지로 변환된 패턴정보를 생성한다. 그리고 상기 패턴 처리부(320)는 신호 변환부(310)에서 검출된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 음향 처리부(330)는 상기 신호 변환부(310)에서 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간 정보를 검출한다. 또한 상기 매칭 처리부(340)는 패턴 처리부(320) 및 음향 처리부(300)에서 검출된 정보를 저장부(400)에 미리 저장하고 있는 상응하는 댄스 및 노래의 패턴 및 음정 데이터와 서로 비교한다. 이에 따라 상기 매칭 처리부(340)는 도 2에서 도시하고 있는 것과 같이 신호 변환부(310)에서 생성한 음정/패턴 정보와 저장부(400)에 저장되어 있는 기준 음정/패턴 정보를 서로 비교하여 음정/패턴의 정확도를 측정하는 음정/패턴 측정기(341)와, 음향 처리부(330) 또는 패턴 처리부(320)에서 검출한 시간정보와 저장부(400)에 저장되어 있는 기준 시간정보를 서로 비교하여 박자/움직임의 정확도를 측정하는 박자 측정기(342)와, 상기 음정 측정기(341) 및 박자 측정기(342)에서 측정된 정확도에 따라 유사도 정도를 측정하는 유사도 측정기(343)를 포함한다.
[0042] 그리고 점수 생성부(350)는 상기 매칭 처리부(340)에서의 비교 결과에 따라 미리 정해져 있는 레벨별 수준을 검색하여 해당되는 점수를 검출한다. 이때, 당연히 정확도가 높을수록 검출되는 점수도 높아지게 된다.
[0043]한편, 상기 댄스/노래 검출부(360)는 상기 매칭 처리부(340)에서의 비교 결과에 따라 그 매칭 정도가 높은 적어도 1개 이상의 댄스 및 노래정보를 저장부(400)에서 검색하여 검출하고, 이를 사용자에게 추천하게 된다. 이때, 상기 댄스/노래 검출부(360)는 사용자가 자신에게 맞는 댄스나 노래의 추천을 요청한 경우에 수행된다.
[0044] 그리고 상기 저장부(400)는 노래 정보, 댄스 정보, 사용자 정보를 저장하고 있으며, 이에 따라, 상기 저장부(400)는 노래 정보 및 가수 컨텐츠 정보를 저장하는 노래 정보 DB(410)와, 댄스 정보 및 댄서 컨텐츠 정보를 저장하는 댄스 정보 DB(420)와, 사용자의 녹음정보, 개인정보, 누적점수 정보, 추천된 댄스/노래 정보를 저장하는 사용자 정보 DB(430)를 포함한다.
[0045] 또한 상기 재생 처리부(500)는 분석부(300)에서 분석된 점수 또는 댄스/노래 정보를 저장부(400)에 저장하고 디스플레이부(600)에 제공하거나, 요청된 댄스 또는 노래 정보를 저장부(400)에서 검색하여 댄서 컨텐츠나 가수 컨텐츠와 댄스 및 노래 정보를 결합하여 디스플레이부(600) 또는 마이크(120)를 통해 출력한다. 이때, 상기 댄스 및 가수 컨텐츠는 해당 노래 또는 댄스를 공중파나 케이블 방송에서 부르거나 추고 있는 방송인(가수, 작곡가, 댄서 등)이거나, 또는 이들의 캐리커처를 포함한다.
[0046] 또한 상기 커뮤니티 관리부(600)는 동일한 댄스/음악, 또는 서비스를 제공받는 회원들 간에 서로 소셜 네트워킹 서비스(Social Networking Service : SNS)를 제공하기 위해 네트웍 망을 구축하고 서로 정보를 공유시켜 회원들간에 의견 및 평가를 공유하도록 관리한다. 이러한 커뮤니티 서비스는 이미 공지된 서비스로서, 이에 따른 상세한 설명은 생략한다.
[0047] 또한 상기 유무선 통신부(700)는 소셜 네트워킹 서비스(Social Networking Service : SNS)를 위해 구축된 네트웍 망으로 서로간의 의견 및 평가를 공유할 수 있도록 채널을 구축하여 데이터를 송수신한다.
[0048] 이와 같이 구성된 본 발명에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
[0049] 도 3 은 본 발명의 실시예에 따른 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법을 설명하기 위한 흐름도이다.
[0050] 도 3을 참조하여 설명하면, 먼저 사용자 자신의 휴대용 단말기에 댄스 및 노래 학습 서비스의 응용 프로그램을 설치하고 이를 실행한다(S100). 이에 따라, 도 4에서 도시하고 있는 것과 같이 댄스 및 노래 학습 서비스를 실행하면 휴대용 단말기 화면에 앱(App) 제공 서비스 화면이 표시된다.
[0051] 이어 휴대용 단말기 화면에 제공되는 앱(App) 제공 서비스를 통해, 댄스/노래 배우기 또는 댄스/노래 추천 중 어느 하나를 선택한다(S200).
[0052] 사용자가 댄스/노래 추천을 선택한 경우를 먼저 설명하면(S300), 다시 화면에 댄스 및 노래 중 추천받고자 하는 서비스 정보를 입력받는다(S301). 그리고 노래 추천 서비스를 입력받은 경우는 저장부(400)에 미리 저장하고 있는 테스트용 곡(음원)을 휴대용 단말기 화면에 제공하고(S302), 제공된 테스트용 곡(음원)에 의해 불린 노래를 마이크(110)를 통해 입력받아 사용자 음성 신호를 검출한다(S303). 또한 댄스 추천 서비스를 입력받은 경우는 저장부(400)에 미리 저장하고 있는 테스트용 댄스 영상을 휴대용 단말기 화면에 제공하고(S304), 제공된 테스트용 댄스 영상에 의해 촬영된 사용자의 움직임을 카메라부(210) 및 센서부(220) 중 적어도 하나를 통해 입력받아 사용자 움직임 정보를 검출한다(S305).
[0053] 이어 신호 변환부(310)를 이용하여 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터
를 검출하여 패턴정보를 생성한다(S306).
[0054] 또한 상기 생성된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 사용자 음성신호의 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출한다(S307).
[0055] 이어 매칭 처리부(340)를 이용하여 상기 생성된 음정정보, 패턴정보, 시간정보 중 적어도 하나 이상을 저장부(400)에 미리 저장하고 있는 상응하는 댄스 및 노래의 패턴 및 음정 데이터와 서로 비교한다. 그리고 비교 정도에 따라 음정/패턴의 정확도를 측정하고, 저장부(400)에 미리 정해져 있는 노래 및 댄스 정보 중 측정된 정확도의 정도가 높은 적어도 1개 이상의 댄스 및 노래정보를 검색하여 검출하고(S308), 이를 디스플레이부(600)에 표시하여 사용자에게 어울리고, 배우기 쉬운 댄스 또는 음악을 추천한다(S309).
이때, 음정/패턴의 정확도를 측정하는 방법에 [0056] 대해 상세히 살펴보면 다음과 같다.
[0057] 먼저, 음정의 정확도를 측정하는 방법은 도 5a에서 도시하고 있는 것과 같이, 신호 변환부(310)를 이용하여 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 이어 음향 처리부(330)를 통해 주파수 데이터로 변환된 음정정보를 시간단위로 분리하여 시간단위로 변화되는 시간정보를 검출한다. 그리고 이렇게 생성된 음정정보 및 시간정보를 도 5b에서 도시하고 있는 것과 같이 저장부(400)에 미리 저장되어 있는 노래들의 음정정보 및 시간정보를 기준정보로 설정하여 서로 비교한다. 이때, 저장부(400)에 저장되어 있는 노래의 음정정보 및 시간정
보는 해당 가수의 음반을 이용하여 검출한 정보이다. 이에 따라, 주파수 데이터의 대역폭 및 시간정보를 통한 박자의 매칭을 서로 비교할 수 있게 된다. 그리고 주파수 데이터의 대역폭 및 시간단위의 매칭정보를 통해 음정
의 정확도를 측정하게 된다.
[0058] 또한 패턴의 정확도를 측정하는 방법은 도 6에서 도시하고 있는 것과 같이, 신호 변환부(310)를 이용하여 카메라에 잡힌 영상을 패턴화시켜 스틸 이미지로 구성하여 패턴정보를 생성하고, 이어 패턴 처리부(330)를 통해 스틸 이미지로 변환된 패턴정보를 시간단위로 변화되는 시간정보를 검출한다. 그리고 이렇게 생성된 패턴정보 및 시간정보를 저장부(400)에 미리 저장되어 있는 해당 댄싱의 패턴정보 및 시간정보를 기준정보로 설정하여 서로 비교한다. 이때, 저장부(400)에 저장되어 있는 댄싱의 패턴정보 및 시간정보는 해당 댄싱의 댄서의 움직임을 이용하여 검출한 정보이다. 이에 따라, 스틸 이미지의 변화 및 시간정보를 통한 박자(움직임)의 매칭을 서로 비교 할 수 있게 된다. 그리고 스틸 이미지의 변화 및 시간단위의 매칭정보를 통해 댄스의 정확도를 측정하게 된다.
[0059] 한편, 휴대용 단말기 화면에 제공되는 앱(App) 제공 서비스 중, 댄스/노래 배우기를 선택하면(S200), 다시 화면에 댄스 및 노래 중 배우고자 하는 서비스 정보를 입력받는다(S401). 그리고 노래 배우기 서비스를 입력받은 경우는 저장부(400)에 미리 저장하고 있는 노래 정보의 리스트를 휴대용 단말기 화면에 제공하고(S402), 이어 제공된 리스트 중 선택된 노래의 곡(음원)을 다시 휴대용 단말기 화면에 제공한다(S403). 그러면, 휴대용 단말기 화면에서 제공된 노래의 곡(음원)에 의해 불린 노래를 마이크(110)를 통해 입력받아 사용자 음성 신호를 검출한다(S404). 또한 댄스 배우기 서비스를 입력받은 경우는 저장부(400)에 미리 저장하고 있는 댄스 정보의 리스트를 휴대용 단말기 화면에 제공하고(S405), 이어 제공된 리스트 중 선택된 댄스의 영상을 휴대용 단말기 화면에 제공한다(S406). 그러면, 휴대용 단말기 화면에서 제공된 댄스 영상에 의해 촬영된 사용자의 움직임을 카메라부(210) 및 센서부(220) 중 적어도 하나를 통해 입력받아 사용자 움직임 정보를 검출한다(S407).
[0060] 이어 신호 변환부(310)를 이용하여 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 패턴정보를 생성한다(S408).
[0061] 또한 상기 생성된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 사용자 음성신호의 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출한다(S409).
[0062] 이어 매칭 처리부(340)를 이용하여 상기 생성된 음정정보, 패턴정보, 시간정보 중 적어도 하나 이상을 저장부(400)에 미리 저장하고 있는 상응하는 댄스 및 노래의 패턴 및 음정 데이터와 서로 비교한다. 그리고 비교 정도에 따라 음정/패턴의 정확도를 측정하고, 저장부(400)에 미리 정해져 있는 레벨별 수준을 기준으로 측정된 정확도에 해당되는 점수를 검출한다(S410). 이때, 패턴정보의 유사도 측정 및 음정정보의 유사도 측정은 위에서 설명하고 있는 방법과 동일하게 이루어지며, 상세한 설명은 생략한다.
[0063] 그리고 이렇게 검출된 점수를 디스플레이부(600)에 표시하여 사용자에게 자신의 댄스 또는 음악 점수를 제공한다(S411).
[0064] 한편 사용자의 선택에 따라 사용자 음성 신호 또는 사용자 움직임 정보를 소셜 네트워킹 서비스(Social Networking Service : SNS)를 통해 공유하고자 하는 경우에는(S500), 소셜 네트워킹 서비스(Social Networking Service : SNS)를 위해 구축된 네트웍 망을 통해 자신의 댄스 또는 노래를 평가받거나 다양한 의견을 공유한다(S600).
이와 같은 방법을 통해 사용자의 휴대용 단말기로 이루어지는 모바일 컨텐츠를 [0065] 이용한 노래 학습 서비스 제공 방법을 도면을 참조하여 상세히 설명하면 다음과 같다.
[0066] 도 7 은 본 발명의 바람직한 실시예에 따른 모바일 컨텐츠를 이용한 노래 학습 서비스를 나타낸 화면이다.
[0067] 도 7과 같이, 휴대용 단말기의 화면 상단에 표시되어 있는 노래 배우기 버튼을 선택하고, 리스트되어 있는 노래 중 하나를 선택하면, 선택된 노래의 한 소절이 화면에 악보와 함께 표시된다.
[0068] 이어, 가수 또는 작곡가가 화면에 표시된 한 소절에 대한 노래 강의 동영상이 제공된다. 이를 통해 사용자는 제공되는 노래 강의 동영상을 통해 화면에 표시된 한 소절에 대한 노래를 학습하게 된다.
[0069] 그리고 화면에 표시된 한 소절에 대한 반주가 나오고, 사용자는 반주에 맞추어 노래를 부르면 본인 목소리로 노래가 녹음되게 된다. 이때, 녹음되는 본인 목소리의 노래는 다시 듣기, 다시 녹음이가 가능하다.
[0070] 이렇게 한 소절에 대한 학습이 완료되면 다음 소절 배우기 버튼을 누르고 노래의 다음 소절 배우기로 이동하게 된다. 그리고 이러한 과정을 반복하여 선택된 노래를 모두 학습하게 된다.
[0071] 노래가 10소절로 되어 있으면, 가수 소개 영상+10소절(소절 등기, 강의 보기, 내 목소리로 녹음/듣기)+최종강의 그리고 마지막에 전곡 부르기를 제공한다. 이때도 전곡 부르기의 녹음, 다시 듣기, 다시 녹음이 가능하다.
[0072] 이처럼 사용자는 휴대용 단말기에 표시된 노래 배우기 버튼을 통해 노래 학습 화면이 활성화되면, 악보와 자막이 화면에 나오고 언제든지 노래 학습이 가능해진다.
[0073] 이러한 과정을 통해 선택한 노래의 배우기 과정을 다 이수하면 노래 평가받기 메뉴로 이동 가능하다. 이때, 노래 평가 받기 메뉴는 노래 배우기 과정이 완료되지 않으면 메뉴가 활성화되지 않도록 설정한다. 그러나 이는 하나의 일 실시예일 뿐 소절 배우기 과정에서도 소절별로 노래 평가받기를 수행할 수도 있다.
[0074] 그리고 노래 평가받기 메뉴로 이동되면 선택된 노래 전곡의 반주가 휴대용 단말기로 제공되고, 사용자는 노래 전곡의 반주에 맞추어 노래를 부른다. 그러면 본인 목소리로 전곡 노래가 녹음되고, 녹음된 노래는 매칭 처리부(340)를 통해 기준 노래와 비교하여 매칭 정도에 따른 점수를 검출하여 휴대용 단말기로 제공한다.
[0075] 또한 사용자의 선택에 따라 사용자 음성 신호 또는 사용자 움직임 정보를 소셜 네트워킹 서비스(Social Networking Service : SNS)를 통해 공유하여 자신의 댄스 또는 노래를 평가받거나 다양한 의견을 공유할 수도 있다.
[0076] 상기에서 20설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
생략

Claims (12)

  1. 마이크 및 스피커를 포함하고, 사용자에게 음악소리를 제공하고 사용자의 음성신호를 입력받는 노래 처리부와,
    디스플레이부에서 제공되는 댄스 영상을 통해 이루어지는 사용자의 움직임을 검출하는 댄스 처리부와,
    상기 노래 처리부 또는 댄스 처리부로부터 입력되는 신호를 분리하여 사용자의 음향 또는 움직임을 미리 저장되어 있는 기준정보와 매칭시켜, 매칭정도에 따라 점수를 산출하거나 댄스/노래를 검출하는 분석부와,
    노래 정보, 댄스 정보, 사용자 정보를 저장하고 있는 저장부와,
    상기 분석부에서 분석된 점수 또는 댄스/노래 정보를 저장부에 저장하고 디스플레이부에 제공하거나, 요청된 댄스 또는 노래 정보를 저장부에서 검색하여 댄서 컨텐츠나 가수 컨텐츠와 댄스 및 노래 정보를 결합하여 디스플레이부 또는 마이크를 통해 출력하는 재생 처리부를 포함하여 구성되는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  2. 제 1 항에 있어서,
    상기 댄스 및 노래 학습 서비스 제공 장치는 휴대용 단말기 내부에 포함되어 구성되는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  3. 제 1 항에 있어서, 상기 댄스 처리부는
    사용자의 움직임 영상을 촬영하는 카메라부와,
    사용자의 움직임을 센싱하는 센서부를 포함하는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  4. 제 1 항에 있어서, 상기 분석부는
    입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여
    음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 스틸 이미지로 변환된 패턴정보를 생성하는 신호 변환부와,
    상기 신호 변환부에서 검출된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하는 패턴 처리부와,
    상기 신호 변환부에서 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출하는 음향 처리부와,
    상기 패턴 처리부 및 음향 처리부에서 검출된 정보를 저장부에 미리 저장하고 있는 상응하는 댄스 및 노래의 패턴 및 음정 데이터와 서로 비교하는 매칭 처리부와,
    상기 매칭 처리부에서의 비교 결과에 따라 미리 정해져 있는 레벨별 수준을 검색하여 해당되는 점수를 검출하는 점수 생성부와,
    상기 매칭 처리부에서의 비교 결과에 따라 그 매칭 정도가 높은 순으로 적어도 1개 이상의 댄스 및 노래정보를 저장부에서 검색하여 검출하고, 이를 사용자에게 추천하는 댄스/노래 검출부를 포함하는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  5. 제 4 항에 있어서, 상기 매칭 처리부는
    신호 변환부에서 생성한 음정/패턴 정보와 저장부에 저장되어 있는 기준 음정/패턴 정보를 서로 비교하여 음정/패턴의 정확도를 측정하는 음정/패턴 측정기와,
    음향 처리부 또는 패턴 처리부에서 검출한 시간정보와 저장부에 저장되어 있는 기준 시간정보를 서로 비교하여 박자/움직임의 정확도를 측정하는 박자 측정기와,
    상기 음정 측정기 및 박자 측정기에서 측정된 정확도에 따라 유사도 정도를 측정하는 유사도 측정기를 포함하는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  6. 제 1 항에 있어서,
    상기 댄스 및 가수 컨텐츠는 해당 노래 또는 댄스를 공중파나 케이블 방송에서 부르거나 추고 있는 방송인(가수, 작곡가, 댄서 등)이거나, 또는 이들의 캐리커처를 포함하는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  7. 제 1 항에 있어서, 상기 댄스 및 노래 학습 서비스 제공 장치는
    동일한 댄스/음악, 또는 서비스를 제공받는 회원들 간에 서로 소셜 네트워킹 서비스(Social Networking Service: SNS)를 제공하기 위해 네트웍 망을 구축하고 서로 정보를 공유시켜 회원들 간에 의견 및 평가를 공유하도록 관리하는 커뮤니티 관리부와, 소셜 네트워킹 서비스(Social Networking Service : SNS)를 위해 구축된 네트웍 망으로 서로간의 의견 및 평가를 공유할 수 있도록 채널을 구축하여 데이터를 송수신하는 유무선 통신부를 포함하여 이루어지는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치.
  8. (A) 휴대용 단말기에서 댄스 및 노래 학습 서비스의 응용 프로그램이 실행되면, 휴대용 단말기 화면에 앱(App)제공 서비스 화면을 표시하는 단계와,
    (B) 휴대용 단말기 화면에 제공되는 앱(App) 제공 서비스를 통해, 댄스/노래 추천이 선택되면, 화면에 댄스 및 노래 중 추천받고자 하는 서비스 정보를 입력받는 단계와,
    (C) 상기 (B) 단계에서 노래 추천 서비스가 입력되면, 저장부에 미리 저장하고 있는 테스트용 곡(음원)을 휴대용 단말기 화면에 제공하고, 제공된 테스트용 곡(음원)에 의해 불린 노래를 마이크를 통해 입력받아 사용자 음성 신호를 검출하는 단계와,
    (D) 상기 (B) 단계에서 댄스 추천 서비스가 입력되면, 저장부에 미리 저장하고 있는 테스트용 댄스 영상을 휴대용 단말기 화면에 제공하고, 제공된 테스트용 댄스 영상에 의해 촬영된 사용자의 움직임을 입력받아 사용자 움직임 정보를 검출하는 단계와,
    (E) 상기 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 패턴정보를 생성하는 단계와,
    (F) 상기 생성된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 사용자 음성신호의 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출하는 단계와,
    (G) 상기 생성된 음정정보, 패턴정보, 시간정보 중 적어도 하나 이상을 저장부에 미리 저장하고 있는 상응하는 댄스 또는 노래의 패턴 및 음정 데이터와 서로 비교하고, 비교 정도에 따라 음정/패턴의 정확도를 측정하는 단계와,
    (H) 저장부에 미리 정해져 있는 노래 또는 댄스 정보 중 상기 측정된 정확도의 정도가 높은 순서로 적어도 1개 이상의 댄스 또는 노래정보를 검색하여 검출하는 단계와,
    (I) 상기 검출된 댄스 또는 노래정보를 휴대용 단말기 화면에 표시하여 사용자에게 어울리고, 배우기 쉬운 댄스 또는 음악을 추천하는 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법.
  9. 제 8 항에 있어서, 상기 (G) 단계는
    입력되는 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하는 단계와,
    상기 생성된 음정정보를 시간단위로 분리하여 시간단위로 변화되는 시간정보를 검출하는 단계와,
    상기 음정정보 및 시간정보를 저장부에 미리 저장되어 있는 노래들의 음정정보 및 시간정보를 기준정보로 설정하여 서로 비교하는 단계와,
    상기 주파수 데이터의 대역폭 및 시간단위의 매칭정보를 통해 음정의 정확도를 측정하는 단계를 포함하는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법.
  10. 카메라에 잡힌 영상을 패턴화시켜 스틸 이미지로 구성하여 패턴정보를 생성하는 단계와,
    상기 생성된 패턴정보를 시간단위로 변화되는 시간정보를 검출하는 단계와,
    상기 생성된 패턴정보 및 시간정보를 저장부에 미리 저장되어 있는 해당 댄싱의 패턴정보 및 시간정보를 기준정보로 설정하여 서로 비교하는 단계와,
    상기 스틸 이미지의 변화 및 시간단위의 매칭정보를 통해 댄스의 정확도를 측정하는 단계를 포함하는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법.
  11. 제 8 항에 있어서,
    (a) 상기 (A) 단계에서 휴대용 단말기 화면에 제공되는 앱(App) 제공 서비스를 통해, 댄스/노래 배우기가 선택되면, 화면에 댄스 및 노래 중 배우고자 하는 서비스 정보를 입력받는 단계와,
    (b) 상기 (a) 단계에서 노래 배우기 서비스가 입력되면, 저장부에 미리 저장하고 있는 노래 정보의 리스트를 휴대용 단말기 화면에 제공하는 단계와,
    (c) 상기 제공된 리스트 중 선택된 노래의 곡(음원)을 다시 휴대용 단말기 화면에 제공하는 단계와,
    (d) 휴대용 단말기 화면에서 제공된 노래 정보에 의해 불린 노래를 마이크를 통해 입력받아 사용자 음성 신호를 검출하는 단계와,
    (e) 상기 (a) 단계에서 댄스 배우기 서비스가 입력되면, 저장부에 미리 저장하고 있는 댄스 정보의 리스트를 휴대용 단말기 화면에 제공하는 단계와,
    (f) 상기 제공된 리스트 중 선택된 댄스의 영상을 다시 휴대용 단말기 화면에 제공하는 단계와,
    (g) 휴대용 단말기 화면에서 제공된 댄스 영상에 의해 촬영된 사용자의 움직임을 입력받아 사용자 움직임 정보를 검출하는 단계와,
    (h) 상기 입력되는 신호가 음성신호인지 영상신호인지를 판단하여 음성신호인 경우 음성신호를 주파수 데이터로 변환하여 음정정보를 생성하고, 영상신호인 경우 영상을 캡쳐하여 3차원 좌표데이터를 검출하여 패턴정보를 생성하는 단계와,
    (i) 상기 생성된 3차원 좌표데이터를 이용하여 사용자의 움직임의 패턴을 시간단위로 분리하여 시간정보를 검출하고, 상기 사용자 음성신호의 변환된 주파수 데이터를 이용하여 시간단위로 변화되는 시간정보를 검출하는 단계와,
    (j) 상기 생성된 음정정보, 패턴정보, 시간정보 중 적어도 하나 이상을 저장부에 미리 저장하고 있는 상응하는 댄스 또는 노래의 패턴 및 음정 데이터와 서로 비교하고, 비교 정도에 따라 음정 또는 패턴의 정확도를 측정하는 단계와,
    (k) 상기 측정된 음정 또는 패턴의 정확도를 기반으로 저장부에 미리 정해져 있는 레벨별 수준을 기준으로 측정된 정확도에 해당되는 점수를 검출하는 단계와,
    (l) 상기 검출된 점수를 디스플레이부에 표시하여 사용자에게 자신의 댄스 또는 음악 점수를 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법.
  12. 제 11 항에 있어서,
    상기 검출된 사용자 음성 신호 또는 사용자 움직임 정보를 소셜 네트워킹 서비스(Social Networking Service :SNS)를 통해 제공하는 단계와,
    상기 공유된 사용자 음성 신호 또는 사용자 움직임 정보에 따른 평가 및 의견을 소셜 네트워킹 서비스(Social Networking Service : SNS)를 위해 구축된 네트웍 망을 통해 서로 공유하는 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 방법.

KR1020180004781A 2018-01-14 2018-01-14 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템 KR20190093770A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180004781A KR20190093770A (ko) 2018-01-14 2018-01-14 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180004781A KR20190093770A (ko) 2018-01-14 2018-01-14 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템

Publications (1)

Publication Number Publication Date
KR20190093770A true KR20190093770A (ko) 2019-08-12

Family

ID=67624846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180004781A KR20190093770A (ko) 2018-01-14 2018-01-14 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템

Country Status (1)

Country Link
KR (1) KR20190093770A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968059A (zh) * 2019-12-04 2020-04-07 合肥工业大学 一种生产线多机共享驱动系统的设计方法
KR102297403B1 (ko) 2020-02-25 2021-09-01 공주대학교 산학협력단 음악 추천 장치 및 기록매체
KR20220145675A (ko) * 2021-04-22 2022-10-31 국민대학교산학협력단 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
US11803167B2 (en) 2019-12-04 2023-10-31 Hefei University Of Technology Energy service system of multi-machine production line and design method of shared drive system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968059A (zh) * 2019-12-04 2020-04-07 合肥工业大学 一种生产线多机共享驱动系统的设计方法
CN110968059B (zh) * 2019-12-04 2020-10-02 合肥工业大学 一种生产线多机共享驱动系统的设计方法
US11803167B2 (en) 2019-12-04 2023-10-31 Hefei University Of Technology Energy service system of multi-machine production line and design method of shared drive system
KR102297403B1 (ko) 2020-02-25 2021-09-01 공주대학교 산학협력단 음악 추천 장치 및 기록매체
KR20220145675A (ko) * 2021-04-22 2022-10-31 국민대학교산학협력단 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치

Similar Documents

Publication Publication Date Title
CN105391764B (zh) 用于监测乐器学习的方法及装置
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
Yamada et al. A rhythm practice support system with annotation-free real-time onset detection
KR20190093770A (ko) 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템
US8987571B2 (en) Method and apparatus for providing sensory information related to music
JP4934180B2 (ja) 撥弦楽器演奏評価装置
KR20140041266A (ko) 모바일 컨텐츠를 이용한 댄스 및 노래 학습 서비스 제공 장치 및 방법
KR101917216B1 (ko) 보컬 평가 시스템
US10235898B1 (en) Computer implemented method for providing feedback of harmonic content relating to music track
Friberg A fuzzy analyzer of emotional expression in music performance and body motion
KR102165844B1 (ko) 피아노 연주 학습 보조 장치
CN110853624A (zh) 言语康复训练系统
JP2007271977A (ja) 評価基準判定装置、制御方法及びプログラム
JP6409652B2 (ja) カラオケ装置、プログラム
JP6501344B2 (ja) 聴取者評価を考慮したカラオケ採点システム
JP6944357B2 (ja) 通信カラオケシステム
JP7175120B2 (ja) 音楽療法のための歌唱補助装置
KR20210067045A (ko) 음악 학원 추천 시스템 및 그 방법
JP2007256619A (ja) 評価装置、制御方法及びプログラム
JP2013156543A (ja) 投稿再生装置及びプログラム
WO2022070639A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20230353800A1 (en) Cheering support method, cheering support apparatus, and program
KR101953964B1 (ko) 스마트 디지털 프레임 및 이를 이용하는 컨텐츠 제공 시스템
JP6352164B2 (ja) 聴取者評価を考慮したカラオケ採点システム
CN110164242B (zh) 一种声乐演唱模拟训练平台