KR102020641B1 - 영상을 이용한 맥박 조율을 위한 음원 생성 장치 - Google Patents

영상을 이용한 맥박 조율을 위한 음원 생성 장치 Download PDF

Info

Publication number
KR102020641B1
KR102020641B1 KR1020180041670A KR20180041670A KR102020641B1 KR 102020641 B1 KR102020641 B1 KR 102020641B1 KR 1020180041670 A KR1020180041670 A KR 1020180041670A KR 20180041670 A KR20180041670 A KR 20180041670A KR 102020641 B1 KR102020641 B1 KR 102020641B1
Authority
KR
South Korea
Prior art keywords
sound source
user
pulse
specific
wave signal
Prior art date
Application number
KR1020180041670A
Other languages
English (en)
Inventor
홍광석
조상일
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180041670A priority Critical patent/KR102020641B1/ko
Application granted granted Critical
Publication of KR102020641B1 publication Critical patent/KR102020641B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 영상을 이용하여 사용자의 맥박 상태를 반영하는 음원의 생성 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 사용자의 영상을 촬영하며, 상기 촬영된 영상에서 상기 사용자의 피부 영역을 검출하고, 상기 검출된 피부 영역의 특정 영역으로부터 상기 사용자의 맥박 상태를 나타내는 제 1 맥파 신호를 추출하며, 상기 제 1 맥파 신호의 샘플 수를 특정 음원과 동일한 길이로 확장하기 위한 보간(interpolation)을 수행하고, 상기 제 1 맥파 신호에 기초하여 상기 특정 음원을 처리하며, 상기 처리된 특정 음원을 재생하되, 상기 특정 음원은 상기 사용자의 상기 맥박 상태에 따라 처리된다.

Description

영상을 이용한 맥박 조율을 위한 음원 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING FOR PULSE TUNING USING IMAGE}
본 발명은 영상을 이용하여 맥박 조율을 위한 음원을 생성하기 위한 방법으로, 더욱 상세하게는 사용자의 심전도 신호 또는 영상을 이용하여 사용자의 맥파 신호를 산출하고, 산출된 맥파 신호 또는 심전도 신호를 이용하여 사용자에게 맞춤형 음원을 생성하여 제공하기 위한 방법 및 장치에 관한 것이다.
최근 헬스케어 산업의 성장으로 사용자의 맥박에 맞는 음악을 자동으로 추천하는 연구가 진행되어왔다.
인간은 자신의 맥박수와 동일한 빠르기의 음악에 본능적으로 이끌리게 되며 음악에 빠르기에 따라 맥박수가 동조됨을 확인한 연구가 다수 발표되었으며, 자신이 좋아하는 음악을 듣는 경우 운동 후 심박수 안정에 많은 도움이 된다.
선행기술: 공개특허 제10-2017-0088343호
기존의 맥박에 따른 음악 추천서비스는 단순히 사용자의 맥박에 따라 음원을 추천해 줄 뿐 사용자의 음악 선호도를 고려하지 않는다는 문제점이 존재한다.
또한, 시간에 따라 유동적으로 변하는 사용자의 맥박을 측정 이후 시간에도 일정하다는 가정하에 음원 추천이 이루어져 추천 받은 음원 청취 시 시간에 따라 변화하는 맥박상태가 고려되지 않는다는 단점이 존재한다.
따라서 본 발명은 기존 맥박에 따른 음원 추천 기술의 한계 및 문제점을 극복하고자 사용자의 선호도를 반영하기 위해 별도의 저장소에 저장된 사용자의 선호음악을 이용하여 신호처리를 통해 실시간 맥박에 맞춘 음원을 생성하고 출력 및 저장하는 방법을 제안한다.
또한, 본 발명은 스마트 기기의 카메라, 웨어러블 디바이스의 맥박센서, PPG장치, 심전도계 등을 이용해 맥박정보를 계산하고 맥박 정보에 따라 사용자 선호 음악을 신호처리하여 사용자의 현재 맥박상태가 반영된 음악을 생성하고 이를 실시간 제공 또는 저장하는 방법 및 장치를 제공한다.
또한, 본 발명은 사용자의 현재 맥박수를 고려하여 목표 맥박수를 선정하고, 선정된 목표 맥박수로 현재 맥박수를 유도하기 위한 음원을 생성하기 위한 방법 및 장치를 제공한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 영상을 이용한 음원 생성 방법은 사용자의 영상을 촬영하는 단계; 상기 촬영된 영상에서 상기 사용자의 피부 영역을 검출하는 단계; 상기 검출된 피부 영역의 특정 영역으로부터 상기 사용자의 맥박 상태를 나타내는 제 1 맥파 신호를 추출하는 단계; 상기 제 1 맥파 신호의 샘플 수를 특정 음원과 동일한 샘플링 속도로 확장하기 위한 보간(interpolation)을 수행하는 단계; 상기 제 1 맥파 신호에 기초하여 상기 특정 음원을 처리하는 단계; 및 상기 처리된 특정 음원을 재생하는 단계를 포함하되, 상기 특정 음원은 상기 사용자의 상기 맥박 상태에 따라 처리된다.
또한, 본 발명은, 상기 사용자의 현재 맥박 상태를 측정하는 단계; 상기 현재 맥박 상태에 기초하여 상기 사용자의 현재 맥박수를 특정 맥박수로 변경하기 위해 맥박수에 따른 맥파 신호를 나타내는 맥박수 모델에서 상기 특정 맥박수에 대응되는 제 2 맥파 신호를 선택하는 단계; 상기 제 2 맥파 신호에 기초하여 상기 특정 음원을 처리하는 단계; 및 상기 사용자의 맥박수를 상기 특정 맥박수로 유도하기 위해 상기 처리된 음원을 재생하는 단계를 더 포함하되, 상기 특정 맥박수는 상기 현재 맥박수가 상기 특정 맥박수와 동일해질 때까지 상기 현재 맥박수에 따라 주기적으로 변경된다.
또한, 본 발명에서, 상기 제 1 맥파 신호를 추출하는 경우, 상기 사용자의 맥박 상태를 나타내는 제 1 맥파 신호를 추출하는 단계는, 상기 검출된 피부 영역에서 생체 신호를 추출하기 위해 상기 특정 영역을 선택하는 단계; 상기 특정 영역을 R.G.B 색 공간에서 특정 색 공간으로 변환하는 단계; 상기 변환된 특정 영역에서 특정 색상 값을 이용하여 평균 색상 데이터를 추출하는 단계; 상기 추출된 평균 색상 데이터를 이용하여 생체 신호를 계산하는 단계; 및 상기 계산된 생체 신호에 기초하여 상기 제 1 맥파 신호를 추출하는 단계를 더 포함한다.
또한, 본 발명에서, 상기 특정 색 공간은 YCgCO 색 공간이고, 상기 특정 색상 값은 Cg 색상 값이다.
또한, 본 발명에서, 상기 특정 음원을 처리하는 단계는, 상기 제 1 맥파 신호에 기초하여 주파수 강조 필터 계수를 계산하는 단계; 및 상기 주파수 강조 필터 계수에 기초하여 상기 특정 음원에 주파수 강조 연산을 수행하는 단계를 포함한다.
또한, 본 발명에서, 상기 주파수 강조 연산은 상기 제 1 맥파 신호의 값에 따라 고역 강조 또는 저역 강조에 따라 수행된다.
또한, 본 발명에서, 상기 제 1 맥파 신호의 최대 값이 pp, 상기 제 1 맥파 신호의 최소 값이 pn인 경우, 상기 주파수 강조 필터 계수 α는 아래의 수학식을 통해서 계산된다.
Figure 112018035665514-pat00001
또한, 본 발명에서, 상기 주파수 강조 필터 계수가 α[n], 상기 특정 음원 신호가 x[n]인 경우, 상기 주파수 강조 연산이 수행된 특정 음원 신호 y[n]은 아래의 수학식을 통해서 계산된다.
Figure 112018035665514-pat00002
또한, 본 발명에서, 상기 특정 음원을 처리하는 단계는, 상기 제 1 맥파 신호에 따라 크기가 고정된 윈도우를 천이할 천이 간격을 계산하는 단계; 상기 천이 간격에 따라 상기 특정 음원에서 윈도우 영역을 추출하는 단계, 상기 윈도우 영역은 상기 천이 간격에 따라 상기 윈도우의 위치를 변경함으로써 추출되며; 및 추출된 윈도우 영역을 상기 특정 음원에 중첩시켜 상기 특정 음원을 재구성하는 단계를 포함한다.
또한, 본 발명에서, 기 설정된 기준 천이 간격이 y, 상기 제 1 맥파 신호에서 상기 윈도우에 포함되는 신호들의 평균 값이 pavg, 상기 제 1 맥파 신호의 최대 값이 pmax, 상기 천이 간격의 가중치가 ω인 경우, 상기 천이 간격 β는 아래의 수학식을 통해 계산된다.
Figure 112018035665514-pat00003
또한, 본 발명은, 사용자의 영상을 촬영하는 카메라; 상기 촬영된 영상에서 상기 사용자의 피부 영역을 검출하고, 상기 검출된 피부 영역의 특정 영역으로부터 상기 사용자의 맥박 상태를 나타내는 제 1 맥파 신호를 추출하며, 상기 제 1 맥파 신호의 샘플 수를 특정 음원과 동일한 길이로 확장하기 위한 보간(interpolation)을 수행하고, 상기 제 1 맥파 신호에 기초하여 상기 특정 음원을 처리하는 제어부; 및 상기 처리된 특정 음원을 재생하는 출력부를 포함하는 영상을 이용한 음원 생성 장치를 제공한다.
본 발명의 일 실시 예에 따르면, 사용자의 현재 맥박수를 통해 맥파 신호 또는 심전도 신호를 산출하고, 산출된 맥파 신호 또는 심전도 신호를 이용하여 사용자의 선호 음악을 변조시켜 재생함으로써 사용자의 맥박에 따른 맞춤형 음악을 제공할 수 있는 효과가 있다.
또한, 본 발명의 일 실시 예에 따르면, 맥박에 맞춤음악을 청취한 사용자의 신체적/정신적인 긍정적 효과를 불러일으켜 운동능력의 향상과 심혈관 건강의 개선을 유도할 수 있다는 효과가 있다.
또한, 본 발명의 일 실시 예에 따르면, 사용자의 현재 맥박수를 목표 맥박수로 유도하기 위한 음원을 생성함으로써, 사용자의 심박 안정화와 서맥, 빈맥 및 부정맥의 비정상 맥박을 목표 맥박수로 유도할 수 있다는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상을 이용하여 사용자의 맥박에 따른 음원 생성 방법의 일 예를 나타내는 순서도이다.
도 2는 본 발명의 일 실시 예에 따라 영상으로부터 사용자의 맥박에 따른 신호를 산출하여 음원을 처리하는 방법의 구체적인 일 예를 나타내는 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 영상으로부터 사용자의 맥파 신호를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 사용자의 맥파 신호를 이용하여 음원을 처리하는 방법의 일 예를 나타내는 순서도이다.
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 사용자의 맥파 신호를 이용하여 음원을 처리하는 방법의 일 예를 나타내는 순서도이다.
도 9 내지 도 11은 본 발명의 일 실시 예에 따른 음원 신호의 처리 방법 및 스펙트럼의 일 예를 나타내는 도이다.
도 12는 본 발명의 일 실시 예에 따른 사용자의 맥박을 목표 맥박수로 유도하기 위한 방법의 일 예를 나타내는 순서도이다.
도 13은 본 발명의 일 실시 예에 따른 영상을 이용하여 음원을 처리하기 위한 장치의 일 예를 나타내는 도이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 사용자의 피부가 포함된 영상을 기반으로 사용자의 맥박에 따른 음원을 선택하여 재생하는 방법이다. 이하 설명하는 방법은 카메라가 탑재된 스마트 기기와 같은 장치에서 영상만을 이용하여 사용자의 맥박을 나타내는 맥파 신호를 산출할 수 있으며, 산출된 맥파 신호를 이용하여 음원을 변조시킬 수 있다. 이하 설명하는 기술은 PC, 스마트 폰, 서버 등과 같은 장치에서 수행될 수 있다. 이하 설명의 편의를 위해 컴퓨터 장치가 맥파를 추정한다고 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상을 이용하여 사용자의 맥박에 따른 음원 생성 방법의 일 예를 나타내는 순서도이다.
도 1을 참조하면 사용자의 맥파 신호 또는 심전도 신호(Electrocardiogram: ECG)를 통해서 사용자가 선호하는 특정 음원을 변조시켜 출력함으로써 사용자의 맥박 수 및 선호도를 반영한 음원을 재생할 수 있다.
구체적으로, 컴퓨터 장치는 사용자의 맥파 신호 또는 심전도 신호를 획득할 수 있다(S1010).
이때, 심전도 신호는 심전도계 등을 통해서 획득될 수 있으며, 맥파 신호는 PPG(photo-plethysmogram) 장치와 같은 맥박 센서, 또는 사용자로부터 획득한 영상을 통해서 획득할 수 있다.
구체적으로, 맥파 신호가 사용자로부터 획득한 영상을 통해 획득(또는 산출)되는 경우, 컴퓨터 장치는 사용자로부터 소스 영상을 획득한다. 소스 영상은 얼굴과 같이 피부가 포함된 영상을 의미한다.
컴퓨터 장치는 획득된 영상에서 사용자의 피부 영역을 검출하고, 검출된 피부 영역의 특정 영역 또는 일정한 영역에서 생체신호를 추출할 수 있다. 이때, 컴퓨터 장치는 일반 카메라 또는 적외선 카메라 등을 통해서 사용자의 영상을 촬영할 수 있다.
컴퓨터 장치는 추출된 생체신호를 필터링 과정을 통해서 필터링하여 맥파 신호를 산출할 수 있다.
산출된 맥파 신호 또는 심전도 신호는 보간(interpolation)을 통해 특정 음원과 동일한 샘플링 속도를 갖도록 샘플 개수가 확장될 수 있다(S1020). 이때, 특정 음원은 사용자가 선호하는 음원들이 저장된 음원 저장소에 저장된 음원일 수 있다.
특정 음원은 사용자의 맥박 수가 반영되도록 보간을 통해서 샘플 개수가 확장된 맥파 신호 또는 심전도 신호에 의해서 처리될 수 있다(S1030).
이때 특정 음원은 맥파 신호 또는 심전도 신호에 따른 주파수 저역강조 및 고역강조 기법(주파수 강조 기법)을 통해 처리되거나, 맥파 신호 또는 심전도 신호에 따라 윈도우 천이 간격을 계산하여 재구성됨으로써 처리될 수 있다.
처리된 특정 음원은 장치의 저장소에 저장되고 실시간으로 출력될 수 있다(S1040).
이와 같은 방법을 통해서 컴퓨터 장치는 사용자의 영상을 통해서 맥파 신호 또는 심전도 신호를 산출할 수 있으며, 산출된 맥파 신호 또는 심전도 신호를 이용하여 사용자의 맥박 수 및 선호도를 반영한 맞춤형 음원을 제공할 수 있다.
이하, 각 단계를 구체적으로 살펴보도록 한다.
도 2는 본 발명의 일 실시 예에 따라 영상으로부터 사용자의 맥박에 따른 신호를 산출하여 음원을 처리하는 방법의 구체적인 일 예를 나타내는 순서도이다.
도 2를 참조하면, 사용자의 피부 영상 및 PPG 장치와 같은 맥박 센서를 통해 산출된 맥파 신호 또는 심전도계 등을 통해 산출된 심전도 신호를 통해서 사용자의 맥박 및 선호도를 반영한 음악을 생성할 수 있다.
구체적으로, 컴퓨터 장치는 사용자의 피부 영상 및 PPG 센서와 같은 맥박 센서를 통해 사용자의 맥박 상태를 나타내는 맥파 신호를 획득하거나, 심전도계 등을 통해 사용자의 맥박 상태를 나타내는 심전도 신호를 획득할 수 있다.
사용자의 피부 영상을 통해서 맥파 신호를 획득하는 경우, 컴퓨터 장치는 일반 카메라 또는 적외선 카메라 등을 통해서 사용자의 영상을 촬영할 수 있으며, 촬영된 영상에서 사용자의 피부 영역을 검출할 수 있다(S2010).
컴퓨터 장치는 검출된 피부 영역의 특정 영역 또는 일정한 영역(또는 관심 영역)을 다양한 색 공간(RGB, YCgCo 등) 및 색상체계로 변환하여 색상 평균 데이터를 계산하고, 계산된 색상 평균 데이터를 이용하여 사용자의 생체 신호를 추출할 수 있다(S2020).
이후, 컴퓨터 장치는 추출된 생체 신호를 필터링 과정을 통해 필터링하여 맥파 신호를 산출할 수 있다(S2030).
구체적으로, 컴퓨터 장치는 추출된 생체 신호를 주파수 영역에서 분석하여 차단 주파수를 계산하고, 계산된 차단 주파수를 이용하여 생체 신호를 필터링하여 맥파 신호를 산출할 수 있다.
또는 컴퓨터 장치는 PPG 센서와 같은 맥박 센서를 통해서 사용자의 맥파 신호를 산출하거나(S2040), 심전도 계를 통해서 사용자의 심전도 신호를 산출할 수 있다(S2050).
앞에서 설명한 맥파 신호 또는 심전도 신호를 산출하는 방법은 선택적으로 사용될 수 있다.
산출된 맥파 신호 또는 심전도 신호는 보간을 통해 사용자가 선호하는 음원들이 저장된 음원 저장소의 음원들과 샘플링 속도(Sampling Rate)가 동일하도록 샘플 수가 증가될 수 있다(S2060).
이때, 보간법은 Spline, Linear 등의 방법들이 사용될 수 있다.
이후, 두 가지 방법을 선택적 또는 복합적으로 이용하여 보간된 맥파 신호 또는 심전도 신호를 통해 특정 음원을 처리할 수 있다.
첫 번째로 산출된 맥파 신호 또는 심전도 신호의 변화 값을 이용하여 주파수 고역 강조 및 저역 강조를 반복적으로 적용하는 방식을 통해서 맥박에 따른 주파수 영역 처리를 수행하여 사용자가 선호하는 특정 음원을 처리할 수 있다.
즉, 산출된 맥파 신호 또는 심전도 신호의 변화 값에 따라 고역 강조 및 저역 강조를 위한 필터 계수를 계산하고(S2070), 계산된 필터 계수를 이용하여 고역 강조 및 저역 강조를 음원에 적용할 수 있다(S2080).
두 번째로, 맥파 신호의 변화 값에 따라 윈도우 천이 간격을 조정하여 특정 음원을 윈도우 천이를 통해 재구성(Re-sampling)할 수 있다.
즉, 산출된 맥파 신호 또는 심전도 신호의 변화 값에 따라 윈도우의 천이 간격을 계산하고(S2100), 계산된 천이 간격을 이용하여 특정 음원을 재구성할 수 있다(S2110).
세 번째로, 앞에서 살펴본 고역 강조 및 저역 강조 기법 및 윈도우 천이 기법을 복합적으로 적용하여 특정 음원을 처리할 수 있다.
이후, 컴퓨터 장치는 처리된 음원을 저장 및 실시간 출력할 수 있다(S2090, S2130, S2120).
이와 같은 방법을 이용하여 특수한 장비 없이 일반적인 장비(예를 들어, 카메라가 달린 장치 등)를 이용하여 사용자의 맥파 신호를 검출할 수 있으며, 검출된 맥파 신호를 이용하여 사용자가 선호하는 음악을 사용자의 맥박 신호에 맞춰 변조할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 영상으로부터 사용자의 맥파 신호를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 3을 참조하면 사용자의 피부 영역이 포함된 영상에서 생체 신호를 추출하고, 추출된 생체 신호를 주파수 분석하여 맥파 신호를 산출할 수 있다.
구체적으로, (a) 맥파 신호를 산출하기 위한 장치는 카메라, 또는 적외선 카메라 등을 통해서 사용자의 피부 영역을 포함하는 영상을 촬영할 수 있으며, 촬영된 영상에서 사용자의 피부 영역을 검출할 수 있다.
(b) 장치는 검출된 피부 영역에서 특정 영역 또는 일정한 영역을 생체 신호를 추출하기 위한 관심 영역으로 정의하고, 정의된 관심 영역에서 사용자의 생체 신호를 추출할 수 있다.
예를 들면, 관심 영역을 다양한 색 공간으로 변환하여 평균 색상 데이터를 계산함으로써 사용자의 생체신호를 추출할 수 있다.
구체적으로, (c) 장치는 관심 영역을 R.G.B 색 공간에서 YCgCo 색 공간으로 변환하고, 변환된 관심 영역에서 Cg 색상 값을 이용하여 평균 색상 데이터를 추출한다.
이때, R.G.B 색 공간에서 YCgCo 색 공간으로의 변환은 아래 수학식 1을 통해서 수행될 수 있다.
Figure 112018035665514-pat00004
장치는 관심 영역에서 계산된 색상 평균 값으로부터 생체 신호를 계산할 수 있으며, 일반적인 사용자들의 분당 맥박 수를 나타내는 맥박 수 정보를 이용하여 계산된 생체 신호로부터 맥파 신호를 계산할 수 있다.
예를 들면, 일반적인 사용자들의 경우 안정 또는 흥분 정도에 따라 40에서 200까지의 분당 맥박 수를 나타낸다고 가정하는 경우, 이를 주파수 범위로 나타내면 0.67 에서 3.34 Hz가 될 수 있다.
이러한 정보를 이용하여 계산된 생체 신호를 고속 푸리에 변환(Fast Fourier Transform: FFT)을 통해 변환하여 주파수 분석을 수행한다.
즉, (d) FFT를 통해 변환된 생체 신호에서 상기 일반적인 사용자의 분당 맥박 수 범위 내의 가장 큰 성분을 선택하고, 선택된 성분을 이용하여 사용자의 맥파 신호를 획득하기 위한 차단 주파수를 선정할 수 있다.
이후, (e) 선정된 차단 주파수를 이용하여 대역통과 필터링을 수행하고, (f) 촬영된 영상으로부터 사용자의 맥파 신호를 획득할 수 있다.
본 발명의 또 다른 실시 예로, 피부 영역이 포함된 영상을 통해 맥파 신호를 추출하는 방법 외에 앞에서 살펴본 바와 같이 PPG 센서, 또는 웨어러블 디바이스의 맥박 센서를 이용하여 맥파 신호를 산출할 수 있으며, 심전도 계를 이용하여 심전도 신호를 획득할 수 있다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 사용자의 맥파 신호를 이용하여 음원을 처리하는 방법의 일 예를 나타내는 순서도이다.
도 4 및 도 5를 참조하면, 도 3을 통해 획득된 맥파 신호 또는 심전도 신호에 주파수 강조 기법을 적용하여 사용자가 선호하는 특정 음원에 반영함으로써 사용자의 맥박이 반영된 음원을 생성할 수 있다.
구체적으로, 도 3의 과정을 통해서 획득된 맥파 신호 또는 심전도 신호가 특정 음원 신호와 동일한 샘플링 속도를 유지할 수 있도록 샘플수를 확장하기 위해 보간을 수행한다(S4010).
이때, 특정 음원 신호는 사용자가 선호하는 음원들이 저장된 음원 저장소에 저장된 음원일 수 있으며, 보간에 사용되는 보간법과 주파수는 음원에 따라 유동적으로 선택될 수 있다.
장치는 보간된 맥파 신호 또는 심전도 신호에 따라 주파수 강조 기법에 사용될 주파수 강조 필터 계수를 계산한다(S4020).
이때, 주파수 강조 필터 계수 α는 아래 수학식 2를 통해 계산될 수 있다.
Figure 112018035665514-pat00005
수학식 2에서 p[n]은 맥파 신호 또는 심전도 신호를 나타내며, pp은 맥파 신호 또는 심전도 신호의 최대 값을 나타내고, pn은 맥파 신호 또는 심전도 신호의 최소 값을 나타낸다.
α 값은 일반적으로 0.95 부터 -0.95 까지의 범위를 가질 수 있지만, 상황에 따라 변경될 수 있다.
사용자가 선호하는 음원들이 저장된 음원 파일 저장소에서 특정 음원을 선택하고, 선택된 특정 음원의 신호를 획득한다(S4030).
계산된 샘플 인덱스 n에 따른 주파수 강조 계수 α[n]을 이용하여 특정 음원의 신호에 주파수 강조 기법(또는 연산)을 적용하여 사용자의 맥박 상태가 반영된 음원을 생산(또는 계산)할 수 있다(S4040).
사용자 맥박이 반영된 음원 y(n)은 아래의 수학식 3을 통해 계산될 수 있다.
Figure 112018035665514-pat00006
수학식 3에서 x[n]은 주파수 강조 기법이 적용되지 않은 특정 음원을 의미한다.
즉, 장치는 맥파 신호 또는 심전도 신호가 양의 값을 가질 경우 고역강조(Pre-emphasis)를 수행하고, 음의 값을 가질 경우 저역 강조(De-emphasis)를 반복적으로 번갈아 가며 수행하여 특정 음원의 신호를 변조하여 사용자의 맥박 상태를 반영한 특정 음원을 생성할 수 있다.
이후, 장치는 생성된 음원을 실시간으로 출력하거나, 저장 후 출력할 수 있다.
도 5는 도 4에서 살펴본 주파수 강조 기법을 이용하여 사용자의 맥박을 반영한 음원을 생성하는 경우의 실험결과의 일 예를 나타낸다.
도 5에서, 약 72회 분당맥박수를 나타내는 맥파 신호를 이용하고, 사용자의 선호 곡으로 특정 음원의 특정 구간(예를 들면, '비발디-사계' 중 봄 도입부 25초 구간)을 이용한다.
먼저, 도 5의 (a)에 도시된 바와 같이 맥파 신호를 선호 곡의 샘플링속도 8kHz와 동일하게 보간을 수행한다. 본 실험에서는 일례로 다양한 신호 보간법 중 선형보간을 사용하여 보간을 수행한다.
이후, 도 4의 수학식 2를 이용하여 맥파 신호에 따른 주파수 강조 계수를 계산한다.
계산된 강조 계수 값을 이용하여 도 5의 (b)에 도시된 특정 음원의 신호에 도 4에서 설명한 주파수 강조 기법을 적용하여 사용자의 맥박 상태가 반영된 음원을 생성한다.
도 5의 (c)는 주파수 강조 기법을 통해 사용자의 맥박 상태가 반영된 음원 신호의 일 예를 나타낸다.
도 5의 (c)에 도시된 바와 같이 주파수 강조 기법이 적용된 특정 음원 신호의 파형은 맥파 신호에 따라 주파수 강조가 번갈아 일어남을 확인할 수 있다.
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 사용자의 맥파 신호를 이용하여 음원을 처리하는 방법의 일 예를 나타내는 순서도이다.
도 6 내지 도 8을 참조하면, 도 3을 통해 획득된 맥파 신호 또는 심전도 신호에 윈도우 천이 기법을 적용하여 사용자가 선호하는 특정 음원에 반영함으로써 사용자의 맥박이 반영된 음원을 생성할 수 있다.
구체적으로, 도 3의 과정을 통해서 획득된 맥파 신호 또는 심전도 신호가 특정 음원 신호와 동일한 샘플링 속도를 유지할 수 있도록 샘플수를 확장하기 위해 보간을 수행한다(S6010).
이때, 특정 음원 신호는 사용자가 선호하는 음원들이 저장된 음원 저장소에 저장된 음원일 수 있으며, 보간에 사용되는 보간법과 주파수는 음원에 따라 유동적으로 선택될 수 있다.
장치는 보간된 맥파 신호 또는 심전도 신호의 값에 따라 크기가 고정된 윈도우를 천이할 천이 간격을 계산한다(S6020).
천이 간격 β는 아래 수학식 4를 통해 계산될 수 있다.
Figure 112018035665514-pat00007
수학식 4에서 y는 기 설정된 기준 천이 간격, ω는 천이 간격의 가중치를 나타낸다.
수학식 4에서 pavg는 보간된 맥파 신호 또는 심전도 신호에서 고정된 윈도우에 포함되는 영역에서의 평균 값을 나타내고, pmax는 보간된 맥파 신호 또는 심전도 신호의 최대 값을 나타낸다.
사용자가 선호하는 음원들이 저장된 음원 파일 저장소에서 특정 음원을 선택하고, 선택된 특정 음원의 신호를 획득한다(S6030).
장치는 계산된 β에 따라 윈도우의 위치를 이동시켜 특정 음원의 신호에서 윈도우에 포함되는 영역을 추출하고, 추출된 영역들을 이용하여 특정 음원을 재구성한다(S6040).
예를 들면, 장치는 윈도우를 통해 추출된 영역들을 새로운 음원 신호에 중첩하여 사용자의 맥박 상태에 따른 윈도우 기반 음원 신호를 재구성할 수 있다.
도 7 및 도 8은 도 5에서 살펴본 윈도우 천이 기법을 이용하여 사용자의 맥박을 반영한 음원을 생성하는 경우의 실험결과의 일 예를 나타낸다.
도 7 및 도 8에서는 도 5에서와 동일하게 약 72회 분당맥박수를 나타내는 맥파 신호를 이용하고, 사용자의 선호 곡으로 특정 음원의 특정 구간(예를 들면, '비발디-사계' 중 봄 도입부 25초 구간)을 이용한다.
먼저, 도 7의 (a)에 도시된 바와 같이 맥파신호를 선호 곡의 샘플링속도 8kHz와 동일하게 보간을 수행한다. 본 실험에서는 일례로 다양한 신호 보간법 중 선형보간을 사용하여 보간을 수행한다.
이후, 도 6의 수학식 4를 통해 천이 간격 β를 계산한다. 이때, β를 계산하기 위한 y는 80으로, ω는 40으로 가정한다.
장치는 계산된 천이 간격을 이용하여 도 7의 (b)에 도시된 특정 음원의 신호에 도 6에서 설명한 윈도우 천이 기법을 적용하여 사용자의 맥박 상태가 반영된 음원을 생성한다.
도 7의 (c)는 주파수 강조 기법을 통해 사용자의 맥박 상태가 반영된 음원 신호의 일 예를 나타낸다.
이때, 윈도우 천이 기법은 신호처리에서 주로 사용되는 해밍 윈도우(Hamming window)가 사용될 수 있다.
도 8은 매회 천이 간격에 따라 천이된 해밍 윈도우에 의해 추출된 신호를 중첩하는 과정의 일 예를 나타낸다.
도 9 내지 도 11은 본 발명의 일 실시 예에 따른 음원 신호의 처리 방법 및 스펙트럼의 일 예를 나타내는 도이다.
도 9 내지 도 11을 참조하면, 도 3을 통해 획득된 맥파 신호 또는 심전도 신호에 주파수 강조 기법 및 윈도우 천이 기법을 복합적으로 적용하여 사용자가 선호하는 특정 음원에 반영함으로써 사용자의 맥박이 반영된 음원을 생성할 수 있다.
구체적으로 장치는 도 3을 통해 획득된 맥파 신호 또는 심전도 신호에 주파수 강조 기법을 먼저 적용하고 이후에 윈도우 천이 기법을 적용하여 사용자가 선호하는 특정 음원에 반영하여 사용자의 맥박 상태가 반영된 음원을 생성할 수 있다.
또는, 장치는 도 3을 통해 획득된 맥파 신호 또는 심전도 신호에 윈도우 천이 기법을 먼저 적용하고, 이후에 주파수 강조 기법을 적용하여 사용자가 선호하는 특정 음원에 반영하여 사용자의 맥박 상태가 반영된 음원을 생성할 수 있다.
예를 들면, 장치는 도 4 및 도 5에서 설명한 주파수 강조 기법이 적용된 특정 음원 신호를 생성할 수 있다.
이후, 장치는 도 10에 도시된 바와 같이 생성된 음원 신호에 도 6 내지 도 8에서 설명한 윈도우 천이 기법을 적용하여 사용자의 맥박 상태가 반영된 음원 신호를 생성할 수 있다.
도 9의 (a)는 주파수 강조 기법을 통해 생성된 음원 신호의 일 예를 나타내고 (b)는 생성된 음원 신호의 스펙트럼의 일 예를 나타낸다.
도 10의 (a)는 윈도우 천이 기법을 통해 생성된 음원 신호의 일 예를 나타내고 (b)는 생성된 음원 신호의 스펙트럼의 일 예를 나타낸다.
도 11의 (a)는 주파수 강조 기법 및 윈도우 천이 기법을 통해 생성된 음원 신호의 일 예를 나타내고 (b)는 생성된 음원 신호의 스펙트럼의 일 예를 나타낸다.
도 11은 주파수 강조 기법이 적용된 뒤에 윈도우 천이 기법이 적용된 일 예를 나타내지만, 이와는 반대로 윈도우 천이 기법이 먼저 적용된 뒤 주파수 강조 기법이 적용될 수 있다.
도 12는 본 발명의 일 실시 예에 따른 사용자의 맥박을 목표 맥박수로 유도하기 위한 방법의 일 예를 나타내는 순서도이다.
도 12를 참조하면, 장치는 사용자의 맥박 수를 측정하고, 특정 맥파 신호를 통해서 사용자의 맥박 수를 특정 맥박 수(또는 목표 맥박 수)로 유도할 수 있다.
구체적으로, 장치는 사용자로부터 획득한 피부 영역을 포함하는 영상, PPG 센서, 또는 ECG 센서를 통해서 사용자의 현재 맥박 수를 인식 또는 산출할 수 있다(S12010).
예를 들면, 장치는 앞에서 설명한 도 1 내지 도 3의 방법을 통해서 사용자의 맥파 신호를 산출할 수 있으며, 산출된 맥파 신호를 통해서 현재 사용자의 맥박 수를 산출하여 인식할 수 있다.
만약, 산출된 맥박수가 목표로 하는 특정 맥박 수와 동일한 경우, 장치는 사용자의 맥박 수를 특정 맥박 수로 유도하기 위한 절차를 종료한다.
하지만, 산출된 맥박수가 특정 맥박 수와 동일하지 않는 경우, 장치는 사용자의 맥박 수를 특정 맥박 수로 유도하기 위해서 맥파 신호 저장소에 저장되어 있는 목표 맥박 수 모델들에서 특정 맥박 수에 대응되는 맥파 신호를 선택한다(S12020).
예를 들면, 사용자가 운동을 한 경우, 장치는 사용자의 맥박을 정상적인 상태로 유도하기 위해서 정상 적인 맥박 수를 나타내는 맥파 신호를 맥파 신호 저장소에서 선택할 수 있다.
장치는 사용자가 선호하는 음원들이 저장된 음원파일 저장소에서 특정 음원의 음원 신호를 획득하고(S12030), 획득된 특정 음원의 음원 신호에 도 1 내지 도 11에서 설명한 주파수 강조 기법 및/또는 윈도우 천이 기법을 이용하여 상기 맥파 신호에 따라 사용자가 선호하는 음원을 처리한다(S12040).
장치는 사용자의 맥박 수를 목표하는 특정 맥박 수로 유도하기 위해서 특정 맥박 수를 나타내는 맥파 신호에 따라 처리된 특정 음원을 저장 및/또는 재생할 수 있다.
이후, 장치는 다시 단계 S12010로 돌아가서 사용자의 맥박 수를 산출하고, 사용자의 맥박 수가 특정 맥박 수와 동일해질 때까지 위의 절차들을 반복해서 수행할 수 있다.
즉, 장치는 사용자의 맥박 수가 목표하는 특정 맥박 수와 동일하거나 유사해질 때까지 사용자의 현재 맥박 상태를 반영하여 특정 맥박 수를 나타내는 맥파 신호를 주기적으로 선택하고, 선택된 맥파 신호에 따라 특정 음원을 처리할 수 있다.
특정 맥박 수는 사용자의 현재 맥박 수가 목표 맥박수에 도달할 때까지 현재 맥박 수에 따라 주기적으로 변경될 수 있다.
즉, 장치는 사용자의 현재 맥박 수가 목표하는 맥박 수와 동일하거나 유사해질 때까지 단계 S12010 내지 단계 S12040의 단계를 반복적으로 수행할 수 있다.
도 12에서 설명한 방법은 독립적으로 수행되는 것뿐만 아니라 도 1 내지 11에서 설명한 방법과 함께 수행될 수 있다.
즉, 장치는 도 1 내지 도 11에서 설명한 방법을 통해 사용자의 맥박 상태를 반영한 음원을 생성하여 재생하는 중 사용자의 맥박 수를 특정 맥박 수로 유도하기 위해서 도 12에서 설명한 방법을 통해 재생되는 음원을 변조하여 재생할 수 있다.
이때, 장치는 사용자의 맥박 수를 특정 맥박 수로 유도 하기 위해 기존의 재생되는 음원을 변조하거나, 새로운 음원을 선택하여 변조할 수 있다.
이와 같은 방법을 통해서 장치는 사용자가 선호하는 음원을 재생하는 중에 음원의 변경 없이 사용자의 맥박 수를 특정 맥박 수로 유도할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 영상을 이용하여 음원을 처리하기 위한 장치의 일 예를 나타내는 도이다.
도 13의 (a)는 스마트 폰과 같은 사용자 단말(100)을 이용하여 사용자의 맥박 상태를 반영하는 음원을 생성하기 위한 방법의 예이다. 사용자는 사용자 단말(100)에 내장된 카메라로 얼굴을 촬영한다. 사용자 단말(100)은 촬영된 영상에서 피부 영역을 검출하고, 검출된 피부 영역의 특정 영역으로부터 사용자의 맥박 상태를 나타내는 맥파 신호 또는 심전도계/맥박센서에서 측정된 심전도 신호 및 맥파를 검출하고, 검출된 맥파 신호 또는 심전도 신호를 이용하여 특정 음원을 처리할 수 있다.
이때, 맥파 신호 또는 심전도 신호는 도 1 내지 도 12에서 설명한 방법을 통해서 검출될 수 있으며, 특정 음원은 도 1 내지 도 12에서 설명한 방법을 통해서 처리될 수 있다.
도 13의 (a)에서 사용자 단말(100)은 카메라(110), 저장 장치(120), 연산 장치(130) 및 출력 장치(140)로 구성될 수 있다.
카메라(110)는 일반 카메라 또는 적외선 카메라일 수 있으며, 사용자의 영상을 획득한다.
연산 장치(130)는 제어부 또는 프로세서로 호칭될 수 있으며, 도 1 내지 도 11에서 설명한 방법을 통해서 카메라(110)를 통해 촬영된 영상에서 사용자의 피부 영역을 검출하고, 검출된 피부 영역의 특정 영역으로부터 상기 사용자의 맥박 상태를 나타내는 맥파 신호 또는 심전도 신호를 추출하며, 맥파 신호 또는 심전도 신호의 샘플 수를 특정 음원과 동일한 길이로 확장하기 위한 보간(interpolation)을 수행하며, 맥파 신호 또는 심전도 신호에 기초하여 상기 특정 음원을 처리할 수 있다.
저장 장치(120)는 맥파 신호 또는 사용자가 선호하는 음원 파일을 저장할 수 있으며, 연산 장치(130)에 의해서 처리된 사용자의 맥박 상태가 반영된 특정 음원을 저장할 수 있다.
출력 장치(140)는 저장 장치에 저장되어 있는 사용자가 선호하는 음원을 재생하거나 연산 장치(130)에 의해서 처리된 사용자의 맥박 상태가 반영된 특정 음원을 실시간으로 재생할 수 있다.
도 13의 (b)는 PC와 같은 장치를 이용하여 사용자의 맥박 상태를 반영하는 음원을 생성하기 위한 방법의 예이다. 사용자는 컴퓨터(220)에 연결된 카메라(210)로 사용자의 얼굴을 촬영한다. 컴퓨터(220)는 도 1 내지 도 11에서 설명한 방법을 통해서 촬영된 영상에서 피부 영역을 검출하고, 검출된 피부 영역의 특정 영역으로부터 사용자의 맥박 상태를 나타내는 맥파 신호 또는 심전도계/맥박센서에서 측정된 심전도 신호 및 맥파를 검출하고, 검출된 맥파 신호 또는 심전도 신호를 이용하여 특정 음원을 처리할 수 있다.
도 13의 (c)는 사용자 단말(310)로 획득한 영상을 이용하여 원격지에 있는 서버(320)가 사용자의 맥박 상태를 반영하는 음원을 생성하기 위한 방법의 예이다. 사용자 단말(310)은 내장된 카메라를 통해서 사용자의 얼굴을 촬영한다. 사용자 단말(310)은 촬영한 사용자의 영상을 네트워크를 통해 서버(320)에 전달한다. 이 경우 사용자 단말(310)은 데이터 전송을 위한 통신 모듈을 포함한다. 서버(320)는 도 1 내지 도 11에서 설명한 방법을 통해서 촬영된 영상에서 피부 영역을 검출하고, 검출된 피부 영역의 특정 영역으로부터 사용자의 맥박 상태를 나타내는 맥파 신호 또는 심전도계/맥박센서에서 측정된 심전도 신호 및 맥파를 검출하고, 검출된 맥파 신호 또는 심전도 신호를 이용하여 특정 음원을 처리할 수 있다.
경우에 따라서는 분산 작업을 위해 사용자 단말(310)이 촬영된 영상에서 피부 영역을 검출하여 서버(320)에 전달할 수도 있다. 이 경우 서버(320)는 피부 영역의 특정 영역으로부터 사용자의 맥박 상태를 나타내는 맥파 신호 또는 심전도계/맥박센서에서 측정된 심전도 신호 및 맥파를 검출하고, 검출된 맥파 신호 또는 심전도 신호를 이용하여 특정 음원을 처리할 수 있다.
본 발명의 또 다른 예로 사용자 단말(310)이 촬영된 영상에서 피부 영역을 검출하고, 검출된 피부 영역의 특정 영역으로부터 색상 데이터를 추출할 수 있다. 사용자 단말(310)은 피부 영역에 대한 색상 데이터만을 서버(320)에 전달할 수 있다.
이 경우, 색상 데이터를 통해서 서버(320)는 사용자의 맥박 상태를 나타내는 맥파 신호 또는 심전도 신호를 검출하고, 검출된 맥파 신호 또는 심전도 신호를 이용하여 특정 음원을 처리할 수 있다.
도 13의 (c)의 경우, 서버(320)는 처리된 특정 음원을 사용자 단말(310)에 전달할 수 있으며, 사용자 단말(310)은 서버(320)로부터 전송된 특정 음원을 저장장치(120)에 저장 및/또는 출력장치(140)를 통해서 출력할 수 있다.
본 실시 예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 사용자 단말
110 : 카메라
120 : 저장 장치
130 : 연산 장치
140 : 출력 장치
210 : 카메라
220 : 컴퓨터
310 : 사용자 단말
320 : 서버

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 사용자의 영상을 촬영하는 카메라;
    상기 촬영된 영상에서 상기 사용자의 피부 영역을 검출하고, 상기 검출된 피부 영역의 특정 영역으로부터 상기 사용자의 맥박 상태를 나타내는 제 1 맥파 신호를 추출하며, 상기 제 1 맥파 신호의 샘플 수를 특정 음원과 동일한 길이로 확장하기 위한 보간(interpolation)을 수행하고, 상기 제 1 맥파 신호에 기초하여 상기 특정 음원을 처리하는 제어부; 및
    상기 처리된 특정 음원을 재생하는 출력부를 포함하고,
    상기 제어부는 상기 제 1 맥파 신호에 기초하여 주파수 강조 필터 계수를 계산하고, 상기 주파수 강조 필터 계수에 기초하여 상기 특정 음원에 주파수 강조 연산을 수행하는 영상을 이용한 음원 생성 장치.
  12. 제 11 항에 있어서,
    상기 제어부는 상기 사용자의 현재 맥박 상태를 측정하고, 상기 현재 맥박 상태에 기초하여 상기 사용자의 현재 맥박수를 특정 맥박수로 변경하기 위해 맥박수에 따른 맥파 신호를 나타내는 맥박수 모델에서 상기 특정 맥박수에 대응되는 제 2 맥파 신호를 선택하며, 상기 제 2 맥파 신호에 기초하여 상기 특정 음원을 처리하고, 및 상기 사용자의 맥박수를 상기 특정 맥박수로 유도하기 위해 상기 처리된 음원을 재생하되,
    상기 특정 맥박수는 상기 현재 맥박수가 상기 특정 맥박수와 동일해질 때까지 상기 현재 맥박수에 따라 주기적으로 변경되는 영상을 이용한 음원 생성 장치.
  13. 제 11 항에 있어서,
    상기 제 1 맥파 신호를 추출하는 경우, 상기 제어부는 상기 사용자의 맥박 상태를 나타내는 제 1 맥파 신호를 추출하고, 상기 검출된 피부 영역에서 생체 신호를 추출하기 위해 상기 특정 영역을 선택하며, 상기 특정 영역을 R.G.B 색 공간에서 특정 색 공간으로 변환하고, 상기 변환된 특정 영역에서 특정 색상 값을 이용하여 평균 색상 데이터를 추출하며, 상기 추출된 평균 색상 데이터를 이용하여 생체 신호를 계산하고, 상기 계산된 생체 신호에 기초하여 상기 제 1 맥파 신호를 추출하는 영상을 이용한 음원 생성 장치.
  14. 제 13 항에 있어서,
    상기 특정 색 공간은 YCgCO 색 공간이고,
    상기 특정 색상 값은 Cg 색상 값인 영상을 이용한 음원 생성 장치.
  15. 제 11 항에 있어서,
    상기 제어부는 상기 제 1 맥파 신호에 기초하여 주파수 강조 필터 계수를 계산하고, 상기 주파수 강조 필터 계수에 기초하여 상기 특정 음원에 주파수 강조 연산을 수행하는 영상을 이용한 음원 생성 장치.
  16. 제 11 항에 있어서,
    상기 주파수 강조 연산은 상기 제 1 맥파 신호의 값에 따라 고역 강조 또는 저역 강조에 따라 수행되는 영상을 이용한 음원 생성 장치.
  17. 제 11 항에 있어서,
    상기 제 1 맥파 신호의 최대 값이 pp, 상기 제 1 맥파 신호의 최소 값이 pn인 경우, 상기 주파수 강조 필터 계수 α는 아래의 수학식을 통해서 계산되는 영상을 이용한 음원 생성 장치.
    Figure 112019078359837-pat00011
  18. 제 11 항에 있어서,
    상기 주파수 강조 필터 계수가 α[n], 상기 특정 음원 신호가 x[n]인 경우, 상기 주파수 강조 연산이 수행된 특정 음원 신호 y[n]은 아래의 수학식을 통해서 계산되는 영상을 이용한 음원 생성 장치.
    Figure 112019078359837-pat00012
  19. 제 11 항에 있어서,
    상기 제어부는 상기 제 1 맥파 신호에 따라 크기가 고정된 윈도우를 천이할 천이 간격을 계산하고, 상기 천이 간격에 따라 상기 특정 음원에서 윈도우 영역을 추출하되, 상기 윈도우 영역은 상기 천이 간격에 따라 상기 윈도우의 위치를 변경함으로써 추출되며, 추출된 윈도우 영역을 상기 특정 음원에 중첩시켜 상기 특정 음원을 재구성하는 영상을 이용한 음원 생성 장치.
  20. 제 19 항에 있어서,
    기 설정된 기준 천이 간격이 y, 상기 제 1 맥파 신호에서 상기 윈도우에 포함되는 신호들의 평균 값이 pavg, 상기 제 1 맥파 신호의 최대 값이 pmax, 상기 천이 간격의 가중치가 ω인 경우, 상기 천이 간격 β는 아래의 수학식을 통해 계산되는 영상을 이용한 음원 생성 장치.
    Figure 112018035665514-pat00013
KR1020180041670A 2018-04-10 2018-04-10 영상을 이용한 맥박 조율을 위한 음원 생성 장치 KR102020641B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180041670A KR102020641B1 (ko) 2018-04-10 2018-04-10 영상을 이용한 맥박 조율을 위한 음원 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041670A KR102020641B1 (ko) 2018-04-10 2018-04-10 영상을 이용한 맥박 조율을 위한 음원 생성 장치

Publications (1)

Publication Number Publication Date
KR102020641B1 true KR102020641B1 (ko) 2019-09-10

Family

ID=67950979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041670A KR102020641B1 (ko) 2018-04-10 2018-04-10 영상을 이용한 맥박 조율을 위한 음원 생성 장치

Country Status (1)

Country Link
KR (1) KR102020641B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654555B1 (ko) * 2023-08-23 2024-04-03 장승원 심전도 기반의 맞춤형 자극 제공 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100086618A (ko) * 2009-01-23 2010-08-02 삼성전자주식회사 생체 신호를 이용한 음악 검색 장치 및 그 방법
KR20120040429A (ko) * 2010-10-19 2012-04-27 주식회사 라이프사이언스테크놀로지 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
JP5797757B2 (ja) * 2010-09-23 2015-10-21 株式会社ソニー・コンピュータエンタテインメント サーマルイメージングを用いたユーザインタフェースシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100086618A (ko) * 2009-01-23 2010-08-02 삼성전자주식회사 생체 신호를 이용한 음악 검색 장치 및 그 방법
JP5797757B2 (ja) * 2010-09-23 2015-10-21 株式会社ソニー・コンピュータエンタテインメント サーマルイメージングを用いたユーザインタフェースシステムおよび方法
KR20120040429A (ko) * 2010-10-19 2012-04-27 주식회사 라이프사이언스테크놀로지 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박상민 외 2명, ‘얼굴 영상을 이용한 모바일 헬스케어용 혈압 측정 방법’, 2016년도 한국통신학회 동계종합학술발표회 논문집, pp.165-166 (2016.01.31.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654555B1 (ko) * 2023-08-23 2024-04-03 장승원 심전도 기반의 맞춤형 자극 제공 시스템

Similar Documents

Publication Publication Date Title
US11032457B2 (en) Bio-sensing and eye-tracking system
US9330680B2 (en) Biometric-music interaction methods and systems
US20150093729A1 (en) Biometric-music interaction methods and systems
JP2006525829A (ja) インテリジェント欺瞞検証システム
CN103249357B (zh) 周期性生理信号的处理
US20140276132A1 (en) Automated Diagnosis-Assisting Medical Devices Utilizing Rate/Frequency Estimation
WO2017069644A2 (en) Wireless eeg headphones for cognitive tracking and neurofeedback
KR20130010207A (ko) 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템
JP5574407B2 (ja) 顔面動作推定装置及び顔面動作推定方法
JP2013544548A5 (ko)
CA3023829A1 (en) A user interface for navigating through physiological data
CN105976820A (zh) 一种语音情感分析系统
JP6655242B2 (ja) 楽曲聴取経験有無推定方法、楽曲聴取経験有無推定装置、及び楽曲聴取経験有無推定プログラム
CN108392201B (zh) 大脑训练方法及相关设备
KR102020641B1 (ko) 영상을 이용한 맥박 조율을 위한 음원 생성 장치
TWI418334B (zh) 用於生理訊號及環境訊號感測、分析及回饋之系統
Antink et al. Multimodal sensor fusion of cardiac signals via blind deconvolution: A source-filter approach
CN109475309A (zh) 检测生理状态的方法和装置
EP4031005A1 (fr) Système de détermination d'une émotion d'un utilisateur
CN107865652A (zh) 类心电图波形的装置和方法
KR20200061016A (ko) 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법
JP2020076923A5 (ko)
JP7058383B2 (ja) 情動判定装置、情動判定方法、及びプログラム
CN116369888A (zh) 一种非接触式心率变异性数据获取方法和装置
JP2018015212A (ja) 脳波信号処理システム、脳波信号処理方法及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180410

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190531

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190902

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190904

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190905

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220629

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230620

Start annual number: 5

End annual number: 5