KR20060048641A - 생체정보의 처리장치 및 영상음향 재생장치 - Google Patents

생체정보의 처리장치 및 영상음향 재생장치 Download PDF

Info

Publication number
KR20060048641A
KR20060048641A KR1020050056532A KR20050056532A KR20060048641A KR 20060048641 A KR20060048641 A KR 20060048641A KR 1020050056532 A KR1020050056532 A KR 1020050056532A KR 20050056532 A KR20050056532 A KR 20050056532A KR 20060048641 A KR20060048641 A KR 20060048641A
Authority
KR
South Korea
Prior art keywords
bio
information
signal
viewer
sensor
Prior art date
Application number
KR1020050056532A
Other languages
English (en)
Inventor
가츠야 시라이
요이치로 사코
도시로 데라우치
마코토 이노우에
마사미치 아스카이
야스시 미아지마
겐이치 마키노
모토유키 다카이
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060048641A publication Critical patent/KR20060048641A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

단일의 생체정보(bio-information) 센서에 의해 시청자의 심리상태를 추정한다. 또, 그 추정결과에 의해 최적인 상태로 영상이나 음향을 재생가능한 재생장치를 제공한다.
영상신호 및 음향신호의 적어도 하나를 재생하는 재생수단(36)과, 대상자의 복수의 생체정보(bio-information)를 가지는 아날로그 생체신호(biological signal)를 출력하는 단일의 생체정보(bio-information) 센서(11)를 설치한다. 아날로그 생체신호(biological signal)를 해석하여 복수의 생체정보(bio-information)의 신호를 분리해 출력하는 해석회로(12)와, 복수의 생체정보(bio-information)의 신호의 측정치와, 그 초기치 혹은 표준치로부터 대상자의 심리상태 및 그 강도를 추정하는 회로(20)를 설치하는 재생수단(36)에 의해 재생되는 영상신호 및 음향신호의 적어도 하나를, 추정하는 회로(20)의 추정결과에 의해 변화시키는 수단(26)을 설치한다.

Description

생체정보의 처리장치 및 영상음향 재생장치{Processing apparatus of bio-information and audio-visual contents reproduction apparatus}
도 1은 본 발명의 1 형태를 나타내는 계통도이다.
도 2는 센서 출력의 처리방법의 일례를 나타내는 도면이다.
도 3은 본 발명에 의한 제어 흐름(flow)의 일례를 나타내는 플로차트(flow chart)이다.
도 4는 본 발명을 설명하기 위한 도면이다.
[부호의 설명]
11 - 생체정보 센서 12 - 생체정보 해석회로
20 - 마이크로컴퓨터 21 - CPU
22 - ROM 23 - RAM
24 - 하드디스크 장치 25 - 유저 인터페이스
26 - 영상음향 제어회로 27 - 표시제어회로
28 - 음향처리회로 29 - 시스템 버스
31 - 송수신회로 32 - 통신회로
36 - DVD 플레이어 37 - 디스플레이
38 - 스피커 40 - 인터넷
100 - 루틴
본 발명은, 생체정보(bio-information)의 처리장치 및 영상음향 재생장치에 관한 것이다.
안경, 귀걸이, 팬던트, 손목시계, 윗도리 등의 복식품(服飾品)에 생체정보 센서를 장착하는 것으로써, 그 복식품(服飾品)을 몸에 지니고 있는 사람의 생체정보(bio-information)를 검출하고, 이 검출한 생체정보로부터 그 사람의 감정이나 심리상태를 추정하는 것이 생각되고 있다.
예를 들면, 맥박수(맥박에는, 심박을 포함한다)의 변동으로부터 심리상태를 추정하는 방법도 있고, 대상자의 신체에 심전위(心電位) 검출수단이나 맥박 센서를 장착하고 맥박수를 측정해, 그 변동으로부터 대상자의 긴장도 혹은 감정의 변화를 검출하도록 하고 있다(예를 들면, 특허문헌 1 및 2 참조).
또는, 손가락끝이나 손목에 직접 장착한 센서에 의해, 혹은 목걸이, 안경, 카드, 보수계(步數計) 등에 장착한 센서에 의해, 심박이나 맥박을 측정하여 긴장도나 감정의 변화를 추정하는 방법도 있다. 또, 대인교섭 때의 상대와 자신의 맥박수의 일치도를 평가해, 상대와의 동조도(끌리는 현상에 있어서의 끌림의 정도)를 추정하는 방법도 있다(예를 들면,특허문헌 2 및 3 참조).
더욱이, 광혈류량(光血流量), 심전(心電), 피부전기(皮膚電氣) 활동, 피부온 도 등의 복수의 생리신호로부터 심리상태를 추정하는 방법도 있다. 이 경우에는, 대상자의 신체에 손목시계형의 센서를 장착해 광혈류량, 심전, 피부전기 활동, 피부온도를 측정하는 것과 동시에, 그 측정결과로부터 각각의 지표의 특징을 추출한 특징벡터를 생성한다. 그리고, 이 특징벡터와 미리 데이터베이스에 저장되어 있는 복수의 정서(情緖) 상태치를 비교하는 것으로써, 심리상태를「기쁨, 안도, 만족, 침착, 거만, 슬픔, 불만, 화냄, 놀람, 공포, 우울, 스트레스」 등으로 분류하고 있다(예를 들면, 특허 문헌 4 참조).
그리고, 상기와 같은 심리상태를 추정할 수 있으면, 예를 들면 기기의 조작이 곤란한 환자라도, 그때의 심리상태에 따른 적절한 환경을 자동적으로 얻을 수 있다.
또한, 상기의 문헌은 다음과 같다.
[특허 문헌 1] 특개 평7-323162호 공보
[특허 문헌 2] 특개 2002-23918호 공보
[특허 문헌 3] 특개 평11-4892호 공보
[특허 문헌 4] 특개 2002-112969호 공보
그러나, 상술의 방법에 의해 심리상태를 추정하려고 해도, 이것이 곤란한 일이 많다.
예를 들면, 표정을 이용하는 경우에는, 「놀라움」과「곤혹」등과 같이 분류하기 어려운 것이 있다. 또, 각성도(覺醒度)(arousal)가 높은 상태는, 감정값(valence)이 정(+)으로 높을 때(유쾌할 때)와 부(-)로 높을 때(불쾌할 때)로, 맥박수는 같은 변화를 나타내는 것이 알려져 있다. 따라서, 맥박수로부터 감정값을 추정하는 경우에는, 각성도가 높은 상태에서는 오류가 발생하는 일이 있다.
그래서, 복수의 생체정보(bio-information)를 조합하는 것으로, 추정의 정밀도를 올리는 것이 생각되고 있지만, 그러기 위해서는 복수의 센서가 필요하게 되어, 장치 자체가 커지게 되는 동시에, 복잡하게 되어 버린다. 또, 대상자의 심리적인 부담도 커져 버린다.
더욱이, 상술한 추정방법에서는, 생체정보(bio-information)로부터 심리상태를 분류하는 것에 주안점을 두고 있으므로, 예를 들면 「매우 쾌적하다」, 「조금 쾌적하다」와 같이, 심리상태의 강도를 측정하는 점에 대해서는 충분히는 고려되어 있지 않다.
본 발명은, 이상과 같은 점에 감안하여, 단일의 생체정보 센서의 출력신호로부터 대상자의 심리상태와, 그 강도를 추정할 수 있는 방법 및 장치를 제공하려 하는 것이다. 또, 그 추정결과에 의해, 대상자의 심리상태에 최적인 영상이나 음향등의 환경을 제공하려 하는 것이다.
본 발명에 있어서는,
대상자의 복수의 생체정보(bio-information)를 가지는 생체신호(biological signal)를 출력하는 단일의 생체정보 센서와,
상기 생체신호(biological signal)를 해석하여 상기 복수의 생체정보(bio-information)의 신호를 분리해 출력하는 해석회로와,
상기 복수의 생체정보의 신호의 측정치와 그 초기치 혹은 표준치로부터 상기 대상자의 심리상태 및 그 강도를 추정하는 회로를 가지는 생체정보(bio-information)의 처리장치로 하는 것이다.
〔1〕영상음향 재생장치의 예
도 1은 본 발명을 영상음향 재생장치에 적용했을 경우의 일례를 나타낸다. 이 영상음향 재생장치는, 단일의 생체정보 센서에 의해 시청자(대상자)의 복수종류의 생체정보(bio-information)를 취득하고, 그 취득한 복수종류의 생체정보로부터 그때의 시청자의 심리상태를 나타내는 지표로서 각성도 및 감정값을 구하고, 이러한 값에 따라 재생하는 영상이나 음향에 변화를 주는 것이다.
이를 위해, 이 영상음향 재생장치는, 시청자의 복수의 생체정보(bio-information)를 취득하는 생체정보 센서(11)를 가진다. 이 생체정보 센서(11)는, 시청자에게 비접촉으로 생체정보를 취득하는 비접촉형의 것이어도 좋고, 혹은 시청자의 신체나 복식품(服飾品)에 장착되어 생체정보를 취득하는 접촉형의 것이어도 좋다.
생체정보 센서(11)를 비접촉형으로 하는 경우에는, 압전소자나 왜곡 게이지를 필름형태로 구성한 것, 혹은 그것들을 카드에 설치한 것 등으로 할 수 있다. 그리고, 그 생체정보 센서(11)는, 예를 들면 시청자의 왼쪽 가슴의 주머니에 장착되고, 이 결과, 생체정보 센서(11)에서는, 예를 들면 도 2a에 나타낸 바와 같이, 근전(筋電)신호 및 심전(心電)신호를 동시에 포함한 신호가 얻어진다.
또, 생체정보 센서(11)를 접촉형으로 하는 경우에는, 예를 들면 가슴에 장착한 심전 센서나 근전 센서로 할 수 있고, 역시 센서 출력으로서 근전신호 및 심전신호를 동시에 포함한 신호가 얻어진다.
그리고, 생체정보 센서(11)의 출력이 생체정보 해석회로(12)에 공급된다. 이 경우, 생체정보 센서(11)의 출력 가운데, 심전신호는 2 Hz이하의 주파수대역에 분포하고, 근전신호는 40 Hz 부근을 중심으로 하는 주파수대역에 분포하는 신호로서 관측된다. 그래서, 생체정보 해석회로(12)에 있어서는, 생체정보 센서(11)의 출력이 필터링 되고, 도 2b에 나타낸 바와 같이, 심전신호와 근전신호로 주파수 분리된다. 그리고, 이 분리된 심전신호 및 근전신호가 마이크로 컴퓨터(20)에 공급된다.
더욱이, 심박동은 호흡 등에 동반되어 그 한 박자 한 박자가 요동하므로, 심전신호의 R파의 간격도 호흡 등에 동반되어 요동하고 있다. 따라서, 심전신호에는, 호흡의 변동 성분(호흡 유래(由來) 성분, RSA:Respiratory Sinus Arrhythmia)이 중첩되어 있으므로, 심전신호를 해석하는 것으로써 간접적으로 호흡신호를 얻을 수 있다.
그래서, 생체정보 해석회로(12)에 있어서는, 분리된 심전신호의 R파의 시간변동을 구하는 동시에, FFT 처리를 하여 파워 스펙트럼을 구한다. 이 파워 스펙트럼의 0.15~0.40 Hz의 주파수대역의 피크가 호흡 성분을 나타내고 있다. 따라서, FFT 처리를 하는 구간을 예를 들면 5초씩 늦추어 상기의 처리를 반복하는 것으 로써 호흡성분의 파워의 시간변동이 얻어지고, 즉, 호흡신호를 간접적으로 얻을 수 있다. 이 호흡신호도 마이크로 컴퓨터(20)에 공급된다.
그리고, 마이크로 컴퓨터(20)에 있어서는, 이것에 공급된 심전신호, 근전신호 및 호흡신호로부터 시청자의 각성도 및 감정값이 산출되고, 그 산출결과에 따라서 영상 및 음향이 적절히 재생된다.
즉, 마이크로 컴퓨터(20)는, 프로그램을 실행하는 CPU(21)와, 각종의 프로그램이 기록된 ROM(22)과, 작업영역용의 RAM(23)을 가지고, 이들이 시스템 버스(29)를 통해 서로 접속되어 있다.
이 경우, ROM(22)에는, CPU(21)가 실행하는 프로그램의 일부로서 예를 들면 도 3에 나타내는 바와 같은 루틴(100)도 준비된다. 이 루틴(100)의 상세한 것에 대하여는 후술하지만, 루틴(100)은, 시청자의 생체정보에 근거하여 시청자가 영상이나 음향을 기분 좋게 느끼도록, 영상신호 혹은 음향신호를 제어하기 위한 것이다. 또한 도 3에 있어서는, 루틴(100)은, 본 발명에 관계하는 부분만을 발췌하여 나타내고 있다.
더욱이 마이크로 컴퓨터(20)는, 대용량의 기록장치로서 하드디스크 장치(24)와, 키보드나 마우스 등의 유저 인터페이스(25)를 가지고, 이들도 시스템 버스(29)에 접속되어 있다. 또, 영상신호 및 음향신호의 신호원으로서 이 예에 있어서는, DVD 플레이어(36)가 준비되고, 이 DVD 플레이어(36)는, 영상음향 제어회로(27)를 통해 시스템 버스(29)에 접속되어 있다.
이 경우, 영상음향 제어회로(26)는, DVD 플레이어(36)에 의해 재생된 영상신 호를 제어하여 표시되는 영상의 상태, 예를 들면 콘트라스트, 밝기, 색상, 색포화도 등을 변경하는 것과 동시에, DVD 플레이어(36)의 재생속도 등도 제어하는 것이다. 더욱이, 영상음향 제어회로(26)는, DVD 플레이어(36)에 의해 재생된 음향 신호를 제어하여 재생되는 음향의 음량, 주파수특성, 잔향(殘響) 등을 제어하는 것이다.
또, 시스템 버스(29)에는 표시제어회로(27)를 통해 디스플레이(37)가 접속되고, 영상음향 제어회로(26)로부터 출력된 영상신호가 표시제어회로(27)에 의해 표시용의 신호로 변환되고, 이 표시신호가 디스플레이(37)에 공급된다. 더욱이, 시스템 버스(29)에는 음향처리회로(28)가 접속되고, 이 처리회로(28)를 통해 스피커(38)에 음향신호가 공급되는 것과 동시에, 마이크로폰(39)으로부터의 음향신호가 음향처리회로(28)를 통해 마이크로 컴퓨터(20)에 받아들여진다.
더욱이, 이 장치나 다른 같은 장치에 의해 측정한 시청자의 생체정보나 데이터를 그들의 장치와의 사이에서 주고받기 위해, 송수신 회로(31) 및 통신회로(32)가 시스템 버스(29)에 접속되고, 통신회로(32)는 다른 네트워크, 예를 들면 인터넷(40)에 접속된다.
이러한 구성에 있어서, 유저 인터페이스(25)를 조작하면, DVD 플레이어(36)에 의해 영상신호 및 음향신호가 재생되고, 그 영상신호가, 영상음향 제어회로(26) 및 표시제어회로(27)를 통해 디스플레이(37)에 공급되어 영상이 표시되는 것과 동시에, 음향신호가, 영상음향 제어회로(26) 및 음향처리회로(28)를 통해 스피커(38)에 공급되어 음향이 재생된다.
그리고, 이때, CPU(21)에 의해 루틴(100)이 실행되고, 디스플레이(37)의 영상 및 스피커(38)의 음향에 대한 시청자의 각성도 및 감정값이 산출되고, 이 산출결과에 의해, 시청자가 영상이나 음향을 기분 좋게 느끼도록, 그 영상 및 음향이 제어된다.
즉, 루틴(100)이 실행되면, 스텝(101)에 있어서, 생체정보 센서(11)에 의해 측정된 생체정보(bio-information)가, 생체정보 해석회로(12)로부터 마이크로 컴퓨터(20)에 받아들여지고, 다음으로 스텝(102)에 있어서 스텝(101)에 의해 받아들여진 생체정보(bio-information)로부터 각성도 및 감정값이 산출된다. 이 산출방법에 대해서는,〔2〕에 의해 후술하지만, 각각 정(+) 및 부(-)의 극성을 취하는 아날로그 값으로서 산출된다.
계속해서, 처리는 스텝(103)에 진행되고, 이 스텝(103)에 있어서, 스텝(102)에 의해 산출된 각성도 및 감정값의 극성이 판별되고, 그 극성의 조합에 따라 처리가 분기 된다. 즉, 각성도가 정 및 부의 값을 취할 수 있는 것과 동시에, 감정값도 정 및 부의 값을 취할 수 있으므로, 각성도 및 감정값을 2차원의 좌표에 의해 표현하면, 도 4에 나타낸 바와 같이 되고, 이때,
영역 1은, 각성도>0, 또한, 감정값>0 (각성도가 높고, 기분이 좋다)
영역 2는, 각성도>0, 또한, 감정값<0 (각성도가 높으나, 불쾌하다)
영역 3은, 각성도<0, 또한, 감정값>0 (각성도가 낮으나, 기분이 좋다)
영역 4는, 각성도<0, 또한, 감정값<0 (각성도가 낮고, 불쾌하기도 하다)
로 된다.
여기서, 각성도 및 감정값이 영역 1에 포함되는 경우에는, 이때의 영상 및 음향을 기분 좋게 느끼고 있다고 시청자의 심리상태를 추정하고, 처리는 스텝(103)으로부터 스텝(111)으로 진행된다. 그리고, 스텝(111)에 있어서는, 디스플레이(37) 및 스피커(38)에 공급되는 영상신호 및 음향신호를 변경하지 않고 스텝(101)으로 돌아간다. 즉, 영역 1의 경우에는, 시청자가 이때의 영상 및 음향에 만족하다고 판단하고, 그러한 재생상태를 변경하지 않는다.
그러나, 각성도 및 감정값이 영역 2에 포함되는 경우에는, 이때의 영상 및 음향을 불쾌하게 느끼고 있다고 시청자의 심리상태를 추정하고, 처리는 스텝(103)에서 스텝(112)으로 진행된다. 그리고, 스텝(112)에 있어서, 시청자의 불쾌감을 없애기 위해, 예를 들면, 디스플레이(37)에 공급되는 영상신호의 직류레벨이나 교류레벨을 내려 디스플레이(37)에 표시되는 영상의 휘도나 콘트라스트를 내린다. 또, 스피커(38)에 공급되는 음향 신호의 레벨을 내리거나, 주파수특성을 변경하는 등으로 스피커(38)로부터 출력되는 음향의 음량을 내리거나, 저역이나 고역을 약하게 하거나, 혹은 리듬을 약하게 하거나 한다. 그리고 그 후, 처리는 스텝(101)으로 돌아간다.
또한, 스텝(112)에 의해 설정한 상태가 소정의 기간에 걸쳐서 계속 될 때는, 시청자의 각성도 및 감정값이 개선되지 않을 때이므로, 이때에는, 스텝(112)에 의해, 예를 들면 영상 및 음향의 재생이 정지된다.
더욱이, 각성도 및 감정값이 영역 3에 포함되는 경우에는, 처리는 스텝(103)에서 스텝(113)으로 진행되고, 이 스텝(113)에 있어서, 각성도를 높여 만족도를 높 이거나, 기분을 고양시키거나 하기 위해, 스텝(112)과는 반대로, 예를 들면, 디스플레이(37)에 공급되는 영상신호의 직류레벨이나 교류레벨을 올려 디스플레이(37)에 표시되는 영상의 휘도나 콘트라스트를 올린다. 또, 스피커(38)에 공급되는 음향신호의 레벨을 올리거나 주파수특성을 변경하는 등으로 스피커(38)로부터 출력되는 음향의 음량을 올리거나, 저역이나 고역을 강하게 하거나, 혹은 리듬을 강조하거나 하고, 그 후, 스텝(101)으로 돌아간다.
또한, 예를 들면 시청자가 유저 인터페이스(25)를 통해서 취침모드로 설정해 놓은 경우에, 이 영역 3의 상태가 되었을 때에는, 시청자의 안면을 방해하지 않도록, 이때의 재생상태를 유지한다.
또, 각성도 및 감정값이 영역 4에 포함되는 경우에는, 이때의 영상 및 음향을 불쾌하게 느끼고 있다고 시청자의 심리상태를 추정하고, 처리는 스텝(103)에서 스텝(112)으로 진행되고, 영역 2의 경우와 같이, 시청자의 불쾌감을 없앤다.
따라서, 루틴(100)에 의하면, 시청자는 영상 및 음향을 항상 기분 좋게 시청할 수 있다.
이와 같이, 상술한 영상음향 재생장치에 의하면, 생체정보 센서(11)로부터 복수의 생체정보(bio-information)를 얻고, 시청자의 각성도 및 감정값을 산출하고 있으므로, 시청자의 심리상태와 그 강도를 추정할 수 있다. 그리고, 그 추정결과에 의해 심리상태에 최적인 상태로 영상이나 음향을 재생할 수 있다. 더욱이, 복수의 생체정보(bio-information)를 단일의 생체정보 센서(11)의 출력으로부터 얻어내고 있으므로, 시청자의 부담을 경감할 수 있는 것과 동시에, 장치를 간략화할 수 있다.
〔2〕각성도 및 감정값의 산출
시청자의 각성도 및 감정값이, 현재, 도 4의 어느 영역에 위치하고 있는지는, 다음에 기술하는 〔2-1〕,〔2-2〕의 처리에 의해 알 수 있다. 그리고, 시청자의 현재의 각성도 및 감정값이 예를 들면 도 4의 점(P)에 있을 때, 그 각성도 및 감정값이, 점(P)을 포함하는 곡선(a)의 어느 쪽을 향하는지는, 각성도 및 감정값의 변화의 이력으로부터 판단할 수 있다.
따라서, 시청자의 현재상태에 가장 적격인 영상 및 음향을 항상 제공할 수 있다. 또, 시청자 상태가 양호한 때에는, 이것을 유지하거나, 시청자의 상태가 불량한 때에는, 이것을 억제하거나 할 수 있다.
〔2-1〕각성도의 산출
각성도는, 심전신호나 호흡신호로부터 구할 수 있고, 생체정보 센서(11)가 비접촉형 및 접촉형의 어느 쪽에 있어서도, 호흡수나 맥박수의 초기치 또는 표준치에 대한 변동으로부터 구할 수 있다. 즉, 각성도는,
각성도=Rrm-Rrr                ㆍㆍㆍ (1)
Rrm:단위시간당 호흡수의 측정치
Rrr:단위시간당 호흡수의 초기치 또는 표준치
또는
각성도=Prm-Prr                ㆍㆍㆍ (2)
   Prm:단위시간당 맥박수의 측정치
  Prr:단위시간당 맥박수의 초기치 또는 표준치
로부터 산출할 수 있다. 또한, 맥박수로서 심박수를 이용하는 경우에도, (2) 식에 의해 각성도를 구할 수 있다.
〔2-2〕 감정값의 산출
감정값은, 근전신호로부터 예를 들면 다음의 식 (3)에 의해 산출할 수 있다.
감정값=∫|Vemg(t)|dt-Vemg_init       ㆍㆍㆍ(3)
Vemg:근전의 진폭의 측정치
Vemg_init:근전의 진폭의 적분치(초기치)
또는
감정값=∫|Vemg(t)|dt-Vemg_ref        ㆍㆍㆍ (4)
Vemg_ref:근전의 진폭의 적분치(표준치)
또한, 정(正)의 감정값의 결정은 협골근(頰骨筋)의 근전에 의해 행하고, 부(負)의 감정값의 결정은 추미근(皺眉筋) 혹은 윤근(輪筋)의 근전에 의해 실시할 수 있다.
〔3〕그 외
상술한 바에 있어서, 생체정보 센서(11)로 압력센서를 사용할 수 있지만, 그 압력센서로, 예를 들면 「특개 2001-145605호 공보」에 기재되어 있는 바와 같이, 기밀성 및 유연성을 가지는 대체(袋體)의 내부에, 공기압 센서를 수납한 것을 사용할 수 있다. 또, 상술한 바에 있어서는, 생체정보 센서(11)의 장착위치를 대상자의 가슴 부근으로 했지만, 심전 혹은 맥파(脈波)와 근전을 동시에 포함한 신호를 검출할 수 있는 부위이면, 생체정보 센서를 어디에 장착해도 좋다.
더욱이, 상술한 바에 대하여, 시청자의 심리상태 및 그 강도의 추정결과에 의해, 영상신호 혹은 음향신호를 변화시킬 때, 재생속도, 음량, 색 및 컨텐츠 등을 변화시킬수 있다. 또, 측정한 생체정보(bio-information) 및 그 생체정보에 근거해 변화시킨 영상신호 혹은 음향신호를 기록해 둘 수도 있다.
그리고, 그 기록 매체로서 하드디스크 장치(24), 광디스크, 광학 자기디스크, 자기테이프, 하드디스크, 반도체 메모리 혹은 IC카드 등을 사용할 수 있다. 더욱이 그 기록용의 광디스크는, CD, CD-R, CD-RW, MD, DVD±R, DVD±RW, DVD-RAM, 블루-레이 디스크(Blu-Ray Disc) 등으로 할 수 있다.
또, 생체정보(bio-information)에 의해 영상신호 및 음향신호를 변경한다고 했으나, 그 변경의 허가ㆍ금지를 선택 가능하게 할 수도 있다.
또, 상술한 바에 대해서는, 산출한 각성도 및 감정값에 의해 영상이나 음향의 재생상태를 제어했으나, 예를 들면 집, 사무실, 대인관계 등과 같은 대상자의 환경을 평가하거나 제품 등의 사용 편의를 평가하거나 할 수도 있다. 더욱이, 각성도 및 감정값의 산출결과를 그래프나 수치로 표시할 수도 있다.
〔약어의 일람〕
CD:Compact Disc
CD-R:CD Recordable
CD-RW:CD ReWritable 
CPU:Central Processing Unit
DVD±R:DVD +Recordable, DVD Recordable
DVD-RAM:DVD Random Access Memory
DVD±RW:DVD +ReWritable, DVD ReWritable
FFT:Fast Fourier Transform   
IC:Integrated Circuit
MD:Mini Disc
RAM:Random Access Memory
ROM:Read Only Memory
RSA:Respiratory Sinus Arrhythmia
본 발명에 의하면, 복수의 생체정보를 얻어내어 대상자의 각성도 및 감정값을 산출하고 있으므로, 대상자의 심리상태와 그 강도를 추정할 수 있다. 또, 그 추정결과에 의해 대상자의 심리상태에 최적인 상태로 영상이나 음향을 재생할 수 있다. 더욱이, 복수의 생체정보를 단일의 생체정보 센서의 출력으로부터 얻어내고 있으므로, 대상자의 부담을 경감할 수 있는 것과 동시에, 장치를 간략화할 수 있다.

Claims (17)

  1. 대상자의 복수의 생체정보(bio-information)를 가지는 생체신호(biological signal)를 출력하는 단일의 생체정보 센서와,
    상기 생체신호(biological signal)를 해석하여 상기 복수의 생체정보(bio-information)의 신호를 분리해 출력하는 해석회로와,
    상기 복수의 생체정보(bio-information)의 신호의 측정치와, 그 초기치 혹은 표준치로부터 상기 대상자의 심리상태 및 그 강도를 추정하는 회로를 가지도록 구성된 것을 특징으로 하는 생체정보(bio-information)의 처리장치.
  2. 제 1항에 있어서,
    상기 생체정보(bio-information) 센서가 상기 대상자의 신체 혹은 복식품(服飾品)에 장착되는 타입의 센서인 것을 특징으로 하는 생체정보(bio-information)의 처리장치.
  3. 제 1항에 있어서,
    상기 복수의 생체정보(bio-information)의 신호의 적어도 1개가, 상기 대상자의 호흡, 맥박 혹은 근전(筋電)신호이도록 구성된 것을 특징으로 하는 생체정보의 처리장치.
  4. 제 1항에 있어서,
    상기 대상자의 심리상태로서, 그 대상자의 정동(情動), 기분, 각성도(覺醒度) 및 감정값의 적어도 1개를 추정하도록 구성된 것을 특징으로 하는 생체정보의 처리장치.
  5. 제 4항에 있어서,
    상기 각성도(覺醒度)를 상기 심박수 혹은 호흡수의 적어도 한쪽의 변화로부터 추정하도록 구성된 것을 특징으로 하는 생체정보의 처리장치.
  6. 제 4항에 있어서,
    상기 감정값을 상기 근전(筋電)의 변화로부터 추정하도록 구성된 것을 특징으로 하는 생체정보의 처리장치.
  7. 영상신호 및 음향신호의 적어도 한쪽을 재생하는 재생수단과,
    시청자의 복수의 생체정보(bio-information)를 가지는 생체신호(biological signal)를 출력하는 단일의 생체정보(bio-information) 센서와,
    상기 생체신호(bio-information)를 해석하여 상기 복수의 생체정보의 신호를 분리해 출력하는 해석회로와,
    상기 복수의 생체정보의 신호의 측정치와, 그 초기치 혹은 표준치로부터 상기 시청자의 심리상태 및 그 강도를 추정하는 회로와,
    상기 재생수단에 의해 재생되는 영상신호 및 음향신호의 적어도 한쪽을, 상기 추정하는 회로의 추정결과에 의해 변화시키는 수단을 가지도록 구성된 것을 특징으로 하는 영상음향 재생장치.
  8. 제 7항에 있어서,
    상기 생체정보(bio-information) 센서가 상기 시청자의 신체 혹은 복식품(服飾品)에 장착되는 타입의 센서로 구성된 것을 특징으로 하는 영상음향 재생장치.
  9. 제 7항에 있어서,
    상기 복수의 생체정보(bio-information)의 신호의 적어도 1개가, 상기 시청자의 호흡, 맥박 혹은 근전(筋電)신호이도록 구성된 것을 특징으로 하는 영상 음향 재생장치.
  10. 제 7항에 있어서,
    상기 시청자의 심리상태로서, 그 시청자의 정동(情動), 기분, 각성도 및 감정값의 적어도 1개를 추정하도록 구성된 것을 특징으로 하는 영상음향 재생장치.
  11. 제 10항에 있어서,
    상기 각성도를, 상기 심박수 혹은 호흡수의 적어도 한쪽의 변화로부터 추정하도록 구성된 것을 특징으로 하는 영상음향 재생장치.
  12. 제 10항에 있어서,
    상기 감정값을 상기 근전(筋電)의 변화로부터 추정하도록 구성된 것을 특징으로 하는 영상음향 재생장치.
  13. 제 7항에 있어서,
    상기 영상신호 혹은 상기 음향신호의 적어도 한쪽을 변화시키는 수단이, 그 신호의 재생속도, 음량, 색 및 컨텐츠의 적어도 1개를 변화시키도록 구성된 것을 특징으로 하는 영상 음향 재생장치.
  14. 제 7항에 있어서,
    상기 생체정보(bio-information), 이 생체정보에 근거해 변화시킨 음향신호 및 상기 영상신호의 적어도 1개를 기록하기 위한 기록 수단을 가지도록 구성된 것을 특징으로 하는 영상음향 재생장치.
  15. 제 14항에 있어서,
    상기 기록수단이, 광디스크, 광학 자기디스크, 자기테이프, 하드디스크, 반도체메모리 및 IC카드의 어느 것인가로 구성된 것을 특징으로 하는 영상음향 재생장치.
  16. 제 14항에 있어서,
    상기 광디스크가, CD, CD-R, CD-RW, MD, DVD±R, DVD±RW, DVD-RAM 및 블루-레이 디스크(Blu-ray Disc)의 어느 것인가로 구성된 것을 특징으로 하는 영상음향 재생장치.
  17. 제 7항 내지 16항에 있어서,
    상기 생체정보(bio-information)에 의해 영상신호 및 상기 음향신호의 적어도 한쪽에 변화를 주는 기능의 금지ㆍ허가를 사용자가 선택할 수 있도록 구성된 것을 특징으로 하는 영상음향 재생장치.
KR1020050056532A 2004-07-05 2005-06-28 생체정보의 처리장치 및 영상음향 재생장치 KR20060048641A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004197791A JP4081686B2 (ja) 2004-07-05 2004-07-05 生体情報の処理装置および映像音響再生装置
JPJP-P-2004-00197791 2004-07-05

Publications (1)

Publication Number Publication Date
KR20060048641A true KR20060048641A (ko) 2006-05-18

Family

ID=35514930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050056532A KR20060048641A (ko) 2004-07-05 2005-06-28 생체정보의 처리장치 및 영상음향 재생장치

Country Status (4)

Country Link
US (1) US20060004266A1 (ko)
JP (1) JP4081686B2 (ko)
KR (1) KR20060048641A (ko)
CN (1) CN1720858A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046650A1 (ko) * 2013-09-27 2015-04-02 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작 방법
US11129555B2 (en) 2015-11-17 2021-09-28 University-Industry Cooperation Group Of Kyung Hee University Device for measuring biological information including sensor array and method of measuring biological information using device

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8764654B2 (en) 2008-03-19 2014-07-01 Zin Technologies, Inc. Data acquisition for modular biometric monitoring system
US20070073266A1 (en) * 2005-09-28 2007-03-29 Zin Technologies Compact wireless biometric monitoring and real time processing system
US8951190B2 (en) * 2005-09-28 2015-02-10 Zin Technologies, Inc. Transfer function control for biometric monitoring system
US8920343B2 (en) 2006-03-23 2014-12-30 Michael Edward Sabatino Apparatus for acquiring and processing of physiological auditory signals
WO2008003830A1 (en) 2006-07-04 2008-01-10 Firstbeat Technologies Oy Method and system for guiding a person in physical exercise
JP4749273B2 (ja) * 2006-08-10 2011-08-17 三洋電機株式会社 電動自転車
EP2151260A1 (en) * 2008-08-08 2010-02-10 Koninklijke Philips Electronics N.V. Calming device
CN101730127A (zh) * 2008-10-30 2010-06-09 华为技术有限公司 频点的信号质量检测方法、装置和系统
US8979761B2 (en) 2009-06-08 2015-03-17 Nagoya City University Sleepiness assessment apparatus
JP5464072B2 (ja) * 2010-06-16 2014-04-09 ソニー株式会社 筋活動診断装置および方法、並びにプログラム
CN103379254A (zh) * 2012-04-13 2013-10-30 鸿富锦精密工业(深圳)有限公司 提高视频信号质量的视频装置及视频电路
JP6149450B2 (ja) * 2013-03-21 2017-06-21 富士通株式会社 呼吸情報推定装置及び方法並びにプログラム
CN104407768B (zh) * 2014-10-28 2019-05-17 深圳市金立通信设备有限公司 一种终端
CN104360735B (zh) * 2014-10-28 2018-06-19 深圳市金立通信设备有限公司 一种界面显示方法
CN104523250A (zh) * 2014-12-01 2015-04-22 成都智信优创科技有限公司 一种穿戴式健康医疗装置
US11076788B2 (en) 2014-12-30 2021-08-03 Nitto Denko Corporation Method and apparatus for deriving a mental state of a subject
JP7043262B2 (ja) 2015-06-30 2022-03-29 スリーエム イノベイティブ プロパティズ カンパニー 照明器
CN104983414A (zh) * 2015-07-13 2015-10-21 瑞声声学科技(深圳)有限公司 可穿戴设备及其感知和调节使用者情绪的方法
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
CN105852823A (zh) * 2016-04-20 2016-08-17 吕忠华 一种医学用智能化息怒提示设备
CN105725996A (zh) * 2016-04-20 2016-07-06 吕忠华 一种智能控制人体器官情绪变化医疗器械装置及方法
EP3537961A1 (en) * 2016-11-10 2019-09-18 The Research Foundation for The State University of New York System, method and biomarkers for airway obstruction
US11369304B2 (en) * 2018-01-04 2022-06-28 Electronics And Telecommunications Research Institute System and method for volitional electromyography signal detection
CN112932225B (zh) * 2021-01-29 2023-07-18 青岛海尔空调器有限总公司 智能唤醒枕头以及基于智能唤醒枕头的唤醒方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2003069A (en) * 1931-07-13 1935-05-28 Carter Frederick Samuel Steam trap, and apparatus for controlling or maintaining the supply of water or other fluid
US2003009A (en) * 1932-06-10 1935-05-28 S S Mcclendon Jr Method and apparatus for producing liquid from wells
US2001028A (en) * 1932-09-26 1935-05-14 Frick Co Defrosting system
US2003012A (en) * 1933-05-27 1935-05-28 Westinghouse Electric & Mfg Co Grid glow tube structure
US2003060A (en) * 1934-04-02 1935-05-28 Ernest L Heckert Thermostatic controlling device
US5604112A (en) * 1993-02-26 1997-02-18 The Dupont Merck Pharmaceutical Company Method for detecting the cardiotoxicity of compounds
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US20030009078A1 (en) * 1999-10-29 2003-01-09 Elena A. Fedorovskaya Management of physiological and psychological state of an individual using images congnitive analyzer
US6854879B2 (en) * 2001-04-19 2005-02-15 Honeywell International Inc. System and method using thermal image analysis for polygraph testing
US6623427B2 (en) * 2001-09-25 2003-09-23 Hewlett-Packard Development Company, L.P. Biofeedback based personal entertainment system
US6665560B2 (en) * 2001-10-04 2003-12-16 International Business Machines Corporation Sleep disconnect safety override for direct human-computer neural interfaces for the control of computer controlled functions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046650A1 (ko) * 2013-09-27 2015-04-02 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작 방법
US11129555B2 (en) 2015-11-17 2021-09-28 University-Industry Cooperation Group Of Kyung Hee University Device for measuring biological information including sensor array and method of measuring biological information using device
US11911153B2 (en) 2015-11-17 2024-02-27 University-Industry Cooperation Group Of Kyung Hee University Device for measuring biological information including sensor array and method of measuring biological information using device

Also Published As

Publication number Publication date
US20060004266A1 (en) 2006-01-05
JP2006015046A (ja) 2006-01-19
JP4081686B2 (ja) 2008-04-30
CN1720858A (zh) 2006-01-18

Similar Documents

Publication Publication Date Title
KR20060048641A (ko) 생체정보의 처리장치 및 영상음향 재생장치
KR20060048367A (ko) 생체정보의 처리장치 및 영상음향 재생장치
AU2016293110B2 (en) Processing biological data
Blascovich et al. Social psychophysiology for social and personality psychology
EP2371286B1 (en) Organism fatigue evaluation device and organism fatigue evaluation method
EP0872255B1 (en) Relax guiding device and biofeedback guiding device
CN100484465C (zh) 处理生物信息的方法和装置
US20090024044A1 (en) Data recording for patient status analysis
CN101969850A (zh) 用于维持对象的状态的方法和系统
JP4494985B2 (ja) 心拍および呼吸情報の収集装置
KR20130010207A (ko) 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템
CN105380655A (zh) 一种移动终端的情绪预警方法、装置及移动终端
Ne et al. Hearables, in-ear sensing devices for bio-signal acquisition: a narrative review
Cao et al. Crisp-BP: Continuous wrist PPG-based blood pressure measurement
KR20220055383A (ko) 딥러닝 모델을 학습하는 장치
US10827972B1 (en) Sleep staging using an in-ear photoplethysmography (PPG)
JP2005329148A (ja) 生体情報測定装置及び方法
KR20060007335A (ko) 생체신호를 이용한 인체 적응적 뇌파유도 장치 및 그 방법
Yarici et al. Hearables: In-ear multimodal brain computer interfacing
Xu et al. Toward a robust estimation of respiratory rate using cardiovascular biomarkers: Robustness analysis under pain stimulation
Meigas et al. Pulse wave velocity in continuous blood pressure measurements
US11633152B2 (en) Method of monitoring respiratory rate in a health monitoring device
Mandic et al. In Your Ear: A Multimodal Hearables Device for the Assessment of the State of Body and Mind
Fallica et al. Miniaturized Wearable Optical Silicon Sensor for PPG Measurements
SK9489Y1 (sk) Zariadenie na reprodukciu hudby s adaptívnym výberom skladieb a spôsob výberu skladieb pri reprodukovaní hudby

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid