KR100763236B1 - 생체 신호를 이용하는 동영상 편집 장치 및 방법 - Google Patents

생체 신호를 이용하는 동영상 편집 장치 및 방법 Download PDF

Info

Publication number
KR100763236B1
KR100763236B1 KR1020060041704A KR20060041704A KR100763236B1 KR 100763236 B1 KR100763236 B1 KR 100763236B1 KR 1020060041704 A KR1020060041704 A KR 1020060041704A KR 20060041704 A KR20060041704 A KR 20060041704A KR 100763236 B1 KR100763236 B1 KR 100763236B1
Authority
KR
South Korea
Prior art keywords
section
event
noise
biosignal
interval
Prior art date
Application number
KR1020060041704A
Other languages
English (en)
Inventor
양경혜
최기완
정승녕
김연호
이영범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060041704A priority Critical patent/KR100763236B1/ko
Priority to US11/715,907 priority patent/US8157729B2/en
Application granted granted Critical
Publication of KR100763236B1 publication Critical patent/KR100763236B1/ko
Priority to US13/440,056 priority patent/US20120275769A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

본 발명은 생체 신호를 이용하는 동영상 편집 장치 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 생체 신호를 이용하는 동영상 편집 장치는, 동영상을 촬영하는 촬영자의 감정 상태를 반영하는 신호를 측정하여 제 1 생체 신호 및 제 2 생체 신호를 생성하는 생체 신호 생성부; 상기 생성된 제 1 생체 신호를 이용하여 상기 촬영된 동영상의 재생 구간 중 상기 촬영자의 선호도를 반영하는 제 1 이벤트 구간을 추출하고, 상기 감지된 제 2 생체 신호를 이용하여 상기 촬영자의 선호도를 반영하는 제 2 이벤트 구간을 추출하며, 상기 추출된 제 1 이벤트 구간 및 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 추출하는 이벤트 구간 추출부; 및 상기 추출된 최종 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱함으로써 상기 동영상을 편집하는 인덱싱부를 포함한다.
PPG 센서, GSR 센서, SDNN 10, 이벤트 구간

Description

생체 신호를 이용하는 동영상 편집 장치 및 방법{Apparatus and method for editing moving picture using physiological signal}
도 1은 본 발명의 일 실시예에 따라 생체 신호를 이용하여 동영상을 편집하기 위한 전체 시스템 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 생체 신호를 이용하는 동영상 편집 장치의 전체 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 동영상 편집 장치의 구성 중 생체 신호 생성부의 구성을 나타내는 도면이다.
도 4는 상기 도 3의 생체 신호 생성부가 실제 모바일 디지털 디바이스에 장착된 모습을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동영상 편집 장치의 구성 중 이벤트 구간 추출부의 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 PPG 잡음 구간을 설정하는 알고리즘을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 GSR 잡음 구간을 설정하는 알고리즘을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따라 최종 이벤트 구간을 생성하는 알고리즘 을 나타내는 도면이다.
도 9는 제 1 이벤트 구간과 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 생성하는 과정을 도시한 그래프이다.
*도면의 주요 부분에 대한 설명*
100: 생체 신호 생성부 110: 제 1 생체 신호 측정부
112: PPG 잡음 구간 설정부 120: 제 2 생체 신호 측정부
122: GSR 잡음 구간 설정부 200: 이벤트 구간 추출부
210: 제1 이벤트 구간 추출부 220: 제 2 이벤트 구간 추출부
230: 최종 이벤트 구간 추출부 300: 인덱싱부
본 발명은 생체 신호를 이용하는 동영상 편집 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 두 가지의 센서를 이용하여 검출된 동영상 촬영자의 생체 신호를 이용하여 상기 촬영자의 선호도가 반영된 이벤트 구간을 생성하여 상기 동영상의 재생 구간에 동기화하여 인덱싱하는, 생체 신호를 이용하는 동영상 편집 장치 및 방법에 관한 발명이다.
캠코더, 디지털 카메라, 모바일 휴대 단말 등 동영상 촬영이 가능한 휴대용 동영상 기록 재생 장치는, 피사체를 촬영하는 일반적인 기능을 가지고 있을 뿐만 아니라 촬영된 피사체를 녹화할 수 있는 기능도 함께 가지고 있다. 이러한 동영상 기록 재생 장치를 이용함으로써 사용자는 이동하면서도 원하는 피사체를 촬영하여 기록할 수 있고, 이후에도 촬영된 영상을 재생하여 다시 볼 수 있다. 재생 시 사용자는 저장된 영상을 동영상 기록 재생 장치에 구비된 디스플레이 장치나 PC의 모니터 등을 통해 다시 감상할 수 있으며, TV 모니터와 같은 외부 디스플레이 장치와 연결하여 볼 수도 있다.
위와 같은 동영상을 촬영하는 사용자들은 촬영된 모든 동영상을 감상하는데 따르는 많은 시간 소요로 인해, 일반적으로 자신들에게 의미있는 중요한 장면 만을 모아서 감상하기 위해 동영상 편집을 하게 된다. 이러한 편집 과정에서 사용자들은 동영상을 감상하는 감상자의 감정이나 생리적 신호 응답을 검출하고 그 검출된 신호 응답을 이용하여 상기 동영상에 인덱싱을 한 후, 다음에 감상하는 사람이 선택적으로 볼 수 있도록 하는 기술들이 종래에 개시되어 왔다. 이와 관련된 종래의 기술들로는, 미국 공개 특허 US 2003-0131351, 미국 등록 특허 US 6585521 등의 발명들이 있다.
그러나, 상기와 같은 발명들은 동영상을 촬영하는 촬영자의 감정이나 상태 정보에 의해 의미있는 동영상 장면들만을 선택해서 제공해 주지 못하며, 촬영자의 감정 상태를 반영하는 생체 신호에 대한 추출 또한 오랜 시간 동안의 센싱(sensing)이 필요하며, 게다가 센싱된 다양한 신호들 간의 조합이 필요하므로, 촬영자의 요구 특성에 맞게 최적의 센서 조합을 가능하게 하는 방법을 제시하지 못하고, 단지 센싱이 가능한 모든 센서들을 나열하는 수준에 머물고 있다.
특히, PPG 센서를 이용한 단일 측정 시스템의 경우, PPG 센서의 특성상 발생 되는 노이즈를 제거할 경우 의미있는 정보를 담고 있는 이벤트 구간까지 동시에 제거될 가능성이 있는 바 이러한 가능성을 보완할 필요가 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로서, 본 발명이 이루고자 하는 기술적 과제는, 단순한 잡음 제거가 아닌 양질의 잡음 여과가 가능한 센싱 시스템을 만들기 위해 상호 보완적인 특성을 지닌 두 가지의 센서를 복합적으로 사용함으로써 이벤트 구간의 추출의 성능을 향상시켜 잡음 구간에 포함되어 있는 이벤트 구간을 효율적으로 복원할 수 있는, 생체 신호를 이용하는 동영상 편집 장치 및 방법을 제공하는 데 있다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, PPG 센서와 GSR 센서를 이용하여 잡음 구간을 별도로 추정하여 사용자 이벤트 구간을 생성하는 지표로 활용할 수 있으며, 상기 추출된 복수의 이벤트 구간들의 우선 순위를 지정하여 최종 이벤트 구간을 생성할 수 있는, 생체 신호를 이용하는 동영상 편집 장치 및 방법을 제공하는 데 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 생체 신호를 이용하는 동영상 편집 장치는, 동영상을 촬영하는 촬영자의 감정 상태를 반영하는 신호를 측정하여 제 1 생체 신호 및 제 2 생체 신호를 생성하는 생체 신호 생성부; 상기 생성된 제 1 생체 신호를 이용하여 상기 촬영된 동영상의 재생 구간 중 상기 촬영자의 선호도를 반영하는 제 1 이벤트 구간을 추출하고, 상기 생성된 제 2 생체 신호를 이용하여 상기 촬영자의 선호도를 반영하는 제 2 이벤트 구간을 추출하며, 상기 추출된 제 1 이벤트 구간 및 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 추출하는 이벤트 구간 추출부; 및 상기 추출된 최종 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱함으로써 상기 동영상을 편집하는 인덱싱부를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 생체 신호를 이용하는 동영상 편집 방법은, (a) 동영상을 촬영하는 촬영자의 감정 상태를 반영하는 신호를 측정하여 제 1 생체 신호 및 제 2 생체 신호를 생성하는 단계; (b) 상기 생성된 제 1 생체 신호를 이용하여 상기 촬영된 동영상의 재생 구간 중 상기 촬영자의 선호도를 반영하는 제 1 이벤트 구간을 추출하고, 상기 생성된 제 2 생체 신호를 이용하여 상기 촬영자의 선호도를 반영하는 제 2 이벤트 구간을 추출하며, 상기 추출된 제 1 이벤트 구간 및 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 추출하는 단계; 및 (c) 상기 추출된 최종 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱함으로써 상기 동영상을 편집하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예들을 설명하기 위한 블럭도 또는 흐름도들을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따라 생체 신호를 이용하여 동영상을 편집하기 위한 전체 시스템 구성을 나타내는 도면이다.
먼저 인체 시스템(40)을 살펴보면, 동영상을 촬영하고 있는 촬영자가 촬영을 하는 도중에 느끼는 감정의 변화가 생체 신호로서 표출되는 바, 본 발명의 실시예에서는 심장 박동의 변동(S402)을 제 1 생체 신호로, 피부 저항의 변동(S404)을 제 2 생체 신호로 설정하기로 한다.
동영상의 촬영 도중 촬영자의 관심을 끄는 이벤트가 발생한 경우에 촬영자의 심장 박동의 변동(S402)이 일어나면, 생체 신호 감지 시스템(30)에서 상기 제 1 생체 신호를 측정하게 되고(S302), 상기 촬영자의 피부 저항의 변동(S404)이 일어나면, 상기 생체 신호 감지 시스템(30)에서 상기 제 2 생체 신호를 측정하게 되며(S304), 상기 측정된 제 1 및 제 2 생체 신호의 데이터를 저장하게 된다(S306). 상기와 같은 생체 신호의 측정과 감지에 대한 것은 후술하게 될 도 3 및 도 4의 부분에서 상술할 것이다.
한편, 동영상을 촬영하기 위한 동영상 촬영 시스템(20)에서 동영상을 촬영하기 시작하고(S202), 이와 동시에 동영상 인코딩을 하게 되는데(S204), 상기 인코딩 과정에서 상기 제 1 생체 신호와 상기 제 2 생체 신호에 대한 데이터를 받아 함께 인코딩하여 저장하게 된다(S206). 그리고 난 후, 저장된 동영상을 재생시키는 재생 시스템(10)에서 재생을 시작하게 되며(S102), 상기 생체 신호 감지 시스템(30)에 의해 감지된 제 1 및 제 2 생체 신호를 이용하여 설정된 잡음 구간으로부터 사용자가 의미있는 관심을 가지고 선호하는 이벤트 구간을 소정의 알고리즘을 이용하여 추출하게 된다(S104). 이러한 잡음 구간의 설정 과정과 이벤트 구간의 추출 과정에 대한 알고리즘은 도 6 내지 도 8의 부분에서 상술할 것이다.
상기 이벤트 구간을 추출한 후에는 추출된 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱함으로써 상기 동영상을 편집하게 되며(S106), 편집된 동영상을 최종적으로 재생하여 감상하게 된다(S108).
도 2는 본 발명의 일 실시예에 따른 생체 신호를 이용하는 동영상 편집 장치의 전체 구성을 나타내는 도면이다. 상기 도 2를 살펴보면, 동영상 편집 장치는 생체 신호 생성부(100), 이벤트 구간 추출부(200), 및 인덱싱부(300)를 포함하여 구성된다.
생체 신호 생성부(100)는 상기 동영상의 촬영 도중에 촬영자의 관심을 끄는 이벤트가 발생한 경우에 상기 촬영자가 느끼고 있는 감정 상태를 반영하는 제 1 생체 신호 및 제 2 생체 신호를 두 가지 센서를 이용하여 감지하는 역할을 한다. 여기서, 상기 제 1 생체 신호는 PPG(PhotoPlethysmoGraghy) 센서에 의해 감지되는 신 호일 수 있으며, 상기 제 2 생체 신호는 GSR(Galvanic Skin Response) 센서에 의해 감지되는 신호일 수 있다. 따라서, 후술되는 본 발명의 실시예에서는 상기 PPG 센서가 제 1 생체 신호를 상기 GSR 센서가 제 2 생체 신호를 측정하는 것으로 하여 설명하기로 한다.
상기 PPG 센서는 적외선을 인체의 특정 부위에 조사함으로써 심장의 수축기와 이완기를 반영하는 혈류량의 변화를 혈관 내에서 관찰하는 방식을 사용한다. 상기 PPG 센서에 부착된 적외선 발광부(IR Emmiter)에서 촬영자의 손가락으로 적외선을 조사하면 적외선이 촬영자의 손가락 내의 혈액에 일부 흡수되고 일부는 반사되어 적외선 수광부에 의해 검출됨으로써 혈관 내에 변화하는 혈류량을 측정할 수 있게 되는 것이다. 상기 PPG 센서가 말초 혈관으로부터 상기 혈류량의 변화를 획득하기 위한 광원으로 적외선을 사용하는 이유는 적외선이 혈액에는 잘 흡수되며 조직에는 잘 흡수되지 않는 성질이 있기 때문이다.
상기 GSR 센서는 피부 전기 반사계로서 촬영자의 감정의 변동에 따른 땀샘의 활동 상황을 전기로 기록하는 장치로서, 피부에 교류 전류를 흘려서 피부의 저항 및 발한 정도의 변화를 관찰하는 방식으로 촬영자의 생체 신호를 측정하게 된다. 이러한 측정 방식은 순간적인 외부 자극에 민감하게 반응하며 신경 제어에 관련된 발한 정도를 반영하게 된다.
도 3은 본 발명의 일 실시예에 따른 동영상 편집 장치의 구성 중 생체 신호 생성부(100)의 구성을 나타내는 도면이다. 상기 도 3을 참조하여 생체 신호 생성부(100)의 구성을 살펴보면, 촬영자의 심장 박동의 변화를 측정하는 제 1 생체 신 호 측정부(110), 상기 측정된 심장 박동의 변화를 이용하여 잡음 구간을 설정하는 PPG 잡음 구간 설정부(112), 촬영자의 피부 저항의 변화를 측정하는 제 2 생체 신호 측정부(120), 및 상기 측정된 피부 저항의 변화를 측정하는 GSR 잡음 구간 설정부(122)를 포함하고 있다.
먼저, 제 1 생체 신호 측정부(110)는 촬영자의 피부에 접촉되어 있는 PPG 센서에 의해 제 1 생체 신호인 PPG 데이터를 저대역 필터(LPF)를 이용한 필터링 및 증폭, 그리고 A/D 변환 회로를 이용한 아날로그-디지털 변환을 거쳐 생성한다. 또한, 상기 생성된 PPG 데이터의 피크(peak)를 검출하고, 각 피크 간의 시간 간격을 의미하는 RR 간격을 구하게 된다.
제 2 생체 신호 측정부(120)는 상기 촬영자의 피부에 접촉되어 있는 GSR 센서에 의해 상기 제 2 생체 신호인 GSR 데이터를 저대역 필터 및 고대역 필터를 이용한 필터링, 증폭, A/D 변환 회로를 이용한 아날로그-디지털 변환의 과정을 거쳐 생성하게 되는데, 본 발명의 실시예에서는 상기 GSR 데이터를 SIL 및 SIR 데이터의 형태로 생성하게 된다. 여기서, 상기 SIL 데이터는 신호로 측정된 피부 저항의 절대적인 크기를 나타내며, SIR 데이터는 SIL 데이터의 시간에 따른 변화율을 나타낸다.
상기 PPG 센서 및 상기 GSR 센서는 일반적으로 상기 동영상을 촬영하는 디지털 디바이스에 부착되는데, 이를 예시하는 것이 도 4이다. 상기 도 4는 상기 도 3의 생체 신호 생성부(100)가 실제 모바일 디지털 디바이스에 장착된 모습을 예시한 도면으로서, 상기 도 4에서는 제 1 생체 신호 측정부(110)가 상기 디지털 디바이스 의 상부의 측면에, 제 2 생체 신호 측정부(120)가 상기 디지털 디바이스의 하부의 측면에 부착되어 있는 모습을 도시하고 있으나, 이는 단순한 예시에 지나지 않으며 따라서 상기 도 4에 도시된 위치에 한정되지 않고 상기 디지털 디바이스의 적당한 위치에 부착될 수 있을 것이다.
PPG 잡음 구간 설정부(112)는 상기 생성된 PPG 데이터를 이용하여 PPG 잡음 구간을 설정하게 되며, GSR 잡음 구간 설정부(122)는 상기 생성된 GSR 데이터를 이용하여 GSR 잡음 구간을 설정하게 된다. 이러한 PPG 잡음 구간과 GSR 잡음 구간을 설정하는 알고리즘에 대해서는 도 6 및 도 7을 참조하여 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따라 PPG 잡음 구간을 설정하는 알고리즘을 나타내는 도면이고, 도 7은 GSR 잡음 구간을 설정하는 알고리즘을 나타내는 도면이다.
먼저 상기 도 6을 참조하면, PPG 센서(110)에 의해 촬영자의 심장 박동의 변화로 나타나는 혈류량의 변화를 신호로 측정하고, 상기 측정된 신호를 처리하여 제 1 생체 신호인 PPG 데이터를 생성하며(S602), 상기 PPG 데이터로부터 피크를 검출하여 피크치 간의 시간 간격인 RR 간격을 설정하게 되는데(S604), 이 과정에 대해서는 상기 도 3의 설명 부분에서 이미 언급한 바 있으므로, 여기서는 상세한 설명을 생략하기로 한다. 한편, 상기 설정된 RR 간격에서 잡음을 제거하고(S606), 상기 잡음이 제거된 RR 간격에 대해 PPG 잡음 구간을 설정하게 된다(S608). 상기 PPG 잡음 구간을 설정하는 상세한 과정을 살펴보면 다음과 같다.
상기 RR 간격 값을 세로축으로 하고 상기 RR 간격 값이 측정된 시간값을 가 로축으로 하는 2 차원 좌표 평면 상에서, RR(n)을 상기 잡음이 제거된 RR 간격의 제 n 번째 데이터라 하고, RR(n+1)을 상기 RR 간격의 제 n+1 번째 데이터라 하며, T_RR(n)을 상기 RR(n) 값이 측정된 시간값이라 하고, T_RR(n+1)을 상기 RR(n+1)이 측정된 시간값이라고 하면, 상기 RR(n)과 상기 RR(n+1)은 세로축에 표현되고, 상기 T_RR(n)과 상기 T_RR(n+1)은 가로축에 표현될 것이다.
이 경우에 상기 T_RR(n+1)값과 상기 T_RR(n)값의 차이가 상기 RR(n+1)과 상기 RR(n)의 산술 평균값에 소정 상수 C 를 곱한 값보다 크다면, 즉, T_RR(n+1)-T_RR(n) > {RR(n)+RR(n+1)}/2 * C 를 만족한다면, T_RR(n) + RR(n)/2 에서부터 T_RR(n+1) - RR(n+1)/2 까지의 시간 간격을 PPG 잡음 구간으로 설정하게 된다. 구체적인 수치를 예로 들어 설명해 보면, 상기 RR(n)값을 0.5로, 상기 RR(n+1)값을 0.6으로, 상기 T_RR(n)을 100으로 상기 T_RR(n+1)을 102로 놓으면, 상기 부등식의 좌변은 102와 100의 차이값인 2가 되며, 상기 부등식의 우변은 0.55*C 값을 가지게 된다. 여기서, 상기 C는 1에서 3 사이의 상수인 것이 바람직한 바, 상기 C가 1에서 3까지의 어떤 값을 가지더라도 상기 부등식이 만족되게 되므로, 상기 PPG 잡음 구간은 100+0.25 에서부터 102-0.3 의 구간이 될 것이다.
한편, 상기 도 7을 참조하면, GSR 센서(120)에 의해 촬영자의 피부 저항 및 발한 정도의 변화를 신호로 측정하고, 상기 측정된 신호를 저대역 필터(LPF) 등을 이용하여 증폭하고 A/D 변환기를 이용하여 디지털 신호 처리를 하여 제 2 생체 신호인 GSR 데이터(SIL 데이터 및 SIR 데이터)를 생성하게 된다(S702). 상기 생성된 GSR 데이터 중 상기 SIR 데이터 값으로부터 소정 값을 초과하는 SIR 데이터 값의 피크의 개수인 SIR 카운트 값을 추출하게 된다(S704).
소정 시각 t에서 측정된 상기 SIL 데이터 값을 SIL(t)라고 하고, Δt1 및 Δt2를 소정 시간 간격이라고 한다면, SIL(t+Δt1)와 SIL(t)의 차이가 소정의 제 1 문턱치보다 크게 되는 지점, 즉, SIL(t+Δt1) - SIL(t) > Th1 인 지점을 GSR 잡음 구간의 시작점으로 설정하고, SIL(t)과 SIL(t+Δt2)의 차이가 0보다는 크고 소정의 제 2 문턱치보다 작으면서 상기 SIL(t)가 제 3 문턱치 보다 작게 되는 지점, 즉, 0 < SIL(t)-SIL(t+Δt2) < Th2 임과 동시에 SIL(t) < Th3 인 지점을 상기 GSR 잡음 구간의 끝점으로 설정하게 된다(S706). 여기서, 상기 제 1 문턱치(Th1), 제 2 문턱치(Th2), 및 제 3 문턱치(Th3)는 각기 다른 값을 가지는 소정 문턱치이다. 또한, 상기 Δt1은 0.1 ~ 0.5 초 사이의 값이 바람직하며, 상기 Δt2는 0.2 ~ 1.0 초 사이의 값이 바람직하며, 전체 SIL 데이터 값의 측정 범위가 10kΩ ~ 2MΩ 인 경우에, 상기 Th1은 20 ~ 60 kΩ이고, 상기 Th2는 0 ~ 5 kΩ이며, 상기 Th3는 2 MΩ이상인 것이 바람직하다. 따라서, 상기 GSR 잡음 구간의 시작점은 상기 SIL 데이터 값이 급격하게 증가하는 지점이며, 상기 GSR 잡음 구간의 끝점은 상기 SIL 데이터 값이 완만하게 감소하게 되는 지점임을 알 수 있다. 상기 GSR 잡음 구간을 설정한 후에는 상기 추출된 SIR 카운트 값에서 잡음 구간을 제거하게 된다(S708).
이로써, PPG 잡음 구간과 GSR 잡음 구간이 각각 설정되며, 상기 설정된 잡음 구간을 이용하여 각 잡음 구간에 포함되어 있는 이벤트 구간을 추출하게 된다. 즉, 상기 도 2에 표시된 이벤트 구간 추출부(200)는 상기 생성된 제 1 생체 신호인 PPG 데이터를 이용하여 상기 촬영된 동영상의 재생 구간 중 상기 촬영자의 선호도 를 반영하는 제 1 이벤트 구간을 추출하고, 상기 생성된 제 2 생체 신호인 GSR 데이터를 이용하여 제 2 이벤트 구간을 추출하게 된다.
그리고, 상기 추출된 제 1 이벤트 구간 및 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 최종적으로 생성하게 되는 것이다. 상기 최종 이벤트 구간을 생성하는 과정은 도 8의 설명 부분에서 후술하기로 하고, 그에 앞서 이벤트 구간 추출부(200)의 구성을 도 5를 참조하여 세부적으로 살펴보고, 그 후에 도 8을 참조하여 최종 이벤트 구간을 생성하는 알고리즘을 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 동영상 편집 장치의 구성 중 이벤트 구간 추출부(200)의 구성을 나타내는 도면이고, 도 8은 본 발명의 일 실시예에 따라 최종 이벤트 구간을 생성하는 알고리즘을 나타내는 도면이다. 상기 도 5를 참조하면, 이벤트 구간 추출부(200)는 제 1 이벤트 구간 추출부(210), 제 2 이벤트 구간 추출부(220), 및 최종 이벤트 구간 추출부(230)를 포함하고 있다.
제 1 이벤트 구간 추출부(210)는 상기 설정된 PPG 잡음 구간의 PPG 데이터로부터 상기 제 1 이벤트 구간을 제 1 순위부터 제 n 순위까지 우선 순위대로 추출하며(S802), 제 2 이벤트 구간 추출부(220)는 상기 설정된 GSR 잡음 구간의 GSR 데이터로부터 상기 제 2 이벤트 구간을 제 1 순위부터 제 m 순위까지 우선 순위대로 추출하게 된다(S804). 여기서, 상기 제 1 이벤트 구간은 상기 제 1 생체 신호인 PPG 데이터의 피크치에서의 시각을 중심으로 소정의 시간 간격을 가지는 구간이며, 상기 제 2 이벤트 구간은 상기 SIR 데이터 값의 최대값에서 소정의 값을 뺀 값 보다 큰 값을 가지는 피크치를 포함하는 구간으로 설정할 수 있다. 이를 도시한 것이 도 9인데, 상기 도 9는 제 1 이벤트 구간과 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 생성하는 과정을 도시한 그래프이다.
상기 도 9의 상단 왼쪽 그림은 제 1 이벤트 구간을 추출하는 과정을 나타내고 있다. 여기서, 상기 신호 처리를 위한 파라미터는 여러 가지가 이용될 수 있는데, 주로 심박동수(HR), 심박동의 고주파 영역과 저주파 영역을 나타내는 HF와 LF, HF와 LF의 비로서 신체의 각성 정도를 나타내는 척도로 사용되는 HF/LF 비, 3 초 동안의 심박동의 피크치 사이의 간격의 표준 편차를 나타내는 SDNN 3 및 10 초 동안의 심박수의 피크치 사이의 간격의 표준 편차를 나타내는 SDNN 10 등이 이용될 수 있다. HF는 주로 0.15hz ~ 0.4hz 주파수 영역의 PSD로서 일반적으로 부교감 신경의 활성화 정도를 나타낸다고 알려져 있으며, 시간에 따른 변화를 알기 위해 Short Time Fourier Transform(STFT)을 사용한다. LF는 0.04hz ~ 0.15hz 주파수 영역의 PSD로서, 일반적으로 교감 신경의 활성화 정도를 나타낸다고 알려져 있으며, 시간에 따른 변화를 알기 위해서는 역시 STFT 를 사용하게 된다. 상기와 같은 파라미터들 중 최적의 신호 처리 파라미터를 찾아내는 실험을 한 결과, 상기 촬영자의 심박수의 10 초 동안의 피크치 간의 간격의 표준 편차인 SDNN 10을 이용하는 경우가 가장 바람직하다는 결과에 이르게 되므로, 본 발명의 실시예에서는 SDNN 10 이라는 파라미터를 사용하였다.
한편, 바람직한 예로서, 상기 SDNN 10 이라는 파라미터를 이용하여 상기 피크치에서의 시각을 중심으로 앞으로 20 sec 뒤로 4 sec의 시간 간격을 제 1 이벤트 구간으로 설정할 수 있다. 상기 제 1 이벤트 구간이 피크치를 중심으로 비대칭적 으로 설정되는 이유는 상기 PPG 센서의 특성상 촬영자의 행동 반응 발생 이후에 시간 지연을 두고 생리 반응이 나타난다는 특성을 반영하기 때문이다. 상기 PPG 센서에 의해 얻어진 데이터는 일상적일 상태일 때와 제 1 이벤트 발생에 의해 심박수의 변화가 발생할 때의 신체 상태의 차이를 비교하는 좋은 지표가 되고, 따라서, 상기 제 1 생체 신호의 패턴만 보고 상기 제 1 이벤트가 발생하였는지 여부를 판단할 수 있는 것이다.
상기 도 9의 상단 오른쪽 그림은 제 2 이벤트 구간을 추출하는 과정을 나타내고 있는데, SIR 카운트 값의 최대값에서 소정의 값을 뺀 값을 SIR 문턱값으로 설정하고, 상기 문턱값보다 큰 SIR 카운트 값을 가지는 구간을 제 2 이벤트 구간으로 설정할 수 있다. 즉, 상기 SIR 문턱값은 소정 시간 간격 동안의 SIR 데이터의 평균과 표준편차를 산출하여 설정되는 기준선이라고 할 수 있다. 그리고, 상기 SIR 카운트 값은 상기 SIR 문턱값을 넘어서는 SIR 데이터의 수를 의미한다.
상기 GSR 센서는 상기 PPG 센서가 잡음에 약하다는 단점을 보완하기 위해 사용되는데, PPG 센서에 의해 얻어진 신호로부터 잡음을 제거하는 과정에서 실제 이벤트에 의해 발생된 신호까지 함께 제거되는 문제가 발생할 수 있기 때문에 상기 GSR 센서로 보완하게 되는 것이다.
그리고, 최종 이벤트 구간 추출부(230)는 상기 n 개의 제 1 이벤트 구간과 상기 m 개의 제 2 이벤트 구간이 일치하는 구간을 제 1 순위 일치 구간으로 선정하고(S806), 상기 제 1 순위 일치 구간의 길이가 상기 촬영자에 의해 미리 설정된 최소 요구 시간 이상인지 여부를 판단하여(S808), 상기 최소 요구 시간 이상인 경우 에는 상기 제 1 순위 일치 구간을 상기 최종 이벤트 구간으로 생성하게 된다(S820). 상기 도 9의 하단 그래프에서 제 1 이벤트 구간(PPG 구간)과 제 2 이벤트 구간(GSR 구간)이 함께 연결된 곳을 원으로 표시한 부분(901)이 제 1 순위 일치 구간이 될 것이다.
그러나, 상기 제 1 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 n 개의 제 1 이벤트 구간 중 상기 GSR 잡음 구간과 일치하는 구간을 제 2 순위 일치 구간으로 선정하고(S810), 상기 제 2 순위 일치 구간의 길이가 상기 최소 요구 시간 이상인지 여부를 판단하여(S812), 상기 최소 요구 시간 이상인 경우에는 상기 제 2 순위 일치 구간을 상기 최종 이벤트 구간으로 추가 생성하게 된다(S820). 상기 도 9의 하단 그래프에서 제 1 이벤트 구간(PPG 구간)만으로 존재하는 부분(902)이 제 2 순위 일치 구간이 될 것이다.
마찬가지 방식으로, 상기 최종 이벤트 구간 추출부(230)는 상기 제 2 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 m 개의 제 2 이벤트 구간 중 상기 PPG 잡음 구간과 일치하는 구간을 제 3 순위 일치 구간으로 선정하고(S814), 상기 제 3 순위 일치 구간의 길이가 상기 최소 요구 시간 이상인지 여부를 판단하여(S816), 상기 최소 요구 시간 이상인 경우에는 상기 제 3 순위 일치 구간을 상기 최종 이벤트 구간으로 추가 생성하게 된다(S820). 상기 도 9의 하단 그래프에서 제 2 이벤트 구간(GSR 구간)만으로 존재하는 부분(903)이 제 3 순위 일치 구간이 될 것이다.
그리고, 상기 제 3 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경 우에는, 상기 최종 이벤트 구간으로 생성되지 못하고 남아 있는 나머지의 제 1 이벤트 구간과 제 2 이벤트 구간 중에서 우선 순위를 정하여 선정하게 되고(S818), 이를 상기 최종 이벤트 구간으로 생성하게 된다(S820).
GSR 센서는 촬영자의 피부에 전류를 흘려서 피부의 저항 및 발한 정도의 변화를 측정하는 센서로서 순간적인 외부 자극에 민감하게 반응한다. 따라서, 이벤트 발생에 의해서 순간적으로 변화하는 신체 상태를 탐지하는데 유용할 뿐 아니라, 잡음에 강인한 특징이 있기에 상기 PPG 센서와 상기 GSR 센서를 함께 사용하면 교감 신경계의 작용에 의해 발생한 이벤트 구간을 안정적으로 탐지할 수 있다. 또한, 이와 동시에 순간적으로 발생하는 짧은 순간의 신체 변화 특성을 반영하면서, 잡음 제거에 의해서 이벤트 구간이 제거되는 문제를 해결할 수 있다.
한편, 상기 도 2의 인덱싱부(300)는 상술한 과정에 의해 생성된 최종 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱하는 역할을 수행하며, 이로써 상기 최종 이벤트 구간이 인덱싱되어 있는 최종 동영상을 사용자의 선호도에 따라 편집하고 편집된 부분만을 재생하여 감상할 수 있는 것이다.
상기와 같은 본 발명의 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
한편, 본 발명의 실시예에 따른 생체 신호를 이용하는 동영상 편집 장치의 권리 범위는 상기와 같은 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체에도 미침은 당업자에게 자명하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따른 생체 신호를 이용하는 동영상 편집 장치 및 방법에 따르면, 서로 다른 발생 메커니즘을 가진 PPG 센서와 GSR 센서를 사용함으로써, 잡음이 발생한 구간에 대해서도 이벤트 구간의 선정이 가능해지고, 이벤트 구간의 추출의 성능을 향상시켜 잡음 구간에 포함되어 있는 이벤트 구간을 효율적으로 복원할 수 있다.
또한, PPG 센서와 GSR 센서를 이용하여 잡음 구간을 별도로 추정하여 사용자 이벤트 구간을 생성하는 지표로 활용할 수 있으며, 상기 추출된 복수의 이벤트 구간들의 우선 순위를 지정하여 최종 이벤트 구간을 생성할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (23)

  1. 동영상을 촬영하는 촬영자의 감정 상태를 반영하는 신호를 측정하여 제 1 생체 신호 및 제 2 생체 신호를 생성하는 생체 신호 생성부;
    상기 생성된 제 1 생체 신호를 이용하여 상기 촬영된 동영상의 재생 구간 중 상기 촬영자의 선호도를 반영하는 제 1 이벤트 구간을 추출하고, 상기 생성된 제 2 생체 신호를 이용하여 상기 촬영자의 선호도를 반영하는 제 2 이벤트 구간을 추출하며, 상기 추출된 제 1 이벤트 구간 및 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 추출하는 이벤트 구간 추출부; 및
    상기 추출된 최종 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱함으로써 상기 동영상을 편집하는 인덱싱부를 포함하는, 생체 신호를 이용하는 동영상 편집 장치.
  2. 제 1 항에 있어서,
    상기 감정 상태를 반영하는 신호는,
    상기 촬영자의 심장 박동의 변화로 나타나는 혈류량의 변화를 반영하는 신호 및 상기 촬영자의 피부 저항과 발한 정도의 변화를 반영하는 신호를 포함하는, 생체 신호를 이용하는 동영상 편집 장치.
  3. 제 1 항에 있어서,
    상기 제 1 생체 신호는 PPG(PhotoPlethysmoGraghy) 센서에 의해 생성되는 신호이며, 상기 제 2 생체 신호는 GSR(Galvanic Skin Response) 센서에 의해 생성되는 신호이며, 상기 PPG 센서 및 상기 GSR 센서는 상기 동영상을 촬영하는 디지털 디바이스의 소정 위치에 부착되어 있는 센서인, 생체 신호를 이용하는 동영상 편집 장치.
  4. 제 3 항에 있어서,
    상기 생체 신호 생성부는,
    상기 촬영자의 피부에 접촉되어 있는 상기 PPG 센서에 의해 상기 제 1 생체 신호를 생성하는 제 1 생체 신호 생성부;
    상기 촬영자의 피부에 접촉되어 있는 상기 GSR 센서에 의해 상기 제 2 생체 신호를 생성하는 제 2 생체 신호 생성부;
    상기 생성된 제 1 생체 신호인 PPG 데이터를 이용하여 PPG 잡음 구간을 설정하는 PPG 잡음 구간 설정부; 및
    상기 생성된 제 2 생체 신호인 GSR 데이터를 이용하여 GSR 잡음 구간을 설정하는 GSR 잡음 구간 설정부를 포함하는, 생체 신호를 이용하는 동영상 편집 장치.
  5. 제 4 항에 있어서,
    상기 PPG 잡음 구간 설정부는,
    상기 PPG 데이터의 피크치 간의 시간 간격인 RR 간격(RR interval)을 설정하 고, 상기 RR 간격에서 잡음을 제거한 후에,
    T_RR(n+1)-T_RR(n) > {RR(n)+RR(n+1)}/2 * C(상기 C는 1에서 3 사이의 상수)를 만족하는 경우에, T_RR(n) + RR(n)/2 에서부터 T_RR(n+1) - RR(n+1)/2 까지의 시간 간격을 PPG 잡음 구간으로 설정하는데,
    상기 RR(n)은 상기 잡음이 제거된 RR 간격의 제 n 번째 데이터이며, 상기 RR(n+1)은 상기 RR 간격의 제 n+1 번째 데이터이며, 상기 T_RR(n)은 상기 RR(n) 값이 측정된 시간값이며, 상기 T_RR(n+1)은 상기 RR(n+1)이 측정된 시간값인, 생체 신호를 이용하는 동영상 편집 장치.
  6. 제 4 항에 있어서,
    상기 GSR 데이터는, 소정 신호로 측정된 피부 저항의 절대적인 크기를 나타내는 SIL 데이터 및 상기 SIL 데이터의 시간에 따른 변화율을 나타내는 SIR 데이터를 포함하며,
    상기 GSR 잡음 구간 설정부는,
    소정 값을 초과하는 상기 SIR 데이터의 피크의 개수인 SIR 카운트 값을 상기 SIR 데이터로부터 추출하고, 소정 시각 t에 측정된 상기 SIL 데이터의 값을 SIL(t)라고 할 때, SIL(t+Δt1) - SIL(t) > Th1 인 지점을 상기 GSR 잡음 구간의 시작점으로 설정하고, 0 < SIL(t) - SIL(t+Δt2) < Th2 임과 동시에 SIL(t) < Th3인 지점을 상기 GSR 잡음 구간의 끝점으로 설정하며, 상기 설정된 GSR 잡음 구간으로부터 잡음을 제거하는데, 상기 Δt1 및 상기 Δt2는 소정 시간 간격이며, 상기 Th1, Th2, 및 Th3는 각각 제 1 문턱치, 제 2 문턱치, 및 제 3 문턱치인, 생체 신호를 이용하는 동영상 편집 장치.
  7. 제 6 항에 있어서,
    상기 Δt1은 0.1 ~ 0.5 사이의 값이며, 상기 Δt2는 0.2 ~ 1.0의 값이며, 상기 SIL 데이터의 전체 측정 범위가 10kΩ ~ 2MΩ 인 경우에, 상기 Th1은 20 ~ 60 kΩ이고, 상기 Th2는 0 ~ 5 kΩ이며, 상기 Th3는 2 MΩ이상인, 생체 신호를 이용하는 동영상 편집 장치.
  8. 제 4 항에 있어서,
    상기 이벤트 구간 추출부는,
    상기 설정된 PPG 잡음 구간으로부터 상기 제 1 이벤트 구간을 제 1 순위부터 제 n 순위까지 추출하는 제 1 이벤트 구간 추출부;
    상기 설정된 GSR 잡음 구간으로부터 상기 제 2 이벤트 구간을 제 1 순위부터 제 m 순위까지 추출하는 제 2 이벤트 구간 추출부; 및
    상기 n 개의 제 1 이벤트 구간과 상기 m 개의 제 2 이벤트 구간이 일치하는 구간을 제 1 순위 일치 구간으로 선정하고, 상기 제 1 순위 일치 구간의 길이가 상기 촬영자에 의해 미리 설정된 최소 요구 시간 이상인 경우에는 상기 제 1 순위 일치 구간을 상기 최종 이벤트 구간으로 추출하는 최종 이벤트 구간 추출부를 포함하는, 생체 신호를 이용하는 동영상 편집 장치.
  9. 제 8 항에 있어서,
    상기 최종 이벤트 구간 추출부는,
    상기 제 1 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 n 개의 제 1 이벤트 구간 중 상기 GSR 잡음 구간과 일치하는 구간을 제 2 순위 일치 구간으로 선정하고, 상기 제 2 순위 일치 구간의 길이가 상기 최소 요구 시간 이상인 경우에는 상기 제 2 순위 일치 구간을 상기 최종 이벤트 구간으로 추출하는, 생체 신호를 이용하는 동영상 편집 장치.
  10. 제 9 항에 있어서,
    상기 최종 이벤트 구간 추출부는,
    상기 제 2 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 m 개의 제 2 이벤트 구간 중 상기 PPG 잡음 구간과 일치하는 구간을 제 3 순위 일치 구간으로 선정하고, 상기 제 3 순위 일치 구간의 길이가 상기 최소 요구 시간 이상인 경우에는 상기 제 3 순위 일치 구간을 상기 최종 이벤트 구간으로 추출하는, 생체 신호를 이용하는 동영상 편집 장치.
  11. 제 10 항에 있어서,
    상기 최종 이벤트 구간 추출부는,
    상기 제 3 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 최종 이벤트 구간으로 생성되지 못한 나머지의 제 1 이벤트 구간과 제 2 이벤트 구간의 순위를 정하여 상기 최종 이벤트 구간으로 추출하는, 생체 신호를 이용하는 동영상 편집 장치.
  12. 제 3 항에 있어서,
    상기 제 1 이벤트 구간은 상기 제 1 생체 신호의 피크치에서의 시각을 중심으로 소정의 시간 간격을 가지는 구간이며, 상기 제 2 이벤트 구간은 소정 시간 간격 동안의 SIR 데이터의 평균과 표준편차를 산출하여 설정되는 기준선인 SIR 문턱치를 초과하는 SIR 카운트를 가지는 구간인, 생체 신호를 이용하는 동영상 편집 장치.
  13. (a) 동영상을 촬영하는 촬영자의 감정 상태를 반영하는 신호를 측정하여 제 1 생체 신호 및 제 2 생체 신호를 생성하는 단계;
    (b) 상기 생성된 제 1 생체 신호를 이용하여 상기 촬영된 동영상의 재생 구간 중 상기 촬영자의 선호도를 반영하는 제 1 이벤트 구간을 추출하고, 상기 생성된 제 2 생체 신호를 이용하여 상기 촬영자의 선호도를 반영하는 제 2 이벤트 구간을 추출하며, 상기 추출된 제 1 이벤트 구간 및 제 2 이벤트 구간을 이용하여 최종 이벤트 구간을 추출하는 단계; 및
    (c) 상기 추출된 최종 이벤트 구간을 상기 동영상의 재생 구간에 동기화하여 인덱싱함으로써 상기 동영상을 편집하는 단계를 포함하는, 생체 신호를 이용하는 동영상 편집 방법.
  14. 제 13 항에 있어서,
    상기 감정 상태를 반영하는 신호는,
    상기 촬영자의 심장 박동의 변화로 나타나는 혈류량의 변화를 반영하는 신호 및 상기 촬영자의 피부 저항과 발한 정도의 변화를 반영하는 신호를 포함하는, 생체 신호를 이용하는 동영상 편집 방법.
  15. 제 13 항에 있어서,
    상기 제 1 생체 신호는 PPG(PhotoPlethysmoGraghy) 센서에 의해 생성되는 신호이며, 상기 제 2 생체 신호는 GSR(Galvanic Skin Response) 센서에 의해 생성되는 신호이며, 상기 PPG 센서 및 상기 GSR 센서는 상기 동영상을 촬영하는 디지털 디바이스의 소정 위치에 부착되어 있는 센서인, 생체 신호를 이용하는 동영상 편집 방법.
  16. 제 15 항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 촬영자의 피부에 접촉되어 있는 상기 PPG 센서에 의해 상기 제 1 생체 신호를 생성하고, 상기 촬영자의 피부에 접촉되어 있는 상기 GSR 센서에 의해 상기 제 2 생체 신호를 생성하는 단계;
    (a2) 상기 생성된 제 1 생체 신호인 PPG 데이터를 이용하여 PPG 잡음 구간을 설정하는 단계; 및
    (a3) 상기 생성된 제 2 생체 신호인 GSR 데이터를 이용하여 GSR 잡음 구간을 설정하는 단계를 포함하는, 생체 신호를 이용하는 동영상 편집 방법.
  17. 제 16 항에 있어서,
    상기 (a2) 단계는,
    (a21) 상기 PPG 데이터의 피크치 간의 시간 간격인 RR 간격(RR interval)을 설정하는 단계;
    (a22) 상기 RR 간격에서 잡음을 제거하는 단계; 및
    (a23) T_RR(n+1)-T_RR(n) > {RR(n)+RR(n+1)}/2 * C(상기 C는 1에서 3 사이의 상수)를 만족하는 경우에, T_RR(n) + RR(n)/2 에서부터 T_RR(n+1) - RR(n+1)/2 까지의 시간 간격을 PPG 잡음 구간으로 설정하는 단계를 포함하는데, 상기 RR(n)은 상기 잡음이 제거된 RR 간격의 제 n 번째 데이터이며, 상기 RR(n+1)은 상기 RR 간격의 제 n+1 번째 데이터이며, 상기 T_RR(n)은 상기 RR(n) 값이 측정된 시간값이며, 상기 T_RR(n+1)은 상기 RR(n+1)이 측정된 시간값인, 생체 신호를 이용하는 동영상 편집 방법.
  18. 제 16 항에 있어서,
    상기 GSR 데이터는, 소정 신호로 측정된 피부 저항의 절대적인 크기를 나타 내는 SIL 데이터 및 상기 SIL 데이터의 시간에 따른 변화율을 나타내는 SIR 데이터를 포함하며,
    상기 (a3) 단계는,
    (a31) 소정 값을 초과하는 상기 SIR 데이터의 피크의 개수인 SIR 카운트 값을 상기 SIR 데이터로부터 추출하는 단계;
    (a32) 소정 시각 t에 측정된 상기 SIL 데이터의 값을 SIL(t)라고 할 때, SIL(t+Δt1) - SIL(t) > Th1 인 지점을 상기 GSR 잡음 구간의 시작점으로 설정하고, 0 < SIL(t) - SIL(t+Δt2) < Th2 임과 동시에 SIL(t) < Th3인 지점을 상기 GSR 잡음 구간의 끝점으로 설정하는 단계; 및
    (a33) 상기 설정된 GSR 잡음 구간으로부터 잡음을 제거하는 단계를 포함하며,
    상기 Δt1 및 상기 Δt2는 소정 시간 간격이며, 상기 Th1, Th2, 및 Th3는 각각 제 1 문턱치, 제 2 문턱치, 및 제 3 문턱치인, 생체 신호를 이용하는 동영상 편집 방법.
  19. 제 18 항에 있어서,
    상기 Δt1은 0.1 ~ 0.5 사이의 값이며, 상기 Δt2는 0.2 ~ 1.0의 값이며, 상기 SIL 데이터의 전체 측정 범위가 10kΩ ~ 2MΩ 인 경우에, 상기 Th1은 20 ~ 60 kΩ이고, 상기 Th2는 0 ~ 5 kΩ이며, 상기 Th3는 2 MΩ이상인, 생체 신호를 이용하는 동영상 편집 방법.
  20. 제 16 항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 설정된 PPG 잡음 구간으로부터 상기 제 1 이벤트 구간을 제 1 순위부터 제 n 순위까지 추출하고, 상기 설정된 GSR 잡음 구간으로부터 상기 제 2 이벤트 구간을 제 1 순위부터 제 m 순위까지 추출하는 단계; 및
    (b2) 상기 n 개의 제 1 이벤트 구간과 상기 m 개의 제 2 이벤트 구간이 일치하는 구간을 제 1 순위 일치 구간으로 선정하고, 상기 제 1 순위 일치 구간의 길이가 상기 촬영자에 의해 미리 설정된 최소 요구 시간 이상인 경우에는 상기 제 1 순위 일치 구간을 상기 최종 이벤트 구간으로 추출하는 단계를 포함하는, 생체 신호를 이용하는 동영상 편집 방법.
  21. 제 20 항에 있어서,
    (b3) 상기 제 1 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 n 개의 제 1 이벤트 구간 중 상기 GSR 잡음 구간과 일치하는 구간을 제 2 순위 일치 구간으로 선정하고, 상기 제 2 순위 일치 구간의 길이가 상기 최소 요구 시간 이상인 경우에는 상기 제 2 순위 일치 구간을 상기 최종 이벤트 구간으로 추출하는 단계;
    (b4) 상기 제 2 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 m 개의 제 2 이벤트 구간 중 상기 PPG 잡음 구간과 일치하는 구간을 제 3 순위 일치 구간으로 선정하고, 상기 제 3 순위 일치 구간의 길이가 상기 최소 요구 시간 이상인 경우에는 상기 제 3 순위 일치 구간을 상기 최종 이벤트 구간으로 추출하는 단계; 및
    (b5) 상기 제 3 순위 일치 구간의 길이가 상기 최소 요구 시간 미만인 경우에는, 상기 최종 이벤트 구간으로 생성되지 못한 나머지의 제 1 이벤트 구간과 제 2 이벤트 구간의 순위를 정하여 상기 최종 이벤트 구간으로 추출하는 단계를 더 포함하는, 생체 신호를 이용하는 동영상 편집 방법.
  22. 제 15 항에 있어서,
    상기 제 1 이벤트 구간은 상기 제 1 생체 신호의 피크치에서의 시각을 중심으로 소정의 시간 간격을 가지는 구간이며, 상기 제 2 이벤트 구간은 소정 시간 간격 동안의 SIR 데이터의 평균과 표준편차를 산출하여 설정되는 기준선인 SIR 문턱치를 초과하는 SIR 카운트를 가지는 구간인, 생체 신호를 이용하는 동영상 편집 방법.
  23. 제 13 항의 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020060041704A 2006-05-09 2006-05-09 생체 신호를 이용하는 동영상 편집 장치 및 방법 KR100763236B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060041704A KR100763236B1 (ko) 2006-05-09 2006-05-09 생체 신호를 이용하는 동영상 편집 장치 및 방법
US11/715,907 US8157729B2 (en) 2006-05-09 2007-03-09 System, method and medium editing moving pictures using biometric signals
US13/440,056 US20120275769A1 (en) 2006-05-09 2012-04-05 System, method and medium editing moving pictures using biometric signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060041704A KR100763236B1 (ko) 2006-05-09 2006-05-09 생체 신호를 이용하는 동영상 편집 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100763236B1 true KR100763236B1 (ko) 2007-10-04

Family

ID=38685234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060041704A KR100763236B1 (ko) 2006-05-09 2006-05-09 생체 신호를 이용하는 동영상 편집 장치 및 방법

Country Status (2)

Country Link
US (2) US8157729B2 (ko)
KR (1) KR100763236B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028093A (ko) * 2014-09-02 2016-03-11 삼성전자주식회사 생체 신호를 이용한 카메라 모듈의 제어
KR102308372B1 (ko) 2020-12-18 2021-10-06 주식회사 스파크엑스 (SPARKX Co.,Ltd.) Ｖｆｘ 서비스 제공 및 협업 기능을 갖는 하이브리드 클라우드 시스템
KR102308369B1 (ko) 2020-12-18 2021-10-06 주식회사 스파크엑스 (SPARKX Co.,Ltd.) 인공지능 음원 분석을 통한 동영상 자동 편집 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775975B2 (en) 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
JP2009118420A (ja) * 2007-11-09 2009-05-28 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システム
US20100129046A1 (en) * 2008-11-21 2010-05-27 Pertti Tolonen Method and apparatus for recording and playback processes
JP5708155B2 (ja) * 2011-03-31 2015-04-30 富士通株式会社 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム
US20120324491A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US9311825B2 (en) 2011-12-22 2016-04-12 Senstream, Inc. Biometric sensing and processing apparatus for mobile gaming, education, and wellness applications
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
US10055538B2 (en) 2013-01-05 2018-08-21 Qualcomm Incorporated Processing of skin conductance signals to mitigate noise and detect signal features
US10192583B2 (en) 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters
CN104469319A (zh) * 2014-12-18 2015-03-25 上海小蚁科技有限公司 一种图像采集与图像显示分离的方法及装置
WO2017048304A1 (en) * 2015-09-16 2017-03-23 Thomson Licensing Determining fine-grain responses in gsr signals
US10311918B1 (en) 2016-04-19 2019-06-04 Space Projects Ltd. System, media, and method for synchronization of independent sensors and recording devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204419A (ja) 2000-12-28 2002-07-19 Kenichiro Ishijima 映像音声自動編集装置、方法及び記憶媒体
US20030118974A1 (en) 2001-12-21 2003-06-26 Pere Obrador Video indexing based on viewers' behavior and emotion feedback
JP2004159192A (ja) 2002-11-07 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体
JP2005128884A (ja) 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100290063B1 (ko) 1998-12-19 2001-05-15 한상용 마우스패드를 이용한 간이 건강 진단장치
DE60224776T2 (de) * 2001-12-20 2009-01-22 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Virtuelles Bildtelefon
US6798461B2 (en) * 2002-01-10 2004-09-28 Shmuel Shapira Video system for integrating observer feedback with displayed images
KR100455286B1 (ko) * 2002-01-11 2004-11-06 삼성전자주식회사 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치
KR100580618B1 (ko) * 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
KR20050044899A (ko) 2002-08-01 2005-05-13 텐시스 메디칼 인코포레이티드 비침습적 파라미터 측정의 제어를 위한 방법 및 장치
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP3968522B2 (ja) 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204419A (ja) 2000-12-28 2002-07-19 Kenichiro Ishijima 映像音声自動編集装置、方法及び記憶媒体
US20030118974A1 (en) 2001-12-21 2003-06-26 Pere Obrador Video indexing based on viewers' behavior and emotion feedback
JP2004159192A (ja) 2002-11-07 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体
JP2005128884A (ja) 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028093A (ko) * 2014-09-02 2016-03-11 삼성전자주식회사 생체 신호를 이용한 카메라 모듈의 제어
KR102367550B1 (ko) * 2014-09-02 2022-02-28 삼성전자 주식회사 생체 신호를 이용한 카메라 모듈의 제어
KR102308372B1 (ko) 2020-12-18 2021-10-06 주식회사 스파크엑스 (SPARKX Co.,Ltd.) Ｖｆｘ 서비스 제공 및 협업 기능을 갖는 하이브리드 클라우드 시스템
KR102308369B1 (ko) 2020-12-18 2021-10-06 주식회사 스파크엑스 (SPARKX Co.,Ltd.) 인공지능 음원 분석을 통한 동영상 자동 편집 시스템

Also Published As

Publication number Publication date
US20070263978A1 (en) 2007-11-15
US8157729B2 (en) 2012-04-17
US20120275769A1 (en) 2012-11-01

Similar Documents

Publication Publication Date Title
KR100763236B1 (ko) 생체 신호를 이용하는 동영상 편집 장치 및 방법
KR100735556B1 (ko) 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치
US11032457B2 (en) Bio-sensing and eye-tracking system
Sugita et al. Techniques for estimating blood pressure variation using video images
CN103908236A (zh) 一种自动血压测量系统
WO2011127487A2 (en) Method and system for measurement of physiological parameters
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
JP2013544548A (ja) 信号処理装置、信号処理システム及び信号処理方法
WO2017029787A1 (ja) 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
Rapczynski et al. Continuous low latency heart rate estimation from painful faces in real time
KR101741904B1 (ko) 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템
KR100871565B1 (ko) 동잡음 제거된 혈류량 신호 검출 장치 및 방법
Ferrer-Mileo et al. Accuracy of heart rate variability estimation by photoplethysmography using an smartphone: Processing optimization and fiducial point selection
Pal et al. Improved heart rate detection using smart phone
Kostka et al. Multi-sources data analysis with sympatho-vagal balance estimation toward early bruxism episodes detection
Lee et al. The analysis of sleep stages with motion and heart rate signals from a handheld wearable device
Dautov et al. On the effect of face detection on heart rate estimation in videoplethysmography
KR20220098701A (ko) 비접촉 광용적맥파 추정 장치 및 방법
Hurnanen et al. Heartbeat detection using multidimensional cardiac motion signals and dynamic balancing
Panganiban et al. Stress detection using smartphone extracted photoplethysmography
US20090131766A1 (en) Method for monitoring a patient and system for implementing said method
Podaru et al. A simple method for determining the HRV parameters
Logier et al. A multi sensing method for robust measurement of physiological parameters in wearable devices
KR102010524B1 (ko) 비접촉식 진단 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 11