KR100735556B1 - 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치 - Google Patents

이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치 Download PDF

Info

Publication number
KR100735556B1
KR100735556B1 KR1020050097595A KR20050097595A KR100735556B1 KR 100735556 B1 KR100735556 B1 KR 100735556B1 KR 1020050097595 A KR1020050097595 A KR 1020050097595A KR 20050097595 A KR20050097595 A KR 20050097595A KR 100735556 B1 KR100735556 B1 KR 100735556B1
Authority
KR
South Korea
Prior art keywords
multimedia
event
multimedia image
section
user
Prior art date
Application number
KR1020050097595A
Other languages
English (en)
Other versions
KR20070041932A (ko
Inventor
양경혜
정승녕
최기완
유명현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050097595A priority Critical patent/KR100735556B1/ko
Priority to US11/525,896 priority patent/US8718447B2/en
Publication of KR20070041932A publication Critical patent/KR20070041932A/ko
Application granted granted Critical
Publication of KR100735556B1 publication Critical patent/KR100735556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치에 관한 것으로서, 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법은, (a) 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하는 단계; (b) 상기 검출된 생체 신호를 디지털 신호 처리하여 상기 멀티미디어 이미지에 인덱싱하는 단계; 및 (c) 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치는, 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하는 생체 신호 검출 수단; 상기 검출된 생체 신호를 디지털 신호 처리하여 상기 멀티미디어 이미지에 인덱싱하는 인덱싱 수단; 및 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 재생 수단을 포함한다.
본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치에 따르면, 촬영자의 감정 이벤트가 발생한 구간의 인덱스를 표시하여 동영상을 편집하고, 편집된 부분만을 선택적으로 재생하여 미리 보기 영상을 제공해줌으로써 동영상 파일의 관리를 용이하게 할 수 있는 효과가 있다.
이벤트 인덱스, PPG 센서, HR, SDNN 10

Description

이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING MULTIMEDIA USING EVENTS INDEX}
도 1은 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치 중 인덱싱 수단의 구성을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법의 전체적 흐름을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법 중 인덱싱 방법의 흐름을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법 중 재생 방법의 흐름을 나타내는 도면이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 멀티미디어 제공 장치로부터 생체 신호를 검출하는 과정을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따라 인덱싱을 하여 멀티미디어 이미지를 편집하는 과정을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 멀티미디어 제공 방법에서의 신호 처리 파 라미터들 중 최적의 신호 처리 파라미터를 찾는 실험 데이터를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 축약 수준을 조절하는 재생기의 그래픽 유저 인터페이스(GUI)를 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 축약 수준의 조절에 따라 재생기의 프로그레스 바(Progress Bar)의 재생 부분과 비재생 부분의 영역 비율이 변하는 과정을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 재생기의 프로그레스 바에 표시된 일부를 사용자가 임의로 선택하여 재생하는 과정을 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 축약의 비율과 축약의 시간을 문자로 직접 입력하는 과정을 나타내는 도면이다.
*도면의 주요 부분에 대한 설명*
100: 생체 신호 검출 수단 200: 인덱싱 수단
210: 파라미터 산출 수단 220: 이벤트 구간 생성 수단
230: 동기화 기록 수단 300: 재생 수단
310: 조절 수단 610: PPG 센서
810, 820, 830: 기준 1, 기준 2, 기준 3
1010, 1020, 1030: 프로그레스 바(Progress Bar)
1110, 1120: 프로그레스 바
1210; 축약률 표시 UI 1220: 축약 시간 표시 UI
본 발명은 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치에 관한 것으로서, 더욱 상세하게는, 동영상을 촬영하는 사용자의 생체 신호를 검출하여 이를 동영상에 인덱싱한 후에 인덱싱된 동영상을 선택적으로 편집하여 재생하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치에 관한 발명이다.
캠코더, 디지털 카메라, 휴대 단말 등 동영상 촬영이 가능한 휴대용 동영상 기록 재생 장치는, 피사체를 촬영하는 일반적인 기능을 가지고 있을 뿐만 아니라 촬영된 피사체를 녹화할 수 있는 기능도 함께 가지고 있다. 이러한 동영상 기록 재생 장치를 이용함으로써 사용자는 이동하면서도 원하는 피사체를 촬영하여 기록할 수 있고, 또한, 이후에 촬영된 영상을 재생하여 다시 볼 수 있다. 재생시 사용자는 저장된 영상을 동영상 기록 재생 장치에 구비된 디스플레이 장치나 PC의 모니터 등을 통해 다시 감상할 수 있으며, TV 모니터와 같은 외부 디스플레이 장치와 연결하여 볼 수도 있다.
위와 같은 동영상을 촬영하는 사용자들은 촬영된 모든 영상을 감상하는데 따르는 많은 시간 소요로 인해, 일반적으로 자신들에게 의미있는 중요한 장면 만을 모아서 감상하기 위해 동영상 편집을 하게 되는데, 이러한 편집 과정에서 사용자들은 동영상을 감상하는 시청자의 감정이나 생리적 신호 응답을 검출하여 동영상에 인덱싱을 한 후, 다음 사람이 선택적으로 볼 수 있도록 한다. 이와 관련된 종래의 기술들로는, 미국 공개 특허 US2003-0131351, 미국 등록 특허 US6585521 등의 발명들이 개시되고 있다. 그러나, 상기와 같은 발명들은 촬영자의 감정이나 상태 정보에 의해 의미있는 동영상 장면들만을 선택해서 제공해주는 방법이 적용되지 않으며, 쵤영자의 감정 상태에 대한 추출 또한 오랜 시간 동안의 센싱(Sensing)과 다양한 신호들 간의 조합이 필요하므로, 한가지 센서만을 이용해서 짧은 시간의 감정 상태들을 탐지하는 데는 어려움이 있다.
따라서, 촬영자의 생체 신호를 검출하여 감정 이벤트가 발생한 구간에 인덱스를 제공함으로써 동영상을 편집하고, 편집된 동영상의 미리 보기가 자동으로 제공되는 멀티미디어 제공 기술이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로서, 본 발명은 촬영자의 감정 이벤트가 발생한 구간의 인덱스를 표시하여 동영상을 편집하고, 편집된 부분만을 선택적으로 재생하여 미리 보기 영상을 제공해줌으로써, 동영상 파일의 관리를 용이하게 할 수 있도록 하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치를 제공하는 데 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법은, (a) 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하는 단계; (b) 상기 검출된 생체 신호를 디지털 신호 처리하여 생성된 신호 처리 파라미터를 이용하여 이벤트 구간을 생성하고, 상기 이벤트 구간을 상기 멀티미디어 이미지에 동기화하여 인덱싱하는 단계; 및 (c) 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 단계를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치는, 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하는 생체 신호 검출 수단; 상기 검출된 생체 신호를 디지털 신호 처리하여 생성된 신호 처리 파라미터를 이용하여 이벤트 구간을 생성하고, 상기 이벤트 구간을 상기 멀티미디어 이미지에 동기화하여 인덱싱하는 인덱싱 수단; 및 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 재생 수단을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예들을 설명하기 위한 블럭도 또는 흐름도들을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치의 구성을 나타내는 도면이다. 상기 도 1을 참조하여 설명하면, 본 발명의 실시예에 따른 멀티미디어 제공 장치는, 생체 신호 검출 수단(100), 인덱싱 수단(200) 및 재생 수단(300)을 포함한다.
생체 신호 검출 수단(100)은 멀티미디어 이미지를 촬영하는 사용자의 촬영 순간의 생체 신호를 검출하는 역할을 하는데, 상기 멀티미디어 이미지를 촬영하는 버튼과 동기화되어 있는 PPG(PhotoPlethysmoGraghy) 센서(610)를 통해 생체 신호를 검출하게 된다. 촬영자의 심장 박동에 따라 전신으로 전파되는 진동파인 맥파(Pulse Wave)를 말초 혈관으로부터 획득하기 위한 광원으로 적외선(IR)을 사용하는데, 적외선이 혈액에는 잘 흡수되며 조직에는 잘 흡수되지 않는 성질이 있기 때문에 혈액양을 측정하는데 많이 사용된다. 이러한 생체 신호를 검출하는 모습이 도 6a와 도 6b에 나타나고 있는바, 상기 도 6a 및 도 6b는 본 발명의 실시예에 따른 멀티미디어 제공 장치로부터 생체 신호를 검출하는 과정을 나타내는 도면이다. 상기 도 6a는 캠코더 같은 동영상 기록 장치로 촬영을 하게 될 때 촬영자가 동영상 기록 장치를 파지하는 일반적 모습을 나타내고 있는데, 보통 검지 손가락이 생체 신호를 센싱하는 PPG 센서(610)에 접촉하게 된다. 도 6b는 PPG 센서(610)를 확대한 것으로, IR 이미터(Emmiter)에서 적외선을 조사하면 적외선이 촬영자의 손가락 내의 혈액에 일부 흡수되고 일부는 반사되어 IR 센서에 의해 검출됨으로써 혈관 내에 변화하는 혈액량을 측정할 수 있게 된다.
인덱싱 수단(200)은 상기와 같은 방식에 의해 검출된 생체 신호를 디지털 신호 처리하여 상기 멀티미디어 이미지에 인덱싱(indexing)하는 역할을 한다. 이러 한 인덱싱 수단(200)의 구성을 도 2를 참조하여 설명한다. 도 2는 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치 중 인덱싱 수단(200)의 구성을 나타내는 도면이다. 상기 도 2를 참조하면, 인덱싱 수단(200)은, 파라미터 산출 수단(210), 이벤트 구간 생성 수단(220) 및 동기화 기록 수단(230)을 포함한다.
파라미터 산출 수단(210)은 검출된 생체 신호를 디지털 신호 처리하여 생성된 데이터를 이용하여 신호 처리 파라미터를 산출하는 역할을 한다. 여기서, 신호 처리 파라미터는 여러 가지가 이용될 수 있는데, 주로 심박동수(HR), 심박동의 고주파 영역과 저주파 영역을 나타내는 HF와 LF, HF와 LF의 비로서 신체의 각성 정도를 나타내는 척도로 사용되는 HF/LF 비, 3 초 동안의 심박동의 피크치 사이의 간격의 표준 편차를 나타내는 SDNN 3 및 10 초 동안의 심박동의 피크치 사이의 간격의 표준 편차를 나타내는 SDNN 10 등이 이용될 수 있다. HF는 주로 0.15hz ~ 0.4hz 주파수 영역의 PSD로서 일반적으로 부교감 신경의 활성화 정도를 나타낸다고 알려져 있으며, 시간에 따른 변화를 알기 위해 Short Time Fourier Transform(STFT)을 사용한다. LF는 0.04hz ~ 0.15hz 주파수 영역의 PSD로서, 일반적으로 교감 신경의 활성화 정도를 나타낸다고 알려져 있으며, 시간에 따른 변화를 알기 위해서는 역시 STFT 를 사용하게 된다.
상기와 같은 파라미터들 중 최적의 신호 처리 파라미터를 찾아내는 과정을 나타내는 도면이 도 8인바, 도 8은 본 발명의 실시예에 따른 멀티미디어 제공 방법에서의 신호 처리 파라미터들 중 최적의 신호 처리 파라미터를 찾는 실험 데이터를 나타내는 도면이다. 가장 왼쪽의 "user"는 사용자의 행동 반응 지표를 나타내는 것으로서 사용자의 행동 반응이 일어났던 시점이 세로로 표시되고 있으며, HR 부터 LF/HF는 신호 처리 파라미터(parameter)들을 나타내는 것으로서, 각각의 파라미터를 이용하여 측정한 결과 생체 신호 이벤트가 일어났다고 보여지는 구간들의 발생 시점을 시간으로 표시한 것이다. 이러한 실험 데이터를 이용하여 최적의 신호 처리 파라미터를 찾을 수 있으며, 이와 동시에 사용자의 이벤트 구간을 생성할 수 있게 된다.
이벤트 구간 생성 수단(220)은 상기 도 8에 나타난 여러 파라미터의 이벤트 구간을 생성하는 역할을 하는데, 상기 산출된 파라미터의 피크치에서의 시점을 전후로 하여 설정된 제 1 시간 간격과 상기 멀티미디어 이미지를 감상하는 사용자의 얼굴 표정 반응이나 소리 반응 등의 행동 반응이 발생되는 제 2 시간 간격의 일치 구간을 소정 기준에 의해 추출하게 되고, 상기 추출된 일치 구간을 상기 파라미터의 이벤트 구간으로 생성하게 된다.
여기서, 상기 소정 기준은 여러 가지가 있을 수 있는데, 상기 도 8을 참조하면, 3 가지의 기준에 대해 설명되어 있다. 기준 1(810)에 의하면, 상기 파라미터의 피크치에서의 시점과 상기 행동 반응이 발생되는 시점 사이의 간격이 소정 시간 범위 이내인 경우에는 상기 제 1 시간 간격과 상기 제 2 시간 간격의 일치 구간을 이벤트 구간으로 추출하게 되는데, 일반적으로, 상기 생체 신호의 발생 시점과 상기 행동 반응의 발생 시점은 일치하지 않는다는 신체적 특성은 잘 알려져 있으므로, 상기 소정 시간 범위는 바로 이러한 신체적 특성을 반영하여 결정되는 범위인 바, 통상적으로 5 밀리 세크(msec) 정도이다. 기준 2(820)에 의하면, 상기 행동 반응이 발생되는 시점이 상기 피크치에서의 시점보다 소정 시간 간격 이내로 앞서는 경우를 상기 제 1 시간 간격과 제 2 시간 간격의 일치 구간으로 판단하여 이벤트 구간으로 추출할 수도 있다. 역시, 여기서도 소정 시간 간격은 약 5 밀리 세크의 간격이 바람직하다. 기준 3(830)에 의하면, 다른 파라미터에서는 잡히지 않는 유효 신호를 단독으로 잡아내는 경우를 일치 구간으로 판단하는 것이다. 도 8에서는 각 기준에 의한 각 파라미터 별 비교치가 표시되어 있는데, SDNN 10 이 어떤 기준에 의할 때도 가장 일치율이 높게 나타나는 것을 알 수 있다. 따라서, 상기의 신호 처리 파라미터들 중 SDNN 10을 최적의 파라미터로 사용하는 것이 바람직하다.
동기화 기록 수단(230)은 상기와 같은 실험에 의해 생성된 이벤트 구간을 상기 멀티미디어 이미지의 촬영 구간에 동기화하여 함께 기록하는 역할을 한다. 이러한 동기화 기록을 하여 인덱싱하는 개념을 나타내는 것이 도 7인바, 도 7은 본 발명의 실시예에 따라 인덱싱을 하여 멀티미디어 이미지를 편집하는 과정을 나타내는 도면이다. 상기 도 7의 상단에 있는 그림은 1 시간 분량의 동영상에 사용자의 감정 이벤트 구간이 동기화되어 기록된 것을 나타낸 것이다. 이러한 동영상이 동영상 플레이어에서 일정 강도 이하의 감정 이벤트는 필터링하고, 그 이상의 신호만을 이벤트 구간으로 생성하여 동기화하게 된다. 그리고, 이벤트 구간을 포함하지 않는 구간을 사용자의 선택에 의해 삭제함으로써 요약 동영상이 생성되는 것인데, 이러한 편집 과정은 재생 수단(300)에 의해 수행된다.
재생 수단(300)은 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 역할을 하는데, 상기 인덱싱된 멀티미디어 이미지의 재생 분량을 조절하는 조절 수단(310)을 포함하고 있으며, 조절 수단(310)에 의해 조절된 재생 분량에 따라 멀티미디어 이미지를 재생하게 된다.
또한, 조절 수단(300)은 멀티미디어 이미지의 전체 길이에 대한 상기 이벤트 구간의 총 길이를 나타내는 축약 수준을 조절할 수 있는데, 상기 멀티미디어 이미지를 재생하는 재생기의 그래픽 유저 인터페이스(GUI)로 축약 수준을 조절할 수 있는데, 이를 나타낸 것이 도 9이다. 도 9는 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 축약 수준을 조절하는 재생기의 그래픽 유저 인터페이스(GUI)를 나타내는 도면이다. 상기 도 9를 참조하여 설명하면, 플레이어의 오른쪽 부분에서 감정 이벤트 신호 파형에 대해 축약 수준을 조절하고 있는 가로 직선이 있으며, 재생 중의 진행 상황을 나타내는 프로그레스 바(Progress Bar)가 기존의 플레이어처럼 존재하고 있다. 우측 화면에 대한 두가지 실시예가 아래에 표시되고 있는데, 첫번째 실시예는 파장에 대한 정보보다 감정량의 크기에 대한 정보를 제공하여 감정량에 따른 축약 수준을 조절하게 한다. 아래의 두번째 실시예에서는 각각의 피크치 정보보다는 축약 수준 이상의 영역에 존재하는 감정량에 대한 정보를 색깔로서 시각적으로 강조하고 있다.
또한, 조절 수단(300)은, 상기 축약 수준의 조절에 따라 상기 프로그레스 바(Progress Bar)에서 재생 부분과 비재생 부분의 영역의 비율이 연속적 또는 불연속적으로 변하게 할 수도 있다. 이를 나타낸 것이 도 10인 바, 도 10은 본 발명의 실시예에서 축약 수준의 조절에 따라 재생기의 프로그레스 바(Progress Bar)의 재 생 부분과 비재생 부분의 영역 비율이 변하는 과정을 나타내는 도면이다. 상기 프로그레스 바를 확대한 모습이 모두 세 가지로 표현되어 있는데, 첫번재 그림(1010)에서는, 재생 부분은 밝게 표시되고 비재생 부분은 어둡게 표시되어 축약 수준을 조절하면 재생 부분의 상대 비율이 변하게 될 것이다. 두번째 그림(1020)에서는 첫번째 그림(1010)의 방식과 달리 감정의 강약을 그라데이션(Gradation)으로 처리함으로써 사용자가 축약 수준을 조절함으로써 명암의 비율이 달라지게 된다. 또한, 세번째 그림(1030)에서는, 역시 감정의 강약을 명암으로 표시한다는 점에서 두번째 그림(1020)과 유사하되 그라데이션 방식이 아니라 단절적인 방식을 이용한다는 점에서 구별된다.
한편, 재생 수단(300)은, 상기 신호 처리 파라미터의 피크치에서의 시점을 상기 재생기의 프로그레스 바 위에 표시하고 상기 표시된 시점 중 일부를 사용자가 임의로 선택하여 재생하게 하거나, 상기 이벤트 구간을 소정 색상으로 표시하여 상기 프로그레스 바 위에 표시하고 상기 표시된 구간 중 일부를 사용자가 임의로 선택하여 재생하게 할 수도 있다. 이러한 방식을 나타낸 것이 도 11인데, 상기 도 11은 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 재생기의 프로그레스 바에 표시된 일부를 사용자가 임의로 선택하여 재생하는 과정을 나타내는 도면이다. 상기 도 11의 상단 그림(1110)에서 원 모양의 표시가 감정 이벤트의 피크치를 나타낸 것이고, 진한 색이 표시된 부분이 사용자가 임의로 선택한 부분이다. 하단 그림(1120)도 마찬가지로 감정 이벤트의 강도가 색상으로 표시되며, 사용자는 임의의 부분을 선택하여 재생할 수 있다. 이때 감정 인덱스에 따른 축약 수준의 자동 설 정은 할 수 없게 된다.
여기서, 축약 수준은 사용자에 의해 축약의 비율과 축약의 시간을 상기 재생기에 문자로 직접 입력할 수 있는데, 이를 보여주는 것이 도 12인 바, 상기 도 12는 본 발명의 실시예에 따른 멀티미디어 제공 방법에서 축약의 비율과 축약의 시간을 문자로 직접 입력하는 과정을 나타내는 도면이다. 축약의 비율을 나타낸 것이 상단의 그림(1210)이고, 축약의 시간을 표시한 것이 하단의 그림(1220)이다.
한편, 상기와 같은 본 발명의 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
한편, 본 발명의 실시예에 따른 멀티미디어 제공 방법의 시간적 흐름에 대해 도 3 내지 도 5를 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법의 전체적 흐름을 나타내는 도면이다.
먼저, 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하게 된다(S100). 이 경우, 상기 멀티미디어 이미지를 촬영하는 버튼과 동기화되어 있는 PPG 센서에 의해 상기 생체 신호를 검출하게 된다.
그리고, 상기 검출된 생체 신호를 디지털 신호 처리하여 상기 멀티미디어 이미지에 인덱싱한다(S200). 이러한 인덱싱 과정을 도 4를 참조하여 상세히 설명한다. 도 4는 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법 중 인덱싱 방법의 흐름을 나타내는 도면이다.
먼저, 상기 검출된 생체 신호를 신호 처리하여 생성된 데이터를 이용하여 신호 처리 파라미터를 산출한다(S210). 상기 산출된 파라미터의 피크치에서의 시점을 전후로 하여 설정된 제 1 시간 간격과 상기 멀티미디어 이미지에 대한 사용자의 행동 반응이 발생되는 제 2 시간 간격이 일치하는 구간을 소정의 기준에 의해 추출하며(S220), 상기 추출된 일치 구간을 상기 파라미터의 이벤트 구간으로 생성하게 된다(S230). 그리고, 상기 생성된 이벤트 구간을 상기 멀티미디어 이미지의 촬영 구간에 동기화하여 기록함으로써 인덱싱하는 과정을 수행하게 된다(S240).
여기서, 상기 소정 기준은 여러 가지가 있을 수 있는데, 상기 도 8을 참조하여 설명하였듯이, 기준 1(810)에 의하면, 상기 파라미터의 피크치에서의 시점과 상 기 행동 반응이 발생되는 시점 사이의 간격이 소정 시간 범위 이내인 경우에는 상기 제 1 시간 간격과 상기 제 2 시간 간격의 일치 구간을 이벤트 구간으로 추출하게 된다. 일반적으로, 상기 생체 신호의 발생 시점과 상기 행동 반응의 발생 시점은 일치하지 않는다는 신체적 특성은 잘 알려져 있으므로, 상기 소정 시간 범위는 바로 이러한 신체적 특성을 반영하여 결정되는 범위인데, 통상적으로 5 밀리 세크(msec) 정도이다. 기준 2(820)에 의하면, 상기 행동 반응이 발생되는 시점이 상기 피크치에서의 시점보다 소정 시간 간격 이내로 앞서는 경우를 상기 일치 구간으로 판단하여 이벤트 구간으로 추출할 수도 있다. 역시, 여기서도 소정 시간 간격은 약 5 밀리 세크의 간격이 바람직하다. 기준 3(830)에 의하면, 다른 파라미터에서는 잡히지 않는 유효 신호를 단독으로 잡아내는 경우를 일치 구간으로 판단하는 것이다.
마지막으로, 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하게 된다(S300). 이러한 재생 과정을 나타내는 것이 도 5인 바, 상기 도 5는 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법 중 재생 방법의 흐름을 나타내는 도면이다. 상기 도 5를 참조하여 설명하면, 상기 인덱싱된 멀티미디어 이미지의 재생 분량을 조절하고(S310), 상기 조절된 재생 분량에 따라 상기 멀티미디어 이미지를 재생하는 단계(S320)를 수행한다.
한편, 상기 행동 반응은 주로 사용자의 얼굴 표정 반응이나 소리 반응 기타 동영상을 감상하는 사용자의 다양한 반응을 의미한다. 그리고, 상기 파라미터는 상기 사용자의 심박동수(HR)의 10 초 간 피크치 사이의 간격의 표준 편차(SDNN10) 를 이용하는 것이 바람직하다.
S310 단계에서 이미지의 재생 분량을 조절하는 실시예로서, 상기 도 9의 부분에서 설명하였듯이, 상기 축약 수준을 상기 재생기의 그래픽 유저 인터페이스(GUI)로 조절함으로써 재생 분량을 조절할 수 있다. 그리고, 상기 도 10에서 설명되었듯이, 상기 축약 수준의 조절에 따라 상기 재생기의 프로그레스 바(Progress Bar)에서 재생 부분과 비재생 부분의 영역의 비율이 연속적 또는 불연속적으로 변할 수 있다.
S320 단계에서, 조절된 재생 분량에 따라 재생하는 실시예를 상기 도 11을 참조하여 설명하면, 상기 파라미터의 피크치에서의 시점을 상기 멀티미디어 이미지를 재생하는 재생기의 프로그레스 바 위에 표시하고 상기 표시된 시점 중 일부를 사용자가 임의로 선택하여 재생하거나, 또는, 상기 이벤트 구간을 소정 색상으로 표시하여 상기 멀티미디어 이미지를 재생하는 재생기의 프로그레스 바 위에 표시하고 상기 표시된 구간 중 일부를 사용자가 임의로 선택하여 재생하게 할 수 있다. 이때, 상기 축약 수준은 상기 도 12에서 나타나듯이, 상기 사용자에 의해 축약의 비율과 축약의 시간이 상기 재생기에 문자로 직접 입력됨으로써 조절될 수 있다.
한편, 본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 장치의 권리 범위는 상기와 같은 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에도 미침은 당업자에게 자명하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적 인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따른 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치에 따르면, 촬영자의 감정 이벤트가 발생한 구간의 인덱스를 표시하여 동영상을 편집하고, 편집된 부분만을 선택적으로 재생하여 미리 보기 영상을 제공해줌으로써 동영상 파일의 관리를 용이하게 할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (29)

  1. (a) 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하는 단계;
    (b) 상기 검출된 생체 신호를 디지털 신호 처리하여 생성된 신호 처리 파라미터를 이용하여 이벤트 구간을 생성하고, 상기 이벤트 구간을 상기 멀티미디어 이미지에 동기화하여 인덱싱하는 단계; 및
    (c) 상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    상기 멀티미디어 이미지를 촬영하는 버튼과 동기화되어 있는 PPG 센서에 의해 상기 생체 신호를 검출하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  3. 제 2 항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 검출된 생체 신호를 신호 처리하여 생성된 데이터를 이용하여 신호 처리 파라미터를 산출하는 단계;
    (b2) 상기 산출된 파라미터에 대한 이벤트 구간을 생성하는 단계;
    (b3) 상기 생성된 이벤트 구간을 상기 멀티미디어 이미지의 촬영 구간에 동기화하여 기록함으로써 상기 멀티미디어 이미지에 인덱싱하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  4. 제 3 항에 있어서,
    상기 (b2) 단계는,
    상기 산출된 파라미터의 피크치에서의 시점을 전후로 하여 설정된 제 1 시간 간격과 상기 멀티미디어 이미지에 대한 상기 사용자의 행동 반응이 발생되는 제 2 시간 간격의 일치 구간을 소정 기준에 의해 추출하는 단계; 및
    상기 추출된 일치 구간을 상기 파라미터의 이벤트 구간으로 생성하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  5. 제 4 항에 있어서,
    상기 소정 기준은,
    상기 피크치에서의 시점과 상기 행동 반응이 발생되는 시점 사이의 간격이 소정 시간 범위 이내인 경우이며, 상기 소정 시간 범위는, 상기 생체 신호의 발생 시점과 상기 행동 반응의 발생 시점이 불일치한다는 신체적 특성을 반영하여 결정되는 범위인, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  6. 제 4 항에 있어서,
    상기 소정 기준은,
    상기 행동 반응이 발생되는 시점이 상기 피크치에서의 시점보다 소정 시간 간격 이내로 앞서는 경우인, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  7. 제 4 항에 있어서,
    상기 제 (c) 단계는,
    (c1) 상기 인덱싱된 멀티미디어 이미지의 재생 분량을 조절하는 단계; 및
    (c2) 상기 조절된 재생 분량에 따라 상기 멀티미디어 이미지를 재생하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  8. 제 4 항 내지는 제 6 항 중 어느 한 항에 있어서,
    상기 행동 반응은,
    상기 사용자의 얼굴 표정 반응 및 소리 반응을 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  9. 제 3 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 파라미터는,
    상기 사용자의 심박동수(HR)의 10 초 간 피크치 사이의 간격의 표준 편차(SDNN10)인, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  10. 제 7 항에 있어서,
    상기 제 (c1) 단계는,
    상기 멀티미디어 이미지의 전체 길이에 대한 상기 이벤트 구간의 총 길이에 해당하는 축약 수준을 상기 멀티미디어 이미지를 재생하는 재생기의 그래픽 유저 인터페이스(GUI)로 조절함으로써 재생 분량을 조절하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  11. 제 10 항에 있어서,
    상기 제 (c1) 단계는,
    상기 축약 수준의 조절에 따라 상기 재생기의 프로그레스 바(Progress Bar)에서 재생 부분과 비재생 부분의 영역의 비율이 연속적 또는 불연속적으로 변하는 단계를 더 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  12. 제 7 항에 있어서,
    상기 제 (c2) 단계는,
    상기 파라미터의 피크치에서의 시점을 상기 멀티미디어 이미지를 재생하는 재생기의 프로그레스 바 위에 표시하며, 상기 표시된 시점 중 일부를 사용자가 임의로 선택하여 재생하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  13. 제 7 항에 있어서,
    상기 제 (c2) 단계는,
    상기 이벤트 구간을 소정 색상으로 표시하여 상기 멀티미디어 이미지를 재생하는 재생기의 프로그레스 바 위에 표시하며, 상기 표시된 구간 중 일부를 사용자가 임의로 선택하여 재생하는 단계를 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  14. 제 10 항 또는 제 11 항에 있어서,
    상기 축약 수준은,
    상기 사용자에 의해 축약의 비율과 축약의 시간을 상기 재생기에 문자로 직접 입력함으로써 조절되는, 이벤트 인덱스를 이용한 멀티미디어 제공 방법.
  15. 제 1 항 내지 제 7 항 및 제 10 항 내지 제 13 항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  16. 멀티미디어 이미지를 촬영하는 순간의 사용자의 생체 신호를 검출하는 생체 신호 검출 수단;
    상기 검출된 생체 신호를 디지털 신호 처리하여 생성된 신호 처리 파라미터를 이용하여 이벤트 구간을 생성하고, 상기 이벤트 구간을 상기 멀티미디어 이미지에 동기화하여 인덱싱하는 인덱싱 수단; 및
    상기 인덱싱된 멀티미디어 이미지를 선택적으로 편집하여 재생하는 재생 수단을 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  17. 제 16 항에 있어서,
    상기 생체 신호 검출 수단은,
    상기 멀티미디어 이미지를 촬영하는 버튼과 동기화되어 있는 PPG 센서에 의해 상기 생체 신호를 검출하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  18. 제 17 항에 있어서,
    상기 인덱싱 수단은,
    상기 검출된 생체 신호를 신호 처리하여 생성된 데이터를 이용하여 신호 처리 파라미터를 산출하는 파라미터 산출 수단;
    상기 산출된 파라미터에 대한 이벤트 구간을 생성하는 이벤트 구간 생성 수단; 및
    상기 생성된 이벤트 구간을 상기 멀티미디어 이미지의 촬영 구간에 동기화하여 기록하는 동기화 기록 수단을 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  19. 제 18 항에 있어서,
    상기 이벤트 구간 생성 수단은,
    상기 산출된 파라미터의 피크치에서의 시점을 전후로 하여 설정된 제 1 시간 간격과 상기 멀티미디어 이미지에 대한 상기 사용자의 행동 반응이 발생되는 제 2 시간 간격의 일치 구간을 소정 기준에 의해 추출하고, 상기 추출된 일치 구간을 상기 파라미터의 이벤트 구간으로 생성하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  20. 제 19 항에 있어서,
    상기 소정 기준은,
    상기 피크치에서의 시점과 상기 행동 반응이 발생되는 시점 사이의 간격이 소정 시간 범위 이내인 경우이며, 상기 소정 시간 범위는, 상기 생체 신호의 발생 시점과 상기 행동 반응의 발생 시점이 불일치한다는 신체적 특성을 반영하여 결정되는 범위인, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  21. 제 19 항에 있어서,
    상기 소정 기준은,
    상기 행동 반응이 발생되는 시점이 상기 피크치에서의 시점보다 소정 시간 간격 이내로 앞서는 경우인, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  22. 제 19 항에 있어서,
    상기 재생 수단은,
    상기 인덱싱된 멀티미디어 이미지의 재생 분량을 조절하는 조절 수단을 포함 하며, 상기 조절 수단에 의해 조절된 재생 분량에 따라 상기 멀티미디어 이미지를 재생하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  23. 제 19 항 내지는 제 21 항 중 어느 한 항에 있어서,
    상기 행동 반응은,
    상기 사용자의 얼굴 표정 반응 및 소리 반응을 포함하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  24. 제 18 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 파라미터는,
    상기 사용자의 심박동수(HR)의 10 초 간 피크치 사이의 간격의 표준 편차(SDNN10)인, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  25. 제 22 항에 있어서,
    상기 조절 수단은,
    상기 멀티미디어 이미지의 전체 길이에 대한 상기 이벤트 구간의 총 길이에 해당하는 축약 수준을 상기 멀티미디어 이미지를 재생하는 재생기의 그래픽 유저 인터페이스(GUI)로 조절함으로써 재생 분량을 조절하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  26. 제 25 항에 있어서,
    상기 조절 수단은,
    상기 축약 수준의 조절에 따라 상기 재생기의 프로그레스 바(Progress Bar)에서 재생 부분과 비재생 부분의 영역의 비율이 연속적 또는 불연속적으로 변하게 하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  27. 제 22 항에 있어서,
    상기 재생 수단은,
    상기 파라미터의 피크치에서의 시점을 상기 멀티미디어 이미지를 재생하는 재생기의 프로그레스 바 위에 표시하며, 상기 표시된 시점 중 일부를 사용자가 임의로 선택하여 재생하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  28. 제 22 항에 있어서,
    상기 재생 수단은,
    상기 이벤트 구간을 소정 색상으로 표시하여 상기 멀티미디어 이미지를 재생하는 재생기의 프로그레스 바 위에 표시하며, 상기 표시된 구간 중 일부를 사용자가 임의로 선택하여 재생하는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
  29. 제 25 항 또는 제 26 항에 있어서,
    상기 축약 수준은,
    상기 사용자에 의해 축약의 비율과 축약의 시간을 상기 재생기에 문자로 직접 입력함으로써 조절되는, 이벤트 인덱스를 이용한 멀티미디어 제공 장치.
KR1020050097595A 2005-10-17 2005-10-17 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치 KR100735556B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050097595A KR100735556B1 (ko) 2005-10-17 2005-10-17 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치
US11/525,896 US8718447B2 (en) 2005-10-17 2006-09-25 Method and apparatus for providing multimedia data using event index

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050097595A KR100735556B1 (ko) 2005-10-17 2005-10-17 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070041932A KR20070041932A (ko) 2007-04-20
KR100735556B1 true KR100735556B1 (ko) 2007-07-04

Family

ID=37949397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050097595A KR100735556B1 (ko) 2005-10-17 2005-10-17 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치

Country Status (2)

Country Link
US (1) US8718447B2 (ko)
KR (1) KR100735556B1 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014737B (zh) * 2008-05-09 2013-05-22 皇家飞利浦电子股份有限公司 患者的非接触呼吸监测和用于光电容积描记术测量的光学传感器
KR20100000336A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치
US8169483B1 (en) * 2008-10-03 2012-05-01 The United States Of America As Represented By The Secretary Of Agriculture System and method for synchronizing waveform data with an associated video
US20100129046A1 (en) * 2008-11-21 2010-05-27 Pertti Tolonen Method and apparatus for recording and playback processes
JP5708155B2 (ja) * 2011-03-31 2015-04-30 富士通株式会社 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム
WO2013023063A1 (en) 2011-08-09 2013-02-14 Path 36 Llc Digital media editing
US20140278729A1 (en) * 2013-03-12 2014-09-18 Palo Alto Research Center Incorporated Multiple resolution visualization of detected anomalies in corporate environment
CN105307554B (zh) 2013-04-18 2018-01-09 皇家飞利浦有限公司 采集宫颈图像
KR102099776B1 (ko) * 2013-07-23 2020-04-10 주식회사 케이티 클립 동영상을 생성하는 장치 및 방법, 그리고 미리보기 동영상을 제공하는 서버
US9652667B2 (en) 2014-03-04 2017-05-16 Gopro, Inc. Automatic generation of video from spherical content using audio/visual analysis
WO2015153667A2 (en) * 2014-03-31 2015-10-08 Gopro, Inc. Distributed video processing and selective video upload in a cloud environment
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US10192583B2 (en) 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
US10186012B2 (en) 2015-05-20 2019-01-22 Gopro, Inc. Virtual lens simulation for video and photo cropping
CN104905803B (zh) * 2015-07-01 2018-03-27 京东方科技集团股份有限公司 可穿戴电子设备及其情绪监控方法
US9894393B2 (en) 2015-08-31 2018-02-13 Gopro, Inc. Video encoding for reduced streaming latency
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US10095696B1 (en) 2016-01-04 2018-10-09 Gopro, Inc. Systems and methods for generating recommendations of post-capture users to edit digital media content field
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US10083537B1 (en) 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US10311918B1 (en) 2016-04-19 2019-06-04 Space Projects Ltd. System, media, and method for synchronization of independent sensors and recording devices
US9998769B1 (en) 2016-06-15 2018-06-12 Gopro, Inc. Systems and methods for transcoding media files
US10250894B1 (en) 2016-06-15 2019-04-02 Gopro, Inc. Systems and methods for providing transcoded portions of a video
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US10469909B1 (en) 2016-07-14 2019-11-05 Gopro, Inc. Systems and methods for providing access to still images derived from a video
US20180018899A1 (en) * 2016-07-15 2018-01-18 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus for presenting content, method for controlling the same, and control program
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
US10772551B2 (en) * 2017-05-09 2020-09-15 International Business Machines Corporation Cognitive progress indicator
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10402656B1 (en) 2017-07-13 2019-09-03 Gopro, Inc. Systems and methods for accelerating video analysis
US10921887B2 (en) * 2019-06-14 2021-02-16 International Business Machines Corporation Cognitive state aware accelerated activity completion and amelioration

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798461B2 (en) 2002-01-10 2004-09-28 Shmuel Shapira Video system for integrating observer feedback with displayed images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009078A1 (en) * 1999-10-29 2003-01-09 Elena A. Fedorovskaya Management of physiological and psychological state of an individual using images congnitive analyzer
US9292516B2 (en) * 2005-02-16 2016-03-22 Sonic Solutions Llc Generation, organization and/or playing back of content based on incorporated parameter identifiers
US20020078070A1 (en) 2000-12-18 2002-06-20 Philips Electronics North America Corp. Calendar software application with personal and historical data
JP3514236B2 (ja) 2000-12-28 2004-03-31 健一郎 石島 映像音声自動編集装置、方法及び記憶媒体
US20030063222A1 (en) * 2001-10-03 2003-04-03 Sony Corporation System and method for establishing TV setting based on viewer mood
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US7386376B2 (en) * 2002-01-25 2008-06-10 Intelligent Mechatronic Systems, Inc. Vehicle visual and non-visual data recording system
KR100462182B1 (ko) * 2002-04-15 2004-12-16 삼성전자주식회사 Ｐｐｇ 기반의 심박 검출 장치 및 방법
JP2004159192A (ja) 2002-11-07 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体
US7131059B2 (en) * 2002-12-31 2006-10-31 Hewlett-Packard Development Company, L.P. Scalably presenting a collection of media objects
US7177872B2 (en) * 2003-06-23 2007-02-13 Sony Corporation Interface for media publishing
JP2005128884A (ja) 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798461B2 (en) 2002-01-10 2004-09-28 Shmuel Shapira Video system for integrating observer feedback with displayed images

Also Published As

Publication number Publication date
KR20070041932A (ko) 2007-04-20
US8718447B2 (en) 2014-05-06
US20070088833A1 (en) 2007-04-19

Similar Documents

Publication Publication Date Title
KR100735556B1 (ko) 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치
KR100763236B1 (ko) 생체 신호를 이용하는 동영상 편집 장치 및 방법
US9183883B2 (en) Method and system for generating data for controlling a system for rendering at least one signal
TW583877B (en) Synchronization of music and images in a camera with audio capabilities
JP5506324B2 (ja) 類似画像検索システム、および、類似画像検索方法
JP4671192B2 (ja) 画像処理装置および画像処理方法
US20030190142A1 (en) Contents recording/playback apparatus and contents edit method
JP2014053672A (ja) 再生システム
JP2007097047A (ja) コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
JPH09503891A (ja) ビデオディスプレイ装置
US20220328074A1 (en) Pose estimation for video editing
KR101741904B1 (ko) 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템
JP6172990B2 (ja) 画像記録装置、画像記録処理の制御方法及びそのプログラム
JP4407198B2 (ja) 記録再生装置、再生装置、記録再生方法および再生方法
JP2015082692A (ja) 映像編集装置、映像編集方法、および、映像編集プログラム
JP2008199330A (ja) 動画像管理装置
JP4110478B2 (ja) 画像処理装置および方法、撮影装置、並びにプログラム
JP2010200079A (ja) 撮影制御装置
JPH0716349A (ja) ビデオゲーム装置
JPWO2018043585A1 (ja) 内視鏡装置、内視鏡装置の記録・再生方法、情報処理装置およびプログラム
JP6485238B2 (ja) タギング装置、タギングシステム、タギング方法及びプログラム
JP2003299636A (ja) 睡眠時体動検出装置
JPH10224735A (ja) 画像処理装置
JP2007317243A (ja) データ記録再生装置およびデータ記録再生プログラム
JP3439101B2 (ja) 可変速映像再生方法、装置、および可変速映像再生プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 13