KR101776124B1

KR101776124B1 - 생리학적 신호 처리

Info

Publication number: KR101776124B1
Application number: KR1020157009961A
Authority: KR
Inventors: 가스 슈마커; 조나단 톰슨
Original assignee: 인텔 코포레이션
Priority date: 2012-12-07
Filing date: 2013-12-06
Publication date: 2017-09-07
Also published as: CN104769596A; KR20150058419A; WO2014089515A1; US20140161421A1; EP2929477A4; EP2929477B1; US9640218B2; EP2929477A1

Abstract

생리학적 신호들, 예를 들어 상승된 심박수 및 호흡수는 사람의 비디오가 다른 당사자에게 전송되기 전에 이 비디오로부터 마스킹된다. 사람이 인지할 수 있는 생리학적 신호 및 사람이 인지할 수 없는 생리학적 신호의 마스킹은 다른 당사자가 사람의 감정 상태를 결정하는데 사용할 수 있는 정보를 비디오로부터 제거한다. 예컨대, 전형적으로 사람 눈이 인지할 수 없으며 그로부터 사람의 심박수가 검출될 수 있는 사람의 피부색에서의 편차들이 제거 또는 변경되어, 비디오를 시청하고 있는 다른 당사자가, 비디오 상에서 컴퓨터 분석을 수행하고 있을지라도, 사람의 감정 상태를 결정하려는 시도로 사람의 실제 심박수를 결정할 수 없게 된다. 일부 생리학적 신호들의 존재는 생리학적 측정치가 특정한 생리학적 측정 임계치를 초과하는 것을 검출함에 의해 결정될 수 있다. 수정된 비디오는 생리학적 신호들이 수정된 비디오에는 실질적으로 없거나 또는 수정된 비디오로부터 추출된 생리학적 측정치가 연관된 생리학적 측정 임계치 미만의 값을 갖는다는 특징을 가질 수 있다.

Description

생리학적 신호 처리{PHYSIOLOGICAL CUE PROCESSING}

심박수 및 호흡수와 같은 소정의 생리학적 측정치들은 사람의 감정 상태에 대한 통찰력을 제공할 수 있다. 예컨대, 사람이 상승된 심박수를 갖는다는 것은 그 사람이 흥분되거나 고통스러운 것을 암시할 수 있다. 따라서, 생리학적 측정치들의 특징은 사람의 감정 상태를 나타내는 생리학적 신호들로서 역할을 할 수 있다.

사람의 심박수 및 호흡수는 카메라 및 컴퓨팅 디바이스를 이용하여 무접촉 방식으로 결정될 수 있다. 예컨대, 사람의 심박수는 혈액 박동 효과(blood pulsation effect) - 사람의 심장이 박동함에 따라 혈액이 피부 표면 근처의 모세 혈관을 통과할 때 일어나는 평균 피부색 강도에서의 작은 변동들 - 를 활용하여 결정될 수 있다. 혈액 박동 효과는 사람 피부와 광이 상호작용하는 방법 때문에 존재한다. 주변광은 3가지 색소 - 멜라닌, 카로틴 및 헤모글로빈 - 의 존재에 기인하여 가변적인 양으로 사람 피부에 의해 반사 또는 흡수된다. 피부에서 멜라닌 및 카로틴의 양은 일반적으로 전형적인 샘플링 시간프레임 동안 변동되지 않지만, 헤모클로빈의 양은 피부로 들어가고 나오는 혈액 박동의 동작에 따라 변동되어, 검출 가능한 파동을 캡처된 얼굴 영역의 평균 색 출력에서 생성한다.

이들 피부색 변동은 매우 작고, 평균 비변조 피부색 강도의 약 +/-1%로 측정되었다. 피부색 변동은 사람의 비디오 기록의 모든 색 채널들, 및 RGB(red-green-blue) 색 공간에 존재하고, 그 효과는 녹색 채널에서 더욱 뚜렷하게 된다. YCbCr 색 공간(휘도-채도 색 공간)에서, 그 효과는 Y(휘도) 채널에서 가장 뚜렷하게 되며, 채도 채널들 중 하나인 Cr 채널에서 매칭하는 저 진폭 변동을 갖는다.

사람의 호흡수는 비디오에서 사람의 어깨 및/또는 가슴이 오르내리는 레이트를 검출함에 의해 결정될 수 있다.

도 1은 본 명세서에 설명된 기술들이 구현될 수 있는 예시적인 환경을 도시한다.
도 2는 사람 얼굴의 붉어짐에서 상승된 심박수, 상승된 호흡수 및 시프트의 예시적인 마스킹들을 도시한다.
도 3a-3c는 생리학적 신호들의 추가 예시적인 마스킹들을 도시한다.
도 4는 단일 비디오 소스로부터 수신된 비디오에 기초하여 무접촉 방식으로 사람의 심박수를 결정하기 위한 예시적인 시스템의 블록도이다.
도 5는 다수의 소스로부터 수신된 비디오에 기초하여 무접촉 방식으로 사람의 심박수를 결정하기 위한 예시적인 시스템의 블록도이다.
도 6은 비디오로부터 사람의 심박수를 결정하는 예시적인 방법의 순서도이다.
도 7은 본 명세서에 설명된 기술들이 구현될 수 있는 제1의 예시적인 컴퓨팅 디바이스의 블록도이다.
도 8은 생리학적 신호들을 마스킹하는 제1의 예시적인 방법의 순서도이다.
도 9는 생리학적 신호들을 마스킹하는 제2의 예시적인 방법의 순서도이다.
도 10은 혈액 박동 효과를 모의하기(mimic) 위해 인간 캐릭터의 컴퓨터 그래픽 모델에 추가될 수 있는 예시적인 신호들을 도시한다.
도 11은 인간 캐릭터의 컴퓨터 그래픽 모델에 혈액 박동 효과를 추가하는 예시적인 방법의 순서도이다.
도 12는 본 명세서에 설명된 기술들이 구현될 수 있는 제2의 예시적인 컴퓨팅 디바이스들의 블록도이다.
도 13은 본 명세서에 설명된 기술들을 구현하기 위한 컴퓨터 실행 가능한 명령어들을 실행하는 예시적인 프로세서 코어의 블록도이다.

본 명세서에는 사람의 비디오로부터 사람의 감정 상태에 대한 정보를 제공할 수 있는 생리학적 신호들을 마스킹할 수 있는 기술들이 개시된다. 예컨대, 개시된 기술들은 사람의 상승된 심박수, 상승된 호흡수, 얼굴의 붉어짐, 신경성 안면 경련 및 다른 얼굴 또는 신체 움직임, 또는 생리학적 반응들을 마스킹하기 위해 사람의 비디오를 수정할 수 있다. 사람은 예를 들어 화가 나고, 불안해하고, 고통스럽거나 또는 흥분되기 때문에 이러한 움직임 또는 반응을 드러낼 수 있다. 생리학적 신호들의 마스킹은 예를 들어 화상 회의를 통해 민감한 사업 협상에 참여하고 있는 사람과 같이, 어떤 사람이 자신의 비디오가 자신의 감정적 상태에 대한 정보를 드러내는 것을 원치 않는 상황에 유용할 수 있다. 일부 생리학적 신호들, 예를 들어 얼굴의 붉어짐 및 신경성 안면 경련은 사람에게 인지 가능하지만, 예를 들어 혈액 박동 효과에 의해 분명해지는 상승된 심박수와 같은 다른 것들은 일반적으로 사람이 인지 가능한 것이 아니다. 화상 회의의 당사자들은 다른 참여자의 감정 상태를 결정하려는 시도로 다른 화상 회의 참여자들의 감지할 수 없는 생리학적 신호들을 검출하기 위한 기술들을 채택할 수 있다. 본 명세서에 설명된 기술들은 컴퓨터 알고리즘 및 사람으로부터 생리학적 신호들을 숨김으로써 이런 시도에 대한 대응책의 역할을 할 수 있다.

유사한 도면 번호가 전체적으로 유사한 소자를 언급하는데 사용되는 도면을 지금부터 참고한다. 도 1은 본 명세서에 설명된 기술들이 구현될 수 있는 예시적인 환경(100)을 도시한다. 환경(100)은 사람(130)의 소스 비디오(120)를 제1 컴퓨팅 디바이스(140)에 전달하는 비디오 레코더(110)를 포함한다. 비디오 레코더(110)는 비디오를 캡처하는 임의의 디바이스, 예를 들어 스마트폰, 태블릿 컴퓨터 또는 캠코더일 수 있다. 제1 컴퓨팅 디바이스(140)는 소스 비디오(120)를 수정하여, 소스 비디오(120)에 존재하는 사람(130)의 생리학적 신호들이 실질적으로 없는 수정된 비디오(160)를 생성한다. 수정된 비디오(160)는 네트워크 또는 클라우드(180)를 통해 제2 컴퓨팅 디바이스(170)에 전송되며, 사람(192)이 볼 수 있게 제2 컴퓨팅 디바이스(170)에 연결된 디스플레이(190)에 표시된다. 네트워크(180)는 예를 들어 LAN(Local Area Network), WAN(Wide Area Network) 또는 인터넷과 같은 임의의 타입의 네트워크일 수 있다. 제1 및 제2 컴퓨팅 디바이스들(140 및 170)은 본 명세서에 설명된 바와 같은 임의의 컴퓨팅 디바이스, 예를 들어 모바일 디바이스(예컨대, 스마트폰, 랩탑 컴퓨터 또는 태블릿 컴퓨터), 데스크탑 컴퓨터 또는 서버일 수 있다.

환경(100)은 비디오 데이터(198)를 저장하며 저장된 비디오 데이터(198)를 추가 소스 비디오(121)로서 제1 컴퓨팅 디바이스에 전달할 수 있는 푸시 카메라(194)를 더 포함한다. 푸시 카메라(194)는 임의의 종류의 저장 매체, 디바이스 또는 시스템일 수 있으며, 예를 들어 제1 컴퓨팅 디바이스에 통합된 비디오 스토어, 예를 들어 데스크탑 컴퓨터에 통합된 하드 드라이브, 또는 외부 스토리지 디바이스 또는 시스템, 예를 들어 외부 하드 드라이브, 또는 클라우드 기반 스토리지일 수 있다. 본 명세서에 설명된 소스 비디오, 수정된 비디오 및 임의의 다른 비디오는 임의의 비디오 포맷일 수 있다.

제1 컴퓨팅 디바이스(140)는 사람(130)의 감정 상태에 대한 정보를 제공할 수 있는, 생리학적 신호들을 마스킹하기 위해 소스 비디오(120)를 처리할 수 있다. 본 명세서에 사용된 바와 같이, 용어 "생리학적 신호들"은 사람의 감정 상태를 나타내거나 또는 암시하는 사람 신체 또는 얼굴 움직임 또는 생리학적 반응들을 의미한다. 생리학적 신호들의 예는 상승된 심박수, 상승된 호흡수, 사람 얼굴의 붉어짐, 신경성 안면 경련(nervous tics)(예를 들어, 눈의 깜박거림(blinking)) 및 브리프(brief), 원치않는 미세한 표정(involuntary microexpression)을 포함한다. 사람은 흥분되거나 불안한 것에 반응하여 상승된 심박수 또는 호흡수, 화가 나거나 당황한 것에 반응하여 붉어진 얼굴을 가질 수 있거나, 또는 사람이 불안할 때 저절로 드러나는 신경성 안면 경련(예를 들어, 눈의 빠른 깜박거림 또는 입가의 씰룩거림(twitch))을 가질 수 있다. 일부 생리학적 신호들의 존재는 사람의 비디오로부터 결정된 생리학적 측정치들에 기초하여 결정될 수 있다. 본 명세서에 사용된 바와 같이, 용어 "생리학적 측정치"는 사람의 신체적 특징, 예를 들어 이들의 심박수, 호흡수 및 이들 얼굴의 붉어짐의 측정이다. 사람은 상기 열거한 것들과 다른 생리학적 신호들을 나타낼 수 있으며, 본 명세서에 설명된 기술들은 이들 추가 생리학적 신호들을 마스킹하는데 사용될 수 있다.

일부 실시예에서, 소스 비디오에서 생리학적 신호들의 마스킹은 소스 비디오로부터 생리학적 측정치를 결정하고, 생리학적 측정치로부터 비디오가 생리학적 신호를 포함한다고 결정하며, 생리학적 신호가 실질적으로 없는 수정된 비디오를 생성하는 것을 포함한다. 다양한 실시예에서, 생리학적 측정치로부터 비디오가 생리학적 신호를 포함한다고 결정하는 것은 생리학적 측정치가 연관된 생리학적 측정 임계치, 예를 들어 심박수 임계치 또는 호흡 임계치를 초과하는 것으로 결정하는 것을 포함한다.

도 2는 소스 비디오(200)에 존재하는 상승된 심박수, 상승된 호흡수 및 사람 얼굴의 붉어짐의 예시적인 마스킹을 도시한다. 사람의 심박수에 대응하는 신호(205)는 소스 비디오(200)로부터, 예를 들어 혈액 박동 효과 - 혈액이 피부 근처의 모세 혈관을 통과할 때 사람의 평균 피부색에서의 작은 변동들 - 를 측정함에 의해 추출될 수 있다. 측정치(205)는 사람이 140bpm(beats per minutes)의 심박수를 가짐을 나타낸다. 측정치(205)는 140bpm의 심박수가 예를 들어 사람이 흥분 상태에 있음을 나타내는 90bpm의 심박수 임계치를 초과하므로 사람이 흥분되거나 불안한 것을 나타내는 생리학적 신호라고 결정될 수 있다. 상승된 심박수 생리학적 신호는 소스 비디오를 수정하여 혈액 박동 효과가 심박수 임계치 또는 그 미만의 심박수를 나타내도록 수정되는 수정된 비디오(210)를 생성함에 의해 마스킹될 수 있다. 예컨대, 수정된 비디오(210)에서 사람의 평균 피부색의 변동들을 측정하여 사람의 심박수를 측정하면, 심박수 임계치 미만의 값인 75bpm의 심박수에 대응하며 그 사람이 평온한 상태에 있음을 나타내는 신호(215)를 얻을 수 있다. 대안적으로, 상승된 심박수 생리학적 신호는 혈액 박동 효과에 기인한 사람 얼굴의 색 변동들이 실질적으로 없는 수정된 비디오를 생성함에 의해 마스킹될 수 있다.

상승된 호흡수는 유사한 방식으로 마스킹될 수 있다. 사람의 호흡수에 대응하는 신호(220)는 소스 비디오(200)로부터, 예를 들어 사람의 가슴 및/또는 어깨가 소스 비디오(200)에서 오르내리는 레이트를 측정함에 의해 추출될 수 있다. 측정치(220)는 사람이 분당 25회 숨(25 breaths per minute)의 호흡수를 갖는 것을 나타내며, 이는 예를 들어 분당 20회 숨의 호흡수 임계치를 초과하므로 그 사람이 흥분되었다는 것을 나타내는 생리학적 신호라고 결정될 수 있다. 상승된 호흡수 생리학적 신호는 소스 비디오(200)를 수정하여 사람의 어깨 및/또는 가슴이 호흡수 임계치 미만의 레이트로 오르내리는 수정된 비디오(210)를 생성함에 의해 마스킹될 수 있다. 예컨대, 수정된 비디오(210)에서 가슴 또는 어깨의 오르내림을 측정하여 사람의 호흡수를 측정하면, 분당 20회 숨의 호흡수 임계치 미만의 값인 분당 15회 숨의 호흡수에 대응하며 사람이 평온한 상태에 있다는 것을 나타내는 신호(230)를 얻을 수 있다. 대안적으로, 상승된 호흡수 생리학적 신호는 호흡 때문에 사람 가슴의 오르내리는 레이트가 실질적으로 제거된 수정된 비디오를 생성함에 의해 마스킹될 수 있다.

사람 얼굴의 붉어짐은 또한 본 명세서에 설명된 기술을 이용하여 마스킹될 수 있다. 사람 피부 붉어짐에 대응하는 신호(240)는 소스 비디오(200)로부터, 예컨대 사람 얼굴의 색을 결정함에 의해 추출될 수 있다. 측정된 피부 붉어짐은 사람 얼굴의 붉어짐이 피부 붉어짐 기준선(250)으로부터 피부 붉어짐 시프트 임계치(255)보다 많이 시프트한 경우 사람이 화가 나거나, 속상하거나 또는 당황한 것을 나타내는 생리학적 신호라고 결정될 수 있다. 피부 붉어짐 생리학적 신호는 소스 비디오(200)를 수정하여 사람 얼굴의 붉어짐이 피부 붉어짐 기준선의 피부 붉어짐 시프트 임계치 내에 있는 수정된 비디오(210)를 생성함에 의해 마스킹될 수 있다. 예컨대, 수정된 비디오(210)에서 사람 얼굴의 붉어짐을 측정하면, 붉어짐 기준선(250)의 피부 붉어짐 시프트 임계치(255) 내에 있는 피부 붉어짐에 대응하는 신호(260)를 얻을 수 있다.

도 3a-3c는 생리학적 신호들의 추가 예시적인 마스킹들을 도시한다. 도 3a는 생리학적 신호의 검출을 허용하는 소스 비디오의 컴포넌트를 삭제하고 생리학적 신호의 존재를 나타내지 않는 생리학적 측정치를 얻을 수 있는 컴포넌트를 수정된 비디오에 추가하는 것에 의한, 생리학적 신호의 예시적인 마스킹을 도시한다. 도 3a에서 소스 비디오는 생리학적 측정치에 대응하는 신호(310)가 추출될 수 있는 신체 또는 얼굴의 움직임, 또는 다른 생리학적 반응을 포함하는 사람(300)의 비디오를 포함한다. 생리학적 측정치가 대응하는 임계치를 초과한다면(예를 들어, 추출된 심박수가 심박수 임계치를 초과한다면), 신호(320)를 소스 비디오(300)에 추가함에 따라 신체 또는 얼굴 또는 다른 생리학적 반응이 제거된 중간 비디오(330)가 얻어지는 신호(320)가 생성된다. 예컨대, 소스 비디오가 혈액 박동 효과에 기인한 피부색 변동을 포함한다면, 비디오 신호(320)는 소스 비디오(300)에서 혈액 박동 효과를 삭제하는 피부색 변동을 포함할 수 있다. 따라서, 비디오 신호(320)를 소스 비디오(300)에 추가하면 사람 얼굴에서 피부색 변동이 실질적으로 제거된 중간 비디오(330)를 얻는다. 유사하게, 소스 비디오(300)가, 호흡수가 추출될 수 있는 사람 어깨의 윤곽에서의 변동들을 포함한다면, 비디오 신호(320)는 사람 호흡에 기인한 어깨의 들썩거림을 소스 비디오(300)로부터 제거하는 신호를 포함할 수 있다.

대응하는 생리학적 측정 임계치에서의 값 또는 그 미만의 값을 갖는 생리학적 측정치가 추출될 수 있는 수정된 비디오(350)를 생성하기 위해서 중간 비디오(330)에 신호(340)가 추가될 수 있다. 신호(340)는 예를 들어 심박수 임계치 미만의 심박수에 대응하는 평균 피부색에서의 변동, 또는 호흡수 임계치 미만의 호흡수를 나타내는 어깨 및/또는 가슴 윤곽에서의 변동을 포함할 수 있다.

일부 실시예에서, 중간 비디오(330)는 수정된 비디오로서 제공될 수 있으며, 이 경우 생리학적 측정치는 전형적으로 수정된 비디오로부터 추출될 수 없다. 예컨대, 사람 얼굴의 피부색에서의 변동은 수정된 비디오에 실질적으로 없거나 또는 가슴 또는 어깨는 수정된 비디오에서 실질적으로 일정한 위치에 유지될 수 있다. 그러나, 수정된 비디오(350)에서 신호(340)의 추가는 수정된 비디오(350)의 분석시 사람이 평온한 상태에 있음을 나타내는 생리학적 측정치를 얻을 수 있다는 장점을 제공하며, 이는 그 사람에게 이전에 설명한 바와 같이 예를 들어 사업 협상시 이점을 제공할 수 있다. 또한, 생리학적 측정치가 추출될 수 있는 수정된 비디오는 생리학적 신호의 존재에 대해 비디오를 분석하는 당사자가, 소스 비디오가 생리학적 신호들을 마스킹하도록 처리되었다고 생각할 가능성을 줄어들게 한다. 중간 비디오(330)를 다른 당사자에게 제공하여, 심박수, 호흡수 또는 다른 생리학적 측정치가 제공된 비디오로부터 추출될 수 없는 경우 소스 비디오가 처리되었음을 수신 당사자에게 일러 줄 수 있다.

도 3b는 사람 얼굴에서의 예시적인 붉어짐의 마스킹을 도시한다. 도 3b에서 소스 비디오(355)는 사람 얼굴(360)의 붉어짐이 피부 붉어짐 시프트 임계치(365)보다 많이 붉어짐 기준선(370)을 초과하는 사람의 비디오를 포함한다. 사람 얼굴의 붉어짐은 임계치 필터(380)를 소스 비디오(355)에 적용하여 마스킹될 수 있다. 임계치 필터(380)는 사람 얼굴에서의 붉어짐이 그 사람의 붉어짐 기준선의 피부 붉어짐 시프트 임계치 내에 있도록 소스 비디오(355)를 수정할 수 있다. 도 3b에서, 임계치 필터(380)는 수정된 비디오(387)에서 사람 얼굴(385)의 붉어짐이 붉어짐 기준선(370)의 피부 붉어짐 시프트 임계치(365) 내에 있도록 소스 비디오(355)를 수정하였다. 다양한 실시예에서, 소스 비디오(355)는 간섭 패턴을 생성하고 그 후 간섭 패턴을 소스 비디오에 추가함에 의해 사람 얼굴의 붉어짐 레벨을 평온한 감정 상태를 나타내는 레벨로 떨어뜨리도록 수정될 수 있다.

다양한 실시예에서, 사람 얼굴의 붉어짐은, 피부 붉어짐 기준선으로부터의 붉어짐 시프트를 측정하기보다는, 전형적으로 사람의 감정 반응의 일부로서 더 붉어지는 사람 얼굴에서의 영역들(예를 들어 사람의 볼들)과, 전형적으로 사람의 감정 반응의 일부로서 더 붉어지지 않는 피부 영역(예를 들어 사람의 목, 코 또는 손) 사이의 붉어짐 레벨의 차이를 결정하여 결정될 수 있다. 예컨대, 사람의 얼굴이 붉어지고 있는 생리학적 신호는 사람의 볼의 한 영역의 붉어짐이 사람의 코 또는 손 끝의 붉어짐으로부터 피부 붉어짐 시프트 임계치보다 많이 시프트되었는지를 분석함에 의해 결정될 수 있다.

도 3c는 신경성 안면 경련 - 깜박거림(394) 및 입가의 씰룩거림(396) - 을 포함하는 소스 비디오(392)에서의 생리학적 신호들의 예시적인 마스킹을 도시한다. 신경성 안면 경련은 전형적으로 짧고, 예를 들어, 소스 비디오(392)를, 20Hz 이상에서 일어나는 신호를 감쇄하는 저역 통과 필터(398)를 통과시킴으로써 마스킹될 수 있다. 다른 실시예들에서, 저역 통과 필터는 예를 들어 10Hz, 15Hz 및 25Hz와 같은 다른 주파수들을 초과하는 신호들을 감쇄할 수 있다. 전형적으로, 저역 통과 필터(398)는 시간 필터이다. 일부 실시예에서, 저역 통과 필터(398)는 소스 비디오(392)의 제한된 공간 영역, 예를 들어 깜박거림을 마스킹하기 위한 사람 눈 주위의 영역, 또는 사람의 발성 움직임에 영향을 끼치지 않도록 사람 입 이외의 얼굴 영역에 적용될 수 있다. 예컨대, 저역 통과 필터(398)는 발성과 관련된 입의 일반적인 움직임에 대한 저역 통과 필터링의 영향을 제한하면서 이들 위치에서 일어나는 경련(tic)들을 마스킹하기 위해 입가 영역들에 적용될 수 있다. 도 3c에서, 소스 비디오(392)는 깜박거림(394) 및 사람의 입가에서의 씰룩거림(396)이 실질적으로 제거 또는 적어도 감쇄된 수정된 비디오(399)를 생성하기 위해서 저역 통과 필터(398)를 통과한다. 저역 통과 필터는 사람이 경험하는 감정에 따라서 사람 얼굴에 나타나는 무의식적인 미세표정과 같은, 사실상 짧은 다른 생리학적 신호들을 마스킹하는데 사용된다. 다른 실시예에서, 씰룩거림들, 경련들 및 미세표정들은 공지된 움직임 처리 기술들을 이용하여 결정될 수 있으며, 소스 비디오는 씰룩거림들, 경련들 및 미세 표정들을 소스 비디오로부터 제거하기 위한 움직임 조절 후처리를 수행하여 수정될 수 있다.

일반적으로, 짧은 생리학적 신호들을 검출할 필요없이 이러한 짧은 생리학적 신호들을 마스킹하기 위해 저역 통과 필터가 소스 비디오에 적용될 수 있다. 생리학적 신호들의 존재가 검출되는 실시예에서, 생리학적 신호 임계치는 절대 임계치(예를 들어, 120 bpm, 분당 15회 숨) 또는 상대적인 임계치, 예를 들어 연관된 생리학적 신호 기준선을 예를 들어 30%만큼 초과한 생리학적 측정치일 수 있다. 생리학적 신호 기준선은 사람별로 특정할 수 있다.

본 명세서에 설명된 생리학적 신호 마스킹 기술들은 소스 비디오에서 다수의 생리학적 신호 유형들을 마스킹하기 위해 조합될 수 있다. 예컨대, 상승된 심박수, 상승된 호흡수, 얼굴의 붉어짐, 신경성 안면 경련 및 미세 표정들의 존재의 임의의 조합이 소스 비디오로부터 동시에 마스킹될 수 있다. 이에 따라, 소스 비디오는 짧은 생리학적 신호들을 마스킹하기 위한 저역 통과 필터, 붉어짐을 마스킹하기 위한 임계치 필터, 및 소스 비디오로부터 생리학적 신호들을 제거하며 연관된 생리학적 측정 임계치 미만의 생리학적 측정을 산출하는 신호들을 수정된 비디오에 삽입하는 다른 모듈들 중 적어도 하나를 통과할 수 있다. 일부 실시 예에서, 소스 비디오는 대략 100ms 이하를 지속하는 신경성 안면 경련 또는 미세 표정들을 실질적으로 제거하는 필터를 통과한다.

일부 실시예에서, 생리학적 신호 마스킹은 구성 가능할 수 있다. 예컨대, 사람은 어느 생리학적 신호들이 소스 비디오로부터 마스킹될 수 있는지를 선택하며, 생리학적 신호 임계치들(예를 들어, 심박수 임계치, 호흡수 임계치, 피부 붉어짐 시프트 임계치)을 선택할 수 있다. 사람은 또한, 소스 비디오의 어느 컴포넌트들이 수정된 비디오에서 없어져야 할지(예를 들어, 사람은 혈액 박동 효과에 기인한 피부색 변동이 수정된 비디오에서 없어져야 한다고 나타낼 수 있음), 그리고 수정된 비디오가 생리학적 신호 임계치들 미만인 생리학적 측정들에 따르는 신호들을 포함해야 하는지(예를 들어, 사람은 혈액 박동에 대응하는 수정된 비디오에서의 피부색 변동이 심박수 임계치를 초과하지 않아야 한다고 나타낼 수 있음)를 설정할 수 있다. 다양한 실시예에서, 이들 설정은 사람에 의해 동적으로 변할 수 있다. 예컨대, 사람은 화상 회의 동안 심박수 및 호흡수 임계치들을 조절할 수 있다.

이에 따라, 생리학적 신호들의 마스킹은 생리학적 신호들의 존재를 결정하기 위해 생리학적 측정이 추출될 수 있는 소스 비디오의 컴포넌트를 제거하는 것뿐만 아니라, 연관된 생리학적 측정 임계치 미만인 생리학적 측정치가 추출될 수 있는 신호를 수정된 비디오에 삽입하는 것을 포함할 수 있다. 생리학적 신호가 마스킹된 수정된 비디오가, 소스 비디오에서 생리학적 신호의 존재가 결정된 신호의 아티팩트를 포함할 수 있음을 이해해야 한다. 예컨대, 수정된 비디오는 소스 비디오에서 피부색 변동의 아티팩트(artifact)들 또는 잔류(remnant)들을 포함할 수 있다. 수정된 비디오에서 임의의 아티팩트 또는 잔류는 전형적으로 연관된 생리학적 측정 또는 신호가 수정된 비디오에서 검출되는 것을 방지할 정도로 충분히 작은 크기를 갖는다.

대안적으로, 본 명세서에 설명된 생리학적 측정 임계치들 중 임의의 하나는 사람 관찰을 기초로 하여 결정될 수 있다. 예컨대, 생리학적 신호 마스킹 시스템은, 제어된 환경에서, 예를 들어 사람이 평온한 상태에 있다고 예상될 때(예를 들어, 사람의 생리학적 측정 임계치 및/또는 기준선을 확립하기 위해서 생리학적 신호 마스킹 시스템을 훈련하는데 전념하는 기간에) 그 사람을 관찰함에 의해, 또는 생리학적 신호 마스킹 시스템의 통상의 사용으로부터 생리학적 측정 임계치 및 기준선을 결정함에 의해 생리학적 측정 임계치를 자동으로 결정할 수 있다. 예컨대, 생리학적 신호 마스킹 시스템이, 사람의 심박수가 이 시스템을 사용할 때 전형적으로 70과 80 bpm 사이에 있다고 결정한다면, 이 시스템은 70-80 bpm의 심박수 기준선을 확립하고 심박수 임계치를 이 기준선보다 30%(또는 임의의 다른 백분율) 초과하게 설정할 수 있다.

본 명세서에 설명된 기술들을 이용하여 마스킹될 수 있는 다른 생리학적 신호는 사람이 고통스럽거나 불안한 것을 나타낼 수 있는 발한(sweating)이다. 발한의 마스킹은 비디오에서 사람의 얼굴에 있는 정반사성 하이라이트(specular highlights)의 식별에 기초하여 발한하는 것을 검출하고, 정반사성 하이라이트를 제거하기 위해 식별된 영역을 평활화하는 것에 의해 소스 비디오를 수정하는 것을 포함한다. 일부 실시예에서, 평활화는 식별된 정반사성 하이라이트 영역을 그 사람의 얼굴에서 정반사성 하이라이트가 없는 근처 영역과 평균화하는 것일 수 있다.

일부 실시예에서, 생리학적 신호는 수정된 비디오에 압축 아티팩트들을 포함시키는 것에 의해 마스킹될 수 있다. 이들 압축 아티팩트는 인위적으로 생성될 수 있으며, 비디오 압축 기술로부터 발생하는 압축 아티팩트들(예를 들어, 링잉, 모기 소음 및 블로킹)을 모의할 수 있다. 다양한 실시예에서, 압축 아티팩트들은 생리학적 신호가 검출되는 영역들에 선택적으로 적용될 수 있다. 예컨대, 컴퓨팅 디바이스가 비디오에 있는 사람이 발한 또는 씰룩거린다고 검출하면, 압축 아티팩트들은 이들 영역에 국부적으로 적용될 수 있다. 대안적으로, 압축 아티팩트들은 생리학적 신호들을 숨기기 위해 전체 비디오 또는 사람 얼굴이 차지하는 비디오의 부분에 적용될 수 있다.

일부 실시예에서, 본 명세서에 설명된 기술은 생리학적 신호들이 도입된 또는 추출 가능한 생리학적 측정치가 증가된 수정된 비디오를 생성할 수 있다. 예컨대, 비디오에 있는 사람이 상승된 심박수 또는 호흡수를 갖거나, 얼굴의 붉어짐이 증가하거나, 또는 발한하고 있다고 결정될 수 있는 수정된 비디오가 생성될 수 있다. 상승된 심박수는 예를 들어 심박수 임계치보다 큰 심박수를 반영하는 혈액 박동 효과 신호를 추가함에 의해 수정된 비디오에 도입될 수 있다. 사람 얼굴의 붉어짐은, 예를 들어 피부 붉어짐이 피부 붉어짐 임계치를 피부 붉어짐 시프트 임계치보다 많이 초과하도록 사람 얼굴의 영역에서 픽셀들의 색을 변경함에 의해 증가될 수 있다. 발한은 사람 얼굴에 정반사성 반사(specular reflection)를 추가함에 의해 추가될 수 있다. 생리학적 신호들을 도입할 수 있는 것은 예를 들어 화상 회의에서 제1 당사자가 화상 회의하는 제2 당사자에게 자신이 불안하거나 화가나 있다고 생각되게 속이고 싶을 때 바람직할 수 있다. 이는 제1 당사자가 제2 당사자와 협상할 때 유용할 수 있다.

도 4는 단일 비디오 소스로부터 수신된 비디오에 기초하여 무접촉 방식으로 사람의 심박수를 결정하기 위한 예시적인 시스템(400)의 블록도이다. 시스템(400)은 취득 모듈(410) 및 심박수 모듈(420)을 포함한다. 취득 모듈(410)은 RGB 카메라(430), RGB 카메라(430)에 의해 생성된 비디오에서 한 사람 이상의 얼굴을 검출하기 위한 얼굴 검출 모듈(440), 및 비디오에서 개별 프레임들에 대한 검출된 얼굴들에서의 관심 영역(region of interest: ROI)들에서 평균 픽셀 강도들(455)을 결정하기 위한 ROI 픽셀 평균 모듈(450)을 포함한다.

심박수 모듈(420)은 취득 모듈(410)에 의해 생성된 프레임별 평균 픽셀 강도들(455)로부터 심박수 출력(460)을 생성한다. 심박수 갱신 모듈(465)은 갱신된 심박수(468)를 결정하며, 선택적으로 신뢰 수준(470)을 결정한다. 갱신된 심박수(468)는 현재 프레임, 및 적어도 마지막 2개의 인식 가능한 심장 박동을 커버하는 이전의 N개의 프레임(전형적으로 2 내지 5초에 상당하는 프레임들)을 포함하는 프레임들의 윈도우로부터 생성된 픽셀 강도들에 기초할 수 있다. 윈도우는 픽셀 강도들이 현재 프레임에 대해 생성될 때 가장 오래된 프레임에 대한 픽셀 강도들은 윈도우로부터 멀어지게 시프트되고 최근 프레임에 대한 픽셀 강도들은 윈도우에 부가되도록 하는 슬라이딩 윈도우일 수 있다. 따라서, 갱신된 심박수(468)는 프레임별 기준으로 갱신될 수 있을지라도, 갱신된 심박수(468)는 전형적으로 현재 프레임 및 이전 N개의 프레임들로부터의 데이터를 이용하여 계산된다.

심박수 갱신 모듈(465)은 예를 들어 가장 강한 주기성을 갖는 색 채널에서의 심박수를 해당 프레임에 대한 갱신된 심박수로서 선택함에 의해, 갱신된 심박수(468)를 결정하기 위해 다양한 접근법을 이용할 수 있다. 심박수 갱신 모듈(465)은 또한 각각의 색 채널에 대한 신뢰 수준일 수 있는 프레임별 신뢰 수준(470)을 결정할 수 있다. 신뢰 수준은 각각의 프레임에 대해 계산될 수 있으며, 전형적으로 현재 프레임 및 이전 N개의 프레임들로부터 생성된 픽셀 강도 데이터로부터 계산된 갱신된 심박수의 신뢰 수준을 언급한다. 신뢰 수준(470)은 여러 인자들, 예를 들어 픽셀 강도 피크 크기들의 편차, 각각의 색 채널에서의 픽셀 강도 피크들 사이의 간격들의 편차, 및 색 채널들 중에서 심박수의 주기성의 편차에 의존할 수 있다.

심박수 출력 모듈(480)은 RGB 카메라(430)에 의해 기록되고 있는 사람에 대한 심박수 출력(460)을 결정한다. 심박수 출력 모듈(480)은 예를 들어 프레임에 대한 신뢰 수준(470)이 소정 수준을 초과한다면 해당 프레임에 대한 갱신된 심박수(468)를 이용함에 의해 또는 이전 N개의 프레임들에 걸쳐 갱신된 심박수(468)를 평균화함에 의해 심박수 출력(460)을 결정할 수 있다.

도 5는 다수의 소스들 - 3개의 비디오 소스 및 추가 센서들 - 로부터 수신된 비디오에 기초하여 무접촉 방식으로 사람의 심박수를 결정하기 위한 예시적인 시스템(500)의 블록도이다. 시스템(500)은 취득 모듈(502) 및 심박수 모듈(504)을 포함한다. 취득 모듈(502)은 비디오 소스들로서, RGB 카메라(505), 적외선(IR) 카메라(510) 및 푸시 카메라(515)를 포함한다. 프레임별 얼굴 트래킹이 (예를 들어, 하르 기반(Haar-based) 얼굴 검출 기술을 이용할 수 있는) 얼굴 검출 모듈(520), 제3 당사자 얼굴 API 얼굴 인식 플랫폼을 이용하는 모듈(525), 및 광학 플로우 기반 트래킹 모듈(530)에 의해 수행된다. 특정 얼굴 트래킹 접근법들(520, 525 및 530)이 특정 카메라들(505, 510 및 515)과 짝을 이루어 도시되었다 할지라도, 도 5에 도시되지 않은 얼굴 트래킹 모듈들을 포함하는 임의의 얼굴 트래킹 모듈들이 임의의 비디오 소스와 함께 사용될 수 있다. 픽셀 강도 샘플링이 ROI 픽셀 평균 모듈들(532, 534 및 536)에 의해 수행되고, 이들은 프레임별 RGB 평균 픽셀 강도들(540 및 542), 및 프레임별 IR 평균 픽셀 강도들(544)을 생성한다. 시스템(500)은 사람의 심박수를 결정할 때 사용될 수 있는 센서 샘플들(548)을 생성하는 추가 센서들(546), 예를 들어 심전도(ECG) 센서들을 더 포함한다.

심박수 모듈(504)은 프레임별 픽셀 강도들(540, 542, 544) 및 센서 샘플들(548)로부터 심박수 출력(550)을 결정하는데, 이 프레임별 픽셀 강도들 및 센서 샘플들은 심박수 갱신 모듈들(552, 554, 556, 558 및 560)에 제공되며, 이 심박수 갱신 모듈들은, 현재 프레임 및 이전 N개의 프레임들을 포함하는 윈도우에 기초하여, 프레임별 기준으로 개별 입력 채널들(RGB 카메라, IR 카메라, 추가 센서들)에 대한 심박수들(565)을 계산한다. 심박수 모듈들은 도 4에 관해 전술한 바와 같이, 갱신된 심박수들(468) 및 신뢰 수준들(470)이 계산되는 방식과 유사하게 갱신된 심박수들(565) 및 신뢰 수준들(570)을 출력할 수 있다. 다수의 심박수 갱신 모듈들이 특정 입력에 대한 갱신된 심박수를 출력할 수 있다. 예컨대, 심박수 모듈들(556 및 558)은 푸시 카메라 비디오로부터 갱신된 심박수들을 계산할 수 있으며, 이들 모듈 중 하나는 대형 ROI에 대한 갱신된 심박수를 계산하고 다른 갱신된 심박수 모듈은 소형 ROI에 대한 프레임별 심박수를 계산한다.

심박수 출력 모듈(580)은 심박수 갱신 모듈들(552, 554, 556, 558 및 560)에 의해 생성된 갱신된 심박수들(565) 및 신뢰 수준들(570)로부터 심박수 출력(550)을 생성한다. 심박수 출력 모듈(580)은 여러 방식들로, 예를 들어 소정 값보다 큰 신뢰 수준을 갖는 입력들에 대한 이전 N개의 프레임들로부터 갱신된 심박수(565)를 평균화함에 의해, 또는 여러 입력 소스 중에서 가장 강한 주기성 또는 가장 큰 피크 크기를 갖는 심박수를 이용함에 의해 심박수 출력(550)을 결정할 수 있다. 시스템들(400 및 500)에 도시된 모듈들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다.

시스템들(400 및 500)은 상승된 심박수를 마스킹하는 생리학적 신호 마스킹 시스템 또는 디바이스에 사용될 수 있다. 일부 실시예에서, 다수의 입력 소스들을 갖는 시스템은 도 5에 도시된 것보다 많거나 또는 적은 수의 입력 소스들을 가질 수 있다. 예컨대, 시스템은 단일 RGB 또는 IR 카메라에 의해 캡처된 비디오로부터만 사람의 심박수를 결정할 수 있다. 시스템들(400 및 500)이 사람 심박수를 결정하는 맥락에서 논의되었지만, 시스템들(400 및 500)은 다른 생리학적 측정치들, 예를 들어 호흡수 및 사람 얼굴의 붉어짐을 결정하는 것으로 확장될 수 있다. 이에 따라, 다른 생리학적 측정치들은 단일 입력 소스뿐만 아니라 다수의 입력 소스들로부터 결정될 수 있다.

도 6은 비디오로부터 사람의 심박수를 결정하는 예시적인 방법(600)의 순서도이다. 방법(600)의 프로세스 단계들은 갱신 루프(602), 얼굴 검출 스레드(face detection thread)(604), 데이터 및 로직 매니저(606) 및 계산 스레드(608)에 속한다. 갱신 루프(602)에서의 제1 프로세스 단계인, 프로세스 단계(610)에서, 카메라를 조회하고 비디오 프레임에 대한 픽셀 데이터가 반환된다. 카메라가 일 프레임에 대한 데이터를 제공한 후, 얼굴 검출 프로세스 단계(620)가 얼굴 검출 스레드(604)에서 수행된다. 프로세스 단계(630)에서, 비디오에서의 사람 얼굴의 위치가 갱신된다. 프로세스 단계(640)에서, 피부 분할 마스크가 생성되고, 마스킹된 평균 동작이 프로세스 단계(650)에서 각각의 관심 영역에 대한 픽셀 강도 값에 대해 수행된다. 데이터 및 로직 매니저(606)는 프로세스 단계(660)에서 평균화된 픽셀 강도 값들을 비디오에서의 한 세트의 시계열(예를 들어, 한 세트의 프레임들)에 부가하고, 계산 스레드(608)는 프로세스 단계(670)에서 부가된 평균 픽셀 강도 데이터에 기초하여 각각의 관심 영역에 대한 심박수 값을 계산한다. 데이터 및 로직 매니저(606)는 그 후 프로세스 단계(680)에서 관심 영역으로부터의 심박수 값들을 가중처리하여 비디오에 있는 사람에 대한 심박수를 결정하고, 프로세스 단계(690)에서 갱신 루프(602)가 그 결과를 조회한다. 갱신 루프(602)는 그 후 프로세스 단계(695)에서 클린업을 수행하고, 갱신 루프(602)는 다른 비디오 프레임을 처리하기 위해서 프로세스 단계(610)로 복귀한다.

도 7은 본 명세서에 설명된 기술들이 구현될 수 있는 예시적인 컴퓨팅 디바이스(700)의 블록도이다. 컴퓨팅 디바이스(700)는 심박수 모듈(710), 호흡수 모듈(720), 피부 붉어짐 모듈(730), 경련 모듈(740), 미세 표정 모듈(750), 및 통신 모듈(760)을 포함한다. 컴퓨팅 디바이스(700)는 소스 비디오(780)로부터 수정된 비디오(770)를 생성할 수 있으며, 여기서 소스 비디오(780)에 존재하는 하나 이상의 생리학적 신호는 수정된 비디오(770)에 실질적으로 없다.

심박수 모듈(710)은 소스 비디오(770)에서의 사람 얼굴의 영역들에서의 평균 픽셀 강도들의 변동으로부터 사람의 심박수를 결정하고, 심박수가 심박수 임계치를 초과하는 것으로 결정함에 의해 심박수가 상승한다고 결정하며, 소스 비디오로부터 평균 픽셀 강도 변동을 실질적으로 제거하며, 소스 비디오에서의 변동에 의해 나타나는 심박수와는 다른 심박수에 대응하는 평균 픽셀 강도 변동을 삽입할 수 있다. 일부 실시예에서, 심박수 모듈(420 또는 504)은 심박수 모듈(710)처럼 구현될 수 있으며, 다른 실시예에서, 심박수 모듈(710)은 심박수 모듈(420 또는 504)과 상이할 수 있다. 호흡수 모듈(720)은 소스 비디오(780)로부터 사람의 호흡수를 검출하고, 호흡수가 호흡수 임계치를 초과하는 것으로 결정함에 의해 호흡수가 상승한다고 결정하며, 수정된 비디오(770)로부터 사람 가슴의 오르내림에 기초하여 호흡수를 추출할 수 없거나 또는 적어도 어려울 수 있도록, 또는 수정된 비디오(770)로부터 호흡수 임계치 이하의 호흡수가 추출될 수 있도록 소스 비디오(780)를 수정할 수 있다.

피부 붉어짐 모듈(730)은 사람의 피부색의 붉어짐에서 시프트량을 결정하고, 붉어짐 시프트가 기준선 붉어짐 레벨의 피부 붉어짐 시프트 임계치 내에 있도록 소스 비디오(780)를 수정할 수 있다. 경련 모듈(740) 및 미세 표정 모듈(750)은 소스 비디오(780)로부터 사람의 경련 및 미세 표정을 제거할 수 있다. 통신 모듈(760)은 소스 비디오(780)를 수신할 수 있으며, 수정된 비디오(770)를 다른 컴퓨팅 디바이스에 전송할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(700)는 추가 모듈들(도 7에 파선으로 도시됨), 예를 들어 소스 비디오를 컴퓨팅 디바이스(700)에 제공하는 임의의 카메라(예를 들어, RGB, IR, 푸시)일 수 있는 비디오 캡처 디바이스(790)를 포함할 수 있다.

도 7이 컴퓨팅 디바이스에 포함될 수 있는 한 세트의 모듈들의 일례를 도시함을 이해해야 한다. 다른 실시예에서, 컴퓨팅 디바이스는 도 7에 도시된 모듈보다 많은 또는 적은 수의 모듈들을 가질 수 있다. 예컨대, 상승된 심박수 및 호흡수만을 마스킹하는 생리학적 신호 마스킹 시스템은 피부 붉어짐, 경련 및 미세 표정 모듈들을 포함하지 않을 수 있다. 더욱이, 도 7에서 별도로 도시된 모듈들은 단일 모듈에 결합될 수 있거나, 또는 도 7에 도시된 단일 모듈은 다수의 모듈로 분할될 수 있다. 더욱이, 도 7에 도시된 모듈들 중 어느 것이든 컴퓨팅 디바이스(700)의 운영 체제의 일부이거나, 운영 체제와 독립된 하나 이상의 소프트웨어 애플리케이션이거나, 또는 다른 소프트웨어 계층에서 동작할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(700)는 비디오 캡처 디바이스(790), 얼굴 검출 모듈 및 ROI 픽셀 평균 모듈을 포함하는 취득 모듈; 및 프레임별 심박수 모듈 및 심박수 출력 모듈을 포함하는 심박수 모듈을 포함할 수 있다.

도 7에 도시된 모듈들은 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 방법을 수행하도록 프로그래밍되는 것으로 언급된 컴퓨터 디바이스가 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 통해 방법을 수행하도록 프로그래밍될 수 있다.

도 8은 생리학적 신호들을 마스킹하는 제1의 예시적인 방법(800)의 블록도이다. 방법(800)은 예를 들어 원격 당사자와 협상에 참여하고 있는 회사 임원에 의해 사용되고 있는 사무소의 회의실에 설치된 화상 회의 시스템에 의해 수행될 수 있다. 화상 회의 시스템은 RGB 카메라를 포함한다. 프로세스 단계(810)에서, 하나 이상의 생리학적 신호를 포함하는 적어도 한 사람의 소스 비디오가 수신된다. 본 예에서, 화상 회의 시스템은 RGB 카메라를 통해 임원의 비디오를 수신한다. 임원은 잘 되고 있지 않은 중요한 협상에 참여하고 있다. 임원은 불안하고 걱정스러우며 그 심장은 쿵쿵 뛰고 있다. 프로세스 단계(820)에서, 하나 이상의 생리학적 신호 중 적어도 하나가 마스킹되는 수정된 비디오가 생성된다. 본 예에서, 화상 회의 시스템은 임원의 심박수를 마스킹하는 수정된 비디오를 생성한다. 프로세스 단계(830)에서, 수정된 비디오는 제2 컴퓨팅 디바이스에 전송된다. 본 예에서, 화상 회의 시스템은 데스크탑 또는 랩탑 컴퓨터일 수 있는 다른 당사자의 화상 회의 시스템, 회의실에 설치된 화상 회의 시스템, 또는 다른 컴퓨팅 디바이스에 수정된 비디오를 전송한다.

도 9는 생리학적 신호들을 마스킹하는 제2의 예시적인 방법(900)의 순서도이다. 방법(900)은 예컨대 비디오 능력을 갖추고 생리학적 신호들을 마스킹할 수 있는 VoIP(Voice over Internet Protocol) 애플리케이션을 실행하는 데스크탑 컴퓨터에 의해 수행될 수 있다. VoIP 애플리케이션 사람은 자신의 팀에 대한 분기별 갱신을 전달하는 사업 매니저일 수 있다. 갱신 동안, 매니저의 고용인들 중 하나는 매니저와 열띤 토론을 시작하고, 매니저의 얼굴은 자신의 속상함 때문에 붉게 변한다. 프로세스 단계(910)에서, 비디오가 카메라로부터 캡처된다. 본 예에서는, 소스 비디오가 매니저의 데스크탑 컴퓨터에 포함된 카메라로부터 캡처된다. 프로세스 단계(920)에서, 생리학적 측정치들이 소스 비디오에서 검출된다. 본 예에서는, 매니저의 얼굴의 한 영역에 대한 붉어짐이 소스 비디오에서 픽셀 강도들을 분석하는 것에 의해 검출된다. 프로세스 단계(930)에서, 식별된 생리학적 측정치를 기초로 하여, 생리학적 신호들(만약 있다면)이 소스 비디오에서 검출된다. 생리학적 신호들의 검출은 원하지 않는 생리학적 신호들(예를 들어, 씰룩거림), 또는 특정 범위(예를 들어, 임계치) 밖에 있는 생리학적 측정치의 검출을 포함할 수 있다. 본 예에서, 데스크탑 컴퓨터는 매니저 얼굴의 붉어짐이 매니저와 연관된 피부 붉어짐 기준선을 피부 붉어짐 시프트 임계치보다 많이 초과했는지 결정한다. 프로세스 단계(940)에서, 생리학적 신호들을 마스킹하기 위해 비디오 스트림에 대해 이미지 처리가 수행된다. 본 예에서, 매니저 얼굴의 붉어짐이 검출된 유일한 생리학적 신호가기 때문에, 데스크탑 컴퓨터는 매니저의 피부 붉어짐 기준선의 피부 붉어짐 시프트 임계치 내에 있도록 피부 붉어짐을 감소하기 위해서 비디오에서의 매니저 얼굴에 대해 이미지 처리를 수행한다. 프로세스 단계(950)에서, 수정된 비디오는 네트워크를 통해 다른 컴퓨팅 디바이스에 전송되거나 또는 달리 의도된 대로 사용된다. 본 예에서, 데스크탑 컴퓨터는 수정된 비디오를 자신의 팀의 컴퓨팅 디바이스에 전송한다. 생리학적 신호가 프로세스(930)에서 검출되지 않으면, 방법은 프로세스 단계(950)로 진행한다.

도 10은 혈액 박동 효과를 모의하기 위해서 사람 캐릭터의 컴퓨터 그래픽 모델(예를 들어, 컴퓨터 그래픽 이미징(CGI) 모델)에 추가될 수 있는 예시적인 신호들을 도시한다. 일반적으로, 디스플레이에서 제시되는 CGI 캐릭터의 피부에서의 픽셀 강도 값들은 정적 모델 텍스처 및 조명 시나리오의 조합을 포함할 수 있다. 혈액 박동 효과를 CGI 캐릭터에 추가하기 위해서 시간에 걸쳐 변하는(예를 들어, 정현파적으로) 사람 피부 텍스처 네트워크에 추가 텍스처가 추가될 수 있다. 일부 실시예에서, 정현파의 주파수는 CGI 캐릭터에 의해 드러날 감정 상태들의 범위에 대응하는 심박수의 범위(42-180bpm)를 나타내기 위해 약 0.7 내지 3.0Hz 사이에 있다. 정현파의 진폭은 색, 루마 및/또는 채도 채널에 의해 변할 수 있다.

그래프(1000)는 RGB 색 스킴을 채택한 비디오에서 CGI 캐릭터의 관심 영역에 대한 예시적인 평균 픽셀 강도들(1005)을 도시한다. 평균 픽셀 강도들(1005)은 박동 효과가 모델링되지 않는 CGI 캐릭터에 대한 것이다. 따라서, 픽셀 강도들은 시간에 따라 변하지 않는다. 그래프들(1010 및 1020)은 CGI 캐릭터의 평온한 상태 및 흥분된 상태를 각각 나타내기 위해서 픽셀 강도 값들(1005)에 추가될 수 있는 예시적인 혈액 박동 효과 신호들(1030 및 1040)을 도시한다. 흥분된 혈액 박동 효과 신호(1040)는 평온한 혈액 박동 효과 신호(1030)에 비해 크기가 증가할 뿐만 아니라 주파수도 증가하지만, 일부 실시예에서 흥분된 혈액 박동 효과 신호의 크기는 평온한 혈액 박동 효과 신호의 크기와 실질적으로 유사할 수 있다. 전형적으로, 혈액 박동 효과 신호들은 카메라에 의해 캡처된 평균 픽셀 강도 값들에 비해 낮은 크기를 가진다. 혈액 박동 효과 신호들(1030 및 1040)이 도 10에서 정현파 신호들로서 도시되었다 할지라도, 이들은 임의의 타입의 주기적 또는 비주기적 신호일 수 있다.

CGI 캐릭터가 전형적으로 평온한 감정 상태에 있다고(예를 들어, 공원을 걷고 있고, 다른 CGI 캐릭터와 통상의 대화를 하고 있다고) 생각되는 환경에 있다면, (60-80bpm의 심박수를 반영하는) 1.0-1.3Hz의 주파수를 갖는 혈액 박동 효과 신호가 이 캐릭터에 추가될 수 있다. CGI 캐릭터가 전형적으로 흥분되어 있다고(예를 들어, 총격전에 있다고) 생각되는 환경에 있다면, (120-150bpm의 심박수를 반영하는) 2.0-2.5Hz 신호가 추가될 수 있다. 일부 실시예에서, 혈액 박동 효과 신호들은 박동 효과의 더 정확한 모델링을 제공하기 위해서 픽셀 강도 최고점들 및 최저점들의 크기에서의 편차(랜덤 아니면 그 반대)를 포함할 수 있다. 픽셀 강도 최고점들 및 최저점들 사이의 시간에서의 작은 편차가 또한 혈액 박동 효과 신호들에 도입될 수 있다. 도 10에 관하여 설명된 혈액 박동 효과 신호는, 피부 색 변동을 CGI 캐릭터의 얼굴에 추가하는데 사용될 뿐만 아니라, 생리학적 신호 마스킹 시스템에 의해 생성된 수정된 비디오에 주입될 수 있다. 즉, 도 10에 관하여 논의된 혈액 박동 효과 신호들은 도 3에서 수정된 비디오(350)를 생성하기 위해서 중간 비디오(330)에 추가된 신호(340)를 포함할 수 있다. 픽셀 강도 피크 크기 및 주파수에서 편차들을 갖는 혈액 박동 효과 신호의 포함은 수정된 비디오를 수신하는 당사자가, 소스 비디오가 생리학적 신호들을 마스킹하도록 수정되었다고 결론을 내릴 가능성이 적어지게 할 수 있다.

혈액 박동 효과를 CGI 캐릭터에 추가하는 컴퓨터 판독 가능한 명령어들은 CGI 모델링 스위트(modeling suite)들에 포함될 수 있거나, 플러그 인으로서 CGI 모델링 스위트들에 제공될 수 있거나, 또는 다른 방식으로 사람들 또는 컴퓨팅 디바이스들에 이용 가능하게 된다.

도 11은 혈액 박동 효과를 사람 캐릭터의 컴퓨터 그래픽 모델에 추가하는 예시적인 방법(1100)의 순서도이다. 방법(1100)은 예컨대 다중 사용자 온라인 게임(massively multiplayer online game)을 호스팅하는 클라우드 기반 게이밍 서비스에 의해 수행될 수 있다. 프로세스 단계(1110)에서, 얼굴 영역을 포함하는 사람 캐릭터의 컴퓨터 그래픽 모델이 수신된다. 본 예에서는, 클라우드 기반 게이밍 서비스의 렌더링 엔진이 사람 캐릭터의 컴퓨터 그래픽 모델을 수신한다. 프로세스 단계(1120)에서, 혈액 박동 효과를 포함하는 피부 텍스처가 얼굴 영역에 추가된다. 본 예에서, 렌더링 엔진은 혈액 박동 효과를 포함하는 피부 텍스처를 캐릭터의 얼굴 영역에 추가한다.

다음의 시나리오는 본 명세서에 설명된 기술의 예시적인 이점을 설명한다. 제1의 예시적인 이용 시나리오에서, 생리학적 신호 마스킹 시스템이 화상 회의에 참여하는 사람을 돕는데 사용될 수 있다. 예컨대, 화상 회의 기반 협상에 참여하는 CEO가 자신의 약한 협상 위치 때문에 불안해 한다고 가정한다. 그의 심장은 쿵쿵 뛰지만, 다른 화상 회의 참가자에게 평온한 것처럼 보이길 원한다. 화상 회의의 다른 당사자들이 CEO의 증가된 심박수를 알아차리기 쉽지 않다 할지라도, CEO는 다른 당사자들이 자신의 심박수를 검출 및 모니터링하려는 시도로 비디오의 컴퓨터 분석을 수행할 수 있음을 걱정한다. 생리학적 신호 마스킹 시스템은 자신의 얼굴에서 혈액 박동 효과를 검출하고 혈액 박동 효과를 제거하기 위해서 자신의 얼굴에서 피부색을 조절할 수 있다. 마스킹 시스템은 그 후 CEO가 평온한 감정 상태를 나타내는 심박수를 가진다고 나타내는 혈액 박동 효과 신호를 비디오에 주입할 수 있다. CEO의 심박수를 결정하기 위해 우연히 비디오를 분석하는 임의의 화상 회의 협상 당사자는 CEO가 평온한 상태에 있다고 나타내는 심박수를 검출할 수 있다. 따라서, 본 명세서에 설명된 기술은 화상 회의 당사자들이 사람의 심박수, 호흡수, 피부 붉어짐 등을 비디오로부터 추출함에 의해 이들의 감정 상태를 결정하기 위해서 비디오 상에서 분석을 수행하려는 시도에 대한 대응책의 역할을 할 수 있다.

제2의 예시적인 이용 시나리오에서, 텔레비전 생방송에서, 생리학적 신호 마스킹 시스템이 연설자들에 의해 제공된 프리젠테이션의 비디오에서 생리학적 신호들을 마스킹하는데 사용될 수 있다. 예컨대, 텔레비전 생방송에서 유권자에게 경제 상태에 관해 연설하고 있는 정치인을 생각해보자. 경제 상황은 심각하고, 정치인은 불안해하며, 정치인은 자신이 불안할 때 저절로 나타나는 안면 경련이 입가 주위에 생긴다. 생리학적 신호 마스킹 시스템은 비디오에서 움직임을 분석하고, 안면 경련이 있을 때를 검출하고 이를 비디오로부터 제거할 수 있다. 시청자들이 보게 되는 수정된 비디오에서는, 정치인의 경련은 없으며, 시청자들이 정치인이 불안해한다는 것을 알 가능성이 적게 된다.

또 다른 실시예에서, 본 명세서에 설명된 기술은 혈액 박동 효과를 모의하기 위해서 피부색 변동을 CGI 캐릭터의 피부 텍스처에 추가하는데 사용될 수 있다. 이런 생리학적 효과를 CGI 캐릭터에 추가하는 것은, 시청자들이 아주 완전하진 않지만 거의 실제 사람처럼 보이고 행동하는 CGI 캐릭터들을 혐오감을 갖고 시청하는 효과인 "언캐니 밸리(uncanny valley)"를 좁힐 수 있는 한 방법이다. 이런 혈액 박동 효과의 빈도는 미리 결정되거나 사람이 설정 가능하게(person-configurable) 될 수 있다. 또한, 추가된 심박수 빈도는 CGI 캐릭터의 환경을 기초하여 결정될 수 있다.

추가적인 이용 시나리오에서, 본 명세서에 설명된 기술은 출력 디바이스에서의 콘텐츠 출력에 대한 사람의 감정 반응을 모니터링하고 콘텐츠에 대한 사람 감정 반응에 따라서 조치를 취하는데 사용될 수 있다. 예컨대, 컴퓨팅 디바이스는 특정 상품 또는 서비스에 대한 광고를 디스플레이하고 광고에 대한 시청자의 감정 반응을 검출하기 위해 광고에 대한 시청자의 반응의 비디오를 분석할 수 있다. 광고에 대한 시청자의 반응에 기초하여 판촉이 시청자에게 제공될 수 있다. 예컨대, 사람이 클라우드 기반 비디오 스트리밍 서비스로부터 영화 또는 다른 미디어를 스트리밍하고 있다면, 컴퓨팅 디바이스는 영화 전 또는 도중에 광고가 재생되는 동안 그 시청자의 심박수 및/또는 호흡수가 증가하였는지 검출할 수 있다. 이에 반응하여, 컴퓨팅 디바이스는 시청자의 감정 반응을 나타내는 메시지를 클라우드 기반 서비스에 전송할 수 있으며, 서비스는 판촉이 해당 사람에게 전송되게 할 수 있다. 판촉은 예를 들어 시청자의 이메일 계정에 SMS를 통해 전송된 쿠폰, 또는 시청자와 연관된 전화번호로 전송된 MMS 메시지일 수 있다. 클라우드 기반 서비스는 또한 시청자가 흥분된 감정 반응을 하는 광고의 상품 또는 서비스에 관련된 상품 또는 서비스에 대해 추가 광고를 전송할 수 있다.

다른 이용예에서, 컴퓨팅 디바이스에서 제시된 콘텐츠에 반응하는 시청자들의 흥분된 감정 상태의 검출은 다음에 무슨 콘텐츠가 컴퓨팅 디바이스에 제시될지 결정할 수 있다. 예컨대, 컴퓨팅 디바이스가 사람이 특정 영화 장면, 노래 또는 비디오 게임 시퀀스에 대해 흥분된 감정 반응을 표시한다고 결정한다면, 유사한 영화 장면, 노래 또는 비디오 게임 시퀀스가 출력 디바이스에서 다음에 제시될 수 있다. 대안적으로, 일부 실시예에서 출력 디바이스에서 표시된 콘텐츠에 반응하는 사람에 의해 흥분된 반응의 검출은 시스템이 흥분된 감정 반응을 유발한 콘텐츠와 유사한 특징들을 갖는 부가 콘텐츠를 표시하지 않게(또는 덜 표시하게) 할 수 있다. 예컨대, 클라우드 기반 비디오 스트리밍 서비스에 의해 제공된 공포 영화를 시청하고 있는 사람이 공포 영화를 시청하고 있는 동안 정해진 수보다 많은 흥분된 반응들을 가진다면, 서비스는 사람이 다음에 시청할 덜 무서운 영화를 선택 또는 제안할 수 있다.

본 명세서에 설명된 기술, 기법 및 실시예들은 모바일 디바이스들(예를 들어, 스마트폰, 핸드헬드 컴퓨터, 태블릿 컴퓨터, 랩탑 컴퓨터, 미디어 재생기, 휴대용 게임 콘솔, 카메라 및 비디오 레코더), 논-모바일 디바이스들(예를 들어, 데스크탑 컴퓨터, 서버, 고정 게임 콘솔, 스마트 텔레비전), 및 내장된 디바이스들(예를 들어, 차량에 포함된 디바이스들)을 포함하는 다양한 컴퓨팅 디바이스들 중 임의의 것에 의해 수행될 수 있다. 본 명세서에서 사용되는 용어 "컴퓨팅 디바이스들"은 컴퓨팅 시스템들을 포함하며, 다수의 개별 물리적 컴포넌트들을 포함하는 디바이스들을 포함한다.

도 12는 본 명세서에 설명된 기술이 구현될 수 있는 제2의 예시적인 컴퓨팅 디바이스(1200)의 블록도이다. 일반적으로, 도 12에 도시된 컴포넌트들은 비록 예시의 용이함을 위해 모든 연결이 도시되지는 않았지만 다른 도시된 컴포넌트들과 통신할 수 있다. 디바이스(1200)는 제1 프로세서(1202) 및 제2 프로세서(1204)를 포함하는 멀티프로세서 시스템이며, P-P(point-to-point) 상호연결을 포함하는 것으로 예시된다. 예컨대, 프로세서(1202)의 P-P 인터페이스(1206)는 P-P 상호연결(1205)을 통해 프로세서(1204)의 P-P 인터페이스(1207)에 연결된다. 도 12에 도시된 P-P 상호연결의 모두 또는 임의의 하나가 대안적으로 멀티 드롭 버스(multi-drop bus)로서 구현될 수 있으며, 도 12에 도시된 버스들 모두 또는 임의의 하나가 P-P 상호연결에 의해 대체될 수 있음에 유의해야 한다.

도 12에 도시된 바와 같이, 프로세서들(1202 및 1204)은 멀티코어 프로세스들이다. 프로세서(1202)는 프로세서 코어들(1208 및 1209)를 포함하며, 프로세서(1204)는 프로세서 코어들(1210 및 1211)을 포함한다. 프로세서 코어들(1208-1211)은 도 13과 관련해서 이하 후술될 방식과 유사하게 또는 다른 방식으로 컴퓨터 실행 가능한 명령어들을 실행할 수 있다.

프로세서들(1202 및 1204)은 적어도 하나의 공유 캐시 메모리(1212 및 1214)를 각각 더 포함한다. 공유 캐시들(1212 및 1214)은 프로세서의 하나 이상의 컴포넌트들, 예를 들어 프로세서 코어들(1208-1209 및 1210-1211)에 의해 활용되는 데이터(예를 들어 명령어들)을 저장할 수 있다. 공유 캐시들(1212 및 1214)은 디바이스(1200)의 메모리 계층구성(hierarchy)의 일부일 수 있다. 예컨대, 공유 캐시(1212)는 프로세서(1202)의 컴포넌트들이 데이터에 더 빨리 액세스할 수 있도록 메모리(1216)에도 저장되는 데이터를 국부적으로 저장할 수 있다. 일부 실시예에서, 공유 캐시들(1212 및 1214)은 다수의 캐시층들, 예를 들어 레벨 1(L1), 레벨 2(L2), 레벨 3(L3), 레벨 4(L4), 및/또는 최종 레벨 캐시(LLC)와 같은 다른 캐시들 또는 캐시층들을 포함할 수 있다.

디바이스(1200)가 2개의 프로세서들을 갖는 것으로 도시되었지만, 디바이스(1200)는 단지 하나의 프로세서 또는 3 이상의 프로세서를 포함할 수 있다. 더욱이, 프로세서는 하나 이상의 프로세서 코어를 포함할 수 있다. 프로세서는 예를 들어 중앙 처리 유닛, 제어기, 그래픽 프로세서, 가속기(예를 들어, 그래픽 가속기 또는 디지털 신호 프로세서(DSP)), 또는 필드 프로그래밍 가능한 게이트 어레이(FPGA: field programmable gate array) 등 다양한 형태를 취할 수 있다. 디바이스 내의 프로세서는 해당 디바이스 내의 다른 프로세서와 동일 또는 상이할 수 있다. 일부 실시예에서, 디바이스(1200)는 제1 프로세서, 가속기, FPGA 또는 임의의 다른 프로세서와 이형이거나 비대칭인 하나 이상의 프로세서를 포함할 수 있다. 시스템 내의 프로세싱 소자들 사이에는 아키텍처, 마이크로아키텍처, 열, 전력 소비의 특징들 등을 포함하는 각종 성능 지표의 측면에서 다양한 차이가 있을 수 있다. 이들 차이는 시스템 내의 프로세서들 사이의 비대칭성 및 이질성으로서 효과적으로 드러날 수 있다. 일부 실시예에서 프로세서들(1202 및 1204)은 동일한 다이 패키지에 상주한다.

프로세서들(1202 및 1204)은 메모리 제어기 로직(MC)(1220 및 1222)을 더 포함한다. 도 12에 도시된 바와 같이, MC들(1220 및 1222)은 프로세서들(1202 및 1204)에 각각 연결된 메모리들(1216 및 1218)을 제어한다. 메모리들(1216 및 1218)은 다양한 타입의 메모리들, 예컨대 휘발성 메모리(예를 들어, 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM)) 또는 비휘발성 메모리(예를 들어, 플래시 메모리)를 포함할 수 있다. MC들(1220 및 1222)이 프로세서들(1202 및 1204)에 포함되는 것으로 도시되지만, 대안적인 실시예에서 MC들은 프로세서 외부에 있는 로직일 수 있으며, 하나 이상의 계층의 메모리 계층구성을 포함할 수 있다.

프로세서들(1202 및 1204)은 P-P 상호연결들(1232 및 1234)을 통해 I/O(Input/Output) 서브 시스템(1230)에 연결된다. P-P 상호연결(1232)은 프로세서(1202)의 P-P 인터페이스(1236)을 I/O 서브시스템(1230)의 P-P 인터페이스(1238)에 연결하며, P-P 상호연결(1234)은 프로세서(1204)의 P-P 인터페이스(1240)을 I/O 서브시스템(1230)의 P-P 인터페이스(1242)에 연결한다. I/O 서브시스템(1230)은 I/O 서브시스템(1230)을 고성능 그래픽 엔진일 수 있는 그래픽 엔진(1252)에 연결하기 위한 인터페이스(1250)을 더 포함한다. I/O 서브시스템(1230) 및 그래픽 엔진(1252)은 버스(1254)를 통해 연결된다. 대안적으로, 버스(1254)는 P-P 상호연결일 수 있다.

I/O 서브시스템(1230)은 또한 인터페이스(1262)를 통해 제1 버스(1260)에 연결된다. 제1 버스(1260)는 PCI(Peripheral Component Interconnect) 버스, PCI 익스프레스 버스, 다른 3세대 I/O 상호연결 버스 또는 임의의 다른 타입의 버스일 수 있다.

다양한 I/O 디바이스들(1264)이 제1 버스(1260)에 연결될 수 있다. 버스 브릿지(1270)가 제1 버스(1260)를 제2 버스(1280)에 연결할 수 있다. 일부 실시예에서, 제2 버스(1280)는 LPC(low pin count) 버스일 수 있다. 다양한 디바이스들, 예컨대, 키보드/마우스(1282), 오디오 I/O 디바이스들(1288), 및 하드 디스크 드라이브, 솔리드 스테이트 드라이브 또는 컴퓨터 실행 가능한 명령어들(코드)(1292)을 저장하기 위한 다른 스토리지 디바이스와 같은 스토리지 디바이스(1290)를 포함하는 제2 버스(1280)에 연결될 수 있다. 코드(1292)는 본 명세서에 설명된 기술을 수행하기 위한 컴퓨터 실행 가능한 명령어들을 포함한다. 제2 버스(1280)에 연결될 수 있는 추가 컴포넌트들은, 하나 이상의 통신 표준들(예를 들어, IEEE 802.11 표준 및 그 부록)을 이용하여 하나 이상의 유선 또는 무선 통신 링크들(예를 들어, 와이어, 케이블, 이더넷 연결, 무선 주파수(RF) 채널, 적외선 채널, Wi-Fi 채널)을 통해 디바이스(1200)와 하나 이상의 유선 또는 무선 네트워크들(1286)(예를 들어, Wi-Fi, 셀룰러 또는 위성 네트워크들) 사이에 통신을 제공할 수 있는 통신 디바이스(들)(1284)을 포함한다.

디바이스(1200)는 플래시 메모리 카드들(예를 들어, SD(Secure Digital) 카드, 메모리 스틱, SIM(Subscriber Identity Module) 카드)와 같은 이동식 메모리를 포함할 수 있다. 디바이스(1200)에서의 메모리(캐시들(1212 및 1214), 메모리들(1216 및 1218), 및 스토리지 디바이스(1290)를 포함함)는 운영 체제(1294) 및 애플리케이션 프로그램들(1296)을 실행하기 위한 컴퓨터 실행 가능한 명령어들 및/또는 데이터를 저장할 수 있다. 데이터의 예는 웹 페이지들, 텍스트 메시지들, 이미지들, 사운드 파일들, 비디오 데이터, 특정한 사람들을 위한 생리학적 측정 임계치, 또는 하나 이상의 유선 또는 무선 네트워크들을 통해 디바이스(1200)에 의해 하나 이상의 네트워크 서버들 또는 다른 디바이스들에 전송되고/되거나 이로부터 수신될 또는 디바이스(1200)에 의해 사용하기 위한 다른 데이터 세트를 포함한다. 디바이스(1200)는 또한 외부 하드 드라이브들 또는 클라우드 기반 스토리지와 같은 외부 메모리(도시 안됨)에 액세스할 수 있다.

운영 체제(1294)는 도 12에 도시된 컴포넌트들의 할당 및 사용을 제어할 수 있으며, 하나 이상의 애플리케이션 프로그램(1296)을 지원할 수 있다. 애플리케이션 프로그램(1296)은 공통 모바일 컴퓨팅 디바이스 애플리케이션들(예를 들어, 이메일 애플리케이션들, 달력들, 연락처 매니저들, 웹 브라우저들, 메시징 애플리케이션들)뿐만 아니라, 소스 비디오에 존재하는 생리학적 신호가 수정된 비디오에는 실질적으로 없는, 디바이스(1200)에 의해 수신된 소스 비디오로부터 수정된 비디오를 생성할 수 있는 생리학적 신호 마스킹 애플리케이션(1297)과 같은 다른 컴퓨팅 애플리케이션들을 포함할 수 있다.

디바이스(1200)는 터치 스크린, 마이크, 카메라, 물리적 키보드, 근접 센서 및 트랙볼 등의 다양한 입력 디바이스들과, 스피커 및 디스플레이와 같은 하나 이상의 출력 디바이스를 지원할 수 있다. 다른 가능한 입력 및 출력 디바이스들은 압전 및 다른 햅틱 I/O 디바이스들을 포함한다. 입력 또는 출력 디바이스들 중 임의의 것이 디바이스(1200)의 내부 또는 외부에 있을 수 있거나 또는 이에 분리 가능하게 부착가능하다. 외부 입력 및 출력 디바이스들은 유선 또는 무선 연결을 통해 디바이스(1200)와 통신할 수 있다.

또한, 컴퓨팅 디바이스(1200)는 하나 이상의 NUI(natural person interface)들을 제공할 수 있다. 예컨대, 운영 체제(1292) 또는 애플리케이션(1294)은 사람이 음성 커맨드를 통해 디바이스(1200)를 조작하게 허용하는 사람 음성 인터페이스의 일부로서 음성 인식 로직을 포함할 수 있다. 더욱이, 디바이스(1200)는 사람이 몸, 손 또는 얼굴 제스처를 통해 디바이스(1200)와 상호작용하는 것을 허용하는 입력 디바이스들 및 로직을 포함할 수 있다. 예컨대, 사람의 손 제스처들은 게이밍 애플리케이션에 입력을 제공하도록 검출되어 해석될 수 있다.

디바이스(1200)는 시스템(1200)과 외부 디바이스들 사이에서 통신을 지원하기 위해서 하나 이상의 안테나에 연결된 하나 이상의 무선 모뎀(통신 디바이스들(1284)을 포함할 수 있음)을 더 포함할 수 있다. 무선 모뎀은 다양한 무선 통신 프로토콜들 및 기술들, 예를 들어 근거리 통신(NFC), Wi-Fi, 블루투스, 4G LTE(Long Term Evolution), CDMA(Code Division Multiplexing Access), UMTS(Universal Mobile Telecommunication System), 및 GSM(Global System for Mobile Telecommunication)을 지원할 수 있다. 또한, 무선 모뎀들은 단일 셀룰러 네트워크 내에서, 셀룰러 네트워크들 사이에서, 또는 모바일 컴퓨팅 디바이스와 PSTN(public switched telephone network) 사이에서 데이터 및 음성 통신을 위한 하나 이상의 셀룰러 네트워크들과의 통신을 지원할 수 있다.

디바이스(1200)는 물리적 커넥터들, 전원 장치, 및 GPS 수신기와 같은 위성 내비게이션 시스템 수신기, 자이로스코프, 가속도계 및 컴퍼스를 포함하는 적어도 하나의 입력/출력 포트(예컨대, USB 포트, IEEE 1394(파이어와이어) 포트, 및/또는 RS-232 포트일 수 있음)를 더 포함할 수 있다. GPS 수신기가 GPS 안테나에 연결될 수 있다. 디바이스(1200)는 추가 기능을 가능하게 하기 위해서 하나 이상의 추가 수신기들, 전송기들 및/또는 송수신기들에 연결된 하나 이상의 추가 안테나들을 더 포함할 수 있다.

도 12는 하나의 예시적인 컴퓨팅 디바이스 아키텍처를 도시함에 유의한다. 대안적인 아키텍처들을 기반으로 하는 컴퓨팅 디바이스들이 본 명세서에 설명된 기술을 구현하는데 사용될 수 있다. 예컨대, 프로세서들(1202 및 1204), 및 그래픽 엔진(1252)이 개별 집적 회로들 상에 위치하는 대신에, 컴퓨팅 디바이스는 다수의 프로세서들, 그래픽 엔진들 및 추가 컴포넌트들을 포함하는 SoC(system-on-a-chip) 집적 회로를 포함할 수 있다. 더욱이, 컴퓨팅 디바이스는 도 12에 도시된 것과는 다른 버스 구성을 통해 소자들을 연결할 수 있다. 더욱이, 대안적인 실시예에서는 도시된 컴포넌트들이 제거될 수 있고 다른 컴포넌트가 추가될 수 있으므로 도 12에 예시된 컴포넌트들은 필수적이거나 모두 포함되는 것은 아니다.

도 13은 본 명세서에 설명된 기술을 구현하기 위한 컴퓨터 실행 가능한 명령어들을 실행하기 위한 예시적인 프로세서 코어(1300)의 블록도이다. 프로세서 코어(1300)는 임의의 타입의 프로세서, 예를 들어 마이크로프로세서, 임베디드 프로세서, DSP(digital signal processor) 또는 네트워크 프로세서를 위한 코어일 수 있다. 프로세서 코어(1300)는 단일 스레디드 코어(single-threaded core)이거나 또는 코어당 2 이상의 하드웨어 스레드 콘텍스트(hardware thread context)(또는 "논리 프로세서")를 포함할 수 있다는 점에서 멀티스레디드 코어일 수 있다.

도 13은 또한 프로세서(1300)에 연결된 메모리(1310)를 도시한다. 메모리(1310)는 본 명세서에 설명된 임의의 메모리 또는 통상의 기술자에게 알려진 임의의 다른 메모리일 수 있다. 메모리(1310)는 프로세서(1300)에 의해 실행 가능한 컴퓨터 실행 가능한 명령어(코드)(1315)를 저장할 수 있다.

프로세서 코어는 메모리(1310)로부터 명령어들을 수신하는 전단 로직(front-end logic)(1320)을 포함한다. 명령어는 하나 이상의 디코더(1330)에 의해 처리될 수 있다. 디코더(1330)는 그 출력으로서 마이크로 동작, 예를 들어 미리 정의된 포맷으로 고정폭 마이크로 동작을 생성하거나, 또는 원래의 코드 명령어를 반영한, 다른 명령어들, 마이크로명령어들 또는 제어 신호들을 생성할 수 있다. 전단 로직(1320)은 레지스터 리네이밍 로직(register renaming logic)(1335) 및 스케줄링 로직(1340)을 더 포함하며, 이들은 일반적으로 자원들을 할당하고, 실행을 위한 명령어를 변환하는 것에 대응하는 동작들을 큐잉한다(queuing).

프로세서 코어(1300)는 하나 이상의 실행 유닛(EU)들(1365-1 내지 1365-N)을 포함하는 실행 로직(1350)을 더 포함한다. 일부 프로세서 코어 실시예는 특정 기능 또는 기능들의 세트에 전용된 다수의 실행 유닛들을 포함할 수 있다. 다른 실시예는 특정 기능을 실행할 수 있는 하나의 실행 유닛만을 포함할 수 있다. 실행 유닛(1350)은 코드 명령어들에 의해 특정된 동작들을 수행한다. 코드 명령어들에 의해 특정된 동작들의 실행 완료 후, 후단 로직(back-end logic)(1370)은 회수 로직(retirement logic)(1375)을 이용하여 명령어들을 회수한다. 일부 실시예에서, 프로세서 코어(1300)는 비순차적 실행을 허용하나 명령어들의 순차적 회수를 요구한다. 회수 로직(1370)은 통상의 기술자에게 알려진 바와 같이 다양한 형태(예를 들어, 재순서화 버퍼들 등)를 취할 수 있다.

프로세서 코어(1300)는 명령어들의 실행 동안에, 적어도 디코더(1330)에 의해 생성된 출력의 관점에서, 레지스터 리네이밍 로직(1335)에 의해 활용되는 하드웨어 레지스터들 및 테이블들, 및 실행 로직(1350)에 의해 수정된 임의의 레지스터(도시 안됨)로 변환된다. 도 13에 도시되지는 않았지만, 프로세서는 프로세서 코어(1300)를 갖는 집적된 칩상에 다른 소자들을 포함할 수 있다. 예컨대, 프로세서는 추가 소자들, 예를 들어 메모리 제어 로직, 하나 이상의 그래픽 엔진, I/O 제어 로직 및/또는 하나 이상의 캐시를 포함할 수 있다.

도 1을 다시 참고하면, 네트워크 또는 클라우드(180)는 본 명세서에 설명된 기술을 구현하는데 사용될 수 있는 다양한 클라우드 기반 서비스를 제공할 수 있다. 예컨대, 생리학적 신호들의 마스킹은 클라우드 기반 서비스에 의해 수행될 수 있다. 예컨대, 제1 컴퓨팅 디바이스(140)는 사람(130)에 대한 상승된 심박수 및 호흡수를 마스킹하고 수정된 비디오(160)를 제2 컴퓨팅 디바이스(170)에 전송하는 클라우드 기반 서비스에 소스 비디오(120)를 전송할 수 있다. 일부 실시예에서, 클라우드 기반 서비스는 혈액 박동 효과를 제1 컴퓨팅 디바이스에 의해 제공된 사람 캐릭터의 컴퓨터 그래픽 모델들의 얼굴에 추가할 수 있다.

개시된 방법들 중 임의의 하나는 컴퓨터 실행 가능한 명령어들 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 이런 명령어들은 컴퓨터가 개시된 방법들 중 임의의 하나를 수행하게 할 수 있다. 일반적으로, 본 명세서에서 사용되는 바와 같이, 용어 "컴퓨터"는 본 명세서에서 설명 또는 언급된 임의의 컴퓨팅 디바이스 또는 시스템, 또는 임의의 다른 컴퓨팅 디바이스를 언급한다. 따라서, 용어 "컴퓨터 실행 가능한 명령어"는 본 명세서에 설명되거나 언급된 임의의 컴퓨팅 디바이스, 또는 임의의 다른 컴퓨팅 디바이스에 의해 실행될 수 있다.

컴퓨터 실행 가능한 명령어들 또는 컴퓨터 프로그램 제품들뿐만 아니라, 개시된 기술의 구현 동안 생성 및 사용되는 임의의 데이터는 하나 이상의 유형의(tangible) 컴퓨터 판독 가능 저장 매체, 예를 들어 광 매체 디스크들(예를 들어, DVD들, CD들), 휘발성 메모리 컴포넌트들(예를 들어, DRAM, SRAM), 또는 비휘발성 메모리 컴포넌트들(예를 들어, 플래시 메모리, 디스크 드라이브) 상에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 스토리지 디바이스들, 예를 들어 솔리드 스테이트 드라이브들, USB 플래시 디바이스들, 및 메모리 모듈들에 포함될 수 있다. 대안적으로, 컴퓨터 실행 가능한 명령어들은 개시된 방법들 모두 또는 그 중 일부를 수행하기 위한 하드와이어드 로직을 포함하는 특정 하드웨어 컴포넌트들에 의해, 또는 컴퓨터 실행 가능 저장 매체 및 하드웨어 컴포넌트들의 임의의 조합에 의해 수행될 수 있다.

컴퓨터 실행 가능한 명령어들은 웹 브라우저 또는 다른 소프트웨어 애플리케이션(예를 들어, 원격 컴퓨팅 애플리케이션)을 통해 액세스되는 전용 소프트웨어 애플리케이션 또는 소프트웨어 애플리케이션의 일부일 수 있다. 이런 소프트웨어는 예컨대 단일 컴퓨팅 디바이스, 또는 하나 이상의 네트워크 컴퓨터들을 이용하는 네트워크 환경에서 실행될 수 있다. 더욱이, 개시된 기술이 임의의 특정 컴퓨터 언어 또는 프로그램에 제한되지 않음을 이해해야 한다. 예컨대, 개시된 기술은 C++, 자바, 펄(Perl), 자바스크립트, 어도비 플래시, 또는 임의의 다른 적당한 프로그래밍 언어로 작성된 소프트웨어에 의해 구현될 수 있다. 유사하게, 개시된 기술은 임의의 특정 컴퓨터 또는 하드웨어 타입에 제한되지 않는다. 적당한 컴퓨터 및 하드웨어의 소정의 상세는 알려졌으며, 본 명세서에 상세히 개시될 필요는 없다.

더욱이, 소프트웨어 기반 실시예들(예를 들어, 컴퓨터가 개시된 방법들 중 임의의 하나를 수행하게 하는 컴퓨터 실행 가능한 명령어들을 포함함) 중 임의의 것이 적당한 통신 수단을 통해 업로드, 다운로드, 또는 원격으로 액세스될 수 있다. 이런 적당한 통신 수단은 예를 들어 인터넷, 월드 와이드 웹, 인트라넷, 케이블(광섬유 케이블을 포함함), 자기 통신, 전자기 통신(RF, 마이크로웨이브, 및 적외선 통신을 포함함), 전자 통신, 또는 다른 이러한 통신 수단을 포함한다.

본 출원 및 청구항들에서 사용된 바와 같이, 용어 "및/또는"으로 결합된 아이템들의 리스트는 리스트된 아이템들의 임의의 조합을 의미할 수 있다. 예컨대, 문구 "A, B 및/또는 C"는 A; B; C; A 및 B; A 및 C; B 및 C; 또는 A, B 및 C를 의미할 수 있다. 본 출원 및 청구항들에서 사용된 바와 같이, 용어 "중 적어도 하나"에 의해 결합된 아이템들의 리스트는 리스트된 아이템들의 임의의 조합을 의미할 수 있다. 예컨대, 문구 "A, B 또는 C 중 적어도 하나"는 A; B; C; A 및 B; A 및 C; B 및 C; 또는 A, B 및 C를 의미할 수 있다.

개시된 방법들, 장치들 및 시스템들은 임의의 방식으로 제한하는 것으로 해석되지 않는다. 오히려, 본 개시 내용은 다양한 개시된 실시예들의 모든 신규하고 자명하지 않는 특징들 및 양상들을 단독으로 또한 서로에 대한 여러 조합 및 서브조합으로 지향한다. 개시된 방법들, 장치들 및 시스템들은 임의의 특정 양상 또는 특징 또는 이들의 조합에 제한되지 않으며, 개시된 실시예들은 임의의 하나 이상의 특정 이점들이 존재하거나 또는 문제점이 해결될 것을 요구하지도 않는다.

본 개시 내용의 장치들 또는 방법들을 참고하여 본 명세서에 제시된 동작의 이론들, 과학적인 원리들 또는 다른 이론적인 설명들은 더 나은 이해를 목적으로 제공된 것이고 범위를 제한하는 것으로 의도되지 않는다. 첨부된 청구항들에서 장치들 및 방법들은 이 같은 동작의 원리들에 의해 설명된 방식으로 기능하는 이들 장치들 및 방법들로 제한되지 않는다.

개시된 방법들 중 일부의 동작이 설명의 편의를 위해 특정한 순차적인 순서로 설명되었다 할지라도, 이런 방식의 설명은 특정 순서화가 본 명세서에 설명된 특정 언어로 요구되지 않는 한 재배열을 포함함을 이해해야 한다. 예컨대, 순차적으로 설명된 동작들은 일부 경우에 재배열 또는 동시에 수행될 수 있다. 더욱이, 간략함을 위해, 첨부된 도면은 개시된 방법들이 다른 방법들과 결합해서 사용될 수 있는 다양한 방식을 도시하지 않을 수 있다.

다음의 예들은 추가적인 실시예들에 관한 것이다.

예 1. 생리학적 신호들을 마스킹하는 방법으로서, 상기 방법은 적어도 한 사람의 소스 비디오를 수신하는 단계 - 상기 소스 비디오는 하나 이상의 생리학적 신호를 포함함 -; 상기 하나 이상의 생리학적 신호 중 적어도 하나가 마스킹되는 수정된 비디오를 생성하는 단계; 및 상기 수정된 비디오를 제2 컴퓨팅 디바이스에 전송하는 단계를 포함한다.

예 2. 예 1의 방법에서, 상기 방법은 상기 소스 비디오에서 상기 하나 이상의 생리학적 신호 중 적어도 하나를 검출하는 단계를 더 포함한다.

예 3. 예 2의 방법에서, 상기 검출하는 단계는, 상기 소스 비디오로부터 상기 사람의 생리학적 측정치를 결정하는 단계; 및 상기 생리학적 측정치가 생리학적 측정 임계치를 초과하는 것으로 결정하는 단계를 포함한다.

예 4. 예 3의 방법에서, 상기 수정된 비디오는 이 수정된 비디오로부터 결정된 상기 생리학적 측정치가 상기 소스 비디오로부터 결정된 상기 생리학적 측정치와 상이하다는 특징을 갖는다.

예 5. 예 3의 방법에서, 상기 수정된 비디오는 이 수정된 비디오로부터 결정된 상기 생리학적 측정치가 상기 소스 비디오로부터 결정된 상기 생리학적 측정치 이하라는 특징을 갖는다.

예 6. 예 3의 방법에서, 상기 생리학적 측정치는 심박수이며, 상기 생리학적 측정 임계치는 심박수 임계치이며, 상기 검출하는 단계는 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들에 적어도 부분적으로 기초하여 상기 심박수를 결정하는 단계를 포함한다.

예 7. 예 6의 방법에서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들은 상기 소스 비디오로부터 결정된 상기 심박수와 다른 레이트로 변동한다.

예 8. 예 6의 방법에서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들은 상기 심박수 임계치 미만의 레이트로 변동한다.

예 9. 예 6의 방법에서, 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들은 상기 수정된 비디오에는 실질적으로 없다.

예 10. 예 3의 방법에서, 상기 생리학적 측정치는 호흡수이며, 상기 생리학적 측정 임계치는 호흡수 임계치이고, 상기 검출하는 단계는 상기 소스 비디오에서 상기 사람의 가슴 및/또는 어깨가 오르내리는 레이트에 기초하여 상기 사람의 호흡수를 결정하는 단계를 포함한다.

예 11. 예 10의 방법에서, 상기 수정된 비디오에서 상기 사람의 어깨 및/또는 가슴이 오르내리는 레이트는 상기 소스 비디오에서 상기 사람의 어깨 및/또는 가슴이 오르내리는 상기 레이트와 상이하다.

예 12. 예 10의 방법에서, 상기 수정된 비디오에서 상기 사람의 어깨 또는 가슴은 실질적으로 오르거나 또는 내리지 않는다.

예 13. 예 2-12 중 어느 하나의 방법에서, 상기 검출하는 단계는, 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 픽셀 강도들에 적어도 부분적으로 기초하여 상기 사람의 피부 붉어짐을 결정하는 단계; 및 상기 피부 붉어짐이 피부 붉어짐 기준선을 피부 붉어짐 시프트 임계치보다 많이 초과하는 것으로 결정하는 단계를 포함한다.

예 14. 예 13의 방법에서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 피부 붉어짐이 상기 소스 비디오로부터 결정된 상기 피부 붉어짐과 상이하다.

예 15. 예 13의 방법에서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 피부 붉어짐이 상기 피부 붉어짐 기준선의 상기 피부 붉어짐 시프트 임계치 내에 있다.

예 16. 예 2-12 중 어느 하나의 방법에서, 상기 검출하는 단계는 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서 정반사성 반사들을 식별하는 단계를 포함하며, 상기 수정된 비디오를 생성하는 단계는 상기 식별된 정반사성 반사들의 강도를 적어도 감소시키기 위해서 상기 사람의 얼굴의 하나 이상의 영역을 평활화하는 단계를 포함한다.

예 17. 예 1-12 중 어느 하나의 방법에서, 상기 수정된 비디오를 생성하는 단계는 상기 소스 비디오로부터 신경성 안면 경련 및/또는 미세 표정들을 실질적으로 제거하는 단계를 포함한다.

예 18. 예 1-12 중 어느 하나의 방법에서, 상기 수정된 비디오를 생성하는 단계는 상기 소스 비디오를, 대략 100ms 이하로 지속하는 신경성 안면 경련 또는 미세 표정들을 실질적으로 제거하는 필터를 통과시키는 단계를 포함한다.

예 19. 컴퓨팅 디바이스가 예 1-18의 방법들 중 어느 하나를 수행하게 하기 위한 컴퓨터 실행 가능한 명령어들을 저장한 하나 이상의 컴퓨터 판독 가능 저장 매체.

예 20. 예 1-18의 방법들 중 어느 하나를 수행하도록 프로그래밍된 하나 이상의 컴퓨팅 디바이스.

예 21. 하나 이상의 컴퓨팅 디바이스로 하여금, 적어도 한 사람의 소스 비디오를 수신하는 단계 - 상기 소스 비디오는 하나 이상의 생리학적 신호를 포함함 -; 상기 하나 이상의 생리학적 신호 중 적어도 하나가 마스킹되는 수정된 비디오를 생성하는 단계; 및 상기 수정된 비디오를 제2 컴퓨팅 디바이스에 전송하는 단계를 포함하는 방법을 수행하게 하기 위한 컴퓨터 판독 가능한 명령어들을 상기 하나 이상의 컴퓨팅 디바이스에 전송하는 단계; 및 상기 컴퓨터 판독 가능한 명령어들을 상기 하나 이상의 컴퓨팅 디바이스에 저장하는 단계를 포함하는 방법.

예 22. 사람의 소스 비디오를 수신하며, 상기 사람의 수정된 비디오를 제2 컴퓨팅 디바이스에 전송하기 위한 통신 모듈 - 상기 소스 비디오는 하나 이상의 생리학적 신호를 포함하고, 상기 생리학적 신호들 중 적어도 하나가 상기 수정된 비디오에는 실질적으로 없음 -; 및 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들에 적어도 부분적으로 기초하여 상기 사람의 심박수를 결정하고, 상기 심박수가 심박수 임계치를 초과하는 것으로 결정하고, 상기 소스 비디오로부터 상기 변동들을 제거하며, 상기 심박수 임계치 이하인 심박수에 대응하는 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들을 상기 수정된 비디오에 삽입하기 위한 심박수 모듈을 포함하는 하나 이상의 컴퓨팅 디바이스.

예 23. 예 22의 하나 이상의 컴퓨팅 디바이스로서, 상기 소스 비디오에서 상기 사람의 어깨 및/또는 가슴이 오르내리는 것으로 검출되는 레이트에 적어도 부분적으로 기초하여 상기 사람의 호흡수를 검출하고, 상기 사람의 어깨 및/또는 가슴의 오르내리는 레이트가 호흡수 임계치를 초과하는 것으로 결정하며, 상기 가슴 및/또는 어깨의 오르내림을 상기 소스 비디오로부터 실질적으로 제거하고, 상기 호흡수 임계치 미만의 레이트로 오르내리는 상기 어깨 및/또는 가슴을 상기 수정된 비디오에 삽입하기 위한 호흡수 모듈; 상기 사람의 피부의 하나 이상의 영역에서의 피부 붉어짐 시프트를 결정하고, 상기 피부 붉어짐 시프트가 피부 붉어짐 기준선을 피부 붉어짐 시프트 임계치보다 많이 초과하는 것으로 결정하며, 상기 피부 붉어짐 시프트가 상기 피부 붉어짐 기준선의 상기 피부 붉어짐 시프트 임계치 내에 있도록 상기 사람의 피부의 하나 이상의 영역에서의 상기 피부 붉어짐 시프트를 감소시키기 위한 피부 붉어짐 모듈; 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에 존재하는 경련들을 상기 수정된 비디오로부터 제거하기 위한 경련 모듈; 및 상기 수정된 비디오로부터 상기 소스 비디오에서의 상기 사람의 얼굴로부터의 미세 표정들을 제거하기 위한 미세 표정 모듈 중 적어도 하나를 포함하는 하나 이상의 컴퓨팅 디바이스.

예 24. 컴퓨팅 디바이스가 방법을 수행하게 하기 위한 컴퓨터 실행 가능한 명령어들을 저장한 하나 이상의 컴퓨터 판독 가능 매체에서, 상기 방법은, 사람 캐릭터의 컴퓨터 그래픽 모델을 수신하는 단계 - 상기 컴퓨터 그래픽 모델은 얼굴 영역을 포함함 -; 및 혈액 박동 효과를 포함하는 피부 텍스처를 상기 얼굴 영역에 추가하는 단계를 포함한다.

예 25. 예 24의 하나 이상의 컴퓨터 판독 가능 매체에서, 상기 방법은 상기 사람 캐릭터에 의해 드러날 감정 상태를 결정하는 단계를 더 포함하며, 상기 피부 텍스처에서 상기 혈액 박동 효과의 빈도는 상기 감정 상태에 적어도 부분적으로 기초한다.

예 26. 혈액 박동 효과를 사람 캐릭터의 컴퓨터 그래픽 모델에 추가하는 방법에서, 상기 방법은, 사람 캐릭터의 컴퓨터 그래픽 모델을 수신하는 단계 - 상기 컴퓨터 그래픽 모델은 얼굴 영역을 포함함 -; 및 혈액 박동 효과를 포함하는 피부 텍스처를 상기 얼굴 영역에 추가하는 단계를 포함한다.

예 27. 혈액 박동 효과를 사람 캐릭터의 컴퓨터 그래픽 모델에 추가하는 방법을 수행하도록 프로그래밍된 하나 이상의 컴퓨팅 디바이스에서, 상기 방법은, 사람 캐릭터의 컴퓨터 그래픽 모델을 수신하는 단계 - 상기 컴퓨터 그래픽 모델은 얼굴 영역을 포함함 -; 및 혈액 박동 효과를 포함하는 피부 텍스처를 상기 얼굴 영역에 추가하는 단계를 포함한다.

예 28. 예 27의 하나 이상의 컴퓨팅 디바이스에서, 상기 방법은 상기 사람 캐릭터에 의해 드러날 감정 상태를 결정하는 단계를 더 포함하며, 상기 피부 텍스처에서 상기 혈액 박동 효과의 빈도는 상기 감정 상태에 적어도 부분적으로 기초한다.

예 29. 사람에게 판촉을 전달하는 방법에서, 상기 방법은, 미디어를 컴퓨팅 디바이스에 전송하는 단계 - 상기 미디어는 상품 또는 서비스의 광고를 포함함 -; 사람이 상기 광고를 시청하는 것에 반응하여 증가된 심박수 또는 증가된 호흡수를 드러냈다는 표시를 수신하는 단계; 및 상기 상품 또는 서비스와 관련된 판촉을 포함하는 메시지를 상기 사람에게 전송하는 단계를 포함한다.

예 30. 사람에게 판촉을 전달하는 방법에서, 상기 방법은, 미디어를 컴퓨팅 디바이스에 전송하는 단계 - 상기 미디어는 제1 상품 또는 서비스의 광고를 포함함 -; 사람이 상기 광고를 시청하는 것에 반응하여 증가된 심박수 또는 증가된 호흡수를 드러냈다는 표시를 수신하는 단계; 및 상기 제1 상품 또는 서비스와 관련된 제2 상품 또는 서비스에 대한 광고를 포함하는 추가 미디어를 전송하는 단계를 포함한다.

예 31. 예 1의 방법에서, 상기 수정된 비디오는 하나 이상의 압축 아티팩트를 포함한다.

예 32. 예 31의 방법에서, 상기 하나 이상의 압축 아티팩트는 상기 하나 이상의 생리학적 신호가 위치하는 상기 비디오의 하나 이상의 영역에 위치한다.

예 33. 예 3의 방법에서, 상기 수정된 비디오는 상기 수정된 비디오로부터 결정된 상기 생리학적 측정치가 상기 소스 비디오로부터 결정된 상기 생리학적 측정치보다 크다는 특징을 갖는다.

예 34. 예 6의 방법에서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동은 상기 심박수 임계치를 초과하는 레이트로 변동한다.

예 35. 예 13의 방법에서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 피부 붉어짐이 상기 피부 붉어짐 기준선의 피부 붉어짐 시프트 임계치를 초과한다.

예 36. 생리학적 신호들을 마스킹하는 방법에서, 상기 방법은, 적어도 한 사람의 소스 비디오를 수신하는 단계 - 상기 소스 비디오는 하나 이상의 생리학적 신호를 포함함 -; 상기 하나 이상의 생리학적 신호 중 적어도 하나가 마스킹되는 수정된 비디오를 생성하는 단계; 및 상기 수정된 비디오를 제2 컴퓨팅 디바이스에 전송하는 단계를 포함한다.

Claims

생리학적 신호(physiological cue)들을 마스킹하는 방법으로서,
적어도 한 사람의 소스 비디오를 수신하는 단계 - 상기 소스 비디오는 하나 이상의 생리학적 신호를 포함함 -;
상기 소스 비디오로부터 상기 사람의 생리학적 측정치(physiological measure)를 결정하는 단계 - 상기 생리학적 측정치를 결정하는 단계는 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서 정반사성 반사(specular reflection)들을 식별하는 단계를 포함함 -;
상기 생리학적 측정치가 하나 이상의 상기 생리학적 신호를 나타내는 미리결정된 임계치(predefined threshold)를 만족시키는지를 결정하는 단계;
상기 소스 비디오로부터 결정된 상기 생리학적 측정치가 상기 미리결정된 임계치를 만족시키는지에 대한 결정에 반응하여, 상기 하나 이상의 생리학적 신호 중 적어도 하나가 마스킹되는 수정된 비디오를 생성하는 단계 - 상기 수정된 비디오를 생성하는 단계는 상기 식별된 정반사성 반사들의 강도를 적어도 감소시키기 위해서 상기 사람의 얼굴의 하나 이상의 영역을 평활화하는(smoothing) 단계를 포함함 -; 및
상기 수정된 비디오를 제2 컴퓨팅 디바이스에 전송하는 단계
를 포함하는 방법.
삭제
삭제
삭제
삭제
제1항에 있어서, 상기 생리학적 측정치는 심박수이며, 상기 생리학적 측정 임계치는 심박수 임계치이며, 상기 생리학적 측정치를 결정하는 단계는 상기 소스 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들에 적어도 부분적으로 기초하여 상기 심박수를 결정하는 단계를 포함하는 방법.
제6항에 있어서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들은 상기 소스 비디오로부터 결정된 상기 심박수와는 다른 레이트로 변동하는, 방법.
제6항에 있어서, 상기 수정된 비디오에서의 상기 사람의 얼굴의 하나 이상의 영역에서의 평균 픽셀 강도들의 변동들은 상기 심박수 임계치 미만의 레이트로 변동하는, 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
제1항에 있어서, 상기 수정된 비디오를 생성하는 단계는 상기 소스 비디오로부터 신경성 안면 경련 및/또는 미세 표정들을 실질적으로 제거하는 단계를 포함하는 방법.
제1항에 있어서, 상기 수정된 비디오를 생성하는 단계는 상기 소스 비디오를, 100ms 이하로 지속하는 신경성 안면 경련 또는 미세 표정들을 실질적으로 제거하는 필터를 통과시키는 단계를 포함하는 방법.
컴퓨팅 디바이스가 제1항, 제6항 내지 제8항, 제17항 및 제18항의 방법들 중 어느 하나를 수행하게 하기 위한 컴퓨터 실행 가능한 명령어들을 저장한 하나 이상의 컴퓨터 판독 가능 저장 매체.
제1항, 제6항 내지 제8항, 제17항 및 제18항의 방법들 중 어느 하나를 수행하도록 프로그래밍된 하나 이상의 컴퓨팅 디바이스.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제