KR20210081220A - 미디어 소비에 기초하여 컴퓨팅 디바이스 사용자에 의해 수행된 물리적 활동 식별 - Google Patents

미디어 소비에 기초하여 컴퓨팅 디바이스 사용자에 의해 수행된 물리적 활동 식별 Download PDF

Info

Publication number
KR20210081220A
KR20210081220A KR1020200077833A KR20200077833A KR20210081220A KR 20210081220 A KR20210081220 A KR 20210081220A KR 1020200077833 A KR1020200077833 A KR 1020200077833A KR 20200077833 A KR20200077833 A KR 20200077833A KR 20210081220 A KR20210081220 A KR 20210081220A
Authority
KR
South Korea
Prior art keywords
user
media
physical activity
computing system
during
Prior art date
Application number
KR1020200077833A
Other languages
English (en)
Other versions
KR102385873B1 (ko
Inventor
앤트 오즈타스켄트
플라비오 러다
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20210081220A publication Critical patent/KR20210081220A/ko
Application granted granted Critical
Publication of KR102385873B1 publication Critical patent/KR102385873B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

방법은 모션 센서에 의해 수신된 센서 데이터에 기초하여, 시간 기간 동안 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 식별하는 단계; 및 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계를 포함한다. 또한 방법은 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하는 단계; 및 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 단계를 포함한다.

Description

미디어 소비에 기초하여 컴퓨팅 디바이스 사용자에 의해 수행된 물리적 활동 식별{IDENTIFYING PHYSICAL ACTIVITIES PERFORMED BY A USER OF A COMPUTING DEVICE BASED ON MEDIA CONSUMPTION}
일부 컴퓨팅 디바이스는 가속도계 또는 기타 센서를 사용하여 언제 사용자가 물리적으로 움직였는지 결정하고, 사용자가 수행하고 있는 물리적 활동이 무엇인지 식별한다. 일반적으로, 컴퓨팅 디바이스는 달리기, 자전거 타기 또는 에어로빅 활동과 같은 가속도계의 데이터를 사용하여 광범위한 유형의 물리적 활동을 결정할 수 있다. 또한, 컴퓨팅 디바이스는 종종 사용자에 의해 수행된 물리적 활동을 부정확하게 식별한다.
일반적으로, 개시된 주제는 컴퓨팅 시스템이 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 식별하게 할 수 있는 기법에 관한 것이다. 컴퓨팅 시스템은 사용자의 모션 및/또는 사용자의 생리적 조건을 검출하는 사용자에 의해 착용된 하나 이상의 센서를 포함한다. 컴퓨팅 시스템은 사용자에 의해 수행된 물리적 활동 및 사용자가 물리적 활동을 수행하한 시간 기간을 초기에 결정한다. 컴퓨팅 시스템은 또한 사용자가 어떤 미디어를 (예를 들어, 인터넷 기반 미디어 플랫폼을 통해) 소비했는지 및 미디어가 소비된 시간 기간을 표시하는 데이터를 포함한다. 컴퓨팅 시스템이 사용자가 물리적 활동을 수행하는 동안 미디어를 소비했다고 결정하면, 컴퓨팅 시스템은 미디어와 연관된 물리적 활동에 기초하여 물리적 활동을 업데이트할 수 있다. 예를 들어, 미디어에 대한 메타데이터는 미디어가 특정한 물리적 활동(예를 들어, 요가)에 대한 피트니스 미디어(예를 들어, 운동 비디오)임을 표시할 수 있다. 그러한 예에서, 컴퓨팅 시스템은 사용자가 미디어와 연관된 특정한 물리적 활동을 수행했음을 나타내도록 사용자에 대한 사용자 프로필을 업데이트할 수 있다.
사용자가 소비한 미디어를 표시하는 데이터뿐만 아니라 센서 데이터를 이용하면 컴퓨팅 시스템이 사용자에 의해 수행된 물리적 활동을 보다 정확하게 식별하게 할 수 있다. 일부 경우에, 사용자에 의해 소비된 미디어를 표시하는 데이터를 이용하는 것은 컴퓨팅 시스템이 보다 세분화된 또는 특정된 유형의 물리적 활동을 식별하게 할 수 있다. 사용자에 의해 수행된 물리적 활동을 보다 정확하게 결정하거나 보다 특정된 물리적 활동을 식별하면, 컴퓨팅 시스템이 물리적 활동 중에 소비된 칼로리를 보다 정확하게 평가하게 하고 잠재적으로 사용자의 건강을 증가시킬 수 있다. 또한, 사용자에 의해 수행되는 물리적 활동을 보다 정확하고 및/또는 더 구체적으로 식별하는 것은, 예를 들어, 사용자가 물리적 활동을 추적하는 사용자 프로필을 수동으로 추가하거나 편집하는 빈도를 감소시킴으로써 사용자 경험을 향상시킬 수 있다.
일 예에서, 방법은 컴퓨팅 시스템에 의해, 시간 기간 동안 상기 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 결정하는 단계; 상기 컴퓨팅 시스템에 의해, 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하는 단계; 및 상기 컴퓨팅 시스템에 의해, 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 단계를 포함한다.
다른 예에서, 컴퓨터 판독가능 저장 매체는 명령어를 포함하는 것으로 기술되고, 상기 명령어는 실행될 때 컴퓨팅 디바이스의 적어도 하나의 프로세서로 하여금: 시간 기간 동안 상기 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 결정하게 하고; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하게 하고; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하게 하고; 그리고 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하게 한다.
다른 예에서, 컴퓨팅 시스템은 적어도 하나의 프로세서 및 명령어를 포함하는 메모리를 포함하는 것으로 기술되며, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금: 시간 기간 동안 상기 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 결정하게 하고; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하게 하고; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하게 하고; 그리고 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하게 한다.
다른 예에서, 시스템은 수단을 포함하는 것을 기술되며, 상기 수단은: 시간 기간 동안 상기 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 결정하고; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하고; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하고; 및 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하기 위한 수단이다.
하나 이상의 예시들의 세부 사항은 첨부 도면과 아래의 설명에서 기술된다. 본 개시의 다른 구성, 오브젝트 및 이점은 설명, 도면 및 청구항으로부터 명백해질 것이다.
도 1은 본 발명의 하나 이상의 양태에 따라, 사용자에 의해 수행된 물리적 활동을 식별하는 예시적 컴퓨팅 시스템을 도시하는 개념도이다.
도 2는 본 발명의 하나 이상의 양태에 따라, 사용자에 의해 수행된 물리적 활동을 식별하는 예시적 컴퓨팅 시스템을 도시하는 블록도이다.
도 3은 본 발명의 하나 이상의 양태에 따라, 사용자에 의해 수행된 물리적 활동을 식별하는 예시적 컴퓨팅 시스템에 의해 수행된 예시적 동작을 도시하는 흐름도이다.
도 1은 본 발명의 하나 이상의 양태에 따라, 사용자에 의해 수행된 물리적 활동을 식별하는 예시적 시스템(100)을 도시하는 개념도이다. 도 1의 예에서, 시스템 (100)은 서로 통신적으로 연결된 컴퓨팅 디바이스(110) 및 컴퓨팅 시스템(117)을 포함한다.
컴퓨팅 디바이스(110)는 네트워크(116)를 통해 컴퓨팅 시스템(117)과 통신할 수 있다. 네트워크(116)는 컴퓨팅 시스템, 서버 및 컴퓨팅 디바이스들 간 데이터를 전송하기 위한 임의의 공용 또는 개인용 통신 네트워크를 나타낸다. 네트워크(116)는 무선 네트워크(예를 들어, 셀룰러, WIFI 및/또는 기타 무선 네트워크), 유선 네트워크(예를 들어, 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷 등) 또는 임의의 기타 유형의 통신 네트워크일 수 있다. 네트워크(116)는 하나 이상의 네트워크 허브들, 네트워크 스위치들, 네트워크 라우터들 또는 임의의 기타 네트워크 장치를 포함할 수 있고, 그들은 상호 결합되어 컴퓨터 디바이스(110)와 컴퓨팅 시스템(117) 간의 정보의 교환을 제공한다. 컴퓨팅 디바이스(110)와 컴퓨팅 시스템(117)은 임의의 적절한 통신 기법들을 사용하여 네트워크(116)를 통해 데이터를 전송하고 수신할 수 있다. 컴퓨팅 디바이스(110)와 컴퓨팅 시스템(117)은 각각의 네트워크 링크들을 사용하여 네트워크(116)에 동작적으로 연결될 수 있다. 컴퓨팅 디바이스(110)와 컴퓨팅 시스템(117)을 네트워크(116)에 연결하는 링크는 이더넷, ATM 또는 기타 유형의 네트워크 연결일 수 있고, 상기 연결은 무선 및/또는 유선 연결일 수 있다.
컴퓨팅 시스템(117)은 하나 이상의 데스크톱 컴퓨터, 랩톱 컴퓨터, 메인 프레임, 서버, 클라우드 컴퓨팅 시스템 등과 같은 임의의 컴퓨팅 시스템을 나타낸다. 컴퓨팅 디바이스(110)는 랩톱 컴퓨터, 스마트폰, 태블릿, 스마트워치, 피트니스 트래커(활동 트래커 또는 활동 모니터라고도 함), 헤드폰 또는 임의의 기타 유형의 휴대용 컴퓨팅 디바이스와 같은 임의의 유형의 컴퓨팅 디바이스일 수 있다. 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)의 추가적 예는 데스크톱 컴퓨터, 텔레비전, 개인 휴대 정보 단말기(PDA), 휴대용 및 비휴대용 게임 시스템, 디지털 미디어 플레이어 또는 마이크로 콘솔, 전자책 리더기, 모바일 텔레비전 플랫폼, 자동차 내비게이션 및 엔터테인먼트 시스템과 같은 기타 모바일 및 비-모바일 디바이스, 또는 임의의 기타 유형의 웨어러블 및 비-웨어러블, 모바일 또는 비-모바일 컴퓨팅 디바이스를 포함한다.
컴퓨팅 디바이스(110)는 존재-감응형 디스플레이(PSD, presence-sensitive display)(112)를 포함할 수 있다. 컴퓨팅 디바이스(110)의 PSD(112)는 컴퓨팅 디바이스(110)의 각각의 입력 및/또는 출력 디바이스로서 기능할 수 있다. PSD(112)는 다양한 기술들을 사용하여 구현될 수 있다. 예를 들어, PSD(112)는 저항성 터치스크린, 표면 어코스틱 웨이브 터치스크린, 용량성 터치스크린, 투영 정전 터치스크린, 압력 감응형 스크린, 어코스틱 펄스 인식 터치스크린과 같은 존재 감응형 입력 스크린 또는 다른 존재-감응형 디스플레이 기술을 사용하여 입력 디바이스로서 기능할 수 있다. PSD(112)는 컴퓨팅 디바이스(110)의 사용자로부터 입력을 검출할 수 있다. 예를 들어, PSD(112)는 PSD(112)의 임계 거리에서 또는 PSD(112)의 임계 거리 내에서 수행되는 하나 이상의 제스처를 검출할 수 있다(예를 들어, 사용자는 손가락 또는 스타일러스로 PSD(112)를 만지거나 PSD(112)의 표면의 임계 거리 내에서 손가락 또는 스타일러스를 이동함).
PSD(112)는 또한 LCD 디스플레이, 도트 매트릭스 디스플레이, LED 디스플레이, OLED 디스플레이, e-ink와 같은 임의의 하나 이상의 디스플레이 디바이스 또는 컴퓨팅 디바이스(110)의 사용자에게 가시적 정보를 출력할 수 있는 유사한 모노크롬 또는 컬러 디스플레이를 사용하여 출력(예를 들어, 디스플레이) 디바이스로서 기능할 수 있다. PSD(112)는 컴퓨팅 디바이스(110)에 의해 제공되는 기능과 연관될 수 있는 사용자 인터페이스(예를 들어, 그래픽 사용자 인터페이스(115))로서 정보를 출력할 수 있다. 예를 들어, PSD(112)는 컴퓨팅 디바이스(110)에서 실행되거나 컴퓨팅 디바이스(110)로부터 액세스 가능한 컴퓨팅 플랫폼, 운영 체제, 애플리케이션 및/또는 서비스의 애플리케이션 모듈 또는 다른 구성과 관련된 다양한 사용자 인터페이스를 디스플레이할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(110)는 하나 이상의 센서(114)를 포함한다. 센서(114)는 컴퓨팅 디바이스(110)에 의해 경험되는 모션을 표시하는 모션 데이터를 생성하도록 구성된 하나 이상의 모션 센서를 포함할 수 있다. 모션 센서의 예는 가속도계, 자이로스코프, 자력계 등을 포함한다. 추가적으로 또는 대안적으로, 센서(114)는 사용자의 생리학적 조건을 표시하는 생리학적 데이터를 생성하도록 구성된 생리학적 센서를 포함할 수 있다. 생리 센서의 예는 심박수 센서, 온도 센서, 호흡 센서, 땀 센서 등을 포함한다. 추가적으로 또는 대안적으로, 센서(114)는 모션 센서 및 생리학적 센서 이외의 센서를 포함할 수 있다. 예를 들어, 센서(114)는 카메라, 마이크로폰, 또는 사용자의 신체에 있을 필요없이 활동을 캡처할 수 있는 임의의 다른 유형의 센서를 포함할 수 있다. 센서(114)는 각각의 센서(114)에 의해 생성된 센서 데이터(예를 들어, 모션 데이터 및/또는 생리학적 데이터)를 출력할 수 있다.
컴퓨팅 디바이스(110)는 활동 식별 모듈(AIM)(122A) 및 미디어 소비 인식 모듈(MCRM)(124A)을 포함할 수 있다. 컴퓨팅 시스템(117)은 AIM(122B), MCRM(124B) 및 미디어 분류 모듈(MCM)(126)을 포함할 수 있다. AIM(122A) 및 AIM(122B)은 집합적으로 활동 식별 모듈(122) 또는 AIM(122)으로 지칭될 수 있다. 유사하게, MCRM(124A) 및 MCRM(124B)은 집합적으로 MCRM(124)으로 지칭될 수 있다. 모듈들(122, 124 및 126)은 컴퓨팅 디바이스(110) 및 컴퓨팅 시스템(117)에 상주하는 및/또는 실행되는 소프트웨어, 하드웨어, 펌웨어 또는 하드웨어, 소프트웨어 및 펌웨어의 조합을 사용하여 기술된 동작들을 수행할 수 있다. 컴퓨팅 디바이스(110) 및 컴퓨팅 시스템(117)은 모듈들(122, 124 및 126)을 다수의 프로세서들 또는 다수의 디바이스들로 실행할 수 있다. 일부 예시에서, 컴퓨팅 디바이스(110) 및 컴퓨팅 시스템(117)은 모듈들(122, 124 및/또는 126)을 언더라잉 하드웨어에서 실행되는 가상 머신들로서 실행할 수 있다. 모듈들(122, 124 및 126)은 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스들로서 실행될 수 있다. 모듈들(122, 124 및 126)은 컴퓨팅 플랫폼의 어플리케이션 레이어에서의 하나 이상의 실행가능한 프로그램들로서 실행될 수 있다.
AIM(122)은 센서 데이터에 적어도 부분적으로 기초하여 컴퓨팅 디바이스(110)의 사용자에 의해 수행되는 물리적 활동을 결정할 수 있다. 물리적 활동의 예는 달리기, 걷기, 요가, 킥복싱, 역도, 수영 등을 포함한다. 일부 예에서, 사용자에 의해 수행된 물리적 활동을 결정하기 위해, AIM(122)은 물리적 활동의 유형(예를 들어, 달리기, 걷기, 요가, 킥복싱, 역도, 수영 등)을 결정할 수 있다. 일부 예에서, AIM(122)은 물리적 활동의 유형 및 물리적 활동 유형의 하나 이상의 속성(예를 들어, 45초 주기의 요가 스트레칭, 조깅 페이스, 10회의 푸시업 등)으로서 물리적 활동을 추가로 결정할 수 있다. 본 개시 전반에 걸쳐, 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)은 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)이 데이터를 분석하기 위해 컴퓨팅 디바이스(110)의 사용자로부터 명시적 허가를 수신하는 경우에만 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 디바이스(110)의 사용자와 연관된 데이터를 분석하는 예들이 설명된다. 예를 들면, 아래에 논의되는 상황에서, 컴퓨팅 디바이스(110) 또는 컴퓨팅 시스템(117)이 사용자와 연관된 데이터를 수집하거나 사용할 수 있기 전에, 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)의 프로그램 또는 구성이 사용자 데이터(예를 들어, 사용자의 현재 위치, 움직임, 생리학적 조건 등에 관한 정보)를 수집하고 사용할 수 있는지 여부를 제어하거나 또는 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)이 사용자와 관련 있을 수 있는 콘텐츠를 수신할지 여부 및/또는 어떻게 수신할지 지시하기 위한 입력을 제공할 기회가 사용자에게 제공된다.
추가로, 특정 정보는 그것이 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)에 의해 저장되거나 사용되기 전에 하나 이상의 방식들로 취급되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 정보가 어떻게 수집되는지 그리고 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)에 의해 사용되는지에 대한 제어를 가진다.
AIM(122)은 하나 이상의 모델(138A 또는 138B)(통칭하여 모델(138))에 센서 데이터를 적용함으로써 사용자에 의해 수행된 물리적 활동을 식별할 수 있다. 모델(138)은 기계 학습 알고리즘을 통해 트레이닝될 수 있다. 기계 학습 알고리즘의 예는 신경망, k-최근접 이웃, 지원 벡터 머신 등을 포함한다. 일 예에서, AIM(122)은 복수의 시간 기간 중 각 시간 기간 동안 생성된 모션 데이터 및/또는 생리학적 데이터에 하나 이상의 모델(138)을 적용하여 각각의 시간 기간 동안 사용자에 의해 수행된 물리적 활동을 식별할 수 있다. AIM(122)은 각 시간 기간 동안 수행된 물리적 활동을 표시하고, 물리적 활동이 사용자 프로필(134A 및/또는 134B) 내에서 수행되었던 시간(통칭하여 사용자 프로필(134))을 표시하는 물리적 활동 데이터를 저장할 수 있다. 일 예에서, AIM(122A)은 모델(138A)을 센서 데이터에 적용함으로써 물리적 활동을 식별하고, 사용자가 사용자 프로필(134A 또는 134B) 내에서 물리적 활동을 수행했음을 표시하는 데이터를 저장한다. 그러한 일 예에서, AIM(122B)은 컴퓨팅 디바이스(110)로부터 물리적 활동을 표시하는 데이터를 수신하고 및/또는 사용자 프로필(134A 또는 134B)에 쿼리함으로써 물리적 활동을 결정할 수 있다. 다른 예에서, AIM(122B)은 컴퓨팅 디바이스(110)로부터 모션 데이터를 수신하고, 하나 이상의 모델(138B)을 모션 데이터에 적용함으로써 물리적 활동을 결정한다.
일부 예에서, AIM(122)은 컴퓨팅 디바이스(110)의 사용자에 의해 수행되는 물리적 활동을 식별하기 위해 상이한 활동 인식 알고리즘을 이용할 수 있다. 예를 들어, AIM(122)은 소비된 미디어에 기초하여 알고리즘을 선택할 수 있다. 일례로서, 요가 비디오가 시청되고 있다고 결정함에 응답하여, AIM(122)은 요가 특정 활동 검출 알고리즘(예를 들어, 모델(138)의 요가 특정 모델)을 선택할 수 있다.
본 개시의 기법에 따르면, 컴퓨팅 디바이스(110) 및/또는 컴퓨팅 시스템(117)은 시간 기간 동안 사용자에 의해 소비된 미디어에 기초하여, 주어진 시간 기간 동안 사용자에 의해 수행된 업데이트된 활동을 결정할 수 있다. MCRM(124)은 사용자가 시간 기간 동안 미디어를 소비했는지 여부를 결정할 수 있다. 일부 시나리오에서, MCRM(124)은 컴퓨팅 디바이스(110)가 시간 기간 동안 미디어를 출력한다는 결정에 응답하여 사용자가 미디어를 소비했다고 결정한다. 예를 들어, 컴퓨팅 디바이스(110)는 PSD(112) 및/또는 컴퓨팅 디바이스(110)의 스피커를 통해 미디어(예를 들어, 비디오 또는 음악)를 출력할 수 있다. 일 예시에서, 컴퓨팅 디바이스(110)는 미디어 데이터 저장소(136A) 내에 로컬로 미디어를 저장할 수 있다. 다른 예에서, 컴퓨팅 디바이스(110)는 다른 컴퓨팅 디바이스로부터 수신된 미디어를 출력한다. 예를 들어, 주어진 시간 기간 동안, 컴퓨팅 디바이스(110)는 다른 애플리케이션의 웹 브라우저를 실행하고, 미디어 호스팅 서비스 또는 미디어 컨텐츠 배포기(예를 들어, 컴퓨팅 시스템(117)의 미디어 데이터 저장소(136B))로부터 인터넷을 통해 스트리밍된 피트니스 미디어(예를 들어, 운동 비디오)를 출력할 수 있다.
추가적으로 또는 대안적으로, MCRM(124)은 다른 컴퓨팅 디바이스, 텔레비전, 사운드 시스템 또는 미디어를 출력하도록 구성된 임의의 다른 시스템과 같은 컴퓨팅 디바이스(110) 이외의 디바이스에 의해 사용자가 미디어를 소비했는지를 결정할 수 있다. 예를 들어, 사용자는 텔레비전(예를 들어, 집/체육관 등)에서 운동 비디오를 시청하거나 라디오를 통해 음악을 들을 수 있다. 일 예시에서, MCRM(124)은 입력 컴포넌트(예를 들어, PSD(112) 및/또는 컴퓨팅 디바이스(110)의 마이크로폰)로부터 입력 데이터를 수신하고, 입력 데이터를 미디어 파일의 지문과 비교할 수 있다. 예를 들어, 입력 데이터는 컴퓨팅 디바이스(110)의 마이크로폰으로부터 수신된 오디오 입력 데이터를 포함할 수 있다. 그러한 예에서, MCRM(124)은 오디오 입력 데이터의 지문이 미디어 데이터 저장소(136)에 저장된 미디어의 지문(또는 미디어 데이터 저장소(136)에 저장된 지문 세트)과 일치한다는 결정에 응답하여 시간 기간 동안 사용자가 미디어(예를 들어, 노래 또는 비디오)를 소비한 것으로 결정할 수 있다.
사용자가 미디어를 소비했다는 결정에 응답하여, MCRM(124)은 미디어와 연관된 미디어 소비 데이터를 포함하도록 사용자 프로필(134)을 업데이트할 수 있다. 일부 예에서, 미디어 소비 데이터는 미디어를 식별하는 데이터(예를 들어, 제목, 아티스트 등) 및 미디어가 소비된 시간 기간(예를 들어, 컴퓨팅 디바이스(110)가 미디어를 출력하기 시작한 시작 시간과 컴퓨팅 디바이스(110)가 미디어의 출력을 중단한 종료 시간을 표시하는 데이터)을 포함한다.
AIM(122)은 컴퓨팅 디바이스(110)의 사용자가 물리적 활동을 수행한 시간 기간 동안 미디어를 소비했는지 여부를 결정할 수 있다. 일 예시에서, AIM(122)은 사용자에 대한 미디어 소비 데이터가 사용자가 물리적 활동을 수행한 동일한 시간 기간 동안 사용자가 미디어를 소비했는지 표시하는 데이터를 포함하는지 여부를 결정하기 위해 사용자 프로필(134)에 쿼리할 수 있다. 예를 들어, AIM(122)은 사용자가 미디어를 소비한 시작 시간 및/또는 종료 시간을 사용자가 물리적 활동을 수행한 시작 시간 및/또는 종료 시간과 비교하여 시간의 적어도 일부가 중첩되는지 여부를 결정할 수 있다. 그러한 예에서, AIM(122)은 사용자가 미디어를 소비한 시간 기간의 적어도 일부가 사용자가 물리적 활동을 수행한 시간 기간과 중첩한다는 결정에 응답하여, 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비한 것으로 결정할 수 있다.
사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비했다고 결정하는 것에 응답하여, AIM(122)은 동일한 시간 기간 동안 소비된 미디어에 기초하여 사용자에 의해 수행된 업데이트된 물리적 활동을 결정할 수 있다. 컴퓨팅 시스템(117) 및/또는 컴퓨팅 디바이스(110)는 다양한 물리적 활동을 데이터를 미디어 데이터 저장소(136) 내의 다양한 매체와 연관시키는 데이터를 저장할 수 있다. 일부 예에서, 컴퓨팅 시스템(117) 및/또는 컴퓨팅 디바이스(110)는 미디어의 퍼블리셔 또는 제작자로부터 특정한 미디어와 연관된 물리적 활동을 표시하는 데이터를 수신한다. 일 예시로서, 비디오 퍼블리셔는 컴퓨팅 시스템(117)에 비디오를 업로드할 수 있고 업로드시 비디오와 연관된 하나 이상의 물리적 활동을 식별하는 메타데이터를 포함할 수 있다.
MCM(126)은 미디어 수신에 응답하여 미디어와 연관된 물리적 활동을 자동으로 결정할 수 있다. 예를 들어, MCM(126)은 미디어와 연관된 물리적 활동을 결정하기 위해 미디어 및/또는 미디어와 연관된 메타데이터에 하나 이상의 모델(138)(예를 들어, 머신-트레이닝 모델)을 적용할 수 있다. 메타데이터의 예는 미디어의 제목 및 설명, 미디어의 저자, 출판사 또는 제작자 등을 포함한다. 미디어와 연관된 물리적 활동을 결정하는 것에 응답하여, MCM(126)은 미디어를 하나 이상의 물리적 활동과 자동으로 연관시킬 수 있다. 즉, MCM(126)은 미디어를 미디어 데이터 저장소(136) 내의 다양한 물리적 활동과 연관시키는 데이터를 저장할 수 있다.
일부 예에서, AIM(122)은 미디어 데이터 저장소(136)를 쿼리함으로써 업데이트된 물리적 활동을 결정한다. 일 예에서, 미디어는 비디오를 포함하고 AIM(122)은 미디어 데이터 저장소(136)에 쿼리하여 시간 기간 동안 사용자에 의해 시청된 비디오와 연관된 하나 이상의 물리적 활동을 결정한다.
AIM(122)은 사용자에 의해 소비된 미디어에 기초하여, 사용자에 의해 수행된 하나 이상의 서브 활동을 결정할 수 있다. 예를 들어, 미디어 데이터 저장소(136)는 미디어를 넓은 활동(예를 들어, 에어로빅, 달리기 등) 및 적어도 하나의 세분화된 서브 활동과 연관시키는 데이터를 포함할 수 있다. 일 예시에서, 미디어는 에어로빅이라는 넓은 활동 및 푸시업, 싯업 및 점핑잭과 같은 복수의 서브 활동과 연관될 수 있다. 다른 예에서, 미디어는 달리기라는 넓은 활동 및 가벼운 조깅, 빠른 조깅 및 스프린트(예를 들어, 파틀릿으로 지칭됨)와 같은 복수의 서브 활동과 연관될 수 있다. 일부 예에서, AIM(122)은 (예를 들어, 사용자가 전체 미디어를 소비한 것을 결정한 것에 응답하여) 미디어와 연관된 각각의 서브 활동을 수행한 것을 사용자가 결정한다. 일부 경우에, 서브 활동은 미디어의 각각 부분과 연관된다. 그러한 경우에, AIM(122)은 사용자가 미디어의 어느 부분을 소비했는지를 결정함으로써 사용자가 어떤 서브 활동을 수행했는지를 결정할 수 있다. AIM(122)은 일부 예에서, 미디어 지문들에 기초하여 및/또는 사용자에 의해 소비된 미디어 부분의 타임스탬프에 기초하여, 사용자가 미디어의 어느 부분을 소비했는지를 결정할 수 있다. 예를 들어, AIM(122)은 사용자가 비디오의 처음 30분(0:00:00 내지 0:30:00) 분을 시청했음을 표시하는 타임스탬프를 수신할 수 있고, 미디어 데이터 저장소(136)에 쿼리함으로써 비디오의 해당 부분과 연관된 서브 활동을 결정할 수 있다.
시간 기간 동안 사용자에 의해 소비된 미디어와 연관된 하나 이상의 업데이트된 물리적 활동을 결정하는 것에 응답하여, AIM(122)은 업데이트된 물리적 활동을 표시하는 데이터를 출력할 수 있다. 예를 들어, AIM(122)은 사용자가 업데이트된 물리적 활동을 수행함을 표시하기 위해 사용자 프로필(134) 내에서 물리적 활동 데이터를 업데이트함으로써 업데이트된 물리적 활동을 표시하는 데이터를 출력할 수 있다.
일부 예에서, AIM(122)은 출력 디바이스를 통해 업데이트된 물리적 활동을 표시하는 데이터를 출력한다. 도 1의 예에서, 컴퓨팅 디바이스(110)의 AIM(122A)은 물리적 활동(예를 들어, 킥복싱)을 식별하는 데이터, 사용자가 물리적 활동을 수행한 시간 기간 및 동일한 시간 기간에 소비된 미디어를 식별하는 데이터를 포함하는 그래픽 사용자 인터페이스(GUI)(115)를 PSD(112)를 통해 출력한다.
일부 예에서, AIM(122)은 업데이트된 물리적 활동에 기초하여 하나 이상의 사용자 건강 메트릭을 결정한다. 건강 메트릭의 예는 추정된 칼로리 소모량, 예상 체중 등을 포함한다. 예를 들어, AIM(122)은 사용자가 업데이트된 물리적 활동을 수행하는 시간 기간 동안 소모된 추정 칼로리 수를 결정할 수 있다. 업데이트된 물리적 활동을 결정하는 것은 AIM(122)으로 하여금 사용자에 의해 소비된 칼로리의 수를 보다 정확하게 추정하게 할 수 있다.
AIM(122)은 센서 데이터 및/또는 미디어 소비 데이터에 기초하여 하나 이상의 모델(138)을 업데이트할 수 있다. 일부 예에서, 모델(138)은 센서 데이터를 사용하여 물리적 활동을 분류하는 머신-트레이닝 모델을 포함한다. 이러한 예에서, AIM(122)은 사용자에 의해 수행된 업데이트된 물리적 활동의 결정에 응답하여, 사용자가 물리적 활동을 수행하는 동안 생성된 센서 데이터에 기초하여 물리적 활동을 분류하는 모델을 업데이트하거나 재-트레이닝할 수 있다.
일부 시나리오에 따르면, 모델(138)은 미디어를 피트니스 미디어로서 식별하는 머신-트레이닝 모델을 포함한다. AIM(122)은 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비했다고 결정한 것에 응답하여, 피트니스 미디어를 식별하는 머신-트레이닝 모델을 업데이트할 수 있다. 예를 들어, AIM(122)은 시간 기간 동안 사용자에 의해 소비된 미디어가 피트니스 미디어임을 나타내도록 미디어 데이터 저장소(136)를 업데이트하고, 미디어 데이터 저장소(136) 내의 업데이트된 데이터에 기초하여, 모델들(138) 중 해당 모델을 업데이트 또는 재-트레이닝하여, 모델들(138)에 의한 물리적 활동과 연관된 미디어의 식별을 개선한다. 이러한 방식으로, AIM(122)은 컴퓨팅 시스템(117) 및/또는 컴퓨팅 디바이스(110)로 하여금 개별 미디어를 라벨링 또는 분류하고, 추가 미디어 콘텐츠를 분류하기 위해 모델(138)을 업데이트하게 할 수 있다. 이러한 기법들은 미디어의 콘텐츠에 관계없이(예를 들어, 미디어가 비디오, 노래, 강의 피트니스 비디오, 높은 BPM(beats-per-minute) 사운드 트랙을 가진 요약 비디오 등에 관계없이) 운동 중에 사용되는 미디어의 식별을 가능하게 할 수 있다. 다수의 사용자 세트로부터의 데이터에 기초하여 피트니스 미디어를 식별하는 머신-트레이닝 모델을 업데이트하면 분류에 대한 신뢰가 높아지고 AIM(122)이 물리적 활동의 유형 또는 활동의 강도를 분류할 수 있다.
일부 시나리오에서, 피트니스 미디어를 식별하는 모델은 전술한 바와 같이 피트니스 미디어와 연관된 하나 이상의 활동을 추가로 식별한다. 이러한 시나리오에서, AIM(122)은 주어진 시간 기간 동안 미디어를 소비하면서 사용자에 의해 수행된 활동에 기초하여, 피트니스 미디어 및 그러한 미디어와 연관된 활동을 식별하는 모델을 재-트레이닝할 수 있다. 일부 예에서, 피트니스 미디어를 식별하는 모델은 피트니스 미디어에서 물리적 활동 또는 피트니스 운동의 시작점 및/또는 종료점을 추가로 식별한다.
이러한 방식으로, 본 개시의 기법은 컴퓨팅 시스템으로 하여금 사용자에 의해 수행된 물리적 활동을 보다 정확하게 식별 및/또는 더 많은 서브 활동 물리적 활동을 식별하게 할 수 있다. 사용자에 의해 수행된 물리적 활동을 보다 정확하게 결정 및/또는 사용자에 의해 수행되는 보다 구체적인 서브 활동을 결정함으로써, 컴퓨팅 시스템은 물리적 활동 중에 소모된 칼로리를 보다 정확하게 평가하고, 잠재적으로 사용자의 건강을 증가시킬 수 있다. 또한, 더 정확하게 및/또는 구체적으로 물리적 활동을 결정함으로써, 컴퓨팅 시스템은 사용자가 물리적 활동을 추적하는 사용자 프로필을 수동으로 추가 또는 편집하는 빈도를 감소시킬 수 있고, 이는 사용자 경험을 개선할 수 있다.
위에서 컴퓨팅 디바이스(110) 또는 컴퓨팅 시스템(117) 중 하나에 의해 수행되는 것으로 설명되었지만, 본 개시의 임의의 기법은 컴퓨팅 디바이스(110) 또는 컴퓨팅 시스템(117)에서 수행될 수 있다. 유사하게, 일부 예에서, 본 개시의 모든 기법은 컴퓨팅 디바이스(110) 또는 컴퓨팅 시스템(117) 중 하나에 의해 수행될 수 있다.
도 2는 본 발명의 하나 이상의 양태에 따라, 사용자에 의해 수행된 물리적 활동의 유형을 결정하는 예시적 컴퓨팅 시스템을 도시하는 블록도이다. 컴퓨팅 시스템(217)은 도 1의 컴퓨팅 시스템(117)의 보다 상세한 예이다. 도 2는 컴퓨팅 시스템(217)의 단지 하나의 특정한 예시를 도시하며, 컴퓨팅 시스템(217)의 많은 다른 예시들이 다른 경우들에 사용될 수 있고, 예시적 컴퓨팅 시스템(217)에 포함된 컴포넌트들의 서브셋을 포함하거나 또는 도 2에서 도시되지 않은 추가적인 컴포넌트들을 포함할 수 있다.
도 2의 예시에서 도시된 바와 같이, 컴퓨팅 시스템(217)는 하나 이상의 프로세서(230), 하나 이상의 통신 유닛(246) 및 하나 이상의 저장 컴포넌트(248)를 포함한다. 컴퓨팅 시스템(217)의 저장 컴포넌트(248)는 AIM(222), MCRM(224), MCM(226), 사용자 프로필(234), 미디어 데이터 저장소(236) 및 모델(238)을 포함한다.
통신 채널들(249)은 컴포넌트 간 통신을 위해(물리적으로, 통신적으로 및/또는 동작적으로) 각각의 컴포넌트들(230, 246 및/또는 248)와 상호연결될 수 있다. 일부 예시에서, 통신 채널(249)은 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조 또는 데이터(정보로 지칭됨)를 통신하기 위한 임의의 기타 컴포넌트를 포함할 수 있다.
컴퓨팅 시스템(217)의 하나 이상의 통신 유닛(246)은 데이터를 전송 및/또는 수신함으로써 외부 디바이스와 통신할 수 있다. 예를 들어, 컴퓨팅 시스템(217)은 셀룰러 무선 네트워크와 같은 무선 네트워크 상에서 무선 신호를 송신 및/또는 수신하기 위해 통신 유닛들(246)을 사용할 수 있다. 일부 예시에서, 통신 유닛(246)은 위성 위치 확인 시스템(GPS) 네트워크와 같은 위성 네트워크 상에서 위성 신호를 전송 및/또는 수신할 수 있다. 통신 유닛(246)의 예시들은(이더넷 카드와 같은) 네트워크 인터페이스 카드, 광학적 트랜스시버, 라디오 주파수 트랜스시버, GPS 수신기 또는 정보를 송신 및/또는 수신할 수 있는 임의의 기타 유형의 디바이스를 포함한다. 통신 유닛(246)의 다른 예는 단파 라디오(예를 들어, NFC, BLUETOOTH(BLE 포함)), GPS, 3G, 4G, 5G, 및 모바일 디바이스에서 발견되는 WIFI 라디오 뿐만 아니라 USB 제어기 등을 포함할 수 있다.
컴퓨팅 시스템(217) 내의 하나 이상의 저장 컴포넌트(248)는 컴퓨팅 시스템(217)의 동작 동안 프로세싱을 위한 정보를 저장할 수 있다(예를 들어, 컴퓨팅 시스템(217)는 컴퓨팅 디바이스(217)에서의 실행 중에 모듈들(222, 224 및 226)에 의해 액세스되는 데이터를 저장할 수 있다). 일부 예시에서, 저장 컴포넌트(248)는 저장 컴포넌트(248)의 주목적이 장기간 저장이 아님을 의미하는 임시적 메모리이다. 컴퓨팅 시스템(217) 상의 저장 컴포넌트(248)는 휘발성 메모리로서 정보의 단기 저장을 위해 구성될 수 있고, 따라서 전원이 꺼지면 저장된 콘텐츠를 보유하지 않는다. 휘발성 메모리들의 예시들은 RAM(random access memory), DRAM(dynamic random access memory), SRAM(static random access memory) 및 당업계에서 공지된 기타 형태의 휘발성 메모리를 포함할 수 있다.
일부 예시에서, 저장 컴포넌트들(248)은 하나 이상의 컴퓨터 판독가능 저장 매체를 포함한다. 일부 예시에서, 저장 컴포넌트들(248)은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 저장 컴포넌트들(248)은 일반적으로 휘발성 메모리에 저장되는 것보다 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 컴포넌트들(248)은 비휘발성 메모리 공간으로서 정보의 장기 저장을 위해 구성될 수 있고 전원 켜짐/꺼짐 순환 이후에도 정보를 보유한다. 비휘발성 메모리의 예시들은 자기적 하드 디스크, 광학 디스크, 플래시 메모리 또는 EPROM 또는 EEPROM의 형태를 포함한다. 저장 컴포넌트(248)는 모듈들(222, 224 및 226)과 연관된 프로그램 명령어들 및/또는 데이터를 저장할 수 있다. 저장 컴포넌트(248)는 모듈(222, 224 및 226) 및 사용자 프로필(234), 데이터 저장소(236) 및 모델(238)과 연관된 데이터 및/또는 다른 정보를 저장하도록 구성된 메모리를 포함할 수 있다.
하나 이상의 프로세서들(230)은 기능을 구현하고 및/또는 컴퓨팅 시스템(217)과 연관된 명령어들을 실행할 수 있다. 프로세서들(230)의 예들은 어플리케이션 프로세서, 디스플레이 제어기, 보조 프로세서, 하나 이상의 센서 허브 및 프로세서, 프로세싱 유닛, 또는 프로세싱 디바이스로서 기능하도록 구성된 임의의 다른 하드웨어를 포함한다. 모듈들(222, 224 및 226)은 컴퓨팅 시스템(217)의 다양한 액션들, 동작들 또는 기능들을 수행하기 위해 프로세서들(230)에 의해 동작 가능할 수 있다. 예를 들어, 컴퓨팅 시스템(217)의 프로세서(230)는 프로세서(230)로 하여금 모듈(222, 224 및 226)에 기인하는 본 명세서에 기술된 동작들을 수행하게 하는 저장 컴포넌트(248)에 의해 저장된 명령어를 검색하고 실행할 수 있다. 명령어는 프로세서(230)에 의해 실행될 때, 컴퓨팅 시스템(217)으로 하여금 저장 컴포넌트(248) 내에 정보를 저장하게 한다.
AIM(222), MCRM(224) 및 MCM(226)은 각각 도 1의 AIM(122), MCRM(124) 및 MCM(126)의 모든 기능을 포함하고, 유사한 동작을 수행할 수 있다. 사용자 프로필(234)은 도 1의 사용자 프로필(134)과 유사한 데이터를 포함할 수 있다. 유사하게, 모델(238)은 도 1의 모델(138)과 유사한 데이터를 포함할 수 있다.
일부 예에서, 컴퓨팅 시스템(217)은 미디어를 미디어 데이터 저장소(236)에 저장할 수 있다. 예를 들어, 컴퓨팅 시스템(217)은 미디어 퍼블리셔 또는 미디어 제작자로부터 미디어를 수신하고, 미디어 데이터 저장소(236)에서 미디어를 호스팅할 수 있다. 일 예시로서, 컴퓨팅 시스템(217)은 미디어 호스팅 서비스를 포함할 수 있고, 미디어를 미디어 데이터 저장소(236)로부터 다른 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 디바이스(110))로 출력하여, 컴퓨팅 디바이스의 사용자가 미디어를 소비하게 할 수 있다.
일부 예에서, MCM(226)은 미디어와 연관된 하나 이상의 물리적 활동을 결정한다. 예를 들어, MCM(226)은 미디어 퍼블리셔 또는 제작자로부터 미디어와 연관된 물리적 활동을 표시하는 데이터를 수신할 수 있다. 다른 예에서, 하나 이상의 모델(238)은 미디어와 연관된 활동을 식별하도록 트레이닝될 수 있다(예를 들어, 미디어가 피트니스 미디어를 포함하는지 여부를 결정하도록 트레이닝되는 것에 더하여). 그러한 예에서, MCM(226)은 미디어와 연관된 하나 이상의 물리적 활동들을 식별하기 위해 모델들(238) 중 하나를 미디어 및/또는 미디어와 연관된 메타데이터에 적용할 수 있다. 미디어가 물리적 활동을 시연하거나 사용자에게 물리적 활동을 수행하도록 지시하는 경우 물리적 활동이 미디어와 연관될 수 있다. 미디어와 연관된 물리적 활동을 결정하는 것에 응답하여, MCM(226)은 미디어 데이터 저장소(236) 내에 미디어를 하나 이상의 물리적 활동과 자동으로 연관시킬 수 있다.
MCRM(224)은 사용자가 미디어를 소비했는지 여부를 결정할 수 있다. MCRM(224)은 사용자 및/또는 사용자와 연관된 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 시스템(217) 및/또는 컴퓨팅 디바이스(117))와 연관된 데이터를 분석하여, MCRM(224)이 데이터를 분석하기 위한 명시적인 사용자 허가를 수신한 경우에만 사용자가 미디어를 소비했는지 여부를 결정할 수 있다. 일 예시에서, MCRM(224)은 도 1의 컴퓨팅 디바이스(110)와 같이 사용자와 연관된 컴퓨팅 디바이스에 미디어를 출력하는 것에 응답하여 사용자 미디어를 소비했다고 결정한다. 예를 들어, 컴퓨팅 디바이스(110)의 사용자는 컴퓨팅 시스템(217)에 로그인될 수 있고 컴퓨팅 시스템(217)은 미디어를 컴퓨팅 디바이스(110)에 출력하는 것에 응답하여 사용자가 미디어를 소비했음을 표시하기 위해 사용자와 연관된 사용자 프로필(234)을 업데이트할 수 있다. 일부 예에서, MCRM(224)은 사용자에 의해 소비된 미디어를 식별하는 데이터 및 사용자가 미디어를 소비한 시간 기간(예를 들어, 컴퓨팅 디바이스(110)가 미디어를 출력하기 시작한 시간 및 컴퓨팅 디바이스(110)가 미디어 출력을 중단한 시간)으로 사용자 프로필(234)을 업데이트한다. 일부 예에서, MCRM(224)은 미디어의 어느 부분이 컴퓨팅 디바이스(110)에 출력되었는지를 결정함으로써 사용자에 의해 미디어의 어느 부분이 소비되었는지를 결정한다. 그러한 경우에, MCRM(224)은 사용자 프로필(234) 내에서 사용자에 의해 소비된 미디어의 일부를 표시하는 데이터를 저장할 수 있다.
컴퓨팅 시스템(217)은 사용자에 의해 소비된 미디어에 적어도 부분적으로 기초하여 사용자에 의해 수행되는 물리적 활동을 결정할 수 있다. 컴퓨팅 시스템(217)은 사용자 및/또는 사용자와 연관된 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 시스템(217) 및/또는 컴퓨팅 디바이스(117))와 연관된 데이터를 분석하여, 컴퓨팅 시스템(217)이 데이터를 분석하기 위한 명시적인 사용자 허가를 수신한 경우에만 사용자에 의해 수행된 물리적 활동을 결정할 수 있다. 일부 예에서, 컴퓨팅 시스템(217)은 다른 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(110))로부터 수신된 데이터에 기초하여, 사용자에 의해 수행된 물리적 활동의 초기 결정을 하고, 사용자에 의해 소비된 미디어에 기초하여 물리적 활동의 업데이트된 결정을 한다. 일 예시에서, 컴퓨팅 시스템(217)은 컴퓨팅 디바이스(110)의 하나 이상의 센서에 의해 생성된 센서 데이터를 수신하고, 센서 데이터에 기초하여 물리적 활동을 초기적으로 결정한다. 예를 들어, 모델(238)은 센서 데이터를 사용하여 물리적 활동을 식별하도록 트레이닝된 하나 이상의 모델을 포함할 수 있고, 컴퓨팅 시스템(217)은 물리적 활동을 식별하도록 트레이닝된 모델을 센서 데이터에 적용할 수 있다. 그러한 예에서, 컴퓨팅 시스템(217)은 사용자에 의해 수행된 물리적 활동을 표시하는 물리적 활동 데이터 및 사용자가 활동을 수행한 시간 기간(예를 들어, 시작 시간 및 종료 시간)을 사용자 프로필(234) 내에 저장할 수 있다.
다른 예에서, 컴퓨팅 디바이스(110)는 사용자에 의해 수행된 물리적 활동을 식별할 수 있고, 물리적 활동 및 사용자가 물리적 활동을 수행한 시간의 표시를 컴퓨팅 시스템(217)에 출력할 수 있다. 컴퓨팅 시스템(217)은 사용자에 의해 수행된 물리적 활동 및 사용자가 물리적 활동을 수행한 시간 기간을 표시하는 물리적 활동 데이터를 사용자 프로필(234) 내에 저장할 수 있다. 그러한 예에서, 컴퓨팅 시스템(217)은 사용자 프로필(234)을 쿼리함으로써 사용자에 의해 수행된 물리적 활동을 결정할 수 있다.
일부 시나리오에 따르면, AIM(222)은 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비했는지 여부를 결정한다. 일부 예에서, AIM(222)은 AIM(222)이 미디어 소비 데이터 및 물리적 활동 데이터를 함께 분석하기 위한 명시적인 사용자 허가를 수신하는 경우에만 사용자와 연관된 미디어 소비 데이터 및 물리적 활동 데이터를 분석할 수 있다. AIM(222)은 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비했는지 여부를 주기적으로 또는 계속적으로 결정할 수 있다. 일 예시에서, AIM(222)은 사용자가 물리적 활동을 수행한 시간 기간을 사용자가 미디어를 소비한 시간 기간과 비교하기 위해 사용자 프로필(234)에 쿼리할 수 있다. 예를 들어, AIM(222)은 사용자가 미디어를 소비한 시작 시간 및/또는 종료 시간을 사용자가 물리적 활동을 수행한 시작 시간 및/또는 종료 시간과 비교하여 시간의 적어도 일부가 중첩되는지 여부를 결정할 수 있다. AIM(222)은 사용자가 미디어를 소비한 시간 기간의 적어도 일부가 사용자가 물리적 활동을 수행한 시간 기간과 중첩한다는 결정에 응답하여, 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비한 것으로 결정할 수 있다.
일부 예에서, AIM(222)은 미디어가 피트니스 미디어인지 여부를 결정한다. AIM(222)은 미디어 데이터 저장소(236)에 쿼리함으로써 미디어가 피트니스 미디어인지 여부를 결정할 수 있다. 미디어 데이터 저장소(236)는 미디어 데이터 저장소(236) 내의 각각의 미디어가 피트니스 미디어를 포함하는지 여부를 표시하는 데이터를 포함할 수 있다. 피트니스 미디어는 하나 이상의 물리적 활동을 시연하고 /하거나 사용자에게 물리적 활동을 수행하도록 지시하는 미디어를 포함할 수 있다. 일 예시에서, 컴퓨팅 시스템(217)은 미디어 퍼블리셔 또는 제작자로부터 미디어가 피트니스 미디어를 포함하는지 여부를 표시하는 데이터를 수신한다. 다른 예에서, MCM(226)은 미디어가 하나 이상의 모델(238)에 기초하여 피트니스 미디어를 포함하는지 여부를 결정한다. 예를 들어, 모델(238)은 피트니스 미디어를 식별하도록 트레이닝된 머신-트레이닝 모델을 포함할 수 있다. 일 예시로서, MCM(226)은 하나 이상의 머신 트레이닝 모델(238)을 미디어 및/또는 미디어와 연관된 메타데이터에 적용하여 주어진 미디어가 피트니스 미디어를 포함하는지 여부를 결정할 수 있다. 주어진 미디어가 피트니스 미디어를 포함하는지 여부를 표시하거나 모델(238)에 기초하여 미디어가 피트니스 미디어를 포함한다고 결정하는 데이터를 수신함에 응답하여, MCM(226)은 주어진 미디어가 피트니스 미디어를 포함한다는 것을 표시하는 데이터를 미디어 데이터 스토어(236) 내에 저장할 수 있다.
사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 피트니스 미디어를 소비했다고 결정하는 것에 응답하여, AIM(222)은 동일한 시간 기간 동안 소비된 미디어에 기초하여 사용자에 의해 수행된 업데이트된 물리적 활동을 결정할 수 있다. 일부 예에서, AIM(222)은 미디어 데이터 저장소(236)에 쿼리함으로써 사용자에 의해 소비된 피트니스 미디어와 연관된 물리적 활동을 결정함으로써 업데이트된 물리적 활동을 결정한다. 일 예에서, 미디어는 비디오를 포함하고 AIM(222)은 미디어 데이터 저장소(236)에 쿼리하여 시간 기간 동안 사용자에 의해 시청된 비디오와 연관된 하나 이상의 물리적 활동을 결정한다.
일부 예에서, AIM(222)은 사용자에 의해 수행되는 하나 이상의 서브 활동을 결정함으로써 업데이트된 물리적 활동을 결정한다. 예를 들어, 미디어 데이터 저장소(236)는 피트니스 미디어를 넓은 활동(예를 들어, 에어로빅, 달리기 등) 및 적어도 하나의 세분화된 서브 활동과 연관시키는 데이터를 포함할 수 있다. 하나의 예에서, AIM(222)은 사용자가 피트니스 미디어의 어느 부분을 소비했는지 결정하고 미디어 데이터 저장소(236)에 쿼리하여 피트니스 미디어의 이러한 부분과 연관된 서브 활동을 결정함으로써 사용자가 수행한 하나 이상의 서브 활동을 결정한다.
일부 예에서, AIM(222)은 사용자가 소비한 미디어(예를 들어, 피트니스 미디어)에 기초하여 사용자에 의해 수행된 물리적 활동의 초기 결정을 한다. 즉, 일부 예에서, 컴퓨팅 디바이스가 센서 데이터에 기초하여 물리적 활동을 초기적으로 결정하고 그 후 사용자에 의해 소비된 미디어에 기초하여 물리적 활동을 업데이트하는 대신에, AIM(222)은 컴퓨팅 디바이스가 주어진 시간 기간 동안 물리적 활동을 표시하는 모션을 검출하지 않은 경우에도 사용자의 미디어 소비에 기초하여 주어진 시간 기간 동안 사용자에 의해 수행된 물리적 활동을 초기적으로 결정할 수 있다.
AIM(222)은 사용자 프로필(234)이 사용자가 미디어를 소비한 시간 기간 동안 사용자가 물리적 활동을 수행했음을 표시하는 물리적 활동 데이터를 포함하는지 여부를 결정할 수 있다. 일부 예에서, 사용자 프로필(234)은 사용자가 사용자의 모션을 검출하도록 구성된 모션 센서(예를 들어, 트래커, 스마트워치와 같은 도 1의 컴퓨팅 디바이스(110))를 포함하는 컴퓨팅 디바이스를 착용하지 않은 경우 또는 컴퓨팅 디바이스가 물리적 활동을 표시하는 모션을 검출하지 않은 경우, 사용자가 물리적 활동을 수행했음을 표시하는 데이터를 포함하지 않을 수 있다. 일 예시에서, 컴퓨팅 시스템(217)은 사용자가 사용자의 움직임을 검출하도록 구성된 컴퓨팅 디바이스를 착용하지 않았음을 표시하는 데이터를 사용자 프로필(234) 내에 저장한다. 예를 들어, 도 1의 컴퓨팅 디바이스(110)는 맥박을 검출할 수 없거나 또는 전극 활동(예컨대, 갈바니 피부 응답)을 검출할 수 없다는 결정에 응답하여 사용자가 컴퓨팅 디바이스(110)를 착용하지 않았다고 결정할 수 있고, 사용자가 컴퓨팅 디바이스(110)를 착용하지 않았다는 것을 표시하는 데이터를 컴퓨팅 시스템(217)에 전송할 수 있다.
일부 시나리오에서, 주어진 시간 동안 사용자가 미디어를 소비했다고 결정하는 것에 응답하여, AIM(222)은 사용자 프로필(234) 내의 사용자에 대한 물리적 활동 데이터가 사용자가 동일한 시간 기간 동안에 물리적 활동을 수행했음을 표시하는 데이터를 포함하는지를 결정하기 위해 사용자 프로필(234)을 쿼리한다. 예를 들어, AIM(222)은 사용자가 미디어를 소비한 시작 시간 및/또는 종료 시간을 사용자가 물리적 활동을 수행한 시작 시간 및/또는 종료 시간과 비교하여 시간의 적어도 일부가 중첩되는지 여부를 결정할 수 있다. AIM(222)은 사용자 프로필(234)이 사용자에 의해 수행된 활동과 연관된 시간 기간이 사용자가 미디어를 소비한 시간 기간과 중첩되지 않는다는 결정에 응답하여 사용자가 미디어를 소비한 시간 동안 물리적 활동을 수행했음을 표시하는 데이터를 포함하지 않는다고 결정할 수 있다.
일부 예에서, AIM(222)은 데이터(예를 들어, GUI)를 다른 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(110))에 출력하여, 사용자가 미디어를 소비한 시간 기간 동안 사용자가 물리적 활동을 수행했지만 물리적 활동 데이터가 사용자가 물리적 활동을 수행했다고 표시하는 데이터를 포함하지 않는지 여부를 확인하기 위해 사용자에게 프롬프트할 수 있다. 일 예시에서, AIM(222)은 시간 기간 동안 사용자에 의해 소비된 미디어가 피트니스 미디어라는 결정에 응답하여 GUI를 출력한다. 일부 예에서, AIM(222)은 사용자가 사용자의 모션을 검출하도록 구성된 모션 센서를 포함하는 컴퓨팅 디바이스를 착용하지 않았다는 결정에 응답하여 GUI를 출력한다. 예를 들어, AIM(222)은 사용자가 시간 기간 동안 컴퓨팅 디바이스(110)를 착용하지 않았음을 결정하기 위해 사용자 프로필(234)에 쿼리할 수 있다. 그러한 경우에, AIM(222)은 예를 들어, 사용자가 피트니스 트래커 또는 스마트워치를 착용하는 것을 잊었을 경우, 물리적 활동 데이터의 정확도를 증가시킬 수 있다.
AIM(222)은 사용자가 미디어를 소비한 시간 기간 동안 사용자가 물리적 활동을 수행했음을 표시하는 사용자 입력을 표시하는 데이터를 수신할 수 있다. 예를 들어, 도 1의 컴퓨팅 디바이스(110)는 사용자가 그 시간 기간 동안 물리적 활동을 수행했음을 표시하는 사용자 입력을 수신하고, 사용자가 물리적 활동을 수행했음을 표시하는 데이터를 컴퓨팅 시스템(217)에 출력할 수 있다. 그러한 예에서, AIM(222)은 사용자가 미디어를 소비한 시간 기간 동안 사용자가 물리적 활동을 수행했음을 표시하기 위해 사용자 프로필(234) 내에 물리적 활동 데이터를 업데이트할 수 있다.
사용자에 의해 수행된 하나 이상의 물리적 활동의 초기 결정 및/또는 사용자에 의해 수행된 하나 이상의 물리적 활동의 결정의 업데이트에 응답하여, AIM(222)은 물리적 활동을 표시하는 데이터를 출력할 수 있다. 일 예시에서, AIM(222)은 물리적 활동을 표시하는 데이터를 출력 디바이스를 통해 출력한다. 예를 들어, AIM(222)은 물리적 활동을 식별하는 데이터, 사용자가 물리적 활동을 수행한 시간 기간 및/또는 동일한 기간 동안 소비된 미디어를 포함하는 GUI를 출력할 수 있다.
AIM(222)은 사용자가 피트니스 미디어를 소비하고 있다는 결정에 응답하여 다른 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(110))에 통지를 출력할 수 있다. 예를 들어, AIM(222)은 도 1의 AIM(122A)로 하여금 하나 이상의 모델(138A)을 적용하여 사용자에 의해 수행된 물리적 활동을 검출하게 하기 위한 통지를 컴퓨팅 디바이스(110)에 출력할 수 있다. 통지를 다른 디바이스에 출력함으로써, 통지는 컴퓨팅 디바이스(110)가 물리적 활동을 검출하는 것을 보조하기 위해 물리적 활동을 식별하는 머신-트레이닝 모델에 대한 추가 신호로서 사용될 수 있다.
도 3은 본 발명의 하나 이상의 양태에 따라, 사용자에 의해 수행된 물리적 활동을 식별하는 예시적 컴퓨팅 시스템에 의해 수행된 예시적 동작을 도시하는 흐름도이다. 도 3는 도 1의 맥락에서 설명된다.
컴퓨팅 시스템(117)은 다른 컴퓨팅 디바이스(300)로부터 미디어를 수신할 수 있다. 다른 컴퓨팅 디바이스는 미디어 제작자 또는 퍼블리셔와 연관될 수 있다. 예를 들어, 컴퓨팅 시스템(117)은 미디어 데이터 저장소(136B)에서 미디어를 호스팅할 수 있고, 미디어를 다른 컴퓨팅 디바이스에 전송(예를 들어, 스트리밍)할 수 있다.
일부 예에서, 컴퓨팅 시스템(117)은 미디어와 연관된 하나 이상의 물리적 활동을 식별한다(302). 예를 들어, 컴퓨팅 시스템(117)은 물리적 활동을 식별하도록 트레이닝된 모델(138B) 내에 머신-트레이닝 모델을 포함할 수 있다. 일 예시에서, 컴퓨팅 시스템(117)은 모델들(138B) 중 하나를 미디어 및/또는 미디어와 연관된 메타데이터에 적용하여 모델과 연관된 물리적 활동을 식별한다.
컴퓨팅 시스템(117)은 시간 기간 동안 사용자에 의해 수행된 물리적 활동을 결정한다(304). 일부 예시에서, 컴퓨팅 시스템(117)은 사용자 및/또는 사용자와 연관된 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 시스템(117) 및/또는 컴퓨팅 디바이스(117))와 연관된 데이터를 분석하여, 컴퓨팅 시스템(117)이 데이터를 분석하기 위한 명시적인 사용자 허가를 수신한 경우에만 사용자에 의해 수행된 물리적 활동을 결정할 수 있다. 일부 예에서, 컴퓨팅 시스템(117)은 다른 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(110))로부터 사용자에 의해 수행된 물리적 활동을 표시하는 물리적 활동 데이터를 수신하고 물리적 활동 데이터를 사용자 프로필(134B)에 저장한다. 예를 들어, 컴퓨팅 디바이스(110)는 컴퓨팅 디바이스(110)의 하나 이상의 센서에 의해 생성된 센서 데이터에 기초하여 사용자에 의해 수행된 활동을 초기적으로 식별할 수 있다. 일 예시에서, 컴퓨팅 시스템(117)은 사용자 프로필(134B)에 쿼리함으로써 사용자에 의해 수행된 물리적 활동을 결정한다. 다른 예에서, 컴퓨팅 디바이스(110)는 물리적 활동을 표시하는 센서 데이터를 컴퓨팅 시스템(117)에 출력하여, 컴퓨팅 시스템(117)은 센서 데이터에 기초하여 물리적 활동을 결정하도록 한다. 일부 예에서, 컴퓨팅 시스템(117)은 물리적 활동을 결정하기 위해 실시간 또는 거의 실시간으로 센서 데이터를 분석할 수 있다. 예를 들어, 컴퓨팅 시스템(117)은 물리적 활동을 실시간으로 결정할 수 있다. 일부 예에서, 컴퓨팅 시스템(117)은 물리적 활동을 결정하기 위해 나중에 센서 데이터를 분석할 수 있다. 예를 들어, 컴퓨팅 시스템(117)은 사후적으로 물리적 활동을 결정할 수 있다.
일부 시나리오에 따르면, 컴퓨팅 시스템(117)은 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비했는지 여부를 결정한다(306). 일부 예시에서, 컴퓨팅 시스템(117)은 컴퓨팅 시스템(117)이 데이터를 분석하기 위한 명시적인 사용자 허가를 수신한 경우에만, 사용자 및/또는 사용자와 연관된 컴퓨팅 디바이스(예를 들어, 도 1의 컴퓨팅 시스템(117) 및/또는 컴퓨팅 디바이스(117))와 연관된 물리적 활동 데이터 및 미디어 소비 데이터를 분석할 수 있다. 일 예시에서, 컴퓨팅 시스템(117)은 컴퓨팅 디바이스(110) 또는 컴퓨팅 디바이스(110)의 사용자와 연관된 다른 디바이스에 미디어를 출력한다. 그러한 예들에서, 컴퓨팅 시스템(117)은 사용자에 의해 소비된 미디어를 식별하는 미디어 소비 데이터 및 사용자가 미디어를 소비한 시간 기간(예를 들어, 컴퓨팅 시스템(117)이 미디어를 사용자와 연관된 컴퓨팅 디바이스에 전송하기 시작한 시간 및 컴퓨팅 디바이스(117)가 미디어 전송을 중단한 시간)을 저장할 수 있다. 다른 예에서, 컴퓨팅 시스템(117)은 사용자와 연관된 컴퓨팅 디바이스로부터 미디어 소비 데이터를 수신하고, 미디어 소비 데이터를 사용자 프로필(134B) 내에 저장할 수 있다.
컴퓨팅 시스템(117)은 사용자가 물리적 활동을 수행한 시간 기간을 사용자가 미디어를 소비한 시간 기간과 비교할 수 있다. 예를 들어, 컴퓨팅 시스템(117)은 사용자가 미디어를 소비한 시작 시간 및/또는 종료 시간을 사용자가 물리적 활동을 수행한 시작 시간 및/또는 종료 시간과 비교하여 시간의 적어도 일부가 중첩되는지 여부를 결정할 수 있다. 컴퓨팅 시스템(117)은 사용자가 미디어를 소비한 시간 기간의 적어도 일부가 사용자가 물리적 활동을 수행한 시간 기간과 중첩한다는 결정에 응답하여, 사용자가 물리적 활동을 수행한 시간 기간 동안 사용자가 미디어를 소비한 것으로 결정할 수 있다.
일부 예에서, 컴퓨팅 시스템(117)은 사용자가 시간 기간 동안 미디어를 소비하지 않았다는 결정에 응답하여 사용자(308)에 의해 수행된 물리적 활동을 표시하는 데이터를 출력한다(306의 "아니오" 경로). 예를 들어, 컴퓨팅 시스템(117)은 사용자에 의해 수행된 활동, 사용자가 활동을 수행한 시간 기간, 상기 시간 동안 소비된 추정된 칼로리 수 또는 이들의 조합을 표시하는 GUI를 출력할 수 있다.
컴퓨팅 시스템(117)은 사용자가 시간 기간 동안 미디어를 소비했다고 결정한 것에 응답하여(310의 "예" 경로) 상기 시간 기간 동안 사용자에 의해 수행된 업데이트된 물리적 활동을 결정할 수 있다(310). 예를 들어, 컴퓨팅 시스템(117)은 미디어와 연관된 하나 이상의 물리적 활동을 결정하기 위해 미디어 데이터 저장소(136B)에 쿼리할 수 있다. 일부 경우에, 컴퓨팅 시스템(117)은 사용자에 의해 수행되는 하나 이상의 서브 활동을 결정함으로써 업데이트된 물리적 활동을 결정한다. 예를 들어, 컴퓨팅 시스템(117)은 사용자가 미디어의 어느 부분을 소비했는지 결정하고 미디어 데이터 저장소(136B)에 쿼리하여 미디어의 이러한 부분과 연관된 서브 활동인지 결정함으로써 사용자가 수행한 하나 이상의 서브 활동을 결정한다.
시간 기간 동안 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하는 것에 응답하여, 컴퓨팅 시스템(117)은 사용자에 의해 수행된 업데이트된 물리적 활동을 표시하는 데이터를 출력할 수 있다(312). 예를 들어, 컴퓨팅 시스템(117)은 사용자에 의해 수행된 업데이트된 활동, 사용자가 활동을 수행한 시간 기간, 상기 시간 동안 소비된 추정된 칼로리 수 또는 이들의 조합을 표시하는 GUI를 출력할 수 있다. 일부 경우에, 컴퓨팅 시스템(117)은 다른 컴퓨팅 디바이스로 하여금 업데이트된 유형의 활동을 표시하는 데이터를 사용자 프로필 내에 저장하게 하기 위해 업데이트된 유형의 활동을 표시하는 데이터를 출력할 수 있다. 예를 들어, 컴퓨팅 시스템(117)은 컴퓨팅 디바이스(110)로 하여금 데이터를 사용자 프로필(134A) 내에 저장하게 하기 위해 업데이트된 유형의 활동을 표시하는 데이터를 컴퓨팅 디바이스(110)에 출력할 수 있다.
일부 예에서, 사용자에 의해 수행된 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 것 외에 또는 이와 반대로, 컴퓨팅 시스템(117)은 활동 데이터의 편집을 제안하는 데이터를 출력할 수 있다. 예를 들어, 컴퓨팅 시스템(117)은 업데이트된 물리적 활동을 반영하기 위해 사용자가 자신의 사용자 프로필(예를 들어, 활동 로그)에서 엔트리를 변경할 것을 제안하는 GUI를 출력할 수 있다. 예를 들어, 사용자 프로필의 엔트리가 사용자가 A 시간 기간 동안 물리적 활동을 수행했다는 것을 표시하고 컴퓨팅 시스템(117)이 사용자가 A 시간 기간 동안 달리고 있었다고 결정하면, 컴퓨팅 시스템(117)은 사용자에게 A 시간 기간 동안 실제로 달리고 있었는지 확인하기 위해 프롬프트하는 GUI를 출력할 수 있다.
다음의 번호가 매겨진 예는 본 발명의 하나 이상의 양태들을 도시할 수 있다.
예 1: 방법으로서, 컴퓨팅 시스템에 의해, 시간 기간 동안 상기 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 결정하는 단계; 상기 컴퓨팅 시스템에 의해, 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계; 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하는 단계; 및 상기 컴퓨팅 시스템에 의해, 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 단계를 포함하는, 방법.
예 2: 예 1에 있어서, 상기 사용자에 의해 소비된 미디어는 상기 사용자에 의해 시청된 비디오를 포함하고, 상기 업데이트된 물리적 활동을 결정하는 단계는: 상기 컴퓨팅 시스템에 의해, 상기 시간 기간 동안 상기 사용자에 의해 시청된 비디오와 연관된 물리적 활동을 결정하는 단계; 및 상기 컴퓨팅 시스템에 의해, 상기 시간 기간 동안 상기 사용자에 의해 수행된 상기 업데이트된 물리적 활동이 상기 시간 기간 동안 상기 사용자에 의해 시청되었던 비디오와 연관된 물리적 활동을 포함한다고 결정하는 단계를 포함하는, 방법.
예 3: 예 1 내지 2 중 어느 한 항에 있어서, 상기 업데이트된 물리적 활동을 결정하는 단계는: 상기 미디어를 표시하는 데이터에 기초하여, 상기 미디어의 복수의 부분에 대해, 상기 미디어의 복수의 부분 중 각각의 부분 동안에 상기 사용자에 의해 수행된 서브 활동을 결정하는 단계를 포함하는, 방법.
예 4: 예 1 내지 3 중 어느 한 항에 있어서,상기 사용자에 의해 수행된 물리적 활동을 결정하는 단계는, 상기 컴퓨팅 시스템에 의해, 모션 센서로부터 수신된 센서 데이터를 사용하여 물리적 활동을 분류하는 머신-트레이닝 모델에 기초하여, 상기 사용자에 의해 수행된 물리적 활동을 결정하는 단계를 포함하며, 상기 방법은, 상기 사용자에 의해 수행된 상기 업데이트된 활동을 결정하는 것에 응답하여, 상기 컴퓨팅 시스템에 의해, 수신된 센서 데이터 및 상기 업데이트된 활동에 기초하여, 머신-트레이닝 모델을 업데이트하는 단계를 더 포함하는, 방법.
예 5: 예 1 내지 4 중 어느 한 항에 있어서, 상기 시간 기간은 제1 기간이고, 상기 미디어는 제1 미디어이며, 상기 물리적 활동은 제1 물리적 활동이며, 상기 방법은: 상기 컴퓨팅 시스템에 의해, 상기 사용자가 제2 시간 기간 동안 제2 미디어를 소비한 것으로 결정하는 단계, 상기 제2 미디어는 제2 물리적 활동과 연관되며; 상기 컴퓨팅 시스템에 의해, 상기 컴퓨팅 시스템이 상기 사용자가 상기 제2 시간 기간 동안 상기 제2 물리적 활동을 수행함을 표시하는 데이터를 포함하는지 여부를 결정하는 단계; 상기 컴퓨팅 시스템이 상기 사용자가 상기 제2 시간 기간 동안 상기 제2 물리적 활동을 수행했다고 표시하는 데이터를 포함하지 않는다는 결정에 응답하여, 상기 사용자에게 상기 사용자가 상기 제2 물리적 활동을 수행했는지 여부를 확인하도록 프롬프트하는 그래픽 사용자 인터페이스를 디스플레이하기 위해 출력하는 단계; 상기 사용자가 상기 제2 물리적 활동을 수행했다고 표시하는 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자가 상기 제2 시간 기간 동안 상기 제2 물리적 활동을 수행했음을 표시하기 위해 상기 사용자와 연관된 사용자 프로필을 업데이트하는 단계를 더 포함하는, 방법.
예 6: 예 5에 있어서, 상기 사용자에게 상기 사용자가 상기 제2 물리적 활동을 수행했는지 여부를 확인하도록 프롬프트하는 그래픽 사용자 인터페이스를 출력하는 단계는 상기 사용자가 모션 센서를 포함하는 웨어러블 컴퓨팅 디바이스를 착용하지 않았다는 결정에 대한 응답인, 방법.
예 7: 예 1 내지 6 중 어느 한 항에 있어서, 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 단계는, 상기 사용자가 상기 업데이트된 물리적 활동을 수행한 시간 기간 동안 상기 사용자에 의해 소비된 미디어를 표시하는 데이터를 출력하는 단계를 포함하는, 방법.
예 8: 예 1 내지 7 중 어느 한 항에 있어서, 상기 컴퓨팅 시스템은 상기 사용자에 의해 소비된 복수의 미디어 중 각 미디어에 대해, 상기 사용자가 상기 각각의 미디어를 소비한 시간 기간을 표시하는 사용자 프로필을 포함하며, 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계는: 상기 컴퓨팅 시스템에 의해, 상기 사용자 프로필이 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자에 의해 소비된 미디어를 표시하는 데이터를 포함하는지 여부를 결정하기 위해 상기 사용자 프로필에 쿼리하는 단계를 포함하는, 방법.
예 9: 예 1 내지 8 중 어느 한 항에 있어서, 상기 사용자가 상기 물리적 활동을 수행하는 시간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계는: 상기 컴퓨팅 시스템에 의해, 마이크로폰에 의해 캡처된 오디오 입력 데이터 및 각각의 미디어와 각각 연관된 지문 세트에 기초하여, 상기 사용자가 상기 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계를 포함하는, 방법.
예 10: 예 1 내지 9 중 어느 한 항에 있어서, 상기 컴퓨팅 시스템에 의해, 상기 미디어 또는 상기 미디어에 대한 메타데이터 중 적어도 하나에 머신-트레이닝 모델을 적용함으로써, 상기 미디어와 연관된 하나 이상의 물리적 활동을 식별하는 단계를 더 포함하는, 방법.
예 11: 예 1 내지 11 중 어느 한 항에 있어서, 상기 사용자가 상기 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자가 상기 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자에 의해 소비된 미디어에 기초하여, 피트니스 미디어를 식별하는 머신-트레이닝 모델을 업데이트하는 단계를 더 포함하는, 방법.
예 12: 예 11에 있어서, 상기 사용자에 의해 소비된 미디어는 상기 사용자에 의해 시청된 비디오를 포함하고, 피트니스 미디어를 식별하는 머신-트레이닝 모델은 상기 비디오와 연관된 활동을 추가로 식별하는 것인, 방법.
예 13: 컴퓨팅 디바이스로서, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 예 1 내지 12 중 어느 한 항의 방법을 수행하게 하는 명령어를 포함하는 메모리를 포함하는, 컴퓨팅 디바이스.
예 14: 예 1 내지 12 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
예시 15: 명령어를 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 예 1 내지 12 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
하나 이상의 예시들에서, 기술된 기능들은 하드웨어, 하드웨어 및 소프트웨어, 하드웨어 및 펌웨어 또는 그것들의 임의의 조합에서 구현될 수 있다.　 소프트웨어에서 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 컴퓨터 판독가능 매체를 통해 전송되고 하드웨어 기반 프로세싱 유닛에 의해 실행된다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 또는 매체들을 포함할 수 있고, 이는 데이터 저장 매체와 같은 유형적 매체 또는 예를 들어 통신 프로토콜에 따라 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 지원하는 임의의 매체를 포함하는 통신 매체에 대응한다. 이 방식에서, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형적 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 　데이터 저장 매체는 본 개시에서 기술된 기법들의 구현을 위해 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 엑세스될 수 있는 임의의 사용가능한 매체일 수 있다.　 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.
제한이 아닌 예시로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 기타 자기 저장 디바이스들, 플래시 메모리 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 엑세스될 수 있는 임의의 기타 저장 매체를 포함할 수 있다.　 또한, 임의의 연결이 컴퓨터 판독가능 매체에 적절하게 명명될 수 있다. 예를 들면, 웹사이트, 서버 또는 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL 또는 적외선, 라디오 및 마이크로웨이브와 같은 무선 기술들을 사용하는 기타 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL 또는 적외선, 라디오 및 마이크로웨이브와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 매체들 및 데이터 저장 매체는 연결, 반송파, 신호 또는 다른 일시적인 매체를 포함하지 않으나, 대신에 비일시적인 유형적 저장 매체를 지칭한다. 본 명세서에서 사용된 바와 같이, 디스크 및 디스크들은 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, DVD, 플로피 디스크 및 블루레이 디스크를 포함하며, 디스크들은 보통 데이터를 자기적으로 재생산하면서 디스크들은 데이터를 레이저로 광학적으로 재생산한다. 또한, 상기의 조합들은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령어들은 하나 이상의 디지털 신호 프로세서들(DSP), 범용 마이크로프로세서들, 주문형 집적회로들(ASIC), 필드 프로그램가능 논리 배열들(FPGA) 또는 기타 균등한 통합 또는 이산 논리 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용된 바와 같이, 용어 “프로세서”는 임의의 상기 구조 또는 본 명세서에 기술된 기법들의 구현에 적절한 임의의 기타 구조를 지칭할 수 있다. 추가로, 일부 양태에서, 본 명세서에 기술된 기능은 전용 하드웨어 및/또는 소프트웨어 모듈들 내에서 제공될 수 있다. 또한, 기법들은 하나 이상의 회로들 또는 논리 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 헤드셋, 집적 회로(IC) 또는 IC의 세트(예를 들어, 칩셋)를 포함하는 광범위한 디바이스들 또는 장치들에서 구현될 수 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 기술되었지만, 상이한 하드웨어 유닛들에 의한 실현을 필수적으로 요구하지 않는다. 오히려, 상기 기술된 바와 같이, 다양한 유닛들이 적절한 소프트웨어 및/또는 펌웨어와 함께 하드웨어 유닛에서 조합되거나 상기 기술된 바와 같은 하나 이상의 프로세서들을 포함하는 상호 동작적 하드웨어 유닛들의 집합에 의해 제공될 수 있다.
다양한 실시예들이 기술되었다. 이들 및 다른 실시예들도 다음의 청구항들의 범위 내에 있다.

Claims (15)

  1. 방법으로서,
    컴퓨팅 시스템에 의해, 시간 기간 동안 상기 컴퓨팅 시스템의 사용자에 의해 수행된 물리적 활동을 결정하는 단계;
    상기 컴퓨팅 시스템에 의해, 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계;
    상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자에 의해 소비된 미디어를 표시하는 데이터에 기초하여, 상기 시간 기간 동안 상기 사용자에 의해 수행된 업데이트된 물리적 활동을 결정하는 단계; 및
    상기 컴퓨팅 시스템에 의해, 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서, 상기 사용자에 의해 소비된 미디어는 상기 사용자에 의해 시청된 비디오를 포함하고, 상기 업데이트된 물리적 활동을 결정하는 단계는:
    상기 컴퓨팅 시스템에 의해, 상기 시간 기간 동안 상기 사용자에 의해 시청된 비디오와 연관된 물리적 활동을 결정하는 단계; 및
    상기 컴퓨팅 시스템에 의해, 상기 시간 기간 동안 상기 사용자에 의해 수행된 상기 업데이트된 물리적 활동이 상기 시간 기간 동안 상기 사용자에 의해 시청되었던 비디오와 연관된 물리적 활동을 포함한다고 결정하는 단계를 포함하는, 방법.
  3. 청구항 1 내지 2 중 어느 한 항에 있어서, 상기 업데이트된 물리적 활동을 결정하는 단계는:
    상기 미디어를 표시하는 데이터에 기초하여, 상기 미디어의 복수의 부분에 대해, 상기 미디어의 복수의 부분 중 각각의 부분 동안에 상기 사용자에 의해 수행된 서브 활동을 결정하는 단계를 포함하는, 방법.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    상기 사용자에 의해 수행된 물리적 활동을 결정하는 단계는, 상기 컴퓨팅 시스템에 의해, 모션 센서로부터 수신된 센서 데이터를 사용하여 물리적 활동을 분류하는 머신-트레이닝 모델에 기초하여, 상기 사용자에 의해 수행된 물리적 활동을 결정하는 단계를 포함하며,
    상기 방법은, 상기 사용자에 의해 수행된 상기 업데이트된 활동을 결정하는 것에 응답하여, 상기 컴퓨팅 시스템에 의해, 수신된 센서 데이터 및 상기 업데이트된 활동에 기초하여, 머신-트레이닝 모델을 업데이트하는 단계를 더 포함하는, 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서, 상기 시간 기간은 제1 기간이고, 상기 미디어는 제1 미디어이며, 상기 물리적 활동은 제1 물리적 활동이며, 상기 방법은:
    상기 컴퓨팅 시스템에 의해, 상기 사용자가 제2 시간 기간 동안 제2 미디어를 소비한 것으로 결정하는 단계, 상기 제2 미디어는 제2 물리적 활동과 연관되며;
    상기 컴퓨팅 시스템에 의해, 상기 컴퓨팅 시스템이 상기 사용자가 상기 제2 시간 기간 동안 상기 제2 물리적 활동을 수행함을 표시하는 데이터를 포함하는지 여부를 결정하는 단계;
    상기 컴퓨팅 시스템이 상기 사용자가 상기 제2 시간 기간 동안 상기 제2 물리적 활동을 수행했다고 표시하는 데이터를 포함하지 않는다는 결정에 응답하여, 상기 사용자에게 상기 사용자가 상기 제2 물리적 활동을 수행했는지 여부를 확인하도록 프롬프트하는 그래픽 사용자 인터페이스를 디스플레이하기 위해 출력하는 단계;
    상기 사용자가 상기 제2 물리적 활동을 수행했다고 표시하는 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자가 상기 제2 시간 기간 동안 상기 제2 물리적 활동을 수행했음을 표시하기 위해 상기 사용자와 연관된 사용자 프로필을 업데이트하는 단계를 더 포함하는, 방법.
  6. 청구항 5에 있어서, 상기 사용자에게 상기 사용자가 상기 제2 물리적 활동을 수행했는지 여부를 확인하도록 프롬프트하는 그래픽 사용자 인터페이스를 출력하는 단계는 상기 사용자가 모션 센서를 포함하는 웨어러블 컴퓨팅 디바이스를 착용하지 않았다는 결정에 대한 응답인, 방법.
  7. 청구항 1 내지 6 중 어느 한 항에 있어서, 상기 업데이트된 물리적 활동을 표시하는 데이터를 출력하는 단계는, 상기 사용자가 상기 업데이트된 물리적 활동을 수행한 시간 기간 동안 상기 사용자에 의해 소비된 미디어를 표시하는 데이터를 출력하는 단계를 포함하는, 방법.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서, 상기 컴퓨팅 시스템은 상기 사용자에 의해 소비된 복수의 미디어 중 각 미디어에 대해, 상기 사용자가 상기 각각의 미디어를 소비한 시간 기간을 표시하는 사용자 프로필을 포함하며, 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계는:
    상기 컴퓨팅 시스템에 의해, 상기 사용자 프로필이 상기 사용자가 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자에 의해 소비된 미디어를 표시하는 데이터를 포함하는지 여부를 결정하기 위해 상기 사용자 프로필에 쿼리하는 단계를 포함하는, 방법.
  9. 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 사용자가 상기 물리적 활동을 수행하는 시간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계는:
    상기 컴퓨팅 시스템에 의해, 마이크로폰에 의해 캡처된 오디오 입력 데이터 및 각각의 미디어와 각각 연관된 지문 세트에 기초하여, 상기 사용자가 상기 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했는지 여부를 결정하는 단계를 포함하는, 방법.
  10. 청구항 1 내지 9 중 어느 한 항에 있어서,
    상기 컴퓨팅 시스템에 의해, 상기 미디어 또는 상기 미디어에 대한 메타데이터 중 적어도 하나에 머신-트레이닝 모델을 적용함으로써, 상기 미디어와 연관된 하나 이상의 물리적 활동을 식별하는 단계를 더 포함하는, 방법.
  11. 청구항 1 내지 11 중 어느 한 항에 있어서,
    상기 사용자가 상기 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자가 미디어를 소비했다고 결정함에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 사용자가 상기 물리적 활동을 수행한 상기 시간 기간 동안 상기 사용자에 의해 소비된 미디어에 기초하여, 피트니스 미디어를 식별하는 머신-트레이닝 모델을 업데이트하는 단계를 더 포함하는, 방법.
  12. 청구항 11에 있어서, 상기 사용자에 의해 소비된 미디어는 상기 사용자에 의해 시청된 비디오를 포함하고, 피트니스 미디어를 식별하는 머신-트레이닝 모델은 상기 비디오와 연관된 활동을 추가로 식별하는 것인, 방법.
  13. 컴퓨팅 디바이스로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 12 중 어느 한 항의 방법을 수행하게 하는 명령어를 포함하는 메모리를 포함하는, 컴퓨팅 디바이스.
  14. 청구항 1 내지 12 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
  15. 명령어를 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 12 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
KR1020200077833A 2019-12-23 2020-06-25 미디어 소비에 기초하여 컴퓨팅 디바이스 사용자에 의해 수행된 물리적 활동 식별 KR102385873B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/725,033 2019-12-23
US16/725,033 US11620543B2 (en) 2019-12-23 2019-12-23 Identifying physical activities performed by a user of a computing device based on media consumption

Publications (2)

Publication Number Publication Date
KR20210081220A true KR20210081220A (ko) 2021-07-01
KR102385873B1 KR102385873B1 (ko) 2022-04-12

Family

ID=71069657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077833A KR102385873B1 (ko) 2019-12-23 2020-06-25 미디어 소비에 기초하여 컴퓨팅 디바이스 사용자에 의해 수행된 물리적 활동 식별

Country Status (5)

Country Link
US (2) US11620543B2 (ko)
EP (1) EP3842993A1 (ko)
JP (1) JP7001763B2 (ko)
KR (1) KR102385873B1 (ko)
CN (1) CN111816279B (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130099418A (ko) * 2012-02-29 2013-09-06 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
KR20170075988A (ko) * 2015-12-24 2017-07-04 (주)프로차일드 헬스 트레이닝 시스템
KR20190069684A (ko) * 2017-12-12 2019-06-20 한국과학기술원 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04224776A (ja) 1990-12-26 1992-08-14 Sanyo Electric Co Ltd トレーニング装置
EP0959620B1 (en) * 1993-11-18 2005-01-12 Digimarc Corporation Video with hidden in-band digital data
US20090098980A1 (en) * 2004-03-09 2009-04-16 Waters Rolland M User interface and methods of using in exercise equipment
JP2006239398A (ja) 2005-02-03 2006-09-14 Sony Corp 音響再生装置、音響再生方法および音響再生処理プログラム
US7643895B2 (en) 2006-05-22 2010-01-05 Apple Inc. Portable media device with workout support
US7771320B2 (en) 2006-09-07 2010-08-10 Nike, Inc. Athletic performance sensing and/or tracking systems and methods
JP2010139647A (ja) 2008-12-10 2010-06-24 Yamaha Corp 楽曲推奨システム及び楽曲推奨プログラム
WO2011072111A2 (en) 2009-12-09 2011-06-16 Nike International Ltd. Athletic performance monitoring system utilizing heart rate information
US8793727B2 (en) 2009-12-10 2014-07-29 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
US8738323B2 (en) 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for metrics analysis and interactive rendering, including events having combined activity and location information
US20130138716A1 (en) * 2011-11-28 2013-05-30 At&T Intellectual Property I, Lp Apparatus and method for providing activity monitoring and analysis
US20130138386A1 (en) * 2011-11-30 2013-05-30 Arbitron Inc. Movement/position monitoring and linking to media consumption
CA2854001C (en) 2012-05-23 2019-04-16 Microsoft Corporation Dynamic exercise content
CN103020260A (zh) * 2012-12-24 2013-04-03 中国科学院半导体研究所 视频查询方法
US8951164B2 (en) 2013-03-05 2015-02-10 Microsoft Corporation Extending gameplay with physical activity monitoring device
US9516259B2 (en) * 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
JP6461639B2 (ja) 2015-02-23 2019-01-30 Kddi株式会社 学習データ生成システム、学習データ生成方法およびプログラム
US20170062015A1 (en) * 2015-09-01 2017-03-02 Whole Body IQ, Inc. Correlation of media with biometric sensor information
US20180036591A1 (en) 2016-03-08 2018-02-08 Your Trainer Inc. Event-based prescription of fitness-related activities
US11256741B2 (en) 2016-10-28 2022-02-22 Vertex Capital Llc Video tagging system and method
US11197063B2 (en) * 2016-11-11 2021-12-07 Google Llc Methods, systems, and media for modifying the presentation of video content on a user device based on a consumption of the user device
JP2018098769A (ja) 2016-12-14 2018-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理システム及びサーバ
JP2018161239A (ja) 2017-03-24 2018-10-18 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
SG11201909605VA (en) 2017-04-19 2019-11-28 National Science And Tech Development Agency System for recording, analyzing risk(s) of accident(s) or need of assistance and providing real-time warning(s) based on continuous sensor signals
US11013958B2 (en) 2018-02-21 2021-05-25 International Business Machines Corporation Performance of fitness application based on fitness activities
CN109740563B (zh) * 2019-01-14 2021-02-12 湖南众智君赢科技有限公司 一种面向视频监控的运动目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130099418A (ko) * 2012-02-29 2013-09-06 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
KR20170075988A (ko) * 2015-12-24 2017-07-04 (주)프로차일드 헬스 트레이닝 시스템
KR20190069684A (ko) * 2017-12-12 2019-06-20 한국과학기술원 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법

Also Published As

Publication number Publication date
KR102385873B1 (ko) 2022-04-12
JP7001763B2 (ja) 2022-01-20
CN111816279A (zh) 2020-10-23
US20210192367A1 (en) 2021-06-24
US11620543B2 (en) 2023-04-04
US20230237350A1 (en) 2023-07-27
JP2021099772A (ja) 2021-07-01
EP3842993A1 (en) 2021-06-30
CN111816279B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
WO2019237860A1 (zh) 一种图像标注方法和装置
US20210001180A1 (en) Techniques for providing customized exercise-related recommendations
US20210316185A1 (en) Methods and apparatus for managing sequential tasks via task specific user interface elements
US20180060732A1 (en) Personalized intelligent wake-up system and method based on multimodal deep neural network
US20080103022A1 (en) Method and system for dynamic music tempo tracking based on exercise equipment pace
CN112364439A (zh) 自动驾驶系统的仿真测试方法、装置以及存储介质
US11673025B2 (en) Workout recommendation engine
US20220176201A1 (en) Methods and systems for exercise recognition and analysis
US11253747B2 (en) Automated activity detection and tracking
US20150258415A1 (en) Physiological rate coaching by modifying media content based on sensor data
CN114595124B (zh) 时序异常检测模型评估方法、相关装置及存储介质
US20200387758A1 (en) Information processing apparatus, information processing method, and program
KR102355008B1 (ko) 동작 인식 기반 상호작용 방법 및 기록 매체
CN113190646A (zh) 一种用户名样本的标注方法、装置、电子设备及存储介质
JP2023540256A (ja) ワークアウトコミュニティに対する個人パフォーマンスフィードバック
KR102385873B1 (ko) 미디어 소비에 기초하여 컴퓨팅 디바이스 사용자에 의해 수행된 물리적 활동 식별
US20160188290A1 (en) Method, device and system for pushing audio
CN114817742B (zh) 基于知识蒸馏的推荐模型配置方法、装置、设备、介质
US20200154236A1 (en) Automatic triggering of remote sensor recordings
Hsu et al. Posture recognition with G-sensors on smart phones
CN113762585B (zh) 数据的处理方法、账号类型的识别方法及装置
US20150296044A1 (en) Method and cloud server for personal profile matching using exercise information
CN112307254B (zh) 一种音乐标签的向量确定方法和相关装置
CN117115596B (zh) 对象动作分类模型的训练方法、装置、设备及介质
CN116704083A (zh) 动作合成方法、装置、终端和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant