KR102252164B1 - 연상 기억 장치에 의해 분류된 프레임을 이용하여 자세에 대한 메트릭스를 얻는 방법 및 장치 - Google Patents

연상 기억 장치에 의해 분류된 프레임을 이용하여 자세에 대한 메트릭스를 얻는 방법 및 장치 Download PDF

Info

Publication number
KR102252164B1
KR102252164B1 KR1020150123476A KR20150123476A KR102252164B1 KR 102252164 B1 KR102252164 B1 KR 102252164B1 KR 1020150123476 A KR1020150123476 A KR 1020150123476A KR 20150123476 A KR20150123476 A KR 20150123476A KR 102252164 B1 KR102252164 B1 KR 102252164B1
Authority
KR
South Korea
Prior art keywords
motion
individual
posture
computer
associative memory
Prior art date
Application number
KR1020150123476A
Other languages
English (en)
Other versions
KR20160029674A (ko
Inventor
데즈먼드 웰랜 존
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20160029674A publication Critical patent/KR20160029674A/ko
Application granted granted Critical
Publication of KR102252164B1 publication Critical patent/KR102252164B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • G06K9/00335
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815Cache consistency protocols
    • G06F12/0817Cache consistency protocols using directory methods
    • G06F12/082Associative directories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/3233
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개인의 관심있는 모션을 식별하기 위한 방법(1200)을 제공한다. 이 방법은, 컴퓨터(1304)에서, 시간의 간격 동안 모션 센서(1302)로부터 개인의 모션의 모션 센서 입력 데이터를 수집하는 것을 포함한다. 이 방법은, 컴퓨터(1304)를 이용하여, 관심있는 일련의 분류되어 미리 정해진 모션을 갖는 분석 어플리케이션(1308)을 이용하여 모션 센서 입력 데이터를 분석하는 것을 더 포함한다. 분석 어플리케이션(1308)은, 공유된 상대적 속성(relative attributes)에 기초해서 관심있는 복수의 미리 정해진 모션 중 하나에 대응하는 모션으로서 시간의 간격 동안에 캡처된 움직임을 분류한다. 이 방법은, 관심있는 식별된 미리 정해진 모션의 통지를 모니터링 시스템(1412)에 제공하는 출력을 생성하는 것을 더 포함한다.

Description

연상 기억 장치에 의해 분류된 프레임을 이용하여 자세에 대한 메트릭스를 얻는 방법 및 장치 {OBTAINING METRICS FOR A POSITION USING FRAMES CLASSIFIED BY AN ASSOCIATIVE MEMORY}
본 발명은, 사람이나 객체의 어느 움직임(movement)이 메트릭스(metrics, 측정 기준)가 발생되는 움직임인지를 결정하기 위한 방법 및 장치에 관한 것이다.
분류 시스템은 데이터를 받아 그 데이터를 분석하고, 그 다음에 분류기(classifier)를 이용하여 주지의 세트(known set)에 할당하는바, 여기서 데이터의 하나 이상의 요소(element)는 주지의 세트의 하나 이상의 요소에 대응한다. 예를 들어, 인간 모션 검지 분류 시스템(human motion detection classification system)에 있어서는, 센서가 인간의 동작을 측정할 수 있다. 이들 센서는 그들의 데이터를 분류 시스템에 입력할 수 있는데, 분류 시스템은 그 다음에 데이터가 가장 닮은 동작이 어느 동작인지를 결정하기 위해 데이터를 분석한다. 그와 같은 분류의 예는, 인간이 앉아 있는지, 서 있는지, 걷고 있는지, 전화를 들고 있는지, 몸을 굽히고 있는지, 또는 몇몇 다른 동작을 취하고 있는지를 분류할 수 있다. 다른 예에서는, 분류 시스템은 항공기 상의 센서로부터의 입력을 분석할 수 있고, 그 다음에 항공기가 회전을 실행하는지, 또는 플랩(flap)이 효율적으로 사용되었는지 등과 같은 항공기의 동작의 몇몇 양상(aspect)을 분류할 수 있다.
그러나, 몇몇의 경우에는, 사람에 관한 추가적인 메트릭스를 측정하는 것이 바람직하지 않을 수도 있다. 예를 들어, 발생되는 불필요한 데이터로 인해 사람의 모션에 관해 메트릭스를 추적하는 것이 바람직하지 않을 수도 있다. 따라서, 사람이나 객체의 어느 모션이 메트릭스가 얻어져야 하는 모션인지를 결정할 수 있는 방법 및 장치가 바람직하다.
본 발명은, 사람이나 객체의 어느 움직임이 메트릭스가 발생되는 움직임인지를 결정하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
예시적인 실시예는, 개인의 관심있는 모션(motion of interest)을 식별하기 위한 방법을 제공한다. 이 방법은, 컴퓨터에서, 시간의 간격 동안 모션 센서로부터 개인의 모션의 모션 센서 입력 데이터를 수집하는 것을 포함한다. 이 방법은, 컴퓨터를 이용하여, 관심있는 일련의 분류되어 미리 정해진 모션을 갖는 분석 어플리케이션(analysis application)을 이용하여 모션 센서 입력 데이터를 분석하는 것을 더 포함한다. 분석 어플리케이션은, 공유된 상대적 속성(relative attributes)에 기초해서 관심있는 복수의 미리 정해진 모션 중 하나에 대응하는 모션으로서 시간의 간격 동안에 캡처(capture, 포획)된 움직임을 분류한다. 이 방법은, 관심있는 식별된 미리 정해진 모션의 통지를 모니터링 시스템에 제공하는 출력을 생성하는 것을 더 포함한다.
예시적인 실시예는 또한, 개인의 관심있는 모션을 식별하기 위한 장치를 제공한다. 이 장치는, 모션 센서 및 이 모션 센서와 통신하는 컴퓨터를 포함한다. 컴퓨터는, 시간의 간격 동안에 개인의 모션에 관해 모션 센서로부터의 모션 센서 데이터를 수집하도록 구성된다. 이 장치는, 관심있는 일련의 분류되어 미리 정해진 모션을 갖는 분석 어플리케이션을 저장하는 비일시적인 컴퓨터 판독가능 기억매체를 더 포함한다. 분석 어플리케이션은, 컴퓨터에 의해 실행될 때, 분석 어플리케이션이 공유된 상대적 속성에 기초해서 관심있는 복수의 미리 정해진 모션 중 하나에 대응하는 모션으로서 시간의 간격 동안에 캡처된 움직임을 분류하도록 더 구성된다. 분석 어플리케이션은, 실행될 때, 관심있는 식별된 미리 정해진 모션의 통지를 모니터링 시스템에 제공하는 출력을 생성하도록 더 구성된다.
예시적인 실시예는 또한 시스템을 제공한다. 이 시스템은, 하나 이상의 센서를 객체(object)의 일부분의 복수의 물리적 자세를 검지하도록 구성된 하나 이상의 센서를 갖는 운동학적 측정장치(kinematic measurement device)를 포함한다. 이 시스템은, 운동학적 측정장치와 통신하며 복수의 데이터 및 복수의 데이터간의 복수의 연관(associations)을 구비하는 연상 기억 장치(associative memory)를 더 포함하되, 복수의 데이터가 연관된 그룹에 수집되고, 연상 기억 장치가 적어도 복수의 데이터간의 간접적인 관계에 기초해서 조회(query)되도록 구성되어 있다. 이 시스템은, 연상 기억 장치 및 운동학적 측정장치와 통신하며, 운동학적 측정장치로부터 객체의 모션 입력 데이터를 수신하고 연상 기억 장치와 함께 모션 입력 데이터를 연상 기억 장치에 저장된 복수의 미리 정해진 모션과 비교하며 모션 입력 데이터를 복수의 미리 정해진 모션으로부터 선택된 특정 모션으로서 분류하고 특정 모션이 복수의 미리 정해진 모션의 서브세트(subset, 부분집합) 중 하나와 매치(match)할 때 모니터링 시스템에 통지하도록 구성된 프로세서를 더 포함한다.
예시적인 실시예의 특질(characteristic)이라 믿어지는 새로운 특징은 첨부된 특허청구범위에 있어서 설명되어 있다. 그러나, 이용(use)의 바람직한 모드, 추가의 목적 및 그 특징뿐만 아니라 예시적인 실시예는, 첨부의 도면과 함께 읽혀질 때 본 발명의 예시적인 실시예의 이하의 상세한 설명으로의 참조에 의해 가장 잘 이해될 것이다:
도 1은 예시적인 실시예에 따른 운동학적 검지 시스템의 하나의 이용을 나타내는 도면이다;
도 2는 예시적인 실시예에 따른 분류 시스템의 일례를 나타내는 도면이다;
도 3은 예시적인 실시예에 따라, 사용 중에 있는 운동학적 검지 시스템의 일례를 나타내는 도면이다;
도 4는 예시적인 실시예에 따라, 손을 뻗치는 것으로서 분류되어 미리 기록된 활동의 일례를 나타내는 도면이다;
도 5는 예시적인 실시예에 따라, 서 있는 것으로서 분류되어 미리 기록된 활동의 일례를 나타내는 도면이다;
도 6은 예시적인 실시예에 따라, 무릎 꿇는 것으로서 분류되어 미리 기록된 활동의 일례를 나타내는 도면이다;
도 7은 예시적인 실시예에 따른 분류 시스템에 활동을 삽입하는 예를 나타내는 도면이다;
도 8은 예시적인 실시예에 따라, 활동을 모니터링하는 예를 나타내는 도면이다;
도 9는 예시적인 실시예에 따라, 연상 기억 장치를 이용하여 메트릭스를 수집하기 위한 시스템의 일례를 나타내는 도면이다;
도 10은 예시적인 실시예에 따라, 결과 카테고리로서 결과와의 엔티티 비교(entity comparison)의 예를 나타내는 도면이다;
도 11은 예시적인 실시예에 따른 개인의 관심있는 모션을 식별하기 위한 방법의 플로우차트이다;
도 12는 예시적인 실시예에 따른 개인의 관심있는 모션을 식별하기 위한 방법의 다른 플로우차트이다;
도 13은 예시적인 실시예에 따른 개인의 관심있는 모션을 식별하기 위한 장치이다;
도 14는 예시적인 실시예에 따라, 특정 모션이 복수의 미리 정해진 모션의 서브세트(subset, 부분집합) 중 하나와 매치(match)할 때 모니터링 시스템에 통지하기 위한 시스템이다; 그리고
도 15는 예시적인 실시예에 따른 데이터 처리 시스템을 나타내는 도면이다.
예시적인 실시예는, 사람의 특정 자세에 관한 정확한 측정 또는 메트릭스(metrics, 측정 기준)를 얻는 것은 종종 보기 위해 실제로 존재하는 사람 없이 수집하기 어렵다고 하는 점을 인식하여 고려하고 있다. 예를 들어, 사람이 그 자세에 있는 동안에 일어날 수 있는 잠재적 위해(potential harm)를 최소화하도록 개인을 교육하기 위해 개인이 얼마나 귀찮은 자세를 유지하고 있는지를 식별하는 것이 바람직하다. 게다가, 많은 자세는 반복적으로 또는 부정확하게 행해지면 위해를 일으킬 수 있다. 나쁜 자세에 대한 상처의 리스크는 제조 설비 내에서 증가될 수 있고, 이 경우 종업원(employee)은 장비 및 부품을 설치할 때 구부리거나, 손을 뻗치거나, 신체의 일부분을 내밀도록 요청된다. 예시적인 실시예의 한 가지 목적은, 그들이 의식하지 못할 수도 있는 위험한 물리적 거동(physical behaviors)에 관해 종업원을 교육하는 희망을 가지고 종업원이 얼마나 이들 종류의 자세에 있는지 이해하도록 우리를 돕고자 하는 것이다.
예시적인 실시예는 또한, 특정한 신체 자세는 그들의 본성(nature)으로 인해 식별하기 어려울 수도 있다는 점을 인식하여 고려하고 있다. 그와 같은 신체 자세는 측정하기 어려울 수도 있다. 예시적인 실시예는, 감시하기 위한 자세를 측정하기 어려운 자세를 골라낼 수 있다. 예시적인 실시예는, 한 사람이 그러한 거동(behavior) 및 캡처된 그들의 자세를 실증하도록 하는 것에 의해 설명하기 어려운 거동을 캡처함으로써 이러한 목표를 달성할 수 있다. 실증된 거동은 분류 시스템을 훈련시키는데 사용된다. 따라서, 자세의 상세한 수학적 설명이 회피될 수 있다. 이 기능은 다음에 더 자세히 설명된다.
과거에, 제조 설정(manufacturing setting)에서 사람의 신체 자세를 모니터링하는 것은 그들이 특정 활동을 수행하는 것과 같이 누군가가 다른 사람을 보는 것을 포함한다. 전형적으로, 관찰자(observer)의 역할은 활동(activity)이 수행되는 특정 자세에 관한 메트릭스를 수집하기 위한 것이다. 이들 메트릭스의 일례는 얼마나 사람이 소정의 종류의 신체 자세에 있는가이다.
이 해결책은 매우 잘 작동하지 않는다. 첫째로, 추가 인력은 아마도 추가 인력의 바람직하지 않은 양을 관찰하는 것이 필요하다. 둘째로, 종종 관찰되는 사람들은 그들이 관찰되고 있음을 알고 있기 때문에, 사람들은 그들이 혼자 있는 것과 마찬가지로 활동을 하지 않는 경향이 있다. 추가적으로, 인간 관찰자는 긴 시간 동안 관찰할 때에 과오(error)를 범하기 쉽다. 더욱이, 인간 관찰자는 수집된 메트릭스를 왜곡할 수 있는 인지적 편향(cognitive bias, 편견)을 가지고 있을 수도 있다.
다른 과거의 모니터링 기술은 비디오 카메라의 이용을 통해 활동을 감시하는 것이었다. 그러나, 이 해결책은 아직 인간 모니터를 필요로 하고 있고, 누군가가 실제로 존재했던 것보다 적은 인원으로 되는 경향이 있다. 카메라는 특정 자세에 관해서 많은 정보를 캡처할 수 있지만, 아직 결과를 해석하기 위해 카메라의 다른쪽 단부에 누군가가 필요하다. 더욱이, 많은 상황에서, 비디오 카메라의 이용은 권장 또는 허가되지 않는다. 또한, 사람들은 직장에서 일하는 동안에 그들을 지켜보는 비디오 카메라를 좋아하지 않는다.
예시적인 실시예는 이러한 과거의 단점을 인식하고 이러한 단점을 극복하기 위한 방법 및 장치를 제공한다. 구체적으로, 예시적인 실시예는 원하는 경우에 카메라를 이용하여 실시될 수 있지만, 예시적인 실시예는 카메라와는 대조적으로 모션 감지 입력 장치(motion sensing input device)로 활동을 모니터링한다. 본 명세서에서 사용되는 바와 같이, 모션 감지 입력 장치는 그 환경(surroundings)에 관하여 객체의 자세의 변화 또는 객체에 관하여 환경의 변화를 검지하기 위해 사용되는 장치이다.
원하는 구간에서, 모션 감지 입력 장치는 특정 자세에서 개인의 프레임 또는 프레임들을 기록하고, 이어서 이전에 기록된 활동에 대한 자세를 분류하기 위해 연상 기억 장치(associative memory)로 정보를 공급할 수 있다. 용어 "연상 기억 장치"는 이하에서 도 15의 데이터 처리 시스템(1500)의 맥락에서 더 형식적으로 정의되지만, 간단히 연상 기억 장치는 정보가 직접적인 상관(direct correlation)이라기 보다는 관계에 기초해서 새로운 지식을 얻기 위해 관련된 그룹으로 수집되는 장치이다. "분류(classification)"는, 카테고리 구성원(category membership)이 이미 알려진 관측(또는 인스턴스)을 포함하는 데이터의 훈련 세트(training set)를 기초로 새로운 관측이 속하는 일련의 카테고리를 식별하는 작업이다. 예시적인 실시예는 자발적인 사용자의 모니터링된 신체 활동에 관한 메트릭스를 제공하기 위해 이 정보를 사용한다. 예시적인 실시예의 하나의 신규한 양상은, 사람이 어떤 자세에 있는지를 검지하고 그 자세에 대한 메트릭스가 수집되어야 하는지를 판단하기 위해 모션 감지 입력 장치로부터 수집된 프레임을 사용하는 능력이다. 프레임이 캡처된 후, 예시적인 실시예는 프레임을 미리 기록된 활동과 매치(match)시키기 위해 연상 기억 장치 분류(associative memory classification)를 사용한다. 분류가 자세의 특정 세트 중 하나와 매치하는 경우, 그 자세에 관계된 메트릭스가 발생될 수 있다. 그렇지 않으면, 메트릭스를 발생시키지 않고 모니터링하는 것을 계속할 수 있는바, 그에 따라 시간 및 데이터 리소스(time and data resources)를 절약할 수 있다.
따라서, 예시적인 실시예는, 특정 자세를 식별하고 이것을 미리 기록된 활동으로 분류하는 등에 의해 이것을 정확하게 측정하기 위해, 연상 기억 장치와 결합된 프레임을 사용한다. 예시적인 실시예는 수학적으로 설명되는 자세의 직접 매치(direct match)를 수행하지 않으나, 대신에 자세의 속성을 매치시키려고 시도한다.
다르게 말하면, 예시적인 실시예의 신규한 양상은, 사람의 자세를 해석하고, 그 자세가 사용자에 의해 미리 식별된 활동에 기초해서 측정되어야 하는 것인지를 판단하는 능력이다. 이 능력은, 다른 방법으로 측정하거나 캡처하기 어려울 수도 있는 활동의 정량화(quantification)를 가능하게 한다.
예시적인 실시예는 다른 이점을 가진다. 예를 들어, 예시적인 실시예는 관찰되는 참가자(participant)에게 거의 보이지 않는 소극적인 방법으로 작동할 수 있다. 사용자는 예정보다 빨리 관측을 통보해야 하지만, 예시적인 실시예의 동작은 덜 침투적이라고 느낄 수 있다. 다른 예에서, 예시적인 실시예는 저렴한 하드웨어 및 중앙집중화된 소프트웨어를 이용한다. 다른 예에서, 예시적인 실시예가 프로그램되지 않고 많은 상황에서 기능할 수 있기 때문에 예시적인 실시예는 유연한다. 다른 예에서, 예시적인 실시예가 다른 활동을 측정하기 위해 사용되는 특별함(distinction)은, 필요에 따라, 아마도 실시간으로 업데이트, 변경 또는 개선될 수 있다. 다른 예에서는, 일단 환경이 설정되면, 인간의 개입이 필요하지 않게 된다. 그 예시적인 실시예는 완전히 자동화될 수 있다.
다른 예에서, 예시적인 실시예는 단지 인간의 움직임(movement)을 모니터링하는 것에 한정되지 않지만, 다른 비인간의 움직임에도 적용될 수 있다. 예를 들어, 예시적인 실시예는, 이러한 움직임이 입력 장치에 의해 검지될 수 있다고 가정하면, 동물의 움직임 또는 로봇의 움직임을 추적하는 데 사용될 수 있다.
예시적인 실시예는, 그 분류를 개선함으로써 학습할 수 있는 능력을 가지고 있다. 예시적인 실시예는 활동을 모니터링하는 오래되고 더 귀찮은 기술을 대체 할 수 있다. 예시적인 실시예는 주제 독립적이며 보편적으로 전개 가능(deployable)하다.
예시적인 실시예는, 하나가 이들 프로세스를 달성하기 위해 사용하는 기본적인 라이센스된 핵심 기술이라기 보다는 연상 기억 분류를 이용하여 모션 감지 입력 장치의 신규한 어플리케이션에 대해 설명한다. 예시적인 실시예는, 연상 기억 장치의 분류의 예를 이용하여 관찰을 분류하는 능력을 포함한다. 그러나, 예시적인 실시예는 분류 메카니즘의 임의의 소트(sort)에 의해 달성될 수 있으며, 연상 기억 장치의 사용에만 한정되지 않는다.
예시적인 실시예는 모션 감지 입력 장치로의 인터페이스를 이용함으로써 움직임을 검지하는 능력을 포함한다. 이 인터페이스는 범위와 기능이 변화될 수 있지만, 모션 감지 입력 장치가 처리할 수 있는 능력(capacity)은 무엇이든지 움직임의 좌표를 정의하는 일을 보존할 수 있다. 예시적인 실시예는 본 발명이 모니터링 할 수 있는 활동이나 자세의 종류를 한정하지 않는다. 예시적인 실시예는, 본 발명이 상기 활동 또는 자세를 염려하여 수집할 수 있는 메트릭스(metrics, 측정 기준)의 종류가 무엇인지 한정하지 않는다. 예시적인 실시예는 본 발명이 상기 활동 또는 자세를 염려하여 모니터링할 수 있는 사람의 수를 한정하지 않는다. 예시적인 실시예는 모니터링 단계 중에 구간 사이클에 관한 시간 제약 조건을 정의하지 않는다.
도 1은 예시적인 실시예에 따른 운동학적 검지 시스템(kinematic detection system)의 하나의 이용을 나타내는 도면이다. 도 1에 나타낸 운동학적 검지 시스템(102)의 이용은 반드시 청구되는 발명을 한정하는 것은 아니고, 단지 예시적인 실시예의 한 가지 가능한 이용을 나타내는 것이다. 예시적인 실시예에 대한 추가적인 이용은 이하에 설명된다.
간단히 요약하면, 예시적인 실시예는 한 사람 이상의 개인(100)의 활동을 (또한 모션 감지 입력 장치로 특징지워질 수 있는) 운동학적 검지 시스템(102)으로 모니터링한다. 설정한 구간에서, 운동학적 검지 시스템(102)은 특정 자세에서 한 사람 이상의 개인(100)의 프레임 또는 프레임들을 기록하고, 그 다음에 이전에 기록된 활동(106)에 대해 그 정보를 분류하기 위해 그 정보를 연상 기억 장치(104)에 공급한다. 예시적인 실시예는, 감시되기를 바라는 특정 활동에 관한 메트릭스를 제공하기 위해, 이 정보를 사용한다. 예시적인 실시예에서는, 메트릭스(108)는 감시하는 것이 바람직하다고 생각되는 특정 활동에 대해서만 취해질 것이다.
보다 상세하게는, 도 1에 나타낸 예시적인 이용은 한 사람 이상의 개인(individual; 100)의 움직임 또는 측정된 자세를 추적하기 위해 운동학적 검지 시스템(102)으로부터 수집된 데이터를 사용하는 것을 포함한다. 한 사람 이상의 개인(100)은 시간에 걸쳐 다수의 자세를 실증하는 한 개인일 수 있거나, 또는 (각각 추적되는) 다수의 다른 자세에 있는 다수의 사람일 수 있다.
측정된 자세는 연상 기억 장치(104)가 가장 잘 이해하는 시멘틱스(semantics)를 이용하는 연상 기억 장치(104)로 공급된다. 따라서, 예를 들어, 운동학적 검지 시스템(102)은 수학적인 자세 데이터를 연상 기억 장치(104)로 보내지 않을 수도 있지만, 대신에 상대적인 자세의 질적 설명(qualitative descriptions)을 연상 기억 장치(104)로 보낸다. 더 구체적인 예에서는, 운동학적 검지 시스템(102)은 사람의 오른쪽 무릎의 자세를 "somewhat_below_hip"으로서 설명하는 입력을 보낼 수 있다. 그 다음에, 연상 기억 장치(104)는, 이 질적 기술자(qualitative descriptors) 및 다른 질적 기술자를 취하고, 사람을 무릎 꿇고 있는 것으로서 분류하기 위해 이하에 더 자세히 기재되는 바와 같이 그것들을 훈련 데이터(training data)와 비교할 수 있다. 무릎 꿇는 것(Kneeling, 무릎 꿇기)의 예는 도 1에서 사람(110)에 의해 실증된다. 다음으로, 사람(112)은 서 있는 것(Standing, 서 있기)을 실증하고, 사람(114)은 손을 뻗치고 있는 것(Reaching, 손 뻗치기)을 실증한다. 대안의 예시적인 실시예에서는, 몇몇 다른 간섭하는 하드웨어 또는 소프트웨어, 또는 연상 기억 장치 자체는 수학적인 자세 및 운동학적 검지 시스템(102)으로부터의 좌표 데이터를 얻을 수 있고 상술한 바와 같이 그러한 데이터를 질적 기술자로 변환할 수 있다.
처리 및 데이터 스토리지 요구 사항을 줄이기 위해 또는 단순히 생성된 레포트(report)의 양을 줄이기 위해, 특정 자세 또는 움직임만이 감시되는 것이 바람직할 수 있다. 따라서, 예시적인 실시예는 메트릭스가 요구될 수 있는 자세 또는 움직임의 특정 세트에 관한 메트릭스(108)를 취하도록 트리거될 수 있다. 메트릭스(108)는, 예를 들어 사람들이 특정 자세에서 보내는 시간의 양, 사람들이 특정 자세에서 보내는 일하는 날 동안의 시간의 총량, 특정 자세에서 보낸 가장 긴 시간, 특정 자세에서 보낸 평균 시간, 또는 임의의 다른 바람직한 메트릭스일 수 있다.
예를 들어, 반드시 청구되는 발명을 한정하는 일없이, 예시적인 실시예는 검지된 움직임이 휴대 전화를 이용한 문자 메시지 주고받기(texting), 전화로 이야기 하기(talking on the phone), 걷기(walking), 몸을 굽히기(bending over), 스트레칭(stretching), 핸드 레일(handrail) 이용하기 또는 임의의 다른 특정 신체 활동을 가리키는지 여부를 판단하기 위해 이용될 수 있다. 가능한 결과의 세트는, "문자 메시지 주고받기, 전화로 이야기 하기, 걷기, 또는 핸드 레일 이용하기"일 수 있다. 판단은 검지된 움직임이 이 세트의 하나의 부재를 가리키는지 여부에 대해 이루어진다. 이 판단은 카테고리 구성원이 알려진 관찰 또는 상황을 포함하는 데이터의 훈련 세트(training set)에 근거하여 연상 기억 장치를 이용하여 이루어질 수 있다. 바꾸어 말하면, 연상 기억 장치는 "휴대 전화를 이용한 문자 메시지 주고받기" 또는 몇몇 다른 자세, 모션, 또는 활동과 관련되는 바와 같은 입력 데이터의 특정 세트를 인식하도록 훈련된다.
예시적인 실시예에서는, 메트릭스(108)는 단지 "무릎 꿇기"의 활동을 위해서만 요구된다. 분류된 자세가 "무릎 꿇기"인 한은, 메트릭스(108)는 그 후 시간이 지남에 따라 사람의 모션에 관해 취해질 수 있다. 그렇지 않은 경우, 메트릭스(108)는 취해지지 않는다. 또는, 다른 활동에 대해서가 아니라 3가지의 활동, 즉 서 있기, 무릎 꿇기, 손 뻗치기에 대해 메트릭스(108)를 취하는 것이 바람직할 수 있다. 다시 한번, 사람들이 특정 자세에서 보내는 시간의 양, 사람들이 특정 자세에서 보내는 일하는 날 동안의 시간의 총량, 특정 자세에서 보낸 가장 긴 시간, 특정 자세에서 보낸 평균 시간, 또는 임의의 다른 바람직한 메트릭스일 수 있다.
예시적인 실시예에서 사용되는 장치를 참조하면, 운동학적 검지 시스템(102)은 그 환경에 관한 객체(object)의 자세의 변화 또는 객체에 관한 환경의 변화를 검지하기 위해 사용되는 임의의 장치일 수 있다. 반드시 특허청구범위를 한정하지 않는 구체적인 예에서는, 운동학적 검지 시스템(102)은 선반(shelf)에서 상업적으로 이용가능한 제품일 수 있다. 운동학적 검지 시스템(102)은 예를 들어 도 3에서와 같은 비디오 게임을 하기 위해 일반적으로 사용될 수 있다. 그러나, 운동학적 검지 시스템(102)은 가속도계(accelerometer), 카메라 시스템, 또는 영역 내에서 하나 이상의 사람이나 객체의 움직임을 검지하기 위한 임의의 다른 적당한 기술일 수 있다. 따라서, 예를 들어, 운동학적 검지 시스템(102)은 로봇의 자세를 추적하기 위해 사용될 수 있다. 이 경우, 예시적인 실시예는 로봇의 움직임이 설계 파라미터 내에 있는지 여부를 판단할 수 있다.
도 2는 예시적인 실시예에 따른 분류 시스템의 일례를 나타내는 도면이다. 도 2의 분류(200)는 반드시 예시적인 실시예가 아니라 본 명세서에서 사용되는 바와 같은 분류의 원리를 나타낸다. 바꾸어 말하면, 분류(200)는, 도 1에 관해서 설명된 바와 같이, 사용자 또는 장치의 특정 모션, 자세, 또는 활동에 대한 메트릭스를 취할 때를 판정하는 것에 대한 예시적인 실시예를 실시하기 위해 사용될 수 있는 분류의 원리를 나타낸다.
먼저 "분류"에 의해 의미되는 것이 무엇인지 주의해야 한다. 본 명세서에서 사용되는 "분류"는 새로운 관측의 특성을 알려진 세트의 특성과 비교함으로써 새로운 관측이 객체의 어느 그룹에 속하는지를 식별하는 능력 또는 식별하는 행위로서 정의된다. 예시적인 실시예에서 사용되는 바와 같이, 알려진 특성은 시스템을 훈련시킴으로써 확립된다. 본 명세서에서 사용되는 바와 같이, "시스템을 훈련하는 것"은 세트의 알려진 부재의 특성을 시스템에 제공하는 것으로서 정의된다. 다르게 말하면, 시스템을 교육하는 것은 특정 자세에 "보이는 것"이 무엇인지; 또는 더 정확하게 말하면 특정 자세의 특성이 무엇인지에 관해 시스템에 지시하는 것이다. 시스템이 훈련되어 있는 경우, 시스템은 새로운 관측의 특성을 알려진 부재의 특성의 세트와 즉시 비교하고, 그 후 새로운 관측을 가장 밀접하게 새로운 관측의 특성과 가장 근접하게 매치하는 세트의 알려진 부재 중 하나로서 동일시 할 수 있다. 본 명세서에서 사용하는 바와 같이, "시스템" 또는 "예시적인 실시예"는 프로세서, 응용 주문형 집적 회로(application specific integrated circuit, ASIC), 및/또는 아마도 본 명세서에서 기재된 모션 캡처 및 분류 시스템을 실시하기 위한 프로그램 코드를 저장하는 비일시적 컴퓨터 판독가능 기억 매체를 포함하는, 예시적인 실시예를 실시하기 위해 사용하거나 이용가능한 다른 물리적 장비를 언급한다.
도 2로 돌아가면, 이 도면은 이메일(전자 메일) 시스템에 대한 분류의 일례를 나타낸다. 이 경우, 시스템은 특정의 특성에 기초해서 유지되는 이메일(retained email) 또는 정크 이메일(junk email, 스팸 메일)의 어느 하나로서 받은 이메일을 분류한다. 이와 같이, 분류(200)는 알려진 부재의 세트에 2개의 알려진 부재를 가지고 있다. 이러한 알려진 부재는 유지되는 이메일(202) 및 정크 이메일(204)이다. 시스템은 유지되는 이메일(202)의 제1 특성 및 정크 이메일(204)의 제2 특성을 확립함으로써 훈련된다. 시스템은 그 다음에 받은 이메일인 새로운 관측의 제3 특성을 유지되는 이메일(202)의 제1 특성 및 정크 이메일(204)의 제2 특성과 비교하도록 프로그램된다. 새로운 관측은 그 다음에 유지되는 이메일(202) 또는 정크 이메일(204)에 속하는 것 중의 어느 하나로서 분류된다.
다시, 각 카테고리, 유지되는 이메일(202) 또는 정크 이메일(204)을 구성하는 특성은 이미 알려져 있다. 예를 들어, 유지되는 이메일(202)은 전형적으로 인식된 발신자로부터 오는 메일이다. 따라서 유지되는 이메일(202)은 하나의 특성으로서 인식된 발신자를 가지고 있다. 다른 특성도 또한 가능하다. 반대로, 정크 이메일(204)은 전형적으로 인식된 발신자로부터 오지 않는 특성을 가지고 있다. 정크 이메일(204)은 종종 또한 제품이나 서비스를 판매하기 위해 권유에 사용되는 단어의 존재 등과 같은 다른 특성을 가지고 있다. 새로운 관측의 특성과 부재의 알려진 세트의 특성 사이의 일반적인 매치의 수에 따라, 시스템은 받은 이메일을 배치하기 위해 적절한 카테고리를 확립할 것이다.
기계 학습(machine learning)의 관점에서는, 분류 시스템은 지도 학습(supervised learning), 즉 올바르게 식별된 관측의 훈련 세트가 이용 가능한 경우의 학습의 인스턴스(instance)로 간주된다. 대응하는 비감독 절차는 클러스터링(clustering) 또는 클러스터 분석(cluster analysis)으로서 알려져 있다. 클러스터 분석은 고유의 유사성의 몇몇 측정에 기초해서 데이터를 카테고리로 그룹화하는 것을 포함할 수 있다. 측정의 예는 다차원 벡터 공간의 벡터로서 간주되는 인스턴스 사이의 거리를 포함한다.
도 3은 예시적인 실시예에 따라, 사용 중에 있는 운동학적 검지 시스템의 일례이다. 운동학적 검지 시스템(300)은 도 1의 운동학적 검지 시스템(102)일 수 있다. 사용자(302)의 움직임은 도 2의 분류(200)에 의해 나타낸 것과 유사한 방법으로 분류 시스템을 이용하여 그 시스템에 의해 분류될 수 있다.
상술한 바와 같이, 예시적인 실시예는 사용자(302)의 움직임에 운동학적 검지 시스템(300)을 사용하여도 좋다. 도 1의 운동학적 검지 시스템(102)과 같은 모션 감지 입력 장치는, 그 또는 그녀의 주위(304)에 관하여 사용자(302)의 자세의 변화를 검지하기 위해 운동학적 검지 시스템(300)의 일부분으로서 사용되어도 좋다.
전형적으로, 운동학적 검지 시스템(300)과 같은 모션 감지 입력 장치는 검지된 움직임이 발생한 장소의 데카르트 좌표(Cartesian coordinates, 평행 좌표)를 디스플레이하는 소프트웨어를 포함한다. 이 디스플레이는 막대기 사람(stick person; 306)과 같은 막대기 사람의 형태를 취할 수 있거나, 또는 시각적으로 전혀 표시되지 않을 수도 있다. 어느 하나의 경우에, 예시적인 실시예는 사용자(302)의 움직임을 계산하기 위해 측정된 좌표를 사용하여도 좋다.
대상물(subject)의 움직임을 측정하기 위해서는, 예시적인 실시예는 모든 당사자(party)에 의해 공유되는 자세의 좌표를 상호 연관시킬 수 있는바, 다시 말해서 예시적인 실시예는 손 움직임을 손 움직임과 비교할 수 있다. 측정은 필요에 따라 더 표준화될 수 있다. 예를 들어, 예시적인 실시예는 또한 측정을 표준화할 때에 중심 엉덩이 대 척추(spine)와 같이 비교적 정적인 신체 부위 사이의 거리를 사용할 수 있다.
도 4, 도 5 및 도 6은 모두 사전에 기록된 활동의 예를 나타낸다. 사전에 기록된 활동은, 연상 기억 장치 또는 프로세서가 미리 기록된 활동 중 하나로서 알려지지 않은 입력 데이터를 분류하기 위해 알려지지 않은 입력 데이터를 알려진 사전 기록된 활동과 비교할 수 있도록, 도 1의 연상 기억 장치(104)와 같은 연상 기억 장치를 훈련하기 위해 사용된다. 분류의 일례가 도 2에 나타내어져 있다. 입력 데이터는, 도 3의 운동학적 검지 시스템(300)과 같은 모션 입력 장치로부터 도출될 수 있다.
보다 구체적으로는, 도 4는 예시적인 실시예에 따라, 손을 뻗치는 것으로서 분류되어 미리 기록된 활동의 일례를 나타낸다. 도 5는 예시적인 실시예에 따라, 서 있는 것으로서 분류되어 미리 기록된 활동의 일례를 나타낸다. 도 6은 예시적인 실시예에 따라, 무릎 꿇는 것으로서 분류되어 미리 기록된 활동의 일례를 나타낸다.
알려지지 않은 입력 데이터의 미리 기록된 활동으로의 매칭의 질을 향상시키기 위해서, 연상 기억 장치는 관심있는 주어진 활동을 구성하는 것이 무엇인가 하는 다중의 예에 의해 훈련될 수 있다. 따라서, 예를 들어, 자세(400), 자세(402), 자세(404), 자세(406)는 모두 손을 뻗치는 예이고, 도 4에 나타낸 바와 같음에도 불구하고 4개의 자세는 모두 서로 다소간 차이가 있다. 마찬가지로, 자세(500), 자세(502), 자세(504), 자세(506)는 모두 서 있는 예이고, 도 5에 나타낸 바와 같음에도 불구하고 4개의 자세는 모두 서로 다소간 차이가 있다. 마찬가지로, 자세(600), 자세(602), 자세(604), 자세(606)는 모두 무릎 꿇는 예이고, 도 6에 나타낸 바와 같음에도 불구하고 4개의 자세는 모두 서로 다소간 차이가 있다. 도 6의 경우, 무릎 꿇는 예는 연상 기억 장치가 다른 각도에서 같은 자세를 인식할 수 있도록 운동학적 검지 시스템에 대해 다른 각도에서 취해지고 있다는 점에 유의해야 한다.
이제, 일단 연상 기억 장치가 성공적으로 분류했다면, 도 4∼도 6에 나타낸 것과 같은 관심있는 자세 중 하나에 알려지지 않은 입력을 행하는 것이 무엇인지에 대해 주의해야 한다. 예시적인 실시예의 목적은, 개인이 운동학적 검지 시스템 또는 다른 모션 감지 입력 장치를 이용하여 특정 자세에 있는지를 검지하고, 그 자세에 관한 메트릭스를 수집하기 위한 것이다. 이 특정 목적을 달성하기 위해, 예시적인 실시예는 활동의 사전 기록된 목록(list)을 저장하기 위해 연상 기억 장치를 이용할 수 있다. 각 활동은 사용자가 메트릭스를 수집하고자 하는 자세 또는 복수의 자세를 포함하고 있다.
그리고, 감시 단계 중에 개인의 움직임은 그것들이 미리 기록된 활동의 자세 중 하나와 매치하는지를 확인하기 위해 연상 기억 장치 분류에 의해 주기적으로 시험될 수 있다. 매치가 존재하는 경우에는, 예시적인 실시예는 감시되는 개인이 특정 자세를 유지하는 한 그 자세에 관한 메트릭스를 수집한다.
전체적인 프로세스는 수 개의 논리적인 단계를 포함한다. 명확하게 하기 위해, 다음의 예는 무릎 꿇는 자세, 서 있는 자세 및 손을 뻗치는 자세를 포함하는 몇몇 장비를 설치하는 개인을 감시하는 예를 이용하여 각 단계를 설명하기로 한다.예시적인 실시예는, 이들의 자세에 대해 메트릭스를 수집한다. 이 예에서는, 수집된 메트릭스는 개인이 각각의 자세를 유지하는 지속 시간(duration)이다. 그렇지만, 이 특정 예는 청구되는 발명 또는 본 명세서에 기재된 다른 예시적인 실시예를 한정하는 것은 아니고; 본 명세서에서 설명되지 않은 많은 다른 예가 가능하다는 점에 유의해야 한다.
이 특정의 예시적인 실시예에서는, 제1 단계는 사용자가 메트릭스를 수집하고자 하는 자세를 특정하는 것이다. 이들 자세는 "신발 끈을 묶는 것(tying a shoe)"과 같은 전체적인 움직임 또는 활동의 일부일 수 있거나, 또는 그것들은 "무릎 꿇는 것(kneeling)"과 같은 정지 자세처럼 간단할 수 있다.
어느 경우에나, 다음의 제2 단계에서 사용자는 모션 센서의 앞 부분에서의 각각의 움직임을 실증하고 그것들을 각각 기록한다. 이러한 기록은 연상 기억 장치의 분류에 대한 기준이 될 것이다. 이 설치 예에서는, 메트릭스가 식별되어야 하는 자세는 무릎 꿇고 있는 자세, 서 있는 자세, 그리고 손을 뻗치는 자세이다. 이들의 자세에 대한 메트릭스는 그들의 지속 시간(duration)이다.
이 제2 단계에서 설명되는 활동을 기록하는 목적은, 수집된 통계를 필요로 하는 자세 또는 복수의 자세가 수집된 메트릭스를 필요로 하는 분류 시스템에 전하기 위한 것이다. 이 제2 단계 중에, 사용자는 특정 자세가 캡처될 정도로 각 활동을 실증하는 것만을 필요로 한다.
예를 들어, 누군가가 손을 뻗치는 것에 관련된 메트릭스를 수집하기를 원한다면, 도 4에 개념화된 바와 같이 손을 뻗치는 모션(reaching motion)으로 몇 차례 자신의 신체의 일부분을 내밂으로써, 손을 뻗치는 것을 실증할 수 있다. 예를 들어, 사용자는 항공기의 객실 내로 수하물 랙(luggage rack)의 설치를 시뮬레이션할 수 있다. 사용자는 각각 도 5 및 도 6에 개념화된 바와 같이 서 있는 자세 및 무릎 꿇는 자세의 다른 자세에 대해 이 프로세스를 반복한다.
각 활동은 다른 사람을 이용하여 수 차례 실증될 수 있고 다른 각도에서 기록될 수 있다. 다수의 다른 사람 중 각각에 의한 다수의 실증은 각각 원하는 결과에 대한 풍부한 설명을 연상 기억 장치에 제공한다.
도 7은 예시적인 실시예에 따른 분류 시스템에 활동을 삽입하는 예를 나타낸다. 도 7은 위에서 시작된 연상 기억 장치를 훈련하고 있는 프로세스의 제3 단계를 나타낸다. (관심있는 자세를 식별하는) 제1 단계 및 (연상 기억 장치를 훈련하는 자세의 예를 실증하는) 제2 단계는 도 4 내지 도 6에 대해 상기에 설명한 바와 같다. 연상 기억 장치(700)는 예를 들어 도 1의 연상 기억 장치(104)일 수 있다. 분류 시스템(702)은 예를 들어 도 2의 분류(200)를 수행하기 위해 사용될 수 있다. 손 뻗치기(704), 서 있기(706) 및 무릎 꿇기(708)의 실증된 입력은, 각각 예를 들어 도 4, 도 5 및 도 6에 나타낸 것들일 수 있다.
마찬가지로 상술한 바와 같이, 제2 단계에서 설명한 미리 기록된 활동은 연상 기억 장치(700)의 분류 시스템(702)일 수 있는 분류 시스템을 훈련하기 위해 사용되는 사실 데이터(truth data)를 나타낸다. 각 기록은 움직임의 의도를 설명하는 결과(outcome; 710), 결과(712) 및 결과(714) 등과 같은 결과에 의해 수반된다. 훈련 단계 중에, 연상 기억 장치(700)는 캡처된 대응하는 자세를 분류하기 위하여 각 기록의 결과를 캡처된 대응하는 자세 모두와 관련시킨다. 매치가 존재하는 경우의 결과는 어떤 분류가 리턴되는가이다. 이 경우, 결과는 "분류기(classifier)"로서 알려져 있다.
예시적인 실시예는 일련의 움직임으로서 자세를 캡처하기 때문에, 근본적인 분류(underlying classification)가 더 유연하다. 이 기술은, 개인이 실제로 활동을 하고 있었다고 단정하기 위해 매치가 활동 중에 언제든지 발생하도록 한다. 그 결과, 예시적인 실시예는 그 뉘앙스보다 활동의 역학(mechanics)에 중점을 두고 있다. 따라서, 이 기술은 개인의 신체 부위의 정확한 자세를 추적하는 것보다 적은 처리 전력을 사용한다. 일단 훈련이 완료되면, 예시적인 실시예는 새로운 관측이 특정 결과를 판단하고 필요에 따라 메트릭스를 수집하기 위해 수집된 데이터에 대해 분류될 수 있는 연상 기억 장치에 캡처된 데이터를 삽입한다.
설치 예(installation example)에서는, 분류 시스템은 시스템을 훈련하기 위해 무릎 꿇기, 서 있기, 손 뻗치기 등의 사전에 기록된 활동을 이용한다. 이 훈련은 다시 프로세스의 제3 단계이다. 도 7에서 실증된 바와 같이 완전한 세트는 연상 기억 장치(700)의 분류 시스템(702)에 삽입되게 된다.
도 8은 예시적인 실시예에 따라, 활동을 모니터링하는 예를 나타낸다. 모니터링은, 도 4 내지 도 6에 관하여 설명된 제1, 제2 단계 및 도 7에 관하여 설명된 제3 단계와 더불어, 위에서 시작된 프로세스의 제4 단계를 나타낸다. 운동학적 검지 시스템(800)은 예를 들어 도 3의 운동학적 검지 시스템(300)일 수 있다. 운동학적 검지 시스템(800)은 또한 모션 감지 입력 장치로서 언급될 수 있다.
모니터링하는 제4 단계 중에, 시스템은 주기적으로 운동학적 검지 시스템(800)의 정보를 수집한다. 시스템은, 그 시스템이 어떻게 구성되느냐에 따라 단일 프레임 또는 다수의 프레임으로서 이 정보를 수집할 수 있다. 프레임 또는 프레임들은 모션 센서가 조회될 때 모션 센서가 보는 것이 무엇인지 현재의 스냅샷(snapshot)에 제공한다. 목표는, 개인이 몇몇 자세, 아마도 메트릭스가 수집될 수 있는 사전 식별된 자세에 있는지 여부를 판단하는 것이다.
제5 단계는 연상 기억 장치 분류 또는 몇몇 다른 분류 시스템을 이용하여 캡처된 자세를 식별하는 것이다. 연상 기억 장치는 사람(802)의 알려지지 않은 자세의 특성을 이전에 기록된 알려진 자세의 그들 특성과 매치시킴으로써 사람(802)의 자세를 분류한다. 사람(802)은 훈련, 예를 들어 사전에 기록된 활동 내의 자세를실증한 사람과 동일 인물일 필요가 없었다는 점에 유의해야 한다. 어떠한 경우에도, 시스템은 그에 따라 알려진 자세를 분류할 것이다. 분류 시스템은 미리 기록된 활동 중 어느 하나와 매치하지 않으면, 분류 시스템은 빈 결과를 반환할 것이고, 그에 따라 메트릭스가 수집되지 않게 된다.
도 8은 사람(802)이 무릎을 꿇고 있는 것을 나타낸다. 운동학적 검지 시스템(800)은 무릎을 꿇고 있는 것으로서 사람(802)을 분류한다. 무릎을 꿇고 있는 시간(관심있는 메트릭)은 단계 6에서 메트릭스의 수집 중에 기록되어야 하기 때문에, 사람(802)이 무릎을 꿇고 보내는 시간의 양이 추적될 것이다. 이 시간은 연속적일 필요는 없다. 예를 들어, 사람(802)은 당분간은 무릎을 꿇고, 메트릭스가 더 이상 기록되지 않도록 당분간은 서 있으며, 무릎을 꿇고 보낸 시간이 기록되는 동안에 다시 무릎을 꿇고, 메트릭스가 더 이상 기록되지 않도록 당분간은 팔을 뻗치고 있으며, 그 다음에 무릎을 꿇고 보낸 시간이 기록되는 동안에 세 번째로 무릎을 꿇을 수 있다. 따라서, 도 8은 무릎을 꿇고 보낸 시간의 양이 기록되는 동안의 세 가지 다른 시간, 시간(804), 시간(806) 및 시간(808)을 나타낸다.
메트릭스의 수집은, 감시되는 개인이 관심있는 자세를 유지하는 동안 계속된다. 수집하지 않을 때, 방법은 단계 3에서 서술된 모니터링 단계로 돌아가 시스템이 중지하도록 요청할 때까지 계속된다.
도 9는 예시적인 실시예에 따라, 연상 기억 장치를 이용하여 메트릭스를 수집하기 위한 시스템의 일례를 나타낸다. 운동학적 검지 시스템(kinematic detection system; 900)은 예를 들어 도 1의 운동학적 검지 시스템(102) 또는 도 3의 운동학적 검지 시스템(300) 또는 도 8의 운동학적 검지 시스템(800)일 수 있다. 운동학적 검지 시스템(900)에서 사용되는 컴퓨터 또는 프로세서는 도 15의 데이터 처리 시스템(1500)을 이용하여 실현될 수 있다.
다른 물리적인 실시예가 가능하지만, 예시적인 실시예의 하나의 가능한 물리적 실시예가 도 9에 나타내어져 있다. 도시된 바와 같이, 운동학적 검지 시스템(900)은 아마도 연상 기억 장치를 포함하는 예시적인 실시예를 실시하기 위해 사용되는 소프트웨어를 실행하는 프로세서(904)에 연결된 모션 센서(motion sensor; 902)를 사용한다. 프로세서(904)를 포함한 컴퓨터는 장치가 훈련 모드(training mode) 또는 감시 모드(monitor mode)에 있는지 여부를 표시하기 위해 사용되는 모드 표시기(mode indicator; 906)를 포함할 수 있다. 컴퓨터는 또한 어느 활동이 훈련되어야 하는지를 표시하기 위해 활동 표시기(activity indicator; 908)를 포함할 수 있다. 운동학적 검지 시스템(900)은 선택적 전원 코드(optional power cord; 910) 또는 배터리를 포함할 수 있다. 운동학적 검지 시스템(900)은 또한 선택적 네트워크 코드(optional network cord; 912) 또는 운동학적 검지 시스템(900)을 네트워크에 연결하는 무선 장치를 포함할 수 있다. 어떠한 경우에도, 운동학적 검지 시스템(900)은 연상 기억 장치, 데이터베이스 또는 예시적인 실시예를 실시하기 위해 사용되는 어떤 다른 시스템과 통신할 수 있다. 그러나, 몇몇의 예시적인 실시예에서는, 사용되는 모든 소프트웨어가 프로세서(904) 자체 내에 포함되어 있어도 좋다. 다른 예시적인 실시예에서는, 소프트웨어는 대신에 주문형 집적 회로(application specific integrated circuit, ASIC)로 실현되어도 좋다.
운동학적 검지 시스템(900)은 다른 선택 장치(optional device) 또는 객체를 포함할 수 있다. 예를 들어, 운동학적 검지 시스템(900)은 선택 스탠드(optional stand; 914)를 포함할 수 있거나, 또는 모션 센서(902)가 쉽게 움직임을 관찰할 수 있는 어딘가에 놓여질 수 있다. 운동학적 검지 시스템(900)은 또한 스크린(916), 또는 출력을 보고 또는 표시하기 위해 사용되는 프린터 또는 다른 표시기 등과 같은 몇몇 다른 출력 장치를 포함할 수 있다. 선택적으로, 플러그인 프린터(plug-in printer; 918)가 보고서, 메트릭스 또는 다른 출력을 인쇄하기 위해 제공될 수 있다.
마지막으로, 선택적 플러그인 노트북(optional plug-in laptop; 920), 태블릿, 이동 전화, 또는 다른 컴퓨터 시스템이 운동학적 검지 시스템(900)을 구성하거나 최적화하는 것을 돕기 위해 사용될 수 있다. 게다가, 플러그인 노트북(920)도 또한 원하는 대로 소프트웨어를 업데이트하기 위해 사용될 수 있다. 프로세서(904) 또는 플러그인 노트북(920)의 어느 하나는 사람 또는 객체의 자세에 관한 메트릭스를 수집하기 위한 시스템의 일부로서 사용될 수 있다. 따라서, 예를 들어, 프로세서(904) 또는 플러그인 노트북(920)의 어느 하나는 상술한 바와 같이 사람 또는 객체를 모니터링하고 사람 또는 객체의 자세를 분류한 후 사람 또는 객체의 특정 자세에 관한 메트릭스를 수집하기 위해 이들 장치 중 어느 하나에 연결된 연상 기억 장치와 함께 사용될 수 있다.
다르게 말하면, 예시적인 실시예의 하나의 가능한 실시예가 도 9에 나타내어져 있다. 나타낸 바와 같이, 운동학적 검지 시스템(900)은 예시적인 실시예를 실시하는 데 유용한 소프트웨어를 포함하는 CPU 장치에 연결된 모션 센서(902)를 사용한다. CPU 장치는 모드를 전환하기 위해 사용되는 모드 표시기(906)를 가질 수 있다. 예를 들어, CPU 장치는 훈련(training) 또는 모니터링(monotoring, 감시)으로 설정될 수 있다. 활동 표시기(908)는 사용자가 시스템이 훈련하고 있는 활동이 어느 활동인지를 식별할 목적으로 소정의 활동을 선택하도록 할 수 있다. 예를 들어, 이러한 표시기는 어느 활동이 캡처되어 있는지를 설명하는 보충 목록에 대응할 수 있다. 예시적인 실시예는 선택적 전원 코드(910) 또는 배터리를 포함할 수 있다. 예시적인 실시예는 또한 선택적 네트워크 코드(912) 또는 이것을 네트워크에 연결하는 무선 장치를 포함할 수 있고, 그 결과 연상 기억 장치, 데이터베이스 또는 어떤 다른 시스템 자격 증명(system credentials)에 액세스될 수 있다. 그러나, CPU 장치 자체 내에 예시적인 실시예를 위해 필요한 소프트웨어 전부를 배치할 수 있다.
예시적인 실시예는 선택 스탠드(914)를 포함할 수 있거나, 또는 다른 안전한 곳에 배치될 수 있다. 예시적인 실시예는 수집된 메트릭스의 결과를 디스플레이하기 위해 사용되는 스크린(906)과 같은 보고서 출력을 포함할 수 있다. 선택적 플러그인 노트북(920)은 예시적인 실시예를 구성, 업데이트 또는 최적화하는 것을 돕기 위해 사용될 수 있다. 다른 옵션은 현장(site)에 관한 보고서 또는 메트릭스의 하드 카피(hard copy)에 대한 사용자 액세스를 허용하는 선택적 플러그인 프린터(918)을 포함하는 것이 될 것이다.
도 9에 나타낸 예시적인 실시예는, 다른 예시적인 실시예가 실시될 수 있는 방식(manner)에 물리적 또는 구조적 제한을 암시하는 것을 의미하는 것은 아니다.도시된 것에 부가해서 및/또는 그 대신에 다른 구성 요소(component)가 사용되어도 좋다. 몇몇 구성 요소는 몇몇 예시적인 실시예에 불필요할 수도 있다. 또한, 블록은 몇몇의 기능적인 구성 요소를 설명하기 위해 제시되어 있다. 이들 블록 중 하나 이상은 다른 예시적인 실시예에서 실시될 때 다른 블록에 결합되거나 및/또는 다른 블록으로 분할될 수 있다.
도 10은 예시적인 실시예에 따라, 결과 카테고리(result category)로서 결과와 엔티티 비교(entity comparison)의 일례를 나타낸다. 엔티티 비교(1000)는, 도 1의 연상 기억 장치(104)와 같은 연상 기억 장치가 도 4 내지 도 9에 관하여 상술한 바와 같이 일련의 훈련 자세에 대해 알려지지 않은 입력을 어떻게 분류할 수 있는가의 일례이다.
예시적인 실시예의 하나의 가능한 실현은, 관심있는 활동을 캡처하기 위해 저렴한 모션 센서 및 그들을 기록하기 위해 구조화된 조회 언어(structured query language, SQL) 데이터베이스를 사용하는 것이다. 그 후, 연상 기억 장치가 사전에 기록된 것에 대해 모션 센서에 의해 공급되는 새로운 관측을 분류하기 위해 사용될 수 있다.
이 실현에서는, 사용자가 미리 정의된 데이터베이스를 설정하고, 모션 센서에 의해 캡처된 훈련 데이터를 삽입한다. 훈련 데이터의 결과는, 메트릭스가 요구한 각 자세에 대응하여 그에 따라 라벨로 분류될 것이다. 그 후, 연상 기억 장치를 이용하여, 사용자는 그에 대해 새로운 관측을 분류할 목적으로 이 데이터를 연상 기억 장치에 입수(ingest)시킬 것이다. 데이터의 결과는 일반적인 분류기로서 사용되게 된다.
일단 입수되면, 사용자는 시스템이 정기적으로 모션 센서로부터의 움직임 데이터를 주기적으로 캡처하여 그것과 같은 다른 움직임을 찾기 위해 캡처된 데이터에 엔티티 비교를 수행하도록 할 수 있다. 엔티티 비교의 결과 카테고리는 "결과(outcome)"로 설정될 것이다. 그 결과, 도 10에 나타낸 바와 같이 새로운 관찰이 가장 잘 식별하는 움직임의 결과를 채택할 것이다. 따라서, 예를 들어, "손 뻗치기(reaching)"의 결과(1004)에 속하는 공통 속성(1002)의 세트는 새로운 관측(1006)의 그들 속성과 매치한다. 스코어(1008)는 0에서 1까지의 스케일에 있을 수 있고, 실증된 자세로의 알려지지 않은 입력의 속성 또는 활동의 속성의 매치의 근접(closeness)을 나타낸다. 다른 스코어가 형성되거나 또는 스케일이 스코어(1008)를 위해 사용될 수 있다.
전형적으로, 엔티티 비교의 결과는 오리지널 또는 찾아낸 엔티티와 "같거나" 또는 오리지널 또는 찾아낸 엔티티와 "유사한" 엔티티의 정렬된 목록이다. 연상 기억 장치는 목록을 만들기 위해 이들 엔티티간의 매치하는 속성을 모두 수집한다. 그 목록의 순서는 매치하는 속성의 중요성(significance)에 의존한다. 추가적으로, 그 순위(ranking)와 스코어는 발견된 속성의 수에 상관한다.
더 명확한 결과를 위해, 시스템은 결과 카테고리로서 사전에 정의된 결과를 이용하여 엔티티 비교를 수행할 수 있다. 메모리는 무릎 꿇기, 서 있기 또는 손 뻗치기 등과 같은 특정 결과와 함께 각 엔티티 연관 자체를 갖도록 사전에 구성될 수 있다. 이 기술은, 결과 카테고리, 이 경우에는 일반적인 분류기로서 결과를 이용하여 새로운 관측을 분류하는 효과적인 방법이다.
예시적인 실시예는 종업원들이 그들의 일상적인 작업을 어떻게 수행하는지에 관하여 관계가 있는 메트릭스를 수집하는 데 관심이 있는 민간 기업, 정부 또는 다른 조직에도 적용 가능한다. 예시적인 실시예는, 대규모 제조가 비침투적으로 이러한 메트릭스를 수집하도록 한다.
예를 들어, 조합 규약 스태프(union contracted staff)를 고용하거나 조합 규정(union regulations)을 받는 모든 회사가 예시적인 실시예를 이용할 수 있다. 데이터는 침입하는 일없이 수집되고 특정 개인을 식별하는 것이 물리적으로 불가능한 방법으로 기록된다. 이들 장점은 개인의 비디오 감시가 금지되는 작업 환경에서 모니터링 및 메트릭 수집을 허용한다.
예시적인 실시예는, 그렇게 하는 것이 곤란할 수도 있는 영역에서의 활동을 감시하고 측정하기 위한 효율적인 방법을 제공한다. 더욱이, 예시적인 실시예는 어떤 다른 방법으로 측정하는 것이 곤란한 자세에 메트릭스를 제공할 수 있다.
예시적인 실시예는, 종업원들이 잠재적으로 위험한 자세를 얼마나 유지할 수 있는지에 관한 메트릭스를 수집하는 비용 효율적인 방법을 제공하고, 그에 의해 증가된 의료비를 회피하는 것을 돕는다. 예시적인 실시예는, 안전 목표를 측정하려고 할 때, 회사가 결과를 정량화하는 데 사용할 수 있는 안전 메트릭스를 수집하기 위해 사용될 수 있다. 예시적인 실시예는, 안전 목표 및 좋은 자세 대 나쁜 자세의 모델 예(showcase examples)를 벤치마크(benchmark)하기 위해 공장 내에서 사용될 수 있다. 예시적인 실시예는, 그것들을 방지하는 희망을 가지고 반복적인 모션 손상의 빈도를 측정하는 데 사용될 수 있다. 예시적인 실시예는, 잘못된 인체 공학(incorrect ergonomics)이 종업원을 교육하는 희망을 가지고 사무소 건물 내에서 얼마나 자주 발생하는지를 측정하기 위해 사용될 수 있다. 예시적인 실시예는, 다른 방법으로 측정하는 것은 불가능한 자세에 메트릭스를 제공할 수 있다. 이러한 사실은, 관리자(supervisor)가 특정 제조 작업이 해를 일으킬지도 모른다고 의심하는 장소에서 사용될 수 있다. 다른 이점이 존재한다.
도 11은 예시적인 실시예에 따른 개인의 관심있는 모션을 식별하기 위한 방법의 플로우차트이다. 방법(1100)은 도 4 내지 도 8에 관하여 설명된 6개의 단계의 합성일 수 있다. 그러나, 더 많거나 더 적은 동작이 수행되어도 좋다. 방법(1100)은 도 1 내지 도 3뿐만 아니라 도 8 및 도 9에 도시된 시스템 중 하나를 이용하여 수행될 수 있다. 예를 들어, "시스템"에 대한 참조는 이하에 설명되는 동작을 수행하기 위한 다른 장치를 언급할 수 있지만 도 9의 시스템(900)으로 될 수 있다.
방법(1100)은, 시스템이 측정하기 위한 자세를 식별하는 동작으로 시작할 수 있다(동작 1102). 이들 자세는 사람이나 객체의 자세 또는 활동일 수 있다. 그 후, 시스템은 식별된 자세를 기록한다(동작 1104). 식별된 자세는 사용자 또는 후에 감시되어야 할 자세 또는 활동을 수행하는 사용자 또는 객체에 의해 기록될 수 있다. 방법(1100)은 기록된 자세를 이용하여 연상 기억 장치 분류를 훈련함으로써 계속된다(동작 1106). 연상 기억 장치는 기록된 자세를 입수하도록 연상 기억 장치에 명령을 내림으로써 훈련될 수 있다.
다음에, 시스템은 모션 감지 입력 장치 또는 운동학적 검지 장치를 이용하여 사람 또는 객체의 자세를 모니터링한다(동작 1108). 이들 동작은 도 8에 관하여 설명되어 있다. 그 후, 시스템은 연상 기억 장치 분류를 이용하여 입력 데이터에 의해 표시되는 사람 또는 객체의 자세를 식별한다(동작 1110). 이 동작도 또한 도 8에 관하여 설명되어 있다. 자세가 식별된 자세 중 하나인 경우는, 메트릭스가 자세에 대해 수집된다(동작 1112). 이 동작도 또한 도 8에 관하여 설명되어 있다.
그 다음에, 모니터링을 계속할 것인지 여부의 판정이 이루어진다(동작 1114). 모니터링이 계속되는 것인 경우는, 방법(1100)은 동작 1108로 돌아가 계속된다. 모니터링이 계속되는 것이 아닌 경우는, 프로세스는 종료될 수 있다.
도 11에 나타낸 예시적인 실시예는, 다른 예시적인 실시예가 실시될 수 있는 방식에 물리적 또는 구조적 제한을 암시하는 것을 의미하는 것은 아니다. 도시된 것에 부가해서 및/또는 그 대신에 다른 구성 요소가 사용되어도 좋다. 몇몇 구성 요소는 몇몇 예시적인 실시예에 불필요할 수도 있다. 또한, 블록은 몇몇의 기능적인 구성 요소를 설명하기 위해 제시되어 있다. 이들 블록 중 하나 이상은 다른 예시적인 실시예에서 실시될 때 다른 블록에 결합되거나 및/또는 다른 블록으로 분할될 수 있다.
도 12는 예시적인 실시예에 따른 개인의 관심있는 움직임을 식별하기 위한 방법의 다른 플로우차트이다. 방법(1200)은 방법(1100)의 변형이다. 따라서, 방법(1100)은 도 4 내지 도 8에 관하여 설명된 6개의 단계의 합성일 수 있다. 그러나, 더 많거나 더 적은 동작이 수행되어도 좋다. 방법(1100)은 도 1 내지 도 3뿐만 아니라 도 8 및 도 9에 도시된 시스템 중 하나를 이용하여 실시될 수 있다. 예를 들어, "시스템"에 대한 참조는 이하에 설명되는 동작을 수행하기 위한 다른 장치를 언급할 수 있지만 도 9의 시스템(900)으로 될 수 있다.
방법(1200)은 개인의 관심있는 모션을 식별하기 위한 방법으로서 특징지어질 수 있다. 방법(1200)은 컴퓨터에서 시간의 간격 동안 모션 센서로부터 개인의 모션의 모션 센서 입력 데이터를 수집하는 것을 포함할 수 있다(동작 1202). 다음에, 방법(1200)은, 컴퓨터를 이용하여, 관심있는 일련의 분류되어 미리 정해진 모션을 갖는 분석 어플리케이션(analysis application)을 이용하여 모션 센서 입력 데이터를 분석하는 것을 포함할 수 있고(동작 1204), 이 경우 분석 어플리케이션은 공유된 상대적 속성(relative attributes)에 기초해서 관심있는 복수의 미리 정해진 모션 중 하나에 대응하는 모션으로서 시간의 간격 동안에 캡처된 움직임을 분류한다. 다음에, 방법(1200)은 관심있는 식별된 미리 정해진 모션의 통지를 모니터링 시스템에 제공하는 출력을 생성하는 것을 포함할 수 있다(동작 1206). 그 후, 처리가 종료될 수 있다. 그러나, 방법(1200)은 변경되어도 좋고, 더 많거나 또는 더 적은 동작을 포함할 수 있다. 예를 들어, 방법(1200)은 식별된 관심있는 미리 정해진 모션이 미리 정해진 임계값을 초과할 때 경보 출력(alarm output)을 생성하는 시스템을 더 포함할 수 있다. 방법(1200)은 통지를 수신하는 것에 응답하여 관심있는 모션에 관한 메트릭스를 수집하는 것을 더 포함할 수 있다. 방법(1200)은 통지를 수신하는 것에 응답하여 개인에 의한 추가적인 움직임에 관한 메트릭스를 수집하는 것을 더 포함할 수 있다.
도 12에 나타낸 예시적인 실시예는, 다른 예시적인 실시예가 실시될 수 있는 방식에 물리적 또는 구조적 제한을 암시하는 것을 의미하는 것은 아니다. 도시된 것에 부가해서 및/또는 그 대신에 다른 구성 요소가 사용되어도 좋다. 몇몇 구성 요소는 몇몇 예시적인 실시예에 불필요할 수도 있다. 또한, 블록은 몇몇의 기능적인 구성 요소를 설명하기 위해 제시되어 있다. 이들 블록 중 하나 이상은 다른 예시적인 실시예에서 실시될 때 다른 블록에 결합되거나 및/또는 다른 블록으로 분할될 수 있다.
도 13은 예시적인 실시예에 따른 개인의 관심있는 모션을 식별하기 위한 장치이다. 장치(1300)는 도 9의 시스템(900)의 변형일 수 있다. 장치(1300)는 개인의 관심있는 모션을 식별하기 위한 장치로서 특징지어질 수 있다.
장치(1300)는 모션 센서(1302)를 포함할 수 있다. 모션 센서(1302)는 비침투식이어도 좋다. 장치(1300)는 또한 모션 센서와 통신하는 컴퓨터(1304)를 포함할 수 있으며, 컴퓨터(1304)는 시간의 간격 동안 개인의 모션에 대해 모션 센서(1302)로부터의 모션 센서 데이터를 수집하도록 구성되어 있다. 컴퓨터(1304)는 예를 들어 도 15의 데이터 처리 시스템(1500)일 수 있다.
장치(1300)는 또한 관심있는 분류되어 미리 정해진 일련의 모션을 갖는 분석 어플리케이션(1308)을 기억하는 비일시적인 컴퓨터 판독가능 저장 매체(1306)를 포함할 수 있다. 분석 어플리케이션(1308)은 또한, 컴퓨터(1304)에 의해 실행될 때, 분석 어플리케이션(1308)이 공유된 상대 속성에 기초해서 복수의 관심있는 미리 정해진 모션 중 하나에 대응하는 모션으로서 시간의 간격 동안에 캡처된 개인의 움직임을 분류하도록 더 구성될 수 있다. 분석 어플리케이션(1308)은 또한 실행될 때 모니터링 시스템에 관심있는 식별된 미리 정해진 모션의 통지를 제공하는 출력을 생성하도록 구성될 수 있다.
장치(1300)는 변경되어도 좋다. 예를 들어, 프로세서는 식별된 관심있는 미리 정해진 모션이 미리 정해진 임계값을 초과할 때 경보 출력(alarm output)을 생성하도록 더 구성될 수 있다. 컴퓨터(1304)는 또한 통지를 수신하는 것에 응답하여 관심있는 모션에 관한 메트릭스를 수집하도록 더 구성될 수 있다. 컴퓨터(1304)는 또한 통지를 수신하는 것에 응답하여 개인에 의한 추가적인 움직임에 관한 메트릭스를 수집하도록 더 구성될 수 있다.
도 13에 나타낸 예시적인 실시예는, 다른 예시적인 실시예가 실시될 수 있는 방식에 물리적 또는 구조적 제한을 암시하는 것을 의미하는 것은 아니다. 도시된 것에 부가해서 및/또는 그 대신에 다른 구성 요소가 사용되어도 좋다. 몇몇 구성 요소는 몇몇 예시적인 실시예에 불필요할 수도 있다. 또한, 블록은 몇몇의 기능적인 구성 요소를 설명하기 위해 제시되어 있다. 이들 블록 중 하나 이상은 다른 예시적인 실시예에서 실시될 때 다른 블록에 결합되거나 및/또는 다른 블록으로 분할될 수 있다.
도 14는 예시적인 실시예에 따라, 특정 모션이 복수의 미리 정해진 모션의 서브세트(subset) 중 하나와 매치할 때 모니터링 시스템에 통지하기 위한 시스템이다. 시스템(1400)은 도 9의 시스템(900) 및 도 14의 시스템(1400)의 변형일 수 있다.
시스템(1400)은 객체(1406)의 일부의 복수의 물리적인 자세를 검지하도록 구성된 하나 이상의 센서(1404)를 갖는 운동학적 측정 장치(kinematic measurement device; 1402)를 포함할 수 있다. 시스템(1400)은 또한 운동학적 측정 장치(1402)와 통신하는 연상 기억 장치(1408)를 포함할 수 있다. 연상 기억 장치(1408)는 복수의 데이터 및 복수의 데이터간의 복수의 연관을 포함할 수 있다. 복수의 데이터는 연관된 그룹에 수집된다. 연상 기억 장치는 복수의 데이터간의 적어도 간접적인 관계에 기초해서 조회되도록 구성되어 있다.
시스템(1400)은 프로세서(1410)를 더 포함할 수 있다. 프로세서(1410)는 연상 기억 장치(1408) 및 운동학적 측정 장치(1402)와 통신할 수 있다. 프로세서(1410)는, 운동학적 측정 장치(1402)로부터 객체의 모션 입력 데이터를 수신하고, 연상 기억 장치(1408)와 공동으로 모션 입력 데이터를 연상 기억 장치(1408)에 저장된 복수의 미리 정해진 모션과 비교하며, 모션 입력 데이터를 복수의 미리 정해진 모션으로부터 선택된 특정 모션으로서 분류하고, 특정 모션이 복수의 미리 정해진 모션의 서브세트 중 하나와 매치할 때 모니터링 시스템(1412)에 통지하도록 구성될 수 있다. 모니터링 시스템(1412)은 미리 정해진 모션에 대한 메트릭스를 감시하도록 구성될 수 있다.
예를 들어, 프로세서(1401)는 특정 모션이 복수의 미리 정해진 모션의 서브세트 중 하나와 매치할 때 모니터링 시스템(1412)이 객체의 추가적인 모션을 측정하는 것이 가능하도록 더 구성될 수 있다. 모니터링 시스템(1412)은 객체가 미리 정해진 자세에서 보내는 시간의 양을 감시하도록 구성될 수 있다.
다른 예시적인 실시예에서는, 프로세서(1410)는 연상 기억 장치(1408)와 공동으로 객체의 추가적인 모션의 평가를 출력하도록 구성될 수 있다. 예시적인 실시예에서, 서브세트는 사용자에 의해 선택된 기준에 기초를 둘 수 있다.
예시적인 실시예에서는, 객체는 사람일 수도 있다. 예시적인 실시예에서, 서브세트는 사람의 적어도 하나의 바람직하지 않은 신체 자세이어도 좋다. 예시적인 실시예에서는, 추가적인 모션은 시간의 간격 동안의 사람의 모든 모션이어도 좋다. 예시적인 실시예에서는, 추가적인 모션은 단지 시간의 간격 동안 서브세트 내에 있는 그들 모션일 수 있다. 예시적인 실시예에서는, 모니터링 시스템(1412)은 개인의 개별적인 신체 부위의 모션을 감시할 수 있다. 예시적인 실시예에서는, 프로세서(1410)는 사람의 모션이 더 이상 서브세트에 없을 때 모니터링 시스템(1412)에 통지하도록 더 구성될 수 있다.
예시적인 실시예에서는, 프로세서(1410)는 사람의 모션이 서브세트 밖에 있을 때 사람을 모니터링하는 것을 중지하도록 모니터링 시스템(1412)에 명령을 내리도록 더 구성될 수 있다. 예시적인 실시예에서는, 연상 기억 장치(1408)는 복수의 미리 정해진 모션 내에 추가의 미리 정해진 모션을 포함하고, 복수의 미리 정해진 모션의 서브세트 내에 추가의 모션을 포함하도록 훈련되는 것으로서 구성될 수 있다.
다른 변형도 또한 가능한다. 따라서, 도 14에 나타낸 예시적인 실시예는, 다른 예시적인 실시예가 실시될 수 있는 방식에 물리적 또는 구조적 제한을 암시하는 것을 의미하는 것은 아니다. 도시된 것에 부가해서 및/또는 그 대신에 다른 구성 요소가 사용되어도 좋다. 몇몇 구성 요소는 몇몇 예시적인 실시예에 불필요할 수도 있다. 또한, 블록은 몇몇의 기능적인 구성 요소를 설명하기 위해 제시되어 있다. 이들 블록 중 하나 이상은 다른 예시적인 실시예에서 실시될 때 다른 블록에 결합되거나 및/또는 다른 블록으로 분할될 수 있다.
이제 도 15를 참조하면, 데이터 처리 시스템의 도면이 예시적인 실시예에 따라 도시되어 있다. 도 15의 데이터 처리 시스템(1500)은, 예를 들어 도 1의 운동학적 검지 시스템(102), 도 9의 동작(1204) 또는 선택적 플러그인 노트북(920), 도 13의 컴퓨터(1304), 도 14의 프로세서(1410), 도 15의 컴퓨터 판독가능 매체(1520), 또는 본 명세서에 개시된 임의의 다른 모듈 또는 시스템 또는 프로세스등과 같은 예시적인 실시예를 실시하기 위해 사용될 수 있는 데이터 처리 시스템의 일례이다. 이 예시적인 예에서, 데이터 처리 시스템(1500)은 프로세서 유닛(processor unit; 1504), 메모리(1506), 영구 저장소(persistent storage; 1508), 통신 유닛(communications unit; 1510), 입력/출력(I/O) 유닛(1512) 및 디스플레이(1514) 사이의 통신을 제공하는 통신 패브릭(communications fabric; 1502)을 포함하고 있다.
프로세서 유닛(1504)은 메모리(1506)에 로드될 수 있는 소프트웨어에 대한 명령을 실행하도록 한다. 이 소프트웨어는 본 명세서의 다른 곳에서 서술된 연상 기억 장치의 어느 하나, 또는 본 명세서의 다른 곳에서 서술된 프로세스를 실시하기 위한 소프트웨어일 수 있다. 따라서, 예를 들어 메모리(1506)에 로드된 소프트웨어는, 도 11의 방법(1100), 도 12의 방법(1200)을 실행하기 위한 소프트웨어, 또는 도 4 내지 도 8에 관하여 상기에 서술된 6개의 단계를 실시하기 위한 소프트웨어일 수 있다. 프로세서 유닛(1504)은 특정 실현에 따라 다수의 프로세서, 멀티프로세서 코어 또는 몇몇 다른 종류의 프로세서이어도 좋다. 항목을 참조하여 본 명세서에서 사용되는 바와 같이 다수는 하나 이상의 항목을 의미한다. 더욱이, 프로세서 유닛(1504)은 메인 프로세서가 단일 칩에 보조 프로세서와 더불어 존재하는 다수의 이종의 프로세서 시스템(heterogeneous processor system)을 이용하여 실현될 수 있다. 다른 예시적인 실시예로서, 프로세서 유닛(1504)은 동일한 종류의 다중 프로세서를 포함한 대칭형 멀티프로세서 시스템이어도 좋다.
메모리(1506) 및 영구 저장소(1508)는 저장 장치(storage devices; 1516)의 예이다. 저장 장치는, 예를 들어, 제한 없이, 일시적 및/또는 영구적으로 데이터, 기능적인 형태의 프로그램 코드 및/또는 다른 적당한 정보 등과 같은 정보를 저장할 수 있는 하드웨어의 임의의 부분이다. 저장 장치(1516)는 또한 이러한 예에서 컴퓨터 판독가능 기억 장치라고도 일컬어질 수 있다. 이러한 예에서, 메모리(1506)는 예를 들어 랜덤 액세스 메모리(random access memory) 또는 다른 임의의 적절한 휘발성 또는 비휘발성 저장 장치이어도 좋다. 영구 저장소(1508)는 특정 실현에 따라 각종의 형태를 취할 수 있다. 예를 들어, 영구 저장소(1508)는 하드 드라이브, 플래시 메모리, 재기록 가능한 광학 디스크, 재기록가능한 자기 테이프 또는 위의 몇몇 조합이어도 좋다. 영구 저장소(1508)에 의해 사용되는 매체는 또한 이동식이어도 좋다. 예를 들어, 이동식 하드 드라이브는 영구 저장소(1508)를 위해 사용될 수 있다.
이러한 예에서, 통신 유닛(1510)은 다른 데이터 처리 시스템 또는 장치와의 통신을 제공한다. 이러한 예에서, 통신 유닛(1510)은 네트워크 인터페이스 카드이다. 통신 유닛(1510)은 물리적 및 무선 통신 링크 중 어느 하나 또는 모두의 사용을 통해 통신을 제공할 수 있다.
입력/출력(I/O) 유닛(1512)은, 데이터 처리 시스템(1500)에 연결될 수 있는 다른 장치와의 데이터의 입력 및 출력을 가능하게 한다. 예를 들어, 입력/출력(I/O) 유닛(1512)은 키보드, 마우스, 및/또는 몇몇의 다른 적절한 입력 장치를 통해 사용자 입력을 위한 연결을 제공할 수 있다. 더욱이, 입력/출력(I/O) 유닛(1512)은 프린터로 출력을 보낼 수 있다. 디스플레이(1514)는 사용자에게 정보를 디스플레이하기 위한 메카니즘(mechanism)을 제공한다. 운영 체제(operating system), 응용 프로그램(application) 및/또는 프로그램에 대한 명령은, 통신 패브릭(1502)을 통해 프로세서 유닛(1504)과 통신하는 저장 장치(1516)에 배치되어도 좋다. 이러한 예시적인 예에서, 명령은 영구 저장소(1508)에 기능적인 형태로 되어 있다. 이러한 명령은 프로세서 유닛(1504)에 의한 실행을 위해 메모리(1506)에 로드될 수 있다. 다른 실시예의 프로세스는 메모리(1506)와 같은 메모리에 배치될 수 있는 컴퓨터 실행 명령(computer-implemented instructions)을 이용하여 프로세서 유닛(1504)에 의해 수행될 수 있다.
이러한 명령은, 프로세서 유닛(1504)의 프로세서에 의해 판독되고 실행될 수 있는 프로그램 명령, 프로그램 코드, 컴퓨터 이용가능 프로그램 코드 또는 컴퓨터 판독가능 프로그램 코드라고 불린다. 다른 실시예에서 프로그램 코드는 메모리(1506) 또는 영구 저장소(1508) 등과 같은 서로 다른 물리적 또는 컴퓨터 판독가능 저장 매체에 구현(embody)되어도 좋다.
프로그램 코드(1518)는 선택적으로 제거 가능하며, 프로세서 유닛(1504)에 의한 실행을 위해 데이터 처리 시스템(1500)으로 로드되거나 데이터 처리 시스템(1500)에 전송될 수 있는 컴퓨터 판독가능 매체(1520)에 기능적인 형태로 배치되어 있다. 이러한 예에서, 프로그램 코드(1518)와 컴퓨터 판독가능 매체(1520)는 컴퓨터 프로그램 제품(1522)을 형성한다. 하나의 예에서, 컴퓨터 판독가능 매체(1520)는 컴퓨터 판독가능 저장 매체(1524) 또는 컴퓨터 판독가능 신호 매체(1526)이어도 좋다. 컴퓨터 판독가능 저장 매체(1524)는 영구 저장소(1508)의 일부인 하드 드라이브와 같은 저장 장치로의 전송을 위한 영구 저장소(1508)의 일부인 드라이브 또는 다른 장치에 삽입 또는 배치되는 광학 디스크 또는 자기 디스크를 포함할 수 있다. 컴퓨터 판독가능 저장 매체(1524)는 또한 데이터 처리 시스템(1500)에 연결된 하드 드라이브, 엄지 손가락 만한 드라이브(thumb drive) 또는 플래시 메모리 등과 같은 영구 저장소의 형식을 취할 수 있다. 몇몇 경우에는, 컴퓨터 판독가능 저장 매체(1524)는 데이터 처리 시스템(1500)으로부터 분리 가능하지 않을 수도 있다.
또는, 프로그램 코드(1518)는 컴퓨터 판독가능 신호 매체(1526)를 이용하여 데이터 처리 시스템(1500)으로 전송될 수 있다. 컴퓨터 판독가능 신호 매체(1526)는, 예를 들어 프로그램 코드(1518)를 포함한 전파된 데이터 신호일 수 있다. 예를 들어, 컴퓨터 판독가능 신호 매체(1526)는 전자기 신호, 광학 신호 및/또는 어떤 다른 적절한 종류의 신호일 수 있다. 이러한 신호는, 무선 통신 링크, 광섬유 케이블, 동축 케이블, 와이어 및/또는 어떤 다른 적절한 종류의 통신 링크 등과 같은 통신 링크에 걸쳐 전송될 수 있다. 바꾸어 말하면, 예시적인 예에서, 통신 링크 및/또는 연결은 물리적 또는 무선이어도 좋다.
몇몇의 예시적인 실시예에서는, 프로그램 코드(1518)는 데이터 처리 시스템(1500) 내에서 사용하기 위해 컴퓨터 판독가능 신호 매체(1526)를 통해 다른 장치 또는 데이터 처리 시스템으로부터 영구 저장소(1508)로 네트워크를 통해 다운로드될 수 있다. 예를 들어, 서버 데이터 처리 시스템의 컴퓨터 판독가능 저장 매체에 저장된 프로그램 코드는 서버로부터 데이터 처리 시스템(1500)으로 네트워크를 통해 다운로드될 수 있다. 프로그램 코드(1518)를 공급하는 데이터 처리 시스템은 서버 컴퓨터, 클라이언트 컴퓨터 또는 프로그램 코드(1518)를 저장 및 전송할 수 있는 몇몇의 다른 장치이어도 좋다.
데이터 처리 시스템(1500)에 대해 예시된 다른 구성 요소는, 다른 실시예가 실현될 수 있는 방식에 구조적인 제한을 제공하는 것을 의미하는 것은 아니다. 다른 예시적인 실시예는, 데이터 처리 시스템(1500)에 대해 예시된 것들에 부가해서 또는 그 대신에 구성 요소를 포함하는 데이터 처리 시스템으로 실현될 수 있다. 도 15에 나타낸 다른 구성 요소는 나타낸 예시적인 예로부터 변경될 수 있다. 다른 실시예는 프로그램 코드를 실행할 수 있는 임의의 하드웨어 유닛 또는 시스템을 이용하여 실현될 수 있다. 하나의 예로서, 데이터 처리 시스템은 무기 구성 요소와 통합된 유기 구성 요소를 포함할 수 있거나, 및/또는 완전히 인간을 제외한 유기 구성 요소로 구성될 수 있다. 예를 들어, 저장 장치는 유기 반도체로 구성될 수 있다. 다른 예시적인 예에서, 프로세서 유닛(1504)은 특정 용도를 위해 제조 또는 구성된 회로를 갖는 하드웨어 유닛의 형태를 취할 수 있다. 이러한 종류의 하드웨어는, 동작을 수행하도록 구성되는 저장 장치로부터 메모리로 로드되는 프로그램 코드를 필요로 하지 않고 동작을 수행할 수 있다.
예를 들어, 프로세서 유닛(1504)이 하드웨어 유닛의 형태를 취할 때, 프로세서 유닛(1504)은 회로 시스템, 주문형 집적 회로(application specific integrated circuit, ASIC), 프로그램 가능 논리 소자(programmable logic device), 또는 다수의 동작을 수행하도록 구성된 몇몇 다른 적절한 종류의 하드웨어일 수 있다. 프로그램 가능 논리 소자의 경우, 이 소자는 다수의 동작을 수행하도록 구성되어 있다. 이 소자는 나중에 다시 구성될 수 있거나, 또는 영구적으로 다수의 동작을 수행하도록 구성될 수 있다. 프로그램 가능 논리 소자의 예는, 예를 들어 프로그램 가능 논리 어레이, 프로그래머블 어레이 로직, 필드 프로그램 가능 논리 어레이, 필드 프로그램 가능 게이트 어레이 및 다른 적절한 하드웨어 유닛을 포함할 수 있다. 이러한 종류의 실현에서는, 다른 실시예를 위한 프로세스가 하드웨어 유닛에서 실시되어 있기 때문에, 프로그램 코드(1518)는 생략될 수 있다.
또 다른 예시적인 예에서, 프로세서 유닛(1504)은 컴퓨터 및 하드웨어 유닛에서 발견되는 프로세서의 조합을 이용하여 실현될 수 있다. 프로세서 유닛(1504)은 다수의 하드웨어 유닛 및 프로그램 코드(1518)를 실행하도록 구성된 다수의 프로세서를 가질 수 있다. 이 도시의 예에서는, 프로세스의 일부가 다수의 하드웨어 유닛에서 실현될 수 있는 반면에, 다른 프로세스는 다수의 프로세서에서 실현될 수 있다.
다른 예로서, 데이터 처리 시스템(1500)의 저장 장치는 데이터를 저장할 수 있는 임의의 하드웨어 장치이다. 메모리(1506), 영구 저장소(1508) 및 컴퓨터 판독가능 매체(1520)는 유형의 형태(tangible form)의 저장 장치의 예이다. 다른 예에서, 버스 시스템(bus system)은 통신 패브릭(1502)을 실현하기 위해 사용될 수 있고, 시스템 버스 또는 입력/출력 버스 등과 같은 하나 이상의 버스로 구성될 수 있다. 물론, 버스 시스템은 버스 시스템에 장착된 다른 구성 요소 또는 소자 사이에서 데이터의 전송을 제공하는 임의의 적절한 종류의 아키텍처를 사용하여 실현될 수 있다. 부가적으로, 통신 유닛은 모뎀 또는 네트워크 어댑터 등과 같은 데이터를 송신 및 수신하기 위해 사용되는 하나 이상의 장치를 포함할 수 있다. 더욱이, 메모리는, 예를 들어 메모리(1506), 또는 통신 패브릭(902)에 존재할 수 있는 인터페이스 및 메모리 컨트롤러 허브에서 발견되는 것과 같은 캐시(cache)이어도 좋다. 데이터 처리 시스템(1500)은 또한 연상 기억 장치(1528)를 포함할 수 있다. 연상 기억 장치(1528)는, 도 1의 연상 기억 장치(104), 도 1의 연상 기억 장치(700), 도 13의 분석 어플리케이션(1308), 도 14의 연상 기억 장치(1408), 또는 본 명세서에서 다른 곳에 서술되고 본 명세서에서 다른 곳에 서술된 특성을 가질 수 있는 다른 연상 기억 장치일 수 있다. 연상 기억 장치(1528)는 통신 패브릭(1502)과 통신할 수 있다. 연상 기억 장치(1528)는 또한 저장 장치(1516)의 일부와 통신할 수 있거나, 또는 몇몇의 예시적인 실시예에서는 저장 장치(1516)의 일부로 생각될 수 있다. 하나의 연상 기억 장치(1528)가 나타내어져 있지만, 추가의 연상 기억 장치가 존재할 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "연상 기억 장치(associative memory)"는 복수의 데이터 및 복수의 데이터간의 복수의 연관을 말한다. 복수의 데이터 및 복수의 연관은 비일시적인 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 복수의 데이터는 연관된 그룹에 수집될 수 있다. 연상 기억 장치는 복수의 데이터간의 직접적인 상관 관계에 더하여 복수의 데이터간의 적어도 간접적인 관계에 기초해서 조회되도록 구성될 수 있다. 따라서, 연상 기억 장치는 단지 직접적인 관계에 기초해서, 단지 적어도 간접적인 관계에 기초해서, 뿐만 아니라 직접 및 적어도 간접적인 관계의 조합에 기초해서, 조회하도록 구성될 수 있다. 연상 기억 장치는 내용 주소화 기억 장치(content addressable memory)일 수 있다.
따라서, 연상 기억 장치는 복수의 데이터 및 복수의 데이터간의 복수의 연관으로서 특징지어질 수 있다. 복수의 데이터는 연관된 그룹에 수집될 수 있다. 더욱이, 연상 기억 장치는 직접 및 적어도 간접 관계를 포함하는 그룹으로부터, 또는 복수의 데이터간의 직접적인 상관 관계에 더하여 복수의 데이터 중에서 선택되는 적어도 하나의 관계에 기초해서 조회되도록 구성될 수 있다. 연상 기억 장치는 또한 소프트웨어의 형태를 취할 수 있다. 따라서, 연상 기억 장치는 또한, 관계보다는 직접적인 상관 관계에 기초해서 새로운 지식을 얻기 위하여 정보가 연관된 그룹에 수집되는 프로세스로 간주될 수 있다. 연상 기억 장치는 또한 전용화된 프로세서 또는 필드 프로그래머블 게이트 어레이(field programmable gate array)와 같은 하드웨어의 형태를 취할 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "엔티티(entity)"는 그런 존재가 물질적인 존재일 필요는 없지만, 별도의 분리된 존재를 갖는 객체(object)를 말한다. 따라서, 추상적 개념(abstractions) 및 법적 구조물(legal constructs)은 엔티티로서 간주될 수 있다. 본 명세서에서 사용되는 바와 같이, 엔티티는 애니메이션으로 만들어질 필요는 없다. 연상 기억 장치는 엔티티와 함께 작업한다.
다른 예시적인 실시예는, 완전히 하드웨어 실시예, 완전히 소프트웨어 실시예, 또는 하드웨어와 소프트웨어 요소 모두를 포함하는 실시예의 형태를 취할 수 있다. 몇몇의 실시예는, 예를 들어 펌웨어, 상주 소프트웨어, 마이크로코드 등과 같은 형태를 포함하지만 그러한 형태에 한정되지 않는 소프트웨어로 실현된다.
더욱이, 다른 실시예는, 명령을 실행하는 컴퓨터 또는 임의의 장치 또는 시스템에 의해 또는 컴퓨터 또는 임의의 장치 또는 시스템과 관련되어 사용하기 위한 프로그램 코드를 제공하는 컴퓨터 이용가능 또는 컴퓨터 판독가능 매체로부터 액세스 가능한 컴퓨터 프로그램 제품(computer program product)의 형태를 취할 수 있다. 본 발명의 목적을 위해, 컴퓨터 이용가능 또는 컴퓨터 판독가능 매체는, 일반적으로 명령 실행 시스템, 장치 또는 장치에 의해 또는 명령 실행 시스템, 장치 또는 장치와 관련되어 사용하기 위한 프로그램을 포함, 통신, 전파 또는 반송할 수 있는 임의의 유형의 장치일 수 있다.
컴퓨터 이용가능 또는 컴퓨터 판독가능 매체는, 예를 들어, 제한 없이, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 또는 전파 매체일 수 있다. 컴퓨터 판독가능 매체의 비제한 예는, 반도체 또는 고체 소자를 이용한 메모리(solid state memory), 자기 테이프, 이동식 컴퓨터 디스켓, 랜덤 액세스 메모리(random access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 리지드 자기 디스크(rigid magnetic disk) 및 광학 디스크를 포함한다. 광학 디스크는 컴팩트 디스크 - 판독 전용 메모리(compact disk - read only memory, CD-ROM), 컴팩트 디스크 - 판독/기록(compact disk - read/write, CD-R/W) DVD를 포함할 수 있다.
또한, 컴퓨터 이용가능 또는 컴퓨터 판독가능 매체는, 컴퓨터 판독가능 또는 컴퓨터 이용가능 프로그램 코드가 컴퓨터에서 실행될 때, 이 컴퓨터 판독가능 또는 컴퓨터 이용가능 프로그램 코드의 실행에 의해, 컴퓨터가 통신 링크를 통해 다른 컴퓨터 판독가능 또는 컴퓨터 이용가능 프로그램 코드를 전송하는 것이 가능하도록, 컴퓨터 판독가능 또는 컴퓨터 이용가능 프로그램 코드를 함유 또는 저장할 수 있다. 이 통신 링크는, 예를 들어, 제한 없이, 물리적 또는 무선인 매체를 사용할 수 있다.
컴퓨터 판독가능 또는 컴퓨터 이용가능 프로그램 코드를 저장 및/또는 실행하는 데 적합한 데이터 처리 시스템은, 시스템 버스와 같은 통신 패브릭을 통해 메모리 소자에 직접 또는 간접적으로 결합된 하나 이상의 프로세서를 포함할 것이다.메모리 소자는, 프로그램 코드의 실제의 실행 중에 사용되는 로컬 메모리, 대용량 저장 장치(bulk storage), 및 코드의 실행 중에 코드가 대용량 저장 장치로부터 검색될 수 있는 횟수를 줄이기 위해 적어도 몇몇의 컴퓨터 판독가능 또는 컴퓨터 이용가능 프로그램 코드의 일시 저장(temporary storage)을 제공하는 캐시 메모리(cache memories)를 포함할 수 있다.
입력/출력 또는 I/O 장치는 직접 또는 개재하는 I/O 컨트롤러를 통해 시스템에 결합될 수 있다. 이들 장치는, 예를 들어, 제한 없이, 키보드, 터치 스크린 디스플레이 및 포인팅 장치를 포함할 수 있다. 다른 통신 어댑터도 또한, 데이터 처리 시스템이 개재하는 개인 또는 공중 네트워크를 통해 다른 데이터 처리 시스템 또는 원격 프린터 또는 저장 장치에 결합되도록 하기 위해 시스템에 결합될 수 있다. 모뎀과 네트워크 어댑터의 비제한 예는, 현재 이용가능한 종류의 통신 어댑터 중 단지 몇 가지일 뿐이다.
다른 예시적인 실시예의 설명은, 예시 및 설명을 위해 제시되어 있으며, 하나도 빠뜨리는 것 없이 만든다고 만든 것이거나 개시된 형태의 실시예에 한정되는 것은 아니다. 많은 변형 및 변경이 이 기술분야에서 통상의 지식을 가진 당업자에게 명백할 것이다. 또한, 다른 예시적인 실시예는 그 밖의 예시적인 실시예와 비교하여 다른 특징을 제공할 수 있다. 실시예, 실질적인 응용의 원리를 가장 잘 설명하기 위해, 그리고 이 기술분야에서 통상의 지식을 가진 다른 사람들이 고려되는 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시예에 대한 개시를 이해하는 것을 가능하게 하기 위해, 실시예 또는 선택된 다수의 실시예가 선택되어 설명되어 있다.

Claims (13)

  1. 장비를 설치하는 개인을 감시하기 위한 방법(1200)으로서,
    모션 센서를 이용하여 무릎 꿇는 자세, 서 있는 자세 또는 손을 뻗치는 자세를 수반하는 개인이 장비를 설치할 때 개인을 감시하는 단계로서, 상기 모션 센서는 개인으로부터 떨어져서 위치하여 개인의 프레임을 캡쳐하는, 단계;
    컴퓨터(1304)에서, 개인의 상대적인 자세의 질적 설명(qualitative descriptions)을 결정하는데 사용하기 위해 시간의 간격 동안 모션 센서(1302)로부터 개인의 모션의 모션 센서 입력 데이터를 수집하는 단계;
    컴퓨터(1304)를 이용하여, 연상 기억 장치 분류를 이용하여 개인의 자세를 적어도 서 있는 것, 손을 뻗치는 것 또는 무릎 꿇는 것 중 하나로 분류하고 식별하기 위해, 그리고 공유된 상대적 속성에 기초해서 시간의 간격 동안에 상기 프레임으로부터 캡처된 움직임을 관심있는 복수의 미리 정해진 모션 중 하나에 대응하는 모션으로서 분류하기 위해 모션 센서 입력 데이터를 분석하는 단계로서, 상기 복수의 미리 정해진 모션은 적어도 몸을 굽히는 움직임을 포함하고, 상기 질적 설명은 훈련 데이터(training data)와 비교되는, 단계;
    식별된 관심있는 미리 정해진 모션의 통지를 모니터링 시스템(1412)에 제공하는 출력을 생성하는 단계로서, 상기 분류가 자세의 특정 세트 중 하나와 매치하는 경우 해당 자세에 대한 메트릭스(metrics)가 발생되는, 단계; 및
    개인이 잠재적으로 위험한 자세를 얼마나 오래 유지하는지에 대한 메트릭스를 수집하기 위해, 개인이 식별된 자세를 유지하는 지속 시간을 감시하는 단계;를 구비하는 것을 특징으로 하는 방법(1200).
  2. 제1항에 있어서, 식별된 관심있는 미리 정해진 모션이 미리 정해진 임계값을 초과할 때 경보 출력을 생성하는 단계를 더 구비하는 것을 특징으로 하는 방법(1200).
  3. 제1항에 있어서, 통지를 수신하는 것에 응답하여, 관심있는 모션에 관한 메트릭스를 수집하는 단계를 더 구비하는 것을 특징으로 하는 방법(1200).
  4. 제1항에 있어서, 통지를 수신하는 것에 응답하여, 개인에 의한 추가적인 움직임에 관한 메트릭스를 수집하는 단계를 더 구비하는 것을 특징으로 하는 방법(1200).
  5. 개인의 관심있는 모션을 식별하기 위한 장치(1300)로서,
    무릎 꿇는 자세, 서 있는 자세 또는 손을 뻗치는 자세를 수반하는 개인이 장비를 설치할 때 개인을 감시하기 위한 모션 센서(1302)로서, 상기 모션 센서는 개인으로부터 떨어져서 위치하여 개인의 프레임을 캡쳐하는, 모션 센서(1302);
    모션 센서(1302)와 통신하는 것으로서, 개인의 상대적인 자세의 복수의 질적 설명을 결정하는데 사용하기 위해 시간의 간격 동안에 개인의 모션에 관해 모션 센서(1302)로부터의 모션 센서 데이터를 수집하도록 구성된 컴퓨터(1304); 및
    컴퓨터(1304)에 의해 실행될 때, 연상 기억 장치 분류를 이용하여 개인의 자세를 적어도 서 있는 것, 손을 뻗치는 것 또는 무릎 꿇는 것 중 하나로 분류하고 식별하기 위해, 그리고 공유된 상대적 속성에 기초해서 시간의 간격 동안에 상기 프레임으로부터 캡처된 개인의 움직임을 관심있는 복수의 미리 정해진 모션 중 하나에 대응하는 모션으로서 분류하기 위해 모션 센서 데이터를 분석하도록 구성된 분석 어플리케이션(1308)을 저장하는 비일시적인 컴퓨터 판독가능 기억매체(1306)를 구비하되,
    상기 복수의 미리 정해진 모션은 적어도 몸을 굽히는 움직임을 포함하고, 상기 질적 설명은 훈련 데이터와 비교되고,
    분석 어플리케이션(1308)은, 실행될 때, 식별된 관심있는 미리 정해진 모션의 통지를 모니터링 시스템(1412)에 제공하는 출력을 생성하고 개인이 잠재적으로 위험한 자세를 얼마나 오래 유지하는지에 대한 메트릭스(metrics) 수집하기 위해 개인이 식별된 자세를 유지하는 지속 시간을 감시하도록 더 구성되되,
    상기 분류가 자세의 특정 세트 중 하나와 매치하는 경우 해당 자세에 대한 메트릭스가 발생되는 것을 특징으로 하는 장치(1300).
  6. 제5항에 있어서, 컴퓨터는 식별된 관심있는 미리 정해진 모션이 미리 정해진 임계값을 초과할 때 경보 출력을 생성하도록 구성된 프로세서(1410)를 포함하는 것을 특징으로 하는 장치(1300).
  7. 제5항에 있어서, 컴퓨터(1304)가, 통지를 수신하는 것에 응답하여, 관심있는 모션에 관한 메트릭스를 수집하도록 더 구성된 것을 특징으로 하는 장치(1300).
  8. 제5항에 있어서, 컴퓨터(1304)가, 통지를 수신하는 것에 응답하여, 개인에 의한 추가적인 움직임에 관한 메트릭스를 수집하도록 더 구성된 것을 특징으로 하는 장치.
  9. 제5항에 있어서, 복수의 데이터 및 복수의 데이터간의 복수의 연관을 구비하는 연상 기억 장치(1408)를 더 구비하되,
    복수의 데이터가 연관된 그룹에 수집되고, 연상 기억 장치(1408)가 적어도 복수의 데이터간의 간접적인 관계에 기초해서 조회되도록 구성되어 있으며,
    컴퓨터가, 모션 입력 데이터를 수신하고, 연상 기억 장치(1408)와 함께 모션 입력 데이터를 연상 기억 장치(1408)에 저장된 복수의 미리 정해진 모션과 비교하며, 모션 입력 데이터를 복수의 미리 정해진 모션으로부터 선택된 특정 모션으로서 분류하고, 특정 모션이 복수의 미리 정해진 모션의 서브세트 중 하나와 매치할 때 모니터링 시스템(1412)에 통지하도록 구성된 프로세서(1410)를 구비하는 것을 특징으로 하는 장치(1300).
  10. 제9항에 있어서, 서브세트가 사람의 적어도 하나의 바람직하지 않은 신체 자세를 포함하는 것을 특징으로 하는 장치(1300).
  11. 제9항에 있어서, 모션이 시간의 간격 동안의 사람의 모든 모션인 것을 특징으로 하는 장치(1300).
  12. 제9항에 있어서, 모션이 시간의 간격 동안 서브세트 내에 있는 그들 모션뿐인 것을 특징으로 하는 장치(1300).
  13. 제9항에 있어서, 장치(1300)가 개인의 개별적인 신체 부위의 모션을 감시하는 것을 특징으로 하는 장치(1300).
KR1020150123476A 2014-09-05 2015-09-01 연상 기억 장치에 의해 분류된 프레임을 이용하여 자세에 대한 메트릭스를 얻는 방법 및 장치 KR102252164B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/478,475 2014-09-05
US14/478,475 US9619039B2 (en) 2014-09-05 2014-09-05 Obtaining metrics for a position using frames classified by an associative memory

Publications (2)

Publication Number Publication Date
KR20160029674A KR20160029674A (ko) 2016-03-15
KR102252164B1 true KR102252164B1 (ko) 2021-05-14

Family

ID=53879327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150123476A KR102252164B1 (ko) 2014-09-05 2015-09-01 연상 기억 장치에 의해 분류된 프레임을 이용하여 자세에 대한 메트릭스를 얻는 방법 및 장치

Country Status (6)

Country Link
US (1) US9619039B2 (ko)
EP (1) EP3001281B1 (ko)
JP (1) JP6591232B2 (ko)
KR (1) KR102252164B1 (ko)
CN (1) CN105404849B (ko)
RU (1) RU2687707C2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10161954B2 (en) 2016-01-22 2018-12-25 Htc Corporation Motion detecting device and detecting method for repetitive motion
KR20190103146A (ko) * 2016-10-20 2019-09-04 로보-팀 홈 엘티디. 사람을 추적하는 로봇
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
WO2022079795A1 (ja) * 2020-10-13 2022-04-21 日本電気株式会社 画像選択装置、画像選択方法、及びプログラム
US20230368419A1 (en) * 2020-10-13 2023-11-16 Nec Corporation Image selection apparatus, image selection method, and non-transitory computer-readable medium
WO2023084778A1 (ja) * 2021-11-15 2023-05-19 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
WO2023084780A1 (ja) * 2021-11-15 2023-05-19 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004787A (ja) * 2004-07-26 2005-01-06 Toshiba Corp 行動計測装置、電子的装置及び記録媒体

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149262A (en) 1977-04-19 1979-04-10 Semionics Associates Associative memory device with variable recognition criteria
US4144564A (en) 1977-04-19 1979-03-13 Semionics Associates Associative memory
US5014327A (en) 1987-06-15 1991-05-07 Digital Equipment Corporation Parallel associative memory having improved selection and decision mechanisms for recognizing and sorting relevant patterns
RU2280894C2 (ru) * 2001-07-18 2006-07-27 Зао Интел Распознавание жестов в динамике для последовательности стереокадров
JP4189298B2 (ja) 2003-10-31 2008-12-03 農工大ティー・エル・オー株式会社 乳児運動解析システム
JP4642338B2 (ja) 2003-11-04 2011-03-02 株式会社タニタ 体動測定装置
NZ533460A (en) * 2004-06-10 2006-10-27 Movement Metrics Ltd Biomechanical monitoring apparatus with motion detectors and accumulation means to indicate time period where threshold activity is exceeded
GB2426851B (en) * 2005-05-28 2007-07-18 Martin Charles Adams An occupant monitoring system for homes or offices
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US7827000B2 (en) * 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
JP2007272488A (ja) * 2006-03-31 2007-10-18 Yokogawa Electric Corp 画像処理装置、監視カメラ及び画像監視システム
KR100934225B1 (ko) * 2007-09-21 2009-12-29 한국전자통신연구원 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템
US8160981B2 (en) * 2007-09-25 2012-04-17 Saffron Technology, Inc. Event-based anticipation systems, methods and computer program products for associative memories wherein times of future events occurring are predicted
US8996332B2 (en) * 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
US9060714B2 (en) 2008-12-04 2015-06-23 The Regents Of The University Of California System for detection of body motion
US20100217533A1 (en) * 2009-02-23 2010-08-26 Laburnum Networks, Inc. Identifying a Type of Motion of an Object
US8560267B2 (en) * 2009-09-15 2013-10-15 Imetrikus, Inc. Identifying one or more activities of an animate or inanimate object
BR112012019853A8 (pt) * 2010-02-12 2018-06-26 Koninl Philips Electronics Nv metodo de processamento de um sinal fisiológico cíclico e aparelho para monitorar um sinal fisiológico cíclico
WO2011102912A2 (en) * 2010-02-22 2011-08-25 Progyr Inc. Human-motion-training system
US20110246123A1 (en) 2010-03-30 2011-10-06 Welch Allyn, Inc. Personal status monitoring
US20110245688A1 (en) * 2010-03-31 2011-10-06 General Electric Company System and method of performing electrocardiography with motion detection
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
EP2585835A1 (en) 2010-06-22 2013-05-01 Stephen J. McGregor Method of monitoring human body movement
US8903521B2 (en) * 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
CN103827891B (zh) * 2011-07-28 2018-01-09 Arb实验室公司 使用全球生成的多维姿势数据检测身体运动的系统和方法
US20130178960A1 (en) * 2012-01-10 2013-07-11 University Of Washington Through Its Center For Commercialization Systems and methods for remote monitoring of exercise performance metrics
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US8914604B2 (en) * 2012-06-12 2014-12-16 The Boeing Company Creating optimal comparison criterion within associative memories
EP2703932A1 (en) * 2012-08-28 2014-03-05 SimpliFlow GmbH Personal communication device for managing individual fitness training
US9564042B2 (en) * 2013-06-13 2017-02-07 Motorola Solutions, Inc. Communication system with improved safety feature
US9576192B2 (en) * 2014-03-12 2017-02-21 Yamaha Corporation Method and apparatus for notifying motion
US9298269B2 (en) * 2014-04-10 2016-03-29 The Boeing Company Identifying movements using a motion sensing device coupled with an associative memory
US9911031B2 (en) 2014-09-05 2018-03-06 The Boeing Company Obtaining metrics for a position using frames classified by an associative memory

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004787A (ja) * 2004-07-26 2005-01-06 Toshiba Corp 行動計測装置、電子的装置及び記録媒体

Also Published As

Publication number Publication date
RU2015132214A3 (ko) 2018-11-28
EP3001281B1 (en) 2020-12-09
CN105404849A (zh) 2016-03-16
JP2016058078A (ja) 2016-04-21
CN105404849B (zh) 2021-02-05
US9619039B2 (en) 2017-04-11
JP6591232B2 (ja) 2019-10-16
EP3001281A1 (en) 2016-03-30
RU2015132214A (ru) 2017-02-08
RU2687707C2 (ru) 2019-05-15
KR20160029674A (ko) 2016-03-15
US20160070355A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
KR102252164B1 (ko) 연상 기억 장치에 의해 분류된 프레임을 이용하여 자세에 대한 메트릭스를 얻는 방법 및 장치
US9911031B2 (en) Obtaining metrics for a position using frames classified by an associative memory
Choudhury et al. Towards Activity Databases: Using Sensors and Statistical Models to Summarize People's Lives.
US20140019201A1 (en) Automatically evaluating customer satisfaction
TW201947495A (zh) 儲物裝置中人機互動方法、裝置、儲物裝置以及儲存媒體
US20210216914A1 (en) Information processing device, information processing method, and information processing program
KR102331126B1 (ko) 연상 메모리와 결합된 모션 감지 장치를 이용해서 움직임을 식별하기 위한 시스템 및 방법
Cleland et al. Collection of a diverse, realistic and annotated dataset for wearable activity recognition
Landowska Uncertainty in emotion recognition
Liu et al. A framework of mining semantic-based probabilistic event relations for complex activity recognition
US20220125359A1 (en) Systems and methods for automated monitoring of human behavior
Duan et al. Boss: A benchmark for human belief prediction in object-context scenarios
Sukreep et al. Recognizing Falls, Daily Activities, and Health Monitoring by Smart Devices.
WO2019186676A1 (ja) 行動推定および変化検出装置
Rafferty et al. NFC based dataset annotation within a behavioral alerting platform
Das et al. Activity recognition using multi-class classification inside an educational building
A. Silva et al. Features Selection for Fall Detection Systems Based on Machine Learning and Accelerometer Signals
Gustafsson Eye Movement Analysis for Activity Recognition in Everyday Situations
Yao et al. Recognition of complex human behaviours using 3d imaging for intelligent surveillance applications
JP2021176079A (ja) 商品配置提案プログラム
Augustyniak Description of human activity using behavioral primitives
Wang et al. Video Recognition of Human Fall Based on Spatiotemporal Features
Lu et al. Human motion recognition based on features and models selected HMM
Olive et al. Novelty detection system for a social robot
Philips et al. Mohamed Eldib, Francis Deboeverie

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant