본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
도 1은 본 발명의 실시예에 따른 일상 생활 활동 분류 장치의 구성을 도시하는 블록도이다. 일상 생활 활동 분류 장치(100)의 구성은 도 1에 도시한 바와 같이, 태그의 정보를 읽어, 움직임의 대상물을 인식하는 RFID 리더부, 움직임 주체에 부착되어 가속도 정보를 획득하여, 움직임의 특성을 인식하는 움직임 감지부 및 상기 RFID 리더부로부터 움직임 대상물 정보를 입력받고, 상기 움직임 감지부로부터 움직임 특성 정보를 입력받아, 일상 생활 활동을 분류하는 제어부를 포함한다.
상기 일상 생활 활동 분류 장치는 상기 RFID 리더부(110)가 읽은 움직임 대상물 정보와, 상기 움직임 감지부(120)가 인식한 움직임 특성을 모두 이용하여 일상 생활 활동을 분류하게 된다.
상기 움직임 감지부(120)는 움직임 주체의 소정 부분에 적어도 하나가 부착되어, 움직임의 특성을 인식하게 된다. 도 2는 움직임 감지부의 실시예인 3축 가속도 센서를 도시한다. 상기 움직임 감지부의 일실시예인 3축 가속도 센서를 이용한 움직임 특성 정보 획득 과정에 대하여 살펴보기로 한다. 다만 3축 가속도 센서를 이용한 움직임 특성 정보 획득은 실시예에 불과하며, 다른 방법에 의한 움직임 특 성 정보를 획득하는 것도 본 특허의 권리범위에 포함된다고 할 것이다.
움직임 주체의 움직임을 인식하기 위해서, 우선 학습 데이터 획득을 해야 한다. 움직임 인식을 위해서 사용자의 손목, 허리와 허벅지에 3축 가속 센서를 부착하여 움직임 데이터를 수집할 수 있다.
가속도 센서로부터 얻어온 가속도 데이터의 256 샘플 윈도우(samples window)(4초)에서 FFT변환을 한 후 이를 토대로 X, Y, Z축에 대해 각각의 Mean, Energy, Entropy, Correlation을 계산하였다. 따라서 센서별로 12개의 특성값(MeanX, MeanY, MeanZ, EnergyX, EnergyY, EnergyZ, EntropyX, EntropyY, EntropyZ, CorrelationXY, CorrelationYZ, CorrelationXZ)이 생성된다. 윈도우는 절반(128 samples)씩 겹치기(overlap)되는 형태로 이동해서 2초마다 새로운 특성값이 계산되도록 하였다.
각 특성값(feature)을 구하는 식은 다음과 같다.
평균(Mean)값은 윈도우(window)의 평균 가속도 값이 된다.
에너지(Energy)값은 DC component를 제외한 절대값(Magnitude)을 제곱한다. 절대값의 제곱들을 더한 후 이 값(
)을 윈도우 길이(window length)로 나누어 정규화(normalization)하여 계산할 수 있다.
엔트로피(Entropy)값은 DC component를 제외한 절대값(Magnitude)들의 정규화된(nomalize) 인포메이션 엔트로피(information entropy)로 구할 수 있다.
인포메이션 엔트로피(information entropy)는 아래와 같은 수학식 1로 구할 수 있다.
이때의 확률 값은 절대값(magnitude)의 분포범위를 일정한 간격으로 나누고, 구간에 들어오는 절대값(magnitude)의 수를 세어 확률을 계산할 수 있다.
상관관계(Correlation)값은 각 축 간의 내적(X축Y축, Y축Z축, X축Z축)을 구한 후 윈도우 길이(window length)로 나누어 계산한다.
이렇게 추출된 특징 벡터들을 이용하여, 움직임 특성을 판단할 수 있다. 예를 들면, 결정 트리(Decision Tree) 알고리즘을 사용하여 분류할 수 있다.
상기 RFID 감지부(110)는 움직임의 대상물 즉, 객체 정보를 인식하는 것으로, 대상물에 부착된 태그(Tag)정보를 읽음으로써, 움직임의 대상물을 인식하게 된다.
RFID(Radio Frequency Identification) 기술은 기존의 상품에 부착되어 상품의 정보를 알려주는 바코드 대신 RFID 리더기를 이용하여 안테나로 연결된 상태에서 RFID 태그에 부착된 상품 정보를 무선으로 읽는 기술로써, 차세대 네트워크가 필요로 하는 오토 식별(id)기술과 이것을 활용한 네트워크 기술 연구가 활발히 진행되고 있다. 따라서, 본 발명에서는 사용자가 직접 다루는 물체를 인식하기 위한 방법으로 정확하면서 간단한 시스템으로 구현될 수 있는 방법으로 RFID 시스템을 사용하여, 움직임의 대상물을 인식한다. RFID는 단거리 및 중장거리 인식이 가능한 데, 본 발명에서는 사용자가 직접 잡은 물체를 인식하기 위해서 인식 거리가 5cm 이내의 태그만을 인식하는 13.56MHz 주파수 대역의 RFID 리더기를 사용할 수 있다. 도3a 내지 도3c는 RFID 시스템의 실시예를 도시한다.
도 3a를 참조하면, 신체에 RFID를 부착한다. 사용상의 편의를 위해 아래 도면 3a과 같이 글러브(Glove) 타입으로 제작할 수 있다.
도 3b를 참조하면, 움직임의 대상물에 RFID가 부착된다. 사용된 RFID 태그(TAG)는 부착 가능한 형태로 제작되어 물체에다 쉽게 부착할 수 있도록 할 수 있다.
도 3c를 참조하면, 신체에 부착된 RFID 리더기가 대상물에 부착된 RFID로 부터 식별 정보를 읽어, 대상물을 인식하게 된다.
상기 제어부(130)는 상기 RFID 리더부로부터 움직임 대상물 정보를 입력받고, 상기 움직임 감지부로부터 움직임 특성 정보를 입력받아, 일상 생활 활동을 분류한다.
상기 제어부가 움직임 특성 정보 및 움직임 대상 정보를 이용하여, 일상 생활 활동을 분류를 제어하는 것은 여러가지 실시예가 가능하다.
상기 제어부는 상기 움직임 감지부로부터 입력받은 움직임 특성 정보를 이용하여 움직임 주체의 움직임 종류를 인식한 후, 상기 RFID 리더부로터 입력받은 움직임 대상물 정보를 이용하여 움직임 대상물을 인식하여 일상 생활 활동을 분류할 수 있다. 즉, 움직임 주체의 움직임 종류를 인식한 후, 대상물 정보를 후에 인식하여, 일상 생활 활동을 분류할 수 있다.
이때, 상기 제어부는 상기 움직임 감지부로부터 수신한 움직임 특성 정보를 소정의 움직임 종류 클래스로 분류하고, 분류된 움직임 종류와 상기 RFID 감지부로부터 수신한 움직임 대상물 정보와의 관계성이 일치하는 경우에만 일상 생활 활동으로 분류할 수 있다.
이때, 상기 소정 클래스로 분류된 움직임 종류의 예시로는는 상하운동, 좌우운동, 전후운동 또는 회전운동 등이 있다. 상기 움직임 종류가 파악되면, 움직임 대상물 정보를 인식하여, 관계성이 일치하면 일상 생활 활동으로 분류할 수 있다.
예를 들면, 3개의 가속도 센서 가운데, 2개의 가속도 센서(허리, 허벅지)로 부터 하체의 움직임 정보를 읽어들여서, 결정 트리(Decision Tree) 방법을 통해 사용자의 현재 상태를 구별한다. 예를 들면, 움직임 주체가 서기, 눕기, 앉기, 걷기 또는 뛰기 중 어느 한 상태에 해당하는지 판단한다.
그리고, 손목에 착용된 가속 센서로부터 손의 움직임 정보를 결정 트리(Decision Tree)를 통해서 구분하여 RFID 리더기로부터 읽어들인 객체 정보와 결합하여 최종 ADL을 판단하게 된다.
RFID 리더기로부터 읽어 들인 정보는 오차가 거의 없는 아주 정확한 값이 나오게 된다. 따라서, RFID를 이용하면 오류는 거의 발생하지 않는다고 볼 수 있다. 하지만, 실제 RFID를 통해서 객체가 인식되었지만, 사용자가 그 객체의 본래 속성을 활용하기 위해서 잡은 것인지 아니면 그냥 인식된 것인지를 구별이 가능해야지만 사용자의 활동(activity)을 정확히 추론할 수 있게 된다. 따라서 본 발명에서는 RFID 리더기의 인식이 움직임 정보 추출 시간과 동일 시간에 지속적으로 동일 객체 가 인식되는지의 여부도 확인하고, 뿐만 아니라, RFID를 통해 객체가 인식된 상황에서 사용자의 손이 움직이고 있는지의 여부를 판단을 통해서 도구적 활동(Instrumental Activity)을 추출한다. 이를 통해 RFID를 통한 부정 오류(false positive)를 줄일 수 있게 된다. 따라서, 하체의 움직임을 통해서 사용자의 상태(state)를 추정하게 되고, 이 상태에서 사용자가 어떤 행위를 하고 있는지를 최종 판단하게 된다. 이와 같은 구조는 활동(Activity)과 상태(State)를 독립적으로 판단하기 때문에 사람이 어떠한 행동을할 때 특정 상태와 행동을 포함하는 데이터의 입력이 없이도, 수행하고 있는 동작과 상태의 판단이 가능해진다. 이는 앉아서 머리를 빗는 행동, 서서 머리를 빗는 행동 등을 모두 분류할 수 있다는 것을 의미한다. 또한 인식 가능한 객체를 충분히 확장할 수 있어서 분류할 수 있는 활동(Activity)은 더욱 많아질 수 있다.
또한 상기 제어부는 상기 RFID 리더부로부터 입력받은 움직임 대상물 정보를 이용하여 움직임 대상을 인식한 후, 인식된 움직임 대상물의 본질적 행위에 부합하는 움직임에 한해서 움직임의 종류를 인식하여 일상 생활 활동을 분류할 수 있다. 즉, 그 물체를 진실로 사용하는 경우에만 그 액티비티가 있다고 인식하기 위한 것이다. 예를 들면, 물을 마시는 행동을 인식하고 싶을 경우에, 물이 든 컵에 RFID 태그를 부착하여, 컵이라는 정보를 제작한 장갑형태의 리더기를 통해 인식을 한 후, 움직임 센서로부터 물을 마시는 동작 즉, 팔을 위/아래로 움직이는 동작을 취하면 사용자가 물을 마신다고 인식을 한다. 또 다른 예로 나사(Screw) 드라이버를 사용하는 경우에는 인식된 객체가 나사 드라이버이고, 손의 움직임이 회전 운동을 하는 경우에는 정말로 나사를 풀거나 조이는 등의 동작을 취하는 행동이라고 인식을 하게 된다.
도 4는 본 발명의 실시예에 따른 일상 생활 활동 분류 방법의 순서도를 도시한다. 일상 생활 활동 분류 방법은 도 4에 도시한 바와 같이, 움직임 주체의 움직임에 대한 가속도 정보를 획득하여, 움직임의 특성을 인식하는 단계, RFID 태그의 정보를 읽어, 움직임의 대상물을 인식하는 단계 및 상기 인식한 움직임 특성에 대한 정보 및 상기 움직임 대상물에 대한 정보를 입력받아, 일상 생활 활동을 분류하는 단계를 포함한다.
상기 움직임의 특성 정보를 인식하는 단계는, 움직임 주체의 하체 움직임 특성 정보를 이용하여, 현재 신체 상태를 인식하는 단계 및 움직임 주체의 상체 움직임 특성 정보를 이용하여, 세부 움직임 특성을 인식하는 단계를 포함한다. 즉, 하체의 움직임 특성 정보를 이용하여, 현재 움직임 주체가 서기, 눕기, 앉기, 걷기 또는 뛰기 중 어느 한 상태에 해당하는지 판단하고 난 후, 세부 움직임 특성을 인식한다. 예를 들면, 서 있는 상태에서 빗질을 하는 것과, 앉아 있는 상태에서 빗질을 하는 것을 구별할 수 있는 것이다. 또한 상기 단계는 시간의 선 후에 제한되지 아니한다. 즉, 현재 신체 상태 인식 후, 세부 움직임 인식하는 것도 가능하고, 세부 움직임을 먼저 인식한 후, 현재 신체 상태를 인식하는 것도 가능하다.
상기 일상 생활 활동을 분류하는 단계는, 상기 입력받은 움직임 특성 정보를 소정의 움직임 종류 클래스로 분류하는 단계 및 상기 분류된 움직임 종류와 상기 입력받은 움직임 대상물 정보와의 관계성이 일치하는 경우에만 일상 생활 활동으로 분류하는 단계를 포함한다. 예를 들면, 손목의 움직임을 분석하여, 회전 운동의 클래스로 분류되고, 움직임 대상물이 나사 드라이버로 인식되는 경우, 나사를 본래의 목적대로 조이거나 푸는 행위로 분석할 수 있다.
이때, 상기 분류된 움직임 종류의 예시로는 상하운동, 좌우운동, 전후운동 또는 회전운동 등이 있다.
또한 도 5는 본 발명의 또 다른 실시예에 따른 일상 생활 분류 방법의 순서도를 도시한다. 일상 생활 활동 분류 방법은 도 5에 도시한 바와 같이, RFID 태그의 정보를 읽어, 움직임의 대상물을 인식하는 단계, 상기 움직임의 대상물이 인식되면, 인식된 대상물의 본질적 행위에 부합하는 움직임에 한해서 움직임 주체의 움직임에 대한 정보를 획득하는 단계 및 상기 인식한 움직임 특성에 대한 정보 및 상기 움직임 대상물에 대한 정보를 입력받아, 일상 생활 활동을 분류하는 단계를 포함한다.
움직임 대상물을 인식하고, 움직임 대상물의 본질적 행위에 부합하는 움직임에 한해서 움직임의 특성을 분석하여, 판단하게 된다. 예를 들면, 움직임의 객체가 빗인 경우에는, 빗질하는 손목 및/또는 팔목의 움직임이 인식되는지를 판단하여, 빗질을 한다고 인식할 수 있다. 이 경우, 움직임 객체와 관계없는 움직임 특성까지 분석할 필요가 없으므로, 효율적이다.
도 6은 본 발명에 따른 일상 생활 활동 분류에 대한 일실시예의 전체 시스템도를 도시한다. 도 6을 참조하면, 하체 움직임 정보를 획득하여, 신체 상태 분석하여, 현재 신체 상태(서기, 눕기, 앉기, 걷기, 뛰기 등)를 인식한다. 또한 상체 움 직임 정보를 획득하고, RFID를 이용하여, 움직임에 대한 객체 정보를 획득하여, 상체 움직임을 분석하여, 도구적 활동을 인식한다. 상기 인식된 신체 상태와 도구적 활동을 통합하여, 일상 생활 활동을 분류하게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것에 불과하고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.