KR101341291B1 - 깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치 - Google Patents

Abstract

본 발명은 깊이 센서 기반의 휴면 상태 인식 방법 및 장치에 관한 것이다. 본 발명에 따르면, 적외선을 조사하는 복수의 깊이 센서들로부터 센싱 값을 획득하는 단계와, 상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단하는 단계와, 상기 신체에 움직임이 없다고 판단되면 제1 값을 + 카운트하고 상기 신체에 움직임이 있다고 판단되면 제2 값을 - 카운트하여, 현재 시점에 대한 누적 카운트 값을 획득하는 단계, 및 기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 휴면 상태인 것으로 판단하는 단계를 포함하는 깊이 센서 기반의 휴면 상태 인식 방법을 제공한다.
상기 깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치에 따르면, 적외선을 조사하여 깊이 정보를 획득하는 깊이 센서를 기반으로 하여 신체에 대한 수면 상태의 여부를 효과적으로 판단할 수 있는 이점이 있다.

Description

깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치{Method of quiescence state recognition based on depth sensor and apparatus thereof}

본 발명은 깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 피사체의 깊이 정보를 획득하는 깊이 센서를 기반으로 하여 휴면 상태의 여부를 효과적으로 판단할 수 있는 깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치에 관한 것이다.

최근 인간의 움직임 또는 행동에 관한 연구가 다양하게 진행되고 있다. 움직임과 관련된 연구 중에서 특히 수면 인식의 기술은 다방 분야에 응용될 수 있다. 기존에 수면 상태를 인식하는 기술로는 생체 신호를 이용하는 방법, 인체의 무게에 따른 압력 감지를 이용하는 방법 등이 있다.

이와 관련하여, 국내공개특허 제2008-0096621호에는 매트에 고르게 배치된 압력 센서로부터 매트에 가해지는 압력 분포를 획득하여 취침자의 수면 상태를 인식하는 기술이 개시되어 있다. 그러나, 이러한 종래 기술의 경우 침대 매트 내에 항상 압력 센서가 구비되어야 하고 센서의 설치가 어려우며 적용성이 떨어지는 단점이 있다.

본 발명은 피사체의 깊이 정보를 획득하는 깊이 센서를 기반으로 하여 휴면 상태의 여부를 효과적으로 판단할 수 있는 깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치를 제공하는데 목적이 있다.

본 발명은, 적외선을 조사하는 복수의 깊이 센서들로부터 센싱 값을 획득하는 단계와, 상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단하는 단계와, 상기 신체에 움직임이 없다고 판단되면 제1 값을 누적시키고 상기 신체에 움직임이 있다고 판단되면 제2 값을 차감하여, 현재 시점에 대한 누적 카운트 값을 획득하는 단계, 및 기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 휴면 상태인 것으로 판단하는 단계를 포함하는 깊이 센서 기반의 휴면 상태 인식 방법을 제공한다.

여기서, 상기 제2 값은 상기 제1 값보다 클 수 있다.

또한, 상기 현재 시점에 대한 누적 카운트 값을 획득하는 단계는, 상기 누적 카운트 값이 기 설정된 최대값을 초과하는 경우, 상기 현재 시점의 누적 카운트 값을 상기 최대 값으로 갱신할 수 있다.

또한, 상기 신체의 움직임 여부를 판단하는 단계는, 과거 시점과 현재 시점 사이의 센싱 값의 차이가 기준값 이상인 경우 상기 신체에 움직임이 있다고 판단할 수 있다.

여기서, 상기 깊이 센서 기반의 휴면 상태 인식 방법은, 상기 신체가 휴면 상태인 것으로 판단되면, 조명 기기 또는 가전 기기의 전원을 차단시키는 단계를 더 포함할 수 있다.

그리고, 본 발명은 적외선을 조사하는 복수의 깊이 센서들로부터 센싱 값을 획득하는 센싱값 획득부와, 상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단하는 움직임 판단부와, 상기 신체에 움직임이 없다고 판단되면 제1 값을 누적시키고 상기 신체에 움직임이 있다고 판단되면 제2 값을 차감하여, 현재 시점에 대한 누적 카운트 값을 획득하는 누적 카운트부, 및 기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 휴면 상태인 것으로 판단하는 휴면 인식부를 포함하는 깊이 센서 기반의 휴면 상태 인식 장치를 제공한다.

여기서, 상기 누적 카운트부는, 상기 누적 카운트 값이 기 설정된 최대값을 초과하는 경우, 상기 현재 시점의 누적 카운트 값을 상기 최대 값으로 갱신할 수 있다.

또한, 상기 움직임 판단부는, 과거 시점과 현재 시점 사이의 센싱 값의 차이가 기준값 이상인 경우 상기 신체에 움직임이 있다고 판단할 수 있다.

그리고, 상기 깊이 센서 기반의 휴면 상태 인식 장치는 상기 신체가 휴면 상태인 것으로 판단되면, 조명 기기 또는 가전 기기의 전원을 차단시키는 전원 제어부를 더 포함할 수 있다.

본 발명에 따른 깊이 센서 기반의 휴면 상태 인식 방법 및 그 장치에 따르면, 적외선을 조사하여 깊이 정보를 획득하는 깊이 센서를 기반으로 하여 신체에 대한 수면 상태의 여부를 효과적으로 판단할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 깊이 센서 기반의 휴면 상태 인식 장치의 구성도이다.
도 2는 도 1을 이용한 깊이 센서 기반의 휴면 상태 인식 방법의 흐름도이다.
도 3은 도 2의 상세 흐름도를 나타낸다.
도 4는 도 3의 S390 단계에 따른 수면 상태 인식 예를 나타낸다.
도 5는 본 발명의 실시예에서 깊이 센서에 의해 감지된 영상의 예를 나타낸다.
도 6은 본 발명의 실시예에서 사람의 왼손을 감지할 수 없게 되어 포인트를 잘못 추적하는 경우의 예를 나타낸다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 깊이 센서 기반의 휴면 상태 인식 장치의 구성도이다. 상기 휴면 인식 장치(100)는 센싱값 획득부(110), 움직임 판단부(120), 누적 카운트부(130), 휴면 인식부(140), 전원 제어부(150)를 포함한다.

상기 센싱값 획득부(110)는 적외선을 조사하는 복수의 깊이 센서(10)들로부터 센싱 값을 획득하는 부분이다. 여기서, 깊이 센서(10)는 적외선을 이용하여 피사체의 깊이 정보를 획득할 수 있는 센서를 의미한다.

상기 깊이 센서(10)는 적외선을 조사(projection)하여 3차원 축을 기준으로 신체의 각 부분에 대해 위치를 결정하고, 위치 변화에 따라 움직임을 감지할 수 있다. 적외선을 사용할 경우 주변의 빛의 유무에 관계없이 야간에도 관측이 가능하여 수면 인식의 연속적인 모니터링에 적합하다. 이러한 깊이 센서(10)는 영상 인식이 가능한 카메라 기능을 포함하여 사람의 신체 전반 또는 일부의 형상 인식이 가능하다.

상기 깊이 센서(10)들은 대상 공간에 설치되어 사람을 바라보는 방향으로 어레이 또는 매트릭스 형태와 같이 배열될 수 있다. 물론, 깊이 센서(10)의 설치예가 반드시 이에 한정되는 것은 아니다.

상기 움직임 판단부(120)는 상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단한다. 이러한 움직임 판단부(120)는 과거 센싱 값에 대비한 현재 센싱 값의 차이를 기 설정된 기준값과 비교하여 신체의 움직임 여부를 판단할 수 있다.

상기 누적 카운트부(130)는 상기 신체에 움직임이 없다고 판단되면 제1 값을 누적시키고 상기 신체에 움직임이 있다고 판단되면 제2 값을 차감하여, 현재 시점에 대한 누적 카운트 값을 획득한다. 여기서, 제2 값은 제1 값보다 큰 값을 사용한다.

상기 휴면 인식부(140)는 기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 휴면 상태인 것으로 판단한다. 여기서, 휴면 상태란 수면, 휴식 등의 상태를 포괄하는 의미를 갖는다.

전원 제어부(150)는 상기 신체가 휴면 상태인 것으로 판단되면, 적어도 하나의 조명 기기 또는 가전 기기의 전원을 차단시킨다. 예를 들어, 신체가 휴면 상태이면 대상 공간에는 존재하는 TV, 에어콘, 전등의 전원을 모두 차단시킴에 따라 에너지를 절약할 수 있다.

도 2는 도 1을 이용한 깊이 센서 기반의 휴면 상태 인식 방법의 흐름도이다. 이하에서는 본 발명의 실시예에 따른 깊이 센서 기반의 휴면 상태 인식 방법에 관하여 도 1 및 도 2를 참조로 하여 상세히 설명한다. 이하에서는 설명의 편의를 위해 상기 휴면 상태가 수면 상태인 것을 예시로 하여 설명한다.

먼저, 인체에 적외선을 조사하는 복수의 깊이 센서(10)들로부터 센싱 값을 획득한다(S210). 이러한 S210 단계는 상기 센싱값 획득부(110)를 통해 수행한다.

다음, 상기 움직임 판단부(120)는 상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단한다(S220). 이때 센싱 값이란 각 깊이 센서(10)들로부터 획득된 감지 값들의 합 또는 그 평균을 이용할 수 있는데, 본 발명이 반드시 이에 한정되는 것은 아니다.

여기서, 움직임 판단부(120)는, 과거 시점과 현재 시점 사이의 센싱 값의 차이가 기준값 이상인 경우 상기 신체에 움직임이 있다고 판단한다. 이는 수면 중에 발생하는 기준값 미만의 미세 움직임에 대해서는 신체에 움직임이 없는 것으로 간주하기 위함이다. 이러한 움직임 판단 과정은 수초 단위로 수행할 수 있다.

다음, 상기 누적 카운트부(130)는 상기 신체에 움직임이 없다고 판단되면 제1 값을 + 카운트하고 상기 신체에 움직임이 있다고 판단되면 제2 값을 - 카운트하여, 현재 시점에 대한 누적 카운트 값을 획득한다(S230).

본 실시예의 경우, 제1 값은 '1', 제2 값은 '3'을 사용한다. 따라서, 신체에 움직임이 없는 경우는 1을 더하고, 신체에 움직임이 있다고 판단되면 3을 차감한다. 이러한 과정을 각 시점 별로 수행하면 현재 시점에서의 누적 카운트 값을 연산할 수 있다.

여기서, 누적 카운트 값의 연산 과정에서 차감 시가 가산 시보다 3배의 가중치를 가지는 이유는 수면(sleep) 상태에서 어웨이크(awake) 상태로 전환되는 과정이 일반적으로 더 신속한 시간 반응을 요구하기 때문이다.

이후, 상기 휴면 인식부(140)는 기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 수면 상태인 것으로 판단한다(S240). 만약, 기 설정된 시간 구간 내에 한 번이라도 임계치 이상의 누적 카운트 값이 발생하면, 이는 수면 상태가 아닌 것으로 판단한다.

만약, 신체가 수면 상태로 판단된 경우, 상기 전원 제어부(150)는 주변에 있는 적어도 하나의 조명 기기 또는 가전 기기의 전원을 차단시키도록 한다.

도 3은 도 2의 상세 흐름도를 나타낸다. 이러한 도 3은 누적 카운트 값을 연산하는 구체적인 실시예를 나타낸다.

먼저, 최초 시점에서 누적 카운트 값은 0이다(S310). 여기서, 움직임 감지는 2초 간격으로 수행하는 것으로 가정하고 움직임 감지를 시작한다(S320). 만약, 현재 시점에서 움직임이 있는 것으로 판단되면 +1을 카운트한다(S330). 반대로 움직임이 없는 것으로 판단되면, -3을 카운트한다(S340).

다음, 현재 시점에 대한 누적 카운트 값을 임계치(ex, 70)와 비교한다(S350). 만약, 누적 카운트 값이 임계치(ex, 70)보다 작은 경우에는 신체가 수면 상태를 벗어난 어웨이크(Awake) 상태인 것으로 판단한다(S360).

반대로, 현재 시점에 대한 누적 카운트 값이 임계치(ex, 70)보다 큰 경우에는 이 누적 카운트 값을 기 설정된 최대값(ex, 100)과 다시 비교한다(S370). 만약, 누적 카운트 값이 최대값(ex, 100)을 초과하는 경우, 상기 현재 시점의 누적 카운트 값을 상기 최대 값(ex, 100)으로 갱신한다(S380).

이렇게 최대 값을 설정하여 두고 상황에 맞도록 갱신하는 이유는 다음과 같다. 만약 최대값이 미설정된 경우에는 수면(sleep) 상태에서 누적 카운트 값이 계속적으로 증가하게 되어 이후의 어웨이크(awake) 상태 전환 시에 불필요한 지연 시간이 발생할 수 있고 그에 따른 어웨이크 상태의 감지가 지연될 수 있기 때문이다.

상기 S370 또는 S380 단계 이후에는, 기 설정된 시간 구간(ex, 15분의 시간 구간) 동안 상기 누적 카운트 값이 임계치(ex, 70) 이상의 값을 계속적으로 유지하는지를 판단한다(S390). 더 상세하게는, 설정된 시간 구간 동안 누적 카운트 값이 임계치 내지 최대값 사이를 지속적으로 유지하는지를 판단한다.

도 4는 도 3의 S390 단계에 따른 수면 상태 인식 예를 나타낸다. 만약, 15분 동안 누적 카운트 값이 임계치 이상을 계속 유지하면, 상기 신체가 수면(sleep) 상태인 것으로 판단하고(S395), 그렇지 않은 경우에는 어웨이크(awake) 상태인 것으로 판단한다(S360). 상기 기 설정된 시간 구간 즉, 15분의 시간은 신체가 움직임이 없는 상황이 지속적으로 유지되는지를 판단하는 구간으로서, 신체가 수면으로 인해 움직임이 없는지의 여부를 판단할 수 있다.

본 발명의 실시예에 있어서 시간 구간(ex, 15분의 시간 구간)과 임계치(ex, 70)는 상기 신체의 생활 패턴, 수면 패턴 등에 따라 조절이 가능하다. 상기 장치(100)는 이러한 시간 구간과 임계치 정보를 입력받는 입력부(미도시)의 구성을 더 포함할 수 있다.

도 5는 본 발명의 실시예에서 깊이 센서에 의해 감지된 영상의 예를 나타낸다. 도 5는 누워있는 사람에 대한 깊이 센서에 의한 적외선 감지 영상으로서 이불을 덮지 않은 경우(좌측)과 이불을 덮은 경우(우측)의 영상으로 구분된다. 이불을 덮게 되면 사람의 형태를 파악할 수 없게 되는데 이러한 경우 움직임의 추적이 어려워지게 된다. 여기서, 본 실시예의 경우 이불을 덮은 상태에서 사람의 형태가 인식되지 않는 경우에도 누적 카운트 값을 최대값 이전까지만 증가시키므로 수면 인식의 에러를 방지할 수 있는 효과가 있다.

한편, 본 실시예에 있어서 현재 추적 중인 포인트가 신체의 일부나 다른 물체에 의해 가려지는 경우가 있다. 이러한 경우 추적 포인트를 잘못 감지하여 움직임이 없는 상황에서도 움직임이 있는 것으로 판단하는 인식 오류가 발생할 수 있다. 도 6은 본 발명의 실시예에서 사람의 왼손을 감지할 수 없게 되어 포인트를 잘못 추적하는 경우의 예를 나타낸다. 본 실시예에서는 추적 과정에서 발생하는 인식의 오류를 방지하기 위하여, 매우 짧은 시간 동안 발생하는 큰 위치 변화는 인식 오류로 판단하여 누적 카운트 값을 감소시키지 않는다. 미세 시간 동안의 큰 움직임 변화는 일상 생활에서 사람이 움직일 수 있는 속도가 아니기 때문이다.

이상과 같은 본 발명에 따르면, 깊이 정보를 획득하는 깊이 센서를 기반으로 하여 신체에 대한 수면 상태의 여부를 효과적으로 판단할 수 있으며, 대상 공간(ex, 실내 공간)에 간단한 모니터링 환경의 구축만으로도 지속적인 수면 상태의 여부를 판단할 수 있다. 이러한 본 발명은 신체의 수면 상태의 여부와 연계 동작하는 다양한 제어(ex, 보안 시스템의 제어, 전기 에너지의 절약, 온/습도 및 공기의 질 제어)에 응용될 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

10: 깊이 센서 100: 휴면 상태 인식 장치
110: 센싱값 획득부 120: 움직임 판단부
130: 누적 카운트부 140: 휴면 인식부
150: 전원 제어부

Claims (10)

1. 신체에 적외선을 조사하는 복수의 깊이 센서들로부터 센싱 값을 획득하는 단계;
   상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단하는 단계;
   상기 신체에 움직임이 없다고 판단되면 제1 값을 누적시키고 상기 신체에 움직임이 있다고 판단되면 상기 제1 값보다 큰 값인 제2 값을 차감하여, 현재 시점에 대한 누적 카운트 값을 획득하는 단계; 및
   기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 휴면 상태인 것으로 판단하는 단계를 포함하며,
   상기 신체의 움직임 여부를 판단하는 단계는,
   과거 시점과 현재 시점 사이의 센싱 값의 차이가 기준값 이상인 경우 상기 신체에 움직임이 있다고 판단하는 깊이 센서 기반의 휴면 상태 인식 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 현재 시점에 대한 누적 카운트 값을 획득하는 단계는,
   상기 누적 카운트 값이 기 설정된 최대값을 초과하는 경우, 상기 현재 시점의 누적 카운트 값을 상기 최대 값으로 갱신하는 깊이 센서 기반의 휴면 상태 인식 방법.
4. 삭제
5. 청구항 1에 있어서,
   상기 신체가 휴면 상태인 것으로 판단되면, 조명 기기 또는 가전 기기의 전원을 차단시키는 단계를 더 포함하는 깊이 센서 기반의 휴면 상태 인식 방법.
6. 신체에 적외선을 조사하는 복수의 깊이 센서들로부터 센싱 값을 획득하는 센싱값 획득부;
   상기 센싱 값을 이용하여 각각의 센싱 시점 별로 상기 신체의 움직임 여부를 판단하는 움직임 판단부;
   상기 신체에 움직임이 없다고 판단되면 제1 값을 누적시키고 상기 신체에 움직임이 있다고 판단되면 상기 제1 값보다 큰 값인 제2 값을 차감하여, 현재 시점에 대한 누적 카운트 값을 획득하는 누적 카운트부; 및
   기 설정된 시간 구간 동안 상기 누적 카운트 값이 임계치 이상의 값을 유지하는 경우, 상기 신체가 휴면 상태인 것으로 판단하는 휴면 인식부를 포함하며,
   상기 움직임 판단부는,
   과거 시점과 현재 시점 사이의 센싱 값의 차이가 기준값 이상인 경우 상기 신체에 움직임이 있다고 판단하는 깊이 센서 기반의 휴면 상태 인식 장치.
7. 삭제
8. 청구항 6에 있어서,
   상기 누적 카운트부는,
   상기 누적 카운트 값이 기 설정된 최대값을 초과하는 경우, 상기 현재 시점의 누적 카운트 값을 상기 최대 값으로 갱신하는 깊이 센서 기반의 휴면 상태 인식 장치.
9. 삭제
10. 청구항 6에 있어서,
    상기 신체가 휴면휴면인 것으로 판단되면, 조명 기기 또는 가전 기기의 전원을 차단시키는 전원 제어부를 더 포함하는 깊이 센서 기반의 휴면 상태 인식 장치.

Images