KR102586773B1 - Ai 기반의 모니터링 시스템 및 그의 동작 방법 - Google Patents

Abstract

AI(Artificial Intelligence) 기반의 모니터링 시스템 및 그의 동작 방법이 제공된다. 본 개시의 몇몇 실시예들에 따른 모니터링 시스템은, 모니터링 장비를 통해 대상 시설에 관한 영상을 획득하고, 획득된 영상에서 기초 정보를 추출하여 전송하는 정보 추출 장치 및 추출된 기초 정보를 토대로 대상 시설에 대한 모니터링을 수행하는 모니터링 서버를 포함할 수 있다. 정보 추출 장치는 획득된 영상 대신에 영상에서 추출된 기초 정보를 모니터링 서버로 전송함으로써, 영상 전송 시에 야기될 수 있는 프라이버시 문제를 미연에 방지할 수 있다.

Description

AI 기반의 모니터링 시스템 및 그의 동작 방법{SYSTEM FOR MONITORING BASED ON ARTIFICIAL INTELLIGENCE AND OPERATING METHOD THEREOF}

본 개시는 AI(Artificial Intelligence) 기반의 모니터링 시스템 및 그의 동작 방법에 관한 것이다. 보다 상세하게는, AI 모델을 이용하여 대상 시설에 대한 지능화된 모니터링을 수행하는 시스템 및 그 시스템의 동작 방법에 관한 것이다.

센서 기술 및 영상 분석 기술이 고도화됨에 따라 모니터링 시스템(e.g. 통합 관제 시스템)이 다양한 시설에 도입되고 있다. 가령, CCTV(closed circuit television) 영상을 분석하여 시설 내의 이상 상황을 자동으로 검출하는 모니터링 시스템이 다양한 시설에 도입되고 있다.

모니터링 시스템에 대한 관심과 수요가 증가함에 따라 프라이버시 이슈 또한 주목받고 있다. 모니터링 시스템은 통상적으로 대상 시설을 촬영하는 CCTV 장비와 외부에 위치한 서버로 구성되는데, 민감한 정보가 담긴 CCTV 영상이 외부의 서버로 전송되는 동안 유출될 위험성이 존재하기 때문이다.

한편, 최근에는, 어린이집과 같은 아동 관련 시설에서 사건 사고가 빈번하게 발생함에 따라 아동 관련 시설에도 모니터링 시스템을 도입하려는 시도가 이루어지고 있다. 그러나, 아직까지 아동 관련 시설을 대상으로 체계적이고 지능화된 모니터링을 수행하는 시스템은 개발된 바가 없는 실정이다.

한국공개특허 제10-2001-0064670호 (2001.07.11. 공개)

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 기술적 과제는, AI 기반으로 지능화된 모니터링을 수행할 수 있는 시스템 및 그 시스템의 동작 방법을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 다른 기술적 과제는, 프라이버시 보호 기능을 구비한 모니터링 시스템 및 그 시스템의 동작 방법을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 아동 관련 시설에 대해 체계적이고 지능화된 모니터링을 수행할 수 있는 시스템 및 그 시스템의 동작 방법을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 모니터링 영상에서 사람의 자세/행동 정보를 정확하게 추출하는 방법을 제공하는 것이다.

본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 개시의 몇몇 실시예들에 따른 모니터링 시스템은, 모니터링 장비를 통해 대상 시설에 관한 영상을 획득하고, 획득된 영상에서 기초 정보를 추출하며, 상기 획득된 영상 대신에 상기 추출된 기초 정보를 전송하는 정보 추출 장치 및 상기 추출된 기초 정보를 토대로 상기 대상 시설에 대한 모니터링을 수행하는 모니터링 서버를 포함할 수 있다.

몇몇 실시예들에서, 상기 정보 추출 장치는 상기 대상 시설의 내부 네트워크에 위치하고, 상기 모니터링 서버는 상기 대상 시설의 외부 네트워크에 위치할 수 있다.

몇몇 실시예들에서, 상기 정보 추출 장치는, AI 기반의 영상 분석 모델을 통해 상기 획득된 영상에서 상기 기초 정보를 추출할 수 있다.

몇몇 실시예들에서, 상기 획득된 영상은 사람 객체를 포함하고, 상기 기초 정보는 상기 사람 객체에 관한 정보를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 정보 추출 장치는, 대상 시설의 외부에 위치한 모니터링 서버와 통신하는 통신 인터페이스, 하나 이상의 인스트럭션들(instructions)을 저장하는 메모리 및 상기 저장된 하나 이상의 인스트럭션들을 실행시킴으로써, 상기 대상 시설에 관한 영상을 획득하는 동작, 상기 획득된 영상에서 기초 정보를 추출하는 동작 및 상기 통신 인터페이스를 통해 상기 획득된 영상 대신에 상기 추출된 기초 정보를 상기 모니터링 서버로 전송하는 동작을 수행하는 프로세서를 포함할 수 있다.

몇몇 실시예들에서, 상기 기초 정보는 사람의 자세 정보 또는 행동 정보를 포함하고, 상기 기초 정보를 추출하는 동작은, 상기 획득된 영상의 사람 영역에서 관절 부위에 대응되는 복수의 키포인트를 검출하는 동작, 상기 복수의 키포인트에 기초하여 스켈레톤 모델(skeleton model)을 구성하는 동작 및 상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추정하는 동작을 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 모니터링 서버는, 대상 시설에 위치한 정보 추출 장치와 통신하는 통신 인터페이스, 하나 이상의 인스트럭션들(instructions)을 저장하는 메모리 및 상기 저장된 하나 이상의 인스트럭션들을 실행시킴으로써, 상기 통신 인터페이스를 통해 상기 정보 추출 장치로부터 상기 대상 시설에 관한 영상에서 추출된 기초 정보를 수신하는 동작 및 상기 수신된 기초 정보를 토대로 상기 대상 시설을 모니터링하는 동작을 수행하는 프로세서를 포함할 수 있다.

몇몇 실시예들에서, 상기 기초 정보는 제1 시점의 영상에서 추출된 사람 객체와 제2 시점의 영상에서 추출된 사람 객체의 안면 특징 정보 또는 행동 특징 정보를 포함하고, 상기 대상 시설을 모니터링하는 동작은, 상기 안면 특징 정보 또는 상기 행동 특징 정보를 비교하여 상기 제1 시점의 영상에서 추출된 사람 객체와 상기 제2 시점의 영상에서 추출된 사람 객체의 동일 여부를 판단하는 동작을 포함할 수 있다.

몇몇 실시예들에서, 상기 대상 시설은 아동 관련 시설이고, 상기 기초 정보는 상기 대상 시설 내의 사람에 관한 정보를 포함하며, 상기 대상 시설을 모니터링하는 동작은, 상기 기초 정보를 토대로 특정 아동의 성장 상태를 판단하는 동작을 포함하고, 상기 판단된 성장 상태와 표준 성장 지표의 비교 결과에 기초하여 미션 정보 또는 콘텐츠를 제공하는 동작을 더 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 추출 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 대상 시설에 관한 영상을 획득하는 단계, 상기 획득된 영상에서 기초 정보를 추출하는 단계 및 상기 획득된 영상 대신에 상기 추출된 기초 정보를 상기 대상 시설의 외부에 위치한 모니터링 서버로 전송하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 모니터링 방법은, 컴퓨팅 장치에 의해 수행되는 방법으로서, 대상 시설에 위치한 정보 추출 장치로부터 상기 대상 시설에 관한 영상에서 추출된 기초 정보를 수신하는 단계 및 상기 수신된 기초 정보를 토대로 상기 대상 시설을 모니터링하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 대상 시설에 관한 영상을 획득하는 단계, 상기 획득된 영상에서 기초 정보를 추출하는 단계 및 상기 획득된 영상 대신에 상기 추출된 기초 정보를 상기 대상 시설의 외부에 위치한 모니터링 서버로 전송하는 단계를 실행시키기 위하여 컴퓨터 판독가능한 기록매체에 저장될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 다른 몇몇 실시예들에 따른 컴퓨터 프로그램은, 대상 시설에 관한 영상을 획득하는 단계, 상기 획득된 영상에서 기초 정보를 추출하는 단계 및 상기 획득된 영상 대신에 상기 추출된 기초 정보를 상기 대상 시설의 외부에 위치한 모니터링 서버로 전송하는 단계를 실행시키기 위하여 컴퓨터 판독가능한 기록매체에 저장될 수 있다.

상술한 본 개시의 몇몇 실시예들에 따르면, 대상 시설에 위치한 정보 추출 장치와 외부에 위치한 모니터링 서버를 구성된 모니터링 시스템이 제공될 수 있다. 이때, 정보 추출 장치는 모니터링 데이터 대신에 모니터링 데이터에서 추출된 기초 정보를 모니터링 서버로 전송하는 동작을 수행할 수 있으며, 이로 인해 모니터링 데이터와 관련된 프라이버시 문제가 용이하게 해결될 수 있다. 가령, 정보 추출 장치는 CCTV 영상 대신에 영상에서 추출된 사람 객체에 관한 정보를 전송함으로써, CCTV 영상이 외부로 유출됨으로써 발생될 수 있는 프라이버시 문제를 미연에 방지할 수 있다.

또한, 대용량의 모니터링 데이터 대신에 저용량의 기초 정보를 모니터링 서버로 전송함으로써, 네트워크 비용도 절감될 수 있다.

또한, 원시 데이터(raw data)인 모니터링 데이터 대신에 추출된 기초 정보를 모니터링 서버로 전송함으로써, 모니터링 서버의 컴퓨팅 비용도 크게 절감될 수 있다.

또한, 아동 관련 시설 내의 아동들의 성장 상태에 다양한 분석 정보가 제공될 수 있다. 가령, 아동들의 신체, 정서, 언어, 사회성 발달 상태에 관한 분석 정보와 같이 체계적이고 양질의 아동 정보가 보호자에게 제공될 수 있다.

또한, 모니터링 영상에서 관절 부위에 대응되는 복수의 키포인트(key point)를 검출하고, 검출된 키포인트를 기초로 스켈레톤 모델(skeleton model)이 구성될 수 있다. 또한, 스켈레톤 모델을 이용하여 사람의 자세/행동 정보가 추정함으로써, 자세/행동 정보의 추정(추출) 정확도가 향상될 수 있다. 가령, 그래프 구조의 데이터 분석에 적합한 GCN(Graph Convolutional Networks)을 통해 사람의 자세/행동 정보를 추정함으로써, 자세/행동 정보의 추정(추출) 정확도가 크게 향상될 수 있다.

또한, 관절의 가동 방향 및/또는 가동 범위를 기초로 스켈레톤 모델의 오차를 교정함으로써, 자세/행동 정보의 추정(추출) 정확도가 더욱 향상될 수 있다.

본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 몇몇 실시예들에 따른 모니터링 시스템과 프라이버시 보호 원리를 설명하기 위한 예시적인 도면이다.
도 2는 본 개시의 몇몇 실시예들에 따른 아동 관련 시설 모니터링 시스템을 개략적으로 나타내는 예시적인 구성도이다.
도 3은 본 개시의 몇몇 실시예들에 따른 아동 관련 시설 모니터링 시스템의 동작 방법을 개략적으로 나타내는 예시적인 흐름도이다.
도 4 및 도 5는 본 개시의 몇몇 실시예들에 따른 기초 정보 추출 방법을 부연 설명하기 위한 예시적인 도면이다.
도 6은 본 개시의 몇몇 실시예들에 따른 객체 동일성 판단 방법을 설명하기 위한 예시적인 도면이다.
도 7은 본 개시의 몇몇 실시예들에 따른 자세/행동 정보 추출 방법을 개략적으로 나타내는 예시적인 흐름도이다.
도 8 내지 도 10은 본 개시의 몇몇 실시예들에 따른 자세/행동 정보 추출 방법을 부연 설명하기 위한 예시적인 도면이다.
도 11 및 도 12는 본 개시의 몇몇 실시예들에 따른 GCN(Graph Convolutional Networks)의 학습 방법을 설명하기 위한 예시적인 도면이다.
도 13은 본 개시의 몇몇 실시예들에 따른 아동 모니터링 방법을 개략적으로 나타내는 예시적인 흐름도이다.
도 14 및 도 15는 본 개시의 몇몇 실시예들에 따른 아동 모니터링 방법을 부연 설명하기 위한 예시적인 도면이다.
도 16은 본 개시의 몇몇 실시예들에 따른 진단 시스템을 설명하기 위한 예시적인 도면이다.
도 17은 본 개시의 다양한 실시예들에 따른 장치/시스템을 구현할 수 있는 예시적인 컴퓨팅 장치를 도시한다.

이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 개시의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

본 개시에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 개시의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 1은 본 개시의 몇몇 실시예들에 따른 모니터링 시스템과 프라이버시 보호 원리를 설명하기 위한 예시적인 도면이다.

모니터링 시스템은 외부 서버(3)를 통해 대상 시설(1)에 대한 모니터링 기능을 수행하는 시스템 또는 모니터링 서비스를 제공하는 시스템일 수 있다. 또한, 모니터링 시스템은 모니터링 데이터(D)에 대한 프라이버시 보호 기능을 구비한 시스템일 수 있다.

대상 시설(1)은 아동 관련 시설(e.g. 어린이집) 등을 포함하는 교육(보육) 시설, 홈, 빌딩, 공장 등과 같이 모니터링 서비스가 적용될 수 있는 임의의 시설일 수 있다. 따라서, 본 개시의 범위가 대상 시설의 종류에 의해 한정되는 것은 아니다. 아동 관련 시설을 모니터링하는 시스템에 관하여서는 추후 도 2 이하의 도면을 참조하여 보다 상세하게 설명하도록 한다.

도 1에 도시된 바와 같이, 실시예들에 따른 모니터링 시스템은 정보 추출 장치(2) 및 모니터링 서버(3)를 포함할 수 있다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 구성요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 1에 도시된 모니터링 시스템의 각각의 구성요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 가령, 모니터링 데이터(D)에 대한 프라이버시 보호가 필요치 않은 환경이라면, 정보 추출 장치(2)와 모니터링 서버(3)는 동일한 컴퓨팅 장치 내에서 서로 다른 로직(logic)의 형태로 구현될 수도 있다. 이하, 모니터링 시스템의 각 구성요소와 프라이버시 보호 원리에 대하여 간략하게 설명하도록 한다.

정보 추출 장치(2)는 모니터링 데이터(D)에서 기초 정보(B)를 추출하여 모니터링 서버(3)로 전송하는 컴퓨팅 장치일 수 있다. 여기서, 모니터링 데이터(D)는 대상 시설(1)에 설치된 모니터링 장비(e.g. CCTV, 각종 센서)를 통해 생성된(획득된) 데이터로서, 예를 들어 영상, 음성, 센서 데이터(e.g. 온도, 습도 등을 측정한 환경 데이터) 등을 포함할 수 있을 것이나, 이에 한정되는 것은 아니다. 그리고, 기초 정보(B)는 모니터링 서버(3)가 대상 시설(1)에 대한 모니터링 기능을 수행하는데 기초가 되는 정보(즉, 모니터링 기초 정보)를 의미할 수 있다. 이하에서는, 설명의 편의상, 정보 추출 장치(2)를 "추출 장치(2)"로 약칭하도록 한다.

컴퓨팅 장치는 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 컴퓨팅 장치의 일 예시에 관하여서는 도 17을 참조하도록 한다.

추출 장치(2)가 기초 정보(B)를 추출하여 전송하는 경우 다음과 같은 적어도 세가지의 이점이 획득될 수 있다.

첫번째 이점은 모니터링 데이터(D)에 대한 프라이버시(privacy) 문제가 용이하게 해결될 수 있다는 것이다. 통상적으로, 모니터링 데이터(D)는 개인 정보(e.g. 개인의 안면, 만난 사람 등에 관한 영상)와 같이 프라이버시(privacy)에 민감한 정보를 포함하고 있을 수 있다. 따라서, 모니터링 데이터(D)가 외부에 위치한 모니터링 서버(3)로 그대로 전송되면, 개인의 프라이버시가 크게 문제될 수 있다. 그러나, 모니터링 데이터(D) 대신에 기초 정보(B)만이 외부로 전송되면, 민감 정보의 유출이 미연이 방지될 수 있기 때문에, 프라이버시 문제가 용이하게 해결될 수 있다. 기초 정보(B)는 개인의 프라이버시와 직결되는 민감 정보를 포함하고 있지 않으므로, 민감 정보가 개념적으로 마스킹(masking) 처리된 데이터로 이해될 수도 있다. 기초 정보(B)의 구체적인 예시에 관하여서는 후술하도록 한다.

두번째 이점은 모니터링 서버(3)의 컴퓨팅 비용이 절감될 수 있다는 것이다. 구체적으로, 추출 장치(2)가 자신의 컴퓨팅 비용을 투입하여 소정의 기초 정보(B)를 추출하여 제공함으로써, 모니터링 서버(3)가 모니터링 데이터(D)를 분석하기 위해 투입하는 컴퓨팅 비용이 절감될 수 있다.

세번째 이점은 대상 시설(1)과 모니터링 서버(3) 간의 네트워크 비용이 절감될 수 있다는 것이다. 통상적으로, 기초 정보(B)는 원시 데이터(raw data)에 해당하는 모니터링 데이터(D)에 비해 훨씬 저용량의 데이터이기 때문에, 데이터 전송에 소요되는 네트워크 비용이 상당히 절감될 수 있다.

본 실시예에서, 추출 장치(2)는 대상 시설(1)의 로컬/내부 네트워크(local/internal network)에 위치할 수 있다. 다시 말해, 추출 장치(2)는 대상 시설(1)의 로컬 네트워크에 연결되어, 로컬 네트워크를 통해 모니터링 데이터(D)를 수신할 수 있다. 따라서, 대상 시설(1)과 추출 장치(2) 간에는 프라이버시가 크게 문제되지 않을 수 있다.

몇몇 실시예들에서는, 추출 장치(2)가 설정된 모드(mode)에 따라 프라이버시 보호 기능을 선택적으로 수행할 수도 있다. 가령, 추출 장치(2)는 프라이버시 모드가 설정된 경우에만 모니터링 데이터(D) 대신에 기초 정보(B)를 모니터링 서버(3)로 전송할 수 있다. 일반 모드가 설정된 경우라면, 추출 장치(2)는 모니터링 데이터(D)를 그대로 모니터링 서버(3)로 전송하거나, 기초 정보(B)를 모니터링 데이터(D)와 함께 전송할 수 있다. 또한, 특정 모드가 설정된 경우에는, 추출 장치(2)는 기초 정보(B)와 함께 사람 객체가 마스킹된 모니터링 영상 또는 인코딩된 모니터링 영상을 전송할 수 있다. 가령, 추출 장치(2)와 서버(3)는 입력된 영상을 인코딩하는 인코더(e.g. 컨볼루션 레이어)와 인코딩된 영상을 복원하는 디코더(e.g. 디컨볼루션 레이어)로 구성된 AI(Artificial Intelligence) 모델을 공유하고, 추출 장치(2)는 AI 모델의 인코더를 통해 영상을 인코딩하여 전송할 수 있다. 그러면, 서버(3)는 AI 모델의 디코더를 통해 인코딩된 영상을 디코딩하여 모니터링을 수행할 수 있다.

다음으로, 모니터링 서버(3)는 수신된 기초 정보(B)를 기초로 모니터링 서비스를 제공하는 컴퓨팅 장치일 수 있다. 예를 들어, 모니터링 서버(3)는 대상 시설(1)에서 이상 상황을 검출하거나, 모니터링 결과에 대한 분석 정보(e.g. 통계 정보)를 제공할 수 있다. 이하에서는, 설명의 편의상, 모니터링 서버(3)를 "서버(3)"로 약칭하도록 한다.

본 실시예에서, 서버(3)는 대상 시설(1)의 원격/외부 네트워크(remote/external network)에 위치할 수 있다. 다시 말해, 서버(3)는 대상 시설(1)의 원격 네트워크에 연결되어, 원격 네트워크(즉, 인터넷)를 통해 기초 정보(B)를 수신할 수 있다. 서버(3)가 대상 시설(1)의 외부에 위치하더라도, 민감 정보가 마스킹 처리된 기초 정보(B)만을 수신하므로, 모니터링 데이터(D)의 프라이버시는 문제되지 않을 수 있다.

상술한 추출 장치(2)와 서버(3)는 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 가령, 서버(3)는 하나의 컴퓨팅 장치로 구현될 수도 있고, 복수의 컴퓨팅 장치로 구현될 수도 있다. 이를테면, 서버(3)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수 있다. 또는, 서버(3)의 특정 기능이 복수의 컴퓨팅 장치에서 구현될 수도 있다.

도시된 바와 같이, 추출 장치(2)와 서버(3)는 네트워크(인터넷)를 통해 통신할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

지금까지 도 1을 참조하여 본 개시의 몇몇 실시예들에 따른 모니터링 시스템과 그의 프라이버시 보호 원리에 대하여 설명하였다. 이하에서는, 도 2 이하의 도면을 참조하여 상술한 모니터링 시스템의 구체적인 예시에 대하여 설명하도록 한다. 다만, 본 개시의 명료함을 위해, 앞서 설명한 바와 중복되는 내용에 대한 설명은 생략하도록 한다.

보다 구체적으로는, 상술한 모니터링 시스템이 아동 관련 시설에 구축된 경우를 예로 들어 설명하도록 한다. 다만, 본 개시의 범위가 이러한 예시에 한정되는 것은 아니며, 이하에서 설명되는 기술적 내용들은 아동과 관련되지 않은 다양한 시설(e.g. 홈, 빌딩 등)에도 실질적인 기술적 사상의 변경없이 적용될 수 있다. 또한, 이하의 실시예들에서, "아동"이란, 법령에 규정된 연령에 관계없이 보호자가 존재하거나 보호자가 필요한 연령층의 사람을 모두 포괄할 수 있다. 가령, 아동은 유아, 어린이, 청소년, 미성년자 등을 모두 포괄할 수 있다.

도 2는 본 개시의 몇몇 실시예들에 따른 아동 관련 시설 모니터링 시스템을 나타내는 예시적인 구성도이다.

도 2에 도시된 바와 같이, 아동 관련 시설 모니터링 시스템도 추출 장치(20) 및 서버(30)를 포함하도록 구성될 수 있다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 구성요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 2에 도시된 모니터링 시스템의 각각의 구성요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다.

추출 장치(20)는 아동 관련 시설(10)에 설치된 각종 모니터링 장비(e.g. CCTV, 센서)를 통해 모니터링 데이터(D)를 획득할 수 있다. 또한, 추출 장치(20)는 획득된 모니터링 데이터(D)에서 기초 정보(B)를 추출하고, 추출된 기초 정보(B)를 서버(30)로 전송할 수 있다. 가령, 추출 장치(20)는 AI 모델을 이용하여 모니터링 데이터(D)에서 기초 정보(B)를 추출할 수 있다. 여기서, AI 모델은 예를 들어 신경망(neural network) 모델, 전통적인 머신러닝 모델(e.g. 결정 트리, 서포트 벡터 머신, 선형 회귀, 랜덤 포레스트 등) 등을 모두 포괄할 수 있다.

모니터링 데이터(D)는 영상, 음성, 센싱 데이터 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가령, 모니터링 데이터(D)는 아동 관련 시설(10) 내부를 촬영한 영상, 내부에서 녹음된 음성(e.g. 영상에 녹음된 음성) 등을 포함할 수 있다.

기초 정보(B)는 예를 들어 사람(e.g. 아동, 선생님 등)의 안면 특징, 표정(감정), 위치 트래킹 정보, 자세/행동 정보(e.g. 행동에 대한 분류 정보), 사물 관련 정보, 장면(scene)/상황(context) 정보, 언어 특징 정보 등을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다.

추출 장치(20)의 동작에 대한 보다 자세한 설명은 추후 도 3 이하의 도면을 참조하여 후술하도록 한다.

다음으로, 서버(30)는 수신된 기초 정보(B)를 토대로 모니터링 기능을 수행할 수 있다. 구체적으로, 서버(30)는 기초 정보(B)를 토대로 아동 관련 시설(10)에 대한 모니터링을 수행하고, 다양한 분석 정보(A)를 생성할 수 있다. 그리고, 서버(30)는 생성된 분석 정보(A)를 보호자 단말(40)에게 제공할 수 있다. 명확하게 도시되어 있지는 않으나, 서버(30)는 보호자 이외에도 다양한 관계자(e.g. 지인, 선생님, 원장님 등) 단말(미도시)에게도 분석 정보(A)를 제공할 수 있다.

분석 정보(A)는 예를 들어 아동의 신체 발달 상태, 정서 발달 상태, 언어 발달 상태, 사회성 발달 상태 등과 같이 다양한 성장 상태에 관한 측정/분석 정보를 포함할 수 있을 것이나, 이에 한정되는 것은 아니다.

몇몇 실시예들에서, 서버(30)는 분석 정보(A)를 토대로 미션 정보를 제공하거나 콘텐츠를 제공(추천)할 수도 있다. 구체적으로, 서버(30)는 분석 정보(A)를 토대로 아동의 성장에 도움이 되는 미션 정보를 제공하거나 콘텐츠를 제공(추천)할 수 있다. 가령, 서버(30)는 언어 발달 상태가 상대적으로 떨어지는 아동의 보호자에게 언어 발달에 도움이 되는 미션 정보 또는 콘텐츠를 제공할 수 있다. 그렇게 함으로써, 아동 별로 맞춤형 성장 지원 서비스가 제공될 수 있다. 본 실시예에 관하여서는 추후 도 13 등의 도면을 참조하여 보다 상세하게 설명하도록 한다.

서버(30)의 동작에 대한 보다 자세한 설명은 추후 도 3 이하의 도면을 참조하여 후술하도록 한다.

도시된 바와 같이, 추출 장치(20), 서버(30) 및 보호자 단말(40)은 네트워크(인터넷)를 통해 통신할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

지금까지 도 2를 참조하여 본 개시의 몇몇 실시예들에 따른 아동 관련 시설 모니터링 시스템에 대하여 설명하였다. 이하에서는, 도 3 이하를 참조하여 상술한 아동 관련 시설 모니터링 시스템의 동작 방법에 대하여 상세하게 설명하도록 한다.

도 3은 본 개시의 몇몇 실시예들에 따른 아동 관련 시설 모니터링 시스템의 동작 방법을 개략적으로 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 또한, 이해의 편의를 제공하기 위해, 도 3에 예시된 흐름도는 도 2에 예시된 시스템 구성을 가정하고 있다.

도 3에 도시된 바와 같이, 상기 동작 방법은 추출 장치(20)가 아동 관련 시설(10)에 설치된 모니터링 장비로부터 모니터링 데이터를 수신하는 단계 S100에서 수행될 수 있다.

단계 S200에서, 추출 장치(20)는 모니터링 데이터에서 기초 정보를 추출할 수 있다. 다만, 구체적인 추출 방식은 실시예에 따라 달라질 수 있다.

몇몇 실시예들에서는, 도 4에 도시된 바와 같이, 추출 장치(20)는 AI 기반의 영상 분석 모델(42; e.g. CNN 등의 신경망에 기반한 영상 분석 모델)을 통해 모니터링 영상(41)에서 사람(e.g. 아동)의 안면 특징, 표정(감정) 등의 기초 정보를 추출할 수 있다. 가령, 추출 장치(20)는 AI 기반의 안면 인식 모델을 통해 안면 특징(e.g. 안면 특징점의 위치, 간격, 눈 모양, 입 모양 등)을 추출할 수 있다. 또는, 추출 장치(20)는 AI 기반의 안면 인식 모델을 통해 모니터링 영상(e.g. 41)에서 사람을 인식하고, 인식 결과에 따라 식별자를 부여할 수도 있다. 그리고, 모니터링 영상(e.g. 41) 대신에 부여된 식별자와 다른 기초 정보들이 서버(30)로 전송될 수 있다. 다른 예로서, 추출 장치(20)는 AI 기반의 표정(감정) 인식 모델을 통해 모니터링 영상(41)에서 사람의 표정(감정) 정보(e.g. 표정/감정에 대한 분류 정보, 표정 분류에 기초가 되는 특징 정보)를 추출할 수도 있다. 물론, 추출 장치(20)는 AI 모델에 기반하지 않고 영상 처리 기법을 적용하여 상술한 기초 정보를 추출할 수도 있다.

또한, 몇몇 실시예들에서는, 도 4에 도시된 바와 같이, 추출 장치(20)는 AI 기반의 영상 분석 모델(45; e.g. CNN 등의 신경망에 기반한 영상 분석 모델)을 통해 모니터링 영상(43, 44)에서 사람(e.g. 아동)의 자세(pose), 행동 등의 기초 정보를 추출할 수 있다. 가령, 추출 장치(20)는 AI 기반의 자세 인식 모델을 통해 사람의 자세 정보(e.g. 자세에 대한 분류 정보, 스켈레톤 모델과 같이 자세 인식에 기초가 되는 특징 정보)를 추출할 수 있다. 또는, 추출 장치(20)는 AI 기반의 행동 인식 모델을 통해 사람의 행동 정보(e.g. 행동에 대한 분류 정보, 스켈레톤 모델과 같이 행동 인식에 기초가 되는 특징 정보)를 추출할 수 있다. 추출 장치(20)가 자세/행동 정보를 추출하는 방법의 일 예시에 관하여서는 추후 도 7 내지 도 10을 참조하여 상세하게 설명하도록 한다.

또한, 몇몇 실시예들에서는, 도 4에 도시된 바와 같이, 추출 장치(20)는 AI 기반의 음성 분석 모델(47)을 통해 모니터링된 음성(46)에서 사람(e.g. 아동)의 언어 기초 정보를 추출할 수 있다. 가령, 추출 장치(20)는 AI 기반의 음성 인식 모델을 통해 언어 기초 정보(e.g. 인식된 텍스트, 음성 인식의 기초가 되는 특징 정보, 독특한 발음 등)를 추출할 수 있다. 또는, 추출 장치(20)는 음성 처리 기법을 적용하여 음성 신호(e.g. 46)에 포함된 특징을 추출할 수도 있다.

또한, 몇몇 실시예들에서는, 추출 장치(20)는 AI 기반의 영상 분석 모델을 통해 모니터링 영상에서 사람(e.g. 아동)에 대한 위치 트래킹 정보를 추출할 수 있다. 가령, 추출 장치(20)는 AI 기반의 객체 검출 모델을 통해 모니터링 영상에 포함된 사람 객체를 검출 및 트래킹함으로써 위치 트래킹 정보를 추출할 수 있다.

또한, 몇몇 실시예들에서는, 추출 장치(20)는 AI 기반의 영상 분석 모델을 통해 모니터링 영상에서 사물에 대한 기초 정보(e.g. 사물에 대한 분류 정보, 분류의 기초가 되는 특징 정보)를 추출할 수 있다.

또한, 몇몇 실시예들에서는, 추출 장치(20)는 AI 기반의 영상 분석 모델을 통해 모니터링 영상에서 장면(상황) 정보를 추출할 수 있다. 가령, 추출 장치(20)는 AI 기반의 장면(상황) 인식 모델을 통해 장면(상황) 정보(e.g. 놀이, 수업, 휴식 등과 같은 장면 분류 정보, 장면 분류의 기초가 되는 특징 정보)를 추출할 수 있다.

한편, 몇몇 실시예들에서는, 추출 장치(20)가 AI 모델 내부에서 생성된 특징 데이터(e.g. CNN의 특징맵)를 서버(30)로 전송할 수 있다. 즉, AI 모델 내부에서 생성된 특징 데이터가 기초 정보로 이용될 수 있다. 그리고, 서버(30)는 수신된 특징 데이터를 AI 모델에 적용하여 얻어진 출력 정보(e.g. 표정 분류 정보, 장면 분류 정보 등)를 토대로 모니터링을 수행할 수도 있다. 예를 들어, AI 모델이 특징 추출 레이어와 출력 레이어로 구성된다고 가정하자. 이러한 경우, 추출 장치(20)는 AI 모델의 특징 추출 레이어에서 출력된 특징 데이터를 서버로(30)로 전송하고, 서버(30)는 수신한 특징 데이터를 AI 모델의 출력 레이어에 입력하여 얻어진 출력 정보를 토대로 모니터링을 수행할 수 있다. 본 실시예에 따르면, 모니터링 데이터의 프라이버시가 보다 강하게 보호될 수 있는데, 이는 AI 모델의 내부 데이터는 통상적으로 복잡하게 인코딩(또는 암호화)된 형태를 갖기 때문인 것으로 이해될 수 있다.

또한, 몇몇 실시예들에서는, 도 5에 도시된 바와 같이, 추출 장치(20)가 모니터링 영상(51)에서 객체(e.g. 사람, 사물)를 검출하고, 검출된 객체에 식별자(A, B, C)를 부여(태깅)할 수 있다. 부여된 식별자(A, B, C)는 각 개체의 기초 정보(52 내지 54)와 함께 서버(30)로 전송될 수 있다. 이때, 식별자는 다양한 방식으로 부여될 수 있다. 예를 들어, 추출 장치(20)는 객체마다 식별자를 부여하되, 주기적 또는 비주기적으로 식별자를 변경할 수 있다. 이를테면, 추출 장치(20)는 검출 순서에 따라 시퀀스 넘버(sequence number)를 식별자로 부여하되, 주기적으로 시퀀스 넘버를 리셋(reset)시킬 수 있다. 다른 예로서, 추출 장치(20)는 회원 ID와 같이 객체마다 변하지 않는 고유의 식별자를 부여할 수도 있다.

다시 도 3을 참조하여 설명한다.

단계 S300에서, 추출 장치(20)는 기초 정보를 서버(30)로 전송할 수 있다. 가령, 추출 장치(20)는 모니터링 데이터 대신에 기초 정보만을 서버(30)로 전송할 수 있다. 이러한 경우, 모니터링 데이터에 포함된 민감 정보가 유출되는 것이 미연에 방지될 수 있는 바, 모니터링 데이터로 인한 프라이버시 문제가 용이하게 해결될 수 있다. 다만, 프라이버시가 중요하지 않은 환경이거나 모니터링 데이터에 민감 정보가 포함되지 않은 경우라면, 추출 장치(20)는 모니터링 데이터의 적어도 일부를 서버(30)로 전송할 수도 있다.

단계 S400에서, 서버(30)는 수신된 기초 정보를 토대로 아동들에 대한 모니터링 및 분석을 수행할 수 있다. 가령, 서버(30)는 기초 정보를 토대로 특정 상황(e.g. 싸움, 화재 등의 이상 상황, 지정된 상황)을 검출하거나, 아동의 성장 상태에 관한 다양한 분석 정보를 생성할 수 있다. 아동들을 모니터링하는 구체적인 방법에 관하여서는 추후 도 13 내지 도 15를 참조하여 후술하도록 한다.

한편, 본 개시의 몇몇 실시예들에 따르면, 서버(30)는 사람(e.g. 아동) 별로 모니터링을 수행하기 위해 수신된 기초 정보를 사람 객체 별로 분류하는 동작을 수행할 수 있다. 이때, 서버(30)는 사람 객체의 기초 정보를 비교하여 두 사람이 동일한지 여부를 판단할 수 있는데, 이하 도 6을 참조하여 본 실시예에 대하여 부연 설명하도록 한다.

도 6에 도시된 바와 같이, T1 시점과 T2 시점의 영상(61, 62)에서 아동 객체에 대한 기초 정보(63, 64)가 추출되었고 동일한 아동 객체에 서로 다른 식별자가 부여되었다고 가정하자(즉, 객체의 식별자가 변경되는 환경이라고 가정하자). 가령, T2 시점의 영상(62)은 T1 시점의 다음 날의 영상이기 때문에, 추출 장치(20)가 검출된 아동 객체(e.g. A2, B2)에 새로운 식별자를 부여했다고 가정하자. 이와 같은 경우, 서버(30)는 두 아동 객체의 기초 정보(63, 64)를 비교하여 객체의 동일성을 판단할 수 있다. 가령, 서버(30)는 안면 특징 정보(e.g. 안면 특징점의 위치, 거리, 얼굴색 등), 신체 특징 정보(e.g. 신체 비율, 독특한 신체적 특징), 표정 특징 정보(e.g. 특유의 표정, 습관적으로 짓는 표정) 및/또는 자세/행동 특징 정보(e.g. 특유의 제스처, 습관적인 행동) 등을 비교하여 두 아동 객체가 동일한지 여부를 판단할 수 있다.

다시 도 3을 참조하여 설명한다.

단계 S500에서, 서버(30)는 분석 정보를 보호자 및/또는 관련자 단말(e.g. 40)에게 제공할 수 있다. 가령, 서버(30)는 웹 페이지를 통해 분석 정보를 제공할 수 있고, 보호자 단말(40)에 설치된 앱(App)과 연동하여 분석 정보를 제공할 수도 있다.

몇몇 실시예들에서, 서버(30)는 분석 정보를 토대로 아동에게 도움이 되는 미션 정보 및/또는 콘텐츠를 제공할 수도 있다. 이와 관련하여서는, 추후 11 등을 참조하여 부연 설명하도록 한다.

지금까지 도 3 내지 도 6을 참조하여 본 개시의 몇몇 실시예들에 따른 아동 관련 시설 모니터링 시스템의 동작 방법에 대하여 설명하였다. 이하에서는, 도 7 내지 도 10을 참조하여 본 개시의 몇몇 실시예들에 따른 자세/행동 정보 추출 방법에 대하여 설명하도록 한다. 이하에서 후술되는 정보 추출 방법은 컴퓨팅 장치에 의해서 수행될 수 있으며, 예를 들어 추출 장치(20)에 의해 수행될 수 있다. 따라서, 이하의 설명에서, 특정 동작의 주어가 생략된 경우, 예시된 장치(20)에 의하여 수행되는 것으로 이해될 수 있다.

도 7은 본 개시의 몇몇 실시예들에 따른 자세/행동 정보 추출 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 7에 도시된 바와 같이, 상기 정보 추출 방법은 모니터링 영상의 사람(객체) 영역에서 관절 부위에 대응되는 키포인트(key point)를 검출하는 단계 S210에서 시작될 수 있다. 가령, 추출 장치(20)는 AI 기반의 영상 분석 모델을 통해 모니터링 영상에서 키포인트를 검출할 수 있다. 보다 구체적인 예로서, 도 8에 도시된 바와 같이, 추출 장치(20)는 CPM(72; Convolutional Pose Machine)을 통해 모니터링 영상(71)에서 복수의 키포인트(73)를 검출할 수 있다. 이때, 키포인트(73)의 개수는 다양하게 설정될 수 있다. 당해 기술 분야의 종사자라면, CPM의 구성 및 동작 원리에 대하여 이미 숙지하고 있을 것이나, CPM에 대한 자세한 설명은 생략하도록 한다.

단계 S220에서, 검출된 키포인트를 기초로 스켈레톤 모델이 구성될 수 있다. 가령, 도 8에 도시된 바와 같이, 추출 장치(20)는 모니터링 영상(71)에서 검출된 복수의 키포인트(73)를 연결하여 스켈레톤 모델(74)을 구성할 수 있다. 당해 기술 분야의 종사자라면, 스켈레톤 모델에 대하여 이미 숙지하고 있을 것인 바, 이에 대한 설명은 생략하도록 한다.

단계 S230에서, 스켈레톤 모델을 기초로 사람의 자세/행동이 추정될 수 있다. 가령, 추출 장치(20)는 모니터링 영상으로부터 구성된 하나 이상의 스켈레톤 모델을 이용하여 자세/행동을 추정할 수 있다. 구체적으로, 모니터링 영상은 연속된 복수의 프레임으로 구성될 수 있는데, 추출 장치(20)는 복수의 프레임으로부터 구성된 하나 이상의 스켈레톤 모델을 이용하여 자세/행동을 추정할 수 있다. 다만, 구체적인 추정하는 방식은 실시예에 따라 달라질 수 있다.

몇몇 실시예들에서는, 도 9에 도시된 바와 같이, 하나 이상의 프레임(81)으로부터 구성된 하나 이상의 스켈레톤 모델(82)로부터 해당 사람의 자세/행동을 추정하기 위해 GCN(83; Graph Convolutional Networks)이 이용될 수 있다. GCN(83)은 그래프 구조의 데이터에 대하여 컨볼루션 연산을 수행하여 목적 태스크를 수행하는 신경망 모델을 의미하는데, 스켈레톤 모델(82) 또한 그래프 구조의 데이터이기 때문에 GCN(83)이 잘 적용될 수 있다. 본 실시예에서, GCN(83)은 하나 이상의 스켈레톤 모델(82)을 입력받아 해당 사람의 자세/행동 정보(84)를 분류(추정)하도록 학습된 신경망일 수 있다. 가령, 도시된 바와 같이, GCN(83)은 스켈레톤 모델(82)을 입력받아 각 행동 클래스에 따른 컨피던스 스코어(84; confidence score)를 출력할 수 있다. 본 실시예에 따르면, 그래프 구조를 갖는 스켈레톤 모델의 분석에 최적화된 GCN을 활용함으로써, 자세/행동 정보에 대한 추정(추출) 정확도가 향상될 수 있다.

한편, 몇몇 실시예들에서는, 자세/행동을 추정하기 전에 스켈레톤 모델에 대한 오차를 교정하는 단계가 더 수행될 수 있다. 이하 본 실시예에 대하여 도 10을 참조하여 부연 설명하도록 한다.

도 10에 도시된 바와 같이, 모니터링 영상은 시간적으로 연속된 복수의 프레임(91 내지 93)으로 구성될 수 있다. 또한, 각 프레임(91 내지 93)으로부터 복수의 스켈레톤 모델(94 내지 96)이 구성될 수 있고, 일부 스켈레톤 모델(95)은 키포인트에 대한 검출 오차(97)를 포함하고 있을 수 있다. 가령, 검출 오차(97)는 CPM의 키포인트 추정 오류, 영상 내 폐색(occlusion) 영역 존재 등과 같은 다양한 원인으로 인해 발생될 수 있다. 이러한 경우, 추출 장치(20)는 복수의 스켈레톤 모델(94 내지 96)을 비교하여 검출 오차(97)를 발견하고 교정할 수 있다.

구체적으로, 추출 장치(20)는 관절 부위의 가동 방향 및/또는 가동 범위(즉, 각도)를 기준으로 복수의 스켈레톤 모델(94 내지 96)을 비교하여 검출 오차(97)를 발견할 수 있다. 가령, 추출 장치(20)는 대상 프레임(92)의 스켈레톤 모델(95)의 관절 가동 방향이 앞프레임(91) 또는 뒤프레임(93)의 스켈레톤 모델(94, 96)과 다르거나, 대상 스켈레톤 모델(95)의 관절 각도가 앞뒤 스켈레톤 모델(94, 96)의 관절 각도 사이에 있지 않은 경우, 대상 스켈레톤 모델(95)에 검출 오차(97)가 존재한다고 판단할 수 있다. 또한, 이러한 판단에 응답하여, 검출 오차(97)에 대한 교정을 수행할 수 있다.

오차 교정 방식은 다양할 수 있다. 가령, 추출 장치(20)는 검출 오차(97)가 발견된 스켈레톤 모델(95)을 제거할 수 있다. 다른 예로서, 추출 장치(20)는 앞뒤 스켈레톤 모델(94. 96)에 기초하여 검출 오차(97)를 보간할 수도 있다(e.g. 스켈레톤 모델 95의 관절 각도를 두 모델 94, 96의 사이값으로 보간함).

한편, 몇몇 실시예들에서, 추출 장치(20)는 미리 설정된 관절 부위 별 가동 범위와 가동 방향에 기초하여 스켈레톤 모델(e.g. 95)의 검출 오차(e.g. 97)를 발견할 수도 있다. 가령, 추출 장치(20)는 스켈레톤 모델(e.g. 95)의 특정 관절 부위의 각도가 기 설정된 가동 범위를 벗어난다는 판단에 응답하여, 오차가 존재한다고 판단할 수 있다(e.g. 팔꿈치 각도가 90도 이상인 경우 오차가 존재한다고 판단함).

이때, 관절 부위 별 가동 범위(또는 가동 방향)는 적정한 값으로 미리 설정되어 있을 수 있으나, 상황에 따라 변동될 수도 있다. 예를 들어, 가동 범위(또는 가동 방향)는 관절의 종류에 따라 다르게 설정될 수 있다. 다른 예로서, 가동 범위(또는 가동 방향)는 사람의 인구통계학적 특성(e.g. 나이, 인종 등)에 따라 다르게 설정될 수 있다. 또 다른 예로서, 가동 범위(또는 가동 방향)는 사람 별로 다르게 설정될 수 있다(e.g. 유연성이 좋은 사람의 경우 가동 범위가 더 넓은 범위로 설정됨). 또 다른 예로서, 가동 범위(또는 가동 방향)는 자세/행동 정보에 따라 다르게 설정될 수 있다(e.g. 걷는 경우와 뛰는 경우의 관절 가동 범위가 다르게 설정됨).

이하에서는, 도 11 및 도 12를 참조하여 상술한 GCN(e.g. 83)의 학습 방법에 관한 몇몇 실시예들에 대하여 설명하도록 한다.

상술한 GCN의 개별 학습데이터는 특정 행동(또는 자세)과 연관된 복수의 스켈레톤 모델로 구성될 수 있다. 다시 말해, GCN은 특정 행동 정보를 클래스 레이블(class label)로 갖고 복수의 스켈레톤 모델로 구성된 개별 학습데이터를 학습함으로써 구축될 수 있다. 이때, 복수의 스켈레톤 모델은 특정 행동을 나타내는 일련의 프레임 각각에서 검출된 키포인트를 연결함으로써 구성된 것일 수 있다.

본 개시의 몇몇 실시예들에서는, GCN의 성능을 향상시키기 위해, 소정의 연결 규칙에 따라 스켈레톤 모델을 가공하는 과정이 수행될 수 있다. 구체적으로, 도 11에 도시된 바와 같이, 소정의 연결 규칙에 따라 제1 스켈레톤 모델(101)의 키포인트(103, 104) 또는 제2 스켈레톤 모델(105)의 키포인트(107, 108)를 연결하는 가공 과정이 수행될 수 있고, 가공된 스켈레톤 모델(102, 106)이 GCN의 학습데이터로 이용될 수 있다. 이때, 연결 규칙은 행동 별 또는 인구통계학적 특성(e.g. 성별, 나이, 인종 등) 별로 설정된 것일 수 있다. 가령, 연결 규칙은 특정 행동에서 나타나는 특징을 학습용 스켈레톤 모델에 반영하기 위해 행동 별로 설정될 수 있다(e.g. "기지개" 행동에서는 두 손이 동시에 올라가는 특징이 나타나므로 두 손에 대응되는 키포인트를 연결하는 규칙을 설정함(도 11의 위쪽 도면 참조), "걷기, 뛰기" 행동에서는 두 발이 번갈아가며 움직이는 특징이 나타나므로 두 발에 대응되는 키포인트를 연결하는 규칙을 설정함(도 11의 아래쪽 도면 참조), "걷기, 뛰기" 행동에서는 손과 발이 동시에 움직이는 특징이 나타나므로 손과 발에 대응되는 키포인트를 연결하는 규칙을 설정함, 아동의 "걷기, 뛰기" 행동에서는 종종 같은 쪽 손과 발이 동시에 움직이는 나타나므로 같은 쪽 손과 발에 대응되는 키포인트를 연결하는 규칙을 설정함 등). 이러한 경우, 행동에서 나타나는 특징이 학습데이터에 반영됨으로써 GCN의 성능이 향상될 수 있다.

또한, 몇몇 실시예들에서는, GCN의 학습데이터 개수를 증가시키기 위해 샘플링(sampling) 기반의 데이터 확장(data augmentation) 기법이 적용될 수 있다. 예를 들어, 도 12에 도시된 바와 같이, GCN의 개별 학습데이터(111)가 특정 행동과 연관된 복수의(일련의) 스켈레톤 모델로 구성된다고 가정하자. 이러한 경우, 복수의 스켈레톤 모델에 대해 샘플링을 수행하여 복수의 개별 학습데이터(112 내지 114)가 생성될 수 있고, 상기 특정 행동을 클래스 레이블로 하여 복수의 개별 학습데이터(112 내지 114)를 학습함으로써 GCN(115)이 구축될 수 있다. 이때, 샘플링은 랜덤 샘플링 방식으로 수행될 수 있을 것이나, 이에 한정되는 것은 아니다. 본 실시예에 따르면, 샘플링을 통해 GCN(e.g. 115)의 학습데이터 개수가 증가됨으로써 대량의 학습데이터가 용이하게 확보될 수 있고, 그 결과 GCN의 성능이 향상될 수 있다. 이를테면, 제1 개수의 스켈레톤 모델로 구성된 본래의 개별 학습데이터(111)로부터 제1 개수보다 적은 제2 개수의 스켈레톤 모델로 구성된 복수의 개별 학습데이터(112 내지 114)가 생성됨으로써, 학습데이터의 개수가 증가될 수 있다.

참고로, 상술한 샘플링 기반의 데이터 확장 기법은 행동을 추정하는 GCN에 상당히 효과적일 수 있다. 왜냐하면, 일련의 스켈레톤 모델(e.g. 111)에 내재된 행동 특징이 샘플링으로 인해(즉, 개별 학습데이터에서 일부 스켈레톤 모델이 생략됨으로 인해) 손실되는 정도는 상당히 미미한 반면, 증가된 학습데이터(e.g. 112 내지 114)로 인해 얻어지는 GCN의 성능 향상 정도는 상당히 크기 때문이다.

지금까지 도 7 내지 도 12를 참조하여 본 개시의 몇몇 실시예들에 따른 자세/행동 정보 추출 방법에 대하여 설명하였다. 이하에서는, 도 13 내지 도 15를 참조하여 본 개시의 몇몇 실시예들에 따른 아동 모니터링 방법에 대하여 설명하도록 한다. 이하에서 후술되는 아동 모니터링 방법은 컴퓨팅 장치에 의해서 수행될 수 있으며, 예를 들어 모니터링 서버(30)에 의해 수행될 수 있다. 따라서, 이하의 설명에서, 특정 동작의 주어가 생략된 경우, 예시된 장치(30)에 의하여 수행되는 것으로 이해될 수 있다.

도 13은 본 개시의 몇몇 실시예들에 따른 아동 모니터링 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 13에 도시된 바와 같이, 상기 아동 모니터링 방법은 기초 정보를 분석하여 아동의 성장 상태를 판단하고 성장 상태에 관한 분석 정보를 생성하는 단계 S410에서 시작될 수 있다. 가령, 도 14에 도시된 바와 같이, 다양한 기초 정보를 분석하여 신체 발달 상태, 정서 발달 상태, 언어 발달 상태 및 사회성 발달 상태가 측정되고 이들에 관한 분석 정보(e.g. 분석 리포트)가 생성될 수 있다. 다만, 그 구체적인 분석 방식은 실시예에 따라 달라질 수 있다.

몇몇 실시예들에서, 서버(30)는 행동 정보와 위치 트래킹 정보를 기초로 아동의 신체 발달 상태를 판단하고, 판단 결과를 토대로 분석 정보를 생성할 수 있다. 가령, 서버(30)는 행동 별 에너지 소비량 정보에 기초하여 아동의 신체 발달 상태(e.g. 신체 발달 지수)를 판단할 수 있다. 다른 예로서, 서버(30)는 대상 아동과 동일한 행동(e.g. 걷기, 뛰기 등)을 수행하는 다른 아동들과의 신체 발달 상태를 비교하여 분석 정보(e.g. 분석 리포트)를 생성할 수 있다.

또한, 몇몇 실시예들에서, 서버(30)는 상황 정보 및 표정 정보를 기초로 아동의 정서 발달 상태를 판단하고 이를 토대로 분석 정보를 생성할 수 있다. 가령, 서버(30)는 특정 상황(e.g. 놀이 상황)에서의 아동을 표정(감정)을 기초로 아동의 정서 발달 상태를 판단할 수 있다(e.g. 놀이 상황에서 즐거운 표정을 짓고 있는 경우 정서가 잘 발달된 것으로 판단함). 다른 예로서, 서버(30)는 대상 아동과 동일한 상황에 있는 다른 아동들과의 정서 발달 상태를 비교하여 분석 정보(e.g. 분석 리포트)를 생성할 수 있다.

또한, 몇몇 실시예들에서, 서버(30)는 음성에 추출된 기초 정보, 입 모양 정보 등을 토대로 아동의 언어 발달 상태를 판단하고 이를 토대로 분석 정보를 생성할 수 있다. 가령, 서버(30)는 기초 정보를 토대로 발음의 정확도, 언어 수준, 문맥의 매끄러움 등을 추정하고, 추정 결과를 기초로 언어 발달 상태를 판단할 수 있다. 다른 예로서, 서버(30)는 대상 아동과 동일한 연령대의 다른 아동들과의 언어 발달 상태를 비교하여 분석 정보(e.g. 분석 리포트)를 생성할 수 있다.

또한, 몇몇 실시예들에서, 서버(30)는 행동 정보, 위치 트래킹 정보 및 표정 정보 등을 분석하여 대상 아동과 다른 사람(e.g. 다른 아동, 선생님 등) 간의 접촉횟수, 접촉시점의 행동(e.g. 제스처), 접촉시점의 표정 등에 관한 정보를 도출할 수 있다. 또한, 서버(30)는 도출된 정보를 토대로 대상 아동의 사회성 발달 상태를 판단하고, 이를 토대로 분석 정보를 생성할 수 있다. 가령, 도 15에 도시된 바와 같이, 서버(30)는 대상 아동(121)과 다른 사람(122, 123) 간의 관계를 나타내는 맵을 생성할 수 있다. 보다 구체적인 예로서, 서버(30)는 접촉횟수를 기초로 관계의 유무를 판단하고, 접촉시점의 표정과 행동을 기초로 관계의 강도와 긍정성(또는 부정성)을 판단할 수 있다. 또한, 서버(30)는 대상 아동(121)과 관계가 존재하는 사람(122, 123)을 연결하여 관계 맵을 생성할 수 있다. 이때, 연결선의 길이, 색상, 굵기, 진하기 또는 노드의 크기, 색상 등을 통해 관계의 강도가 표현될 수도 있다. 또한, 연결선의 색상, 노드의 색상 등을 통해 관계의 긍정성(또는 부정성)이 표현될 수도 있다. 또한, 서버(30)는 관계맵의 크기(e.g. 노드의 개수, 연결선의 개수), 관계맵의 연결 강도 등에 기초하여 대상 아동(121)의 사회성 발달 상태를 판단할 수도 있다.

다시 도 13을 참조하여 설명한다.

단계 S420에서, 아동의 성장 상태와 표준 성장 지표가 비교될 수 있다. 여기서, 표준 성장 지표는 아동의 신체 발달, 정서 발달, 언어 발달 또는 사회성 발달에 관한 평균적인 지표를 의미하는 것으로, 미리 일정 값으로 설정되어 있을 수 있다. 가령, 서버(30)는 아동의 신체 발달 상태와 표준 신체 발달 지표를 비교할 수 있다.

단계 S430에서, 비교 결과에 기초하여 미션 정보 또는 콘텐츠가 제공될 수 있다. 가령, 서버(30)는 미션 정보 또는 콘텐츠를 보호자 단말(40)에게 제공할 수 있다.

보다 구체적으로, 서버(30)는 비교 결과에 기초하여 아동의 성장 발달에 도움이 되는 미션 정보 또는 콘텐츠를 제공할 수 있다. 예를 들어, 서버(30)는 특정 발달 상태(e.g. 신체, 정서, 언어, 사회성 등)가 표준 성장 지표보다 떨어지는 아동의 보호자에게 도움이 되는 미션 정보 또는 콘텐츠를 제공할 수 있다. 이를 테면, 서버(30)는 언어 발달에 도움이 되는 콘텐츠를 제공하거나, 신체 발달에 도움이 되는 미션 정보를 제공할 수 있다.

지금까지 도 13 내지 도 15를 참조하여 본 개시의 몇몇 실시예들에 따른 아동 모니터링 방법에 대하여 설명하였다. 상술한 방법에 따르면, 아동 관련 시설 내의 아동들의 성장 상태에 다양한 분석 정보가 제공될 수 있다. 가령, 아동들의 신체, 정서, 언어, 사회성 발달 상태에 관한 분석 정보와 같이 체계적이고 양질의 아동 정보가 보호자에게 제공될 수 있다.

한편, 지금까지는 본 개시의 실시예에 따른 프라이버시 보호 원리가 모니터링 시스템에만 적용되는 것처럼 설명하였으나, 상술한 프라이버시 보호 원리는 다른 종류의 시스템 및/또는 시설에도 적용될 수 있다. 보다 이해의 편의를 제공하기 위해, 상술한 프라이버시 보호 원리가 의료 시설과 진단 시스템에 적용되는 예에 대하여 도 16을 참조하여 설명하도록 한다.

도 16은 본 개시의 몇몇 실시예들에 따른 진단 시스템을 개략적으로 나타내는 예시적인 도면으로서, 의료 시설(130)에 진단 시스템이 구축된 것을 예로써 도시하고 있다.

도 16에 도시된 바와 같이, 진단 시스템은 의료 시설(130) 외부에 위치한 진단 서버(150)를 통해 진단 서비스를 제공하는 시스템일 수 있으며, 도 1 또는 도 2에 예시된 시스템과 유사한 구성을 가질 수 있다. 구체적으로, 진단 시스템은 추출 장치(140) 및 진단 서버(150)를 포함할 수 있다. 또한, 추출 장치(140)는 의료 시설(130)의 내부/로컬 네트워크에 위치할 수 있고, 진단 서버(150)는 의료 시설(130)의 외부/원격 네트워크에 위치할 수 있다.

도시된 바와 같이, 추출 장치(140)는 의료 시설(130)로부터 피검자의 의료 데이터(D)를 수신할 수 있다. 의료 데이터(D)는 예를 들어 의료 영상(e.g. X-ray, 초음파, CT, MRI 영상 등)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 의료 데이터(D)는 민감 정보에 해당하므로, 의료 데이터(D)가 외부의 진단 서버(150)로 그대로 전송되면, 피검자의 프라이버시가 문제될 수 있다.

위와 같은 경우, 추출 장치(140)는 의료 데이터(D)에서 기초 정보(즉, 진단 기초 정보)를 추출하고, 의료 데이터(D) 대신에 추출된 기초 정보(B)를 진단 서버(150)로 전송할 수 있다. 가령, 추출 장치(140)는 의료 영상 대신에 AI 모델을 통해 추출된 기초 정보(B)를 진단 서버(150)로 전송할 수 있다. 그렇게 함으로써, 피검자의 프라이버시 문제가 용이하게 해결될 수 있다.

기초 정보(B)의 예로는 병변의 특징 정보(e.g. 위치, 크기, 종류 등), AI 모델 내부에서 생성된 특징 데이터(e.g. 병변의 특징과 연관된 특징 맵) 등을 들 수 있을 것이나, 이에 한정되는 것은 아니다.

진단 서버(150)는 수신한 기초 정보(B)를 토대로 피검자에 대한 진단을 수행하고, 진단 결과를 제공할 수 있다. 진단 서버(150)가 진단을 수행하는 방식은 어떠한 방식이 되더라도 무방하다. 가령, 진단 서버(150)는 병변의 특징 정보(e.g. 위치, 크기, 종류 등) 또는 특징 데이터(e.g. 병변의 특징과 연관된 특징 맵)를 AI 모델(e.g. AI 기반의 진단 모델)에 적용하여 피검자에 대한 진단을 수행할 수 있다.

지금까지 도 16을 참조하여 본 개시의 몇몇 실시예들에 따른 진단 시스템에 대하여 간략하게 설명하였다. 이하에서는, 도 17을 참조하여 본 개시의 다양한 실시예들에 따른 장치/시스템(e.g. 추출 장치 20, 서버 30 등)을 구현할 수 있는 예시적인 컴퓨팅 장치(200)에 대하여 설명하도록 한다.

도 17은 컴퓨팅 장치(200)를 나타내는 예시적인 하드웨어 구성도이다.

도 17에 도시된 바와 같이, 컴퓨팅 장치(200)는 하나 이상의 프로세서(210), 버스(250), 통신 인터페이스(270), 프로세서(210)에 의하여 수행되는 컴퓨터 프로그램(291)을 로드(load)하는 메모리(230)와, 컴퓨터 프로그램(291)을 저장하는 스토리지(290)를 포함할 수 있다. 다만, 도 17에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 17에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 즉, 컴퓨팅 장치(200)에는, 도 17에 도시된 구성요소 이외에도 다양한 구성요소가 더 포함될 수 있다.

프로세서(210)는 컴퓨팅 장치(200)의 각 구성의 전반적인 동작을 제어할 수 있다. 프로세서(210)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(210)는 본 개시의 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(200)는 하나 이상의 프로세서를 구비할 수 있다.

다음으로, 메모리(230)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(230)는 본 개시의 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(290)로부터 하나 이상의 프로그램(291)을 로드할 수 있다. 메모리(230)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.

다음으로, 버스(250)는 컴퓨팅 장치(200)의 구성요소 간 통신 기능을 제공할 수 있다. 버스(250)는 주소 버스(address bus), 데이터 버스(data bus) 및 제어 버스(control bus) 등 다양한 형태의 버스로 구현될 수 있다.

다음으로, 통신 인터페이스(270)는 컴퓨팅 장치(200)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(270)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(270)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

다음으로, 스토리지(290)는 상기 하나 이상의 프로그램(291)을 비임시적으로 저장할 수 있다. 스토리지(290)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

다음으로, 컴퓨터 프로그램(291)은 메모리(230)에 로드될 때 프로세서(210)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(210)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작을 수행할 수 있다.

예를 들어, 컴퓨터 프로그램(291)은 대상 시설(10)에 관한 영상을 획득하는 동작, 획득된 영상에서 기초 정보를 추출하는 동작 및 통신 인터페이스(270)를 통해 획득된 영상 대신에 추출된 기초 정보를 모니터링 서버(30)로 전송하는 동작을 수행하도록 하는 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 컴퓨팅 장치(200)를 통해 본 개시의 몇몇 실시예들에 따른 추출 장치(20)가 구현될 수 있다.

다른 예로서, 컴퓨터 프로그램(291)은 통신 인터페이스(270)를 통해 추출 장치(20)로부터 대상 시설(10)에 관한 영상에서 추출된 기초 정보를 수신하는 동작 및 수신된 기초 정보를 토대로 대상 시설(10)을 모니터링하는 동작을 수행 수행하도록 하는 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 컴퓨팅 장치(200)를 통해 본 개시의 몇몇 실시예들에 따른 서버(30)가 구현될 수 있다.

지금까지 도 1 내지 도 17을 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 개시의 실시예를 구성하는 모든 구성요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

1. 모니터링 장비를 통해 대상 시설에 관한 영상을 획득하고, 획득된 영상에서 기초 정보를 추출하며, 상기 획득된 영상 대신에 상기 추출된 기초 정보를 전송하는 정보 추출 장치; 및
   상기 추출된 기초 정보를 토대로 상기 대상 시설에 대한 모니터링을 수행하는 모니터링 서버를 포함하되,
   상기 획득된 영상은 사람 객체를 포함하고,
   상기 추출된 기초 정보는 사람의 자세 정보 또는 행동 정보를 포함하고,
   상기 정보 추출 장치는,
   AI 기반의 영상 분석 모델을 통해 상기 획득된 영상의 사람 영역에서 관절 부위에 대응되는 복수의 키포인트를 검출하는 동작, 상기 복수의 키포인트에 기초하여 스켈레톤 모델(skeleton model)를 구성하는 동작, 상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추출하는 동작, 및 상기 자세 정보 또는 상기 행동 정보를 상기 모니터링 서버에 전송하는 동작을 수행하되,
   상기 스켈레톤 모델은 복수의 프레임 각각에 대응하는 복수의 스켈레톤 모델을 포함하고,
   상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추출하는 동작은,
   상기 관절 부위의 가동 방향 또는 가동 범위를 기준으로 상기 복수의 스켈레톤 모델을 상호 비교하여 검출 오차가 존재하는 대상 스켈레톤 모델을 추출하는 동작, 및
   상기 추출된 대상 스켈레톤 모델에 대한 오차 교정을 수행하는 동작, 및
   상기 오차 교정된 상기 대상 스켈레톤 모델을 포함하는 상기 복수의 스켈레톤 모델에 기초하여, GCN(Graph Convolutional Networks)을 이용하여 상기 자세 정보 또는 행동 정보를 추정하는 동작을 포함하고,
   상기 검출 오차가 존재하는 대상 스켈레톤 모델을 추출하는 동작은,
   상기 대상 스켈레톤 모델에 대응하는 대상 프레임의 앞프레임 및 뒤프레임에 각각 대응하는 앞 스켈레톤 모델 및 뒤 스켈레톤 모델과 상기 대상 스켈레톤 모델의 관절 가동 방향이 다르거나, 상기 대상 스켈레톤 모델의 관절 각도가 상기 앞 스켈레톤 모델 및 상기 뒤 스켈레톤 모델의 관절 각도 사이에 위치하지 않는 경우, 상기 대상 스켈레톤 모델에 검출 오차가 존재한다고 판단하는 동작을 포함하고,
   상기 추출된 대상 스켈레톤 모델에 대한 오차 교정을 수행하는 동작은,
   상기 추출된 대상 스켈레톤 모델을 상기 앞 스켈레톤 모델 및 상기 뒤 스켈레톤 모델에 기초하여 상기 검출 오차를 보간하는 동작을 수행하는,
   모니터링 시스템.
2. 제1 항에 있어서,
   상기 정보 추출 장치는 상기 대상 시설의 내부 네트워크에 위치하고,
   상기 모니터링 서버는 상기 대상 시설의 외부 네트워크에 위치하는,
   모니터링 시스템.
3. 삭제
4. 제1 항에 있어서,
   상기 기초 정보는 상기 영상 분석 모델 내부에서 생성된 특징 데이터를 포함하는,
   모니터링 시스템.
5. 삭제
6. 대상 시설의 외부에 위치한 모니터링 서버와 통신하는 통신 인터페이스;
   하나 이상의 인스트럭션들(instructions)을 저장하는 메모리; 및
   상기 저장된 하나 이상의 인스트럭션들을 실행시킴으로써,
   상기 대상 시설에 관한 영상을 획득하는 동작,
   상기 획득된 영상에서 기초 정보를 추출하는 동작 및
   상기 통신 인터페이스를 통해 상기 획득된 영상 대신에 상기 추출된 기초 정보를 상기 모니터링 서버로 전송하는 동작을 수행하는 프로세서를 포함하되,
   상기 기초 정보는 사람의 자세 정보 또는 행동 정보를 포함하고,
   상기 기초 정보를 추출하는 동작은,
   상기 획득된 영상의 사람 영역에서 관절 부위에 대응되는 복수의 키포인트를 검출하는 동작,
   상기 복수의 키포인트에 기초하여 스켈레톤 모델(skeleton model)을 구성하는 동작, 및
   상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추정하는 동작을 포함하고,
   상기 추출된 기초 정보를 상기 모니터링 서버로 전송하는 동작은,
   상기 통신 인터페이스를 통해 상기 자세 정보 또는 상기 행동 정보를 상기 모니터링 서버로 전송하되,
   상기 스켈레톤 모델은 복수의 프레임 각각에 대응하는 복수의 스켈레톤 모델을 포함하고,
   상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추출하는 동작은,
   상기 관절 부위의 가동 방향 또는 가동 범위를 기준으로 상기 복수의 스켈레톤 모델을 상호 비교하여 검출 오차가 존재하는 대상 스켈레톤 모델을 추출하는 동작, 및
   상기 추출된 대상 스켈레톤 모델에 대한 오차 교정을 수행하는 동작, 및
   상기 오차 교정된 상기 대상 스켈레톤 모델을 포함하는 상기 복수의 스켈레톤 모델에 기초하여, GCN(Graph Convolutional Networks)을 이용하여 상기 자세 정보 또는 행동 정보를 추정하는 동작을 포함하고,
   상기 검출 오차가 존재하는 대상 스켈레톤 모델을 추출하는 동작은,
   상기 대상 스켈레톤 모델에 대응하는 대상 프레임의 앞프레임 및 뒤프레임에 각각 대응하는 앞 스켈레톤 모델 및 뒤 스켈레톤 모델과 상기 대상 스켈레톤 모델의 관절 가동 방향이 다르거나, 상기 대상 스켈레톤 모델의 관절 각도가 상기 앞 스켈레톤 모델 및 상기 뒤 스켈레톤 모델의 관절 각도 사이에 위치하지 않는 경우, 상기 대상 스켈레톤 모델에 검출 오차가 존재한다고 판단하는 동작을 포함하고,
   상기 추출된 대상 스켈레톤 모델에 대한 오차 교정을 수행하는 동작은,
   상기 추출된 대상 스켈레톤 모델을 상기 앞 스켈레톤 모델 및 상기 뒤 스켈레톤 모델에 기초하여 상기 검출 오차를 보간하는 동작을 포함하는,
   정보 추출 장치.
7. 삭제
8. 삭제
9. 제6 항에 있어서,
   상기 GCN은,
   상기 오차 교정된 상기 대상 스켈레톤 모델을 포함하는 상기 복수의 스켈레톤 모델에 기초하여, 소정의 연결 규칙에 따라 특정 행동과 연관된 스켈레톤 모델의 키포인트를 연결하여 학습데이터를 생성하는 과정 및
   상기 특정 행동을 클래스 레이블로 하여 상기 학습데이터를 학습하는 과정을 통해 구축된 것인,
   정보 추출 장치.
10. 제6 항에 있어서,
    상기 GCN은,
    상기 오차 교정된 상기 대상 스켈레톤 모델을 포함하는 상기 복수의 스켈레톤 모델에 기초하여, 특정 행동과 연관된 복수의 스켈레톤 모델에 대해 샘플링을 수행하여 복수의 학습데이터를 생성하는 과정 및
    상기 특정 행동을 클래스 레이블로 하여 상기 복수의 학습데이터를 학습하는 과정을 통해 구축된 것인,
    정보 추출 장치.
11. 삭제
12. 대상 시설에 위치한 정보 추출 장치와 통신하는 통신 인터페이스;
    하나 이상의 인스트럭션들(instructions)을 저장하는 메모리; 및
    상기 저장된 하나 이상의 인스트럭션들을 실행시킴으로써,
    상기 통신 인터페이스를 통해 상기 정보 추출 장치로부터 상기 대상 시설에 관한 영상에서 추출된 기초 정보를 수신하는 동작 및
    상기 수신된 기초 정보를 토대로 상기 대상 시설을 모니터링하는 동작을 수행하는 프로세서를 포함하되,
    상기 추출된 기초 정보는,
    상기 대상 시설에 관한 영상에서 AI 기반의 영상 분석 모델을 통해 구성된 스켈레톤 모델(skeleton model)에 기초하여 추출된 자세 정보 또는 행동 정보를 포함하되,
    상기 추출된 자세 정보 또는 상기 행동 정보는,
    상기 정보 추출 장치가,
    AI 기반의 영상 분석 모델을 통해 상기 대상 시설에 관한 영상의 사람 영역에서 관절 부위에 대응되는 복수의 키포인트를 검출하는 동작,
    상기 복수의 키포인트에 기초하여 스켈레톤 모델(skeleton model)를 구성하는 동작, 및
    상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추출하는 동작을 수행함으로써 추출하되,
    상기 스켈레톤 모델은 복수의 프레임 각각에 대응하는 복수의 스켈레톤 모델을 포함하고,
    상기 스켈레톤 모델에 기초하여 상기 자세 정보 또는 상기 행동 정보를 추출하는 동작은,
    상기 관절 부위의 가동 방향 또는 가동 범위를 기준으로 상기 복수의 스켈레톤 모델을 상호 비교하여 검출 오차가 존재하는 대상 스켈레톤 모델을 추출하는 동작, 및
    상기 추출된 대상 스켈레톤 모델에 대한 오차 교정을 수행하는 동작, 및
    상기 오차 교정된 상기 대상 스켈레톤 모델을 포함하는 상기 복수의 스켈레톤 모델에 기초하여, GCN(Graph Convolutional Networks)을 이용하여 상기 자세 정보 또는 행동 정보를 추정하는 동작을 포함하고,
    상기 검출 오차가 존재하는 대상 스켈레톤 모델을 추출하는 동작은,
    상기 대상 스켈레톤 모델에 대응하는 대상 프레임의 앞프레임 및 뒤프레임에 각각 대응하는 앞 스켈레톤 모델 및 뒤 스켈레톤 모델과 상기 대상 스켈레톤 모델의 관절 가동 방향이 다르거나, 상기 대상 스켈레톤 모델의 관절 각도가 상기 앞 스켈레톤 모델 및 상기 뒤 스켈레톤 모델의 관절 각도 사이에 위치하지 않는 경우, 상기 대상 스켈레톤 모델에 검출 오차가 존재한다고 판단하는 동작을 포함하고,
    상기 추출된 대상 스켈레톤 모델에 대한 오차 교정을 수행하는 동작은,
    상기 추출된 대상 스켈레톤 모델을 상기 앞 스켈레톤 모델 및 상기 뒤 스켈레톤 모델에 기초하여 상기 검출 오차를 보간하는 동작을 포함하는,
    모니터링 서버.
13. 제12 항에 있어서,
    상기 기초 정보는 제1 시점의 영상에서 추출된 사람 객체와 제2 시점의 영상에서 추출된 사람 객체의 안면 특징 정보 또는 행동 특징 정보를 더 포함하고,
    상기 대상 시설을 모니터링하는 동작은,
    상기 안면 특징 정보 또는 상기 행동 특징 정보를 비교하여 상기 제1 시점의 영상에서 추출된 사람 객체와 상기 제2 시점의 영상에서 추출된 사람 객체의 동일 여부를 판단하는 동작을 포함하는,
    모니터링 서버.
14. 제12 항에 있어서,
    상기 대상 시설은 아동 관련 시설이고,
    상기 기초 정보는 아동의 행동 정보 및 위치 트래킹 정보를 더 포함하며,
    상기 대상 시설을 모니터링하는 동작은,
    상기 행동 정보 및 상기 위치 트래킹 정보를 기초로 상기 아동의 신체 발달 상태에 관한 분석 정보를 생성하는 동작을 포함하는,
    모니터링 서버.
15. 제12 항에 있어서,
    상기 대상 시설은 아동 관련 시설이고,
    상기 기초 정보는 상황 정보 및 아동의 표정 정보를 더 포함하며,
    상기 대상 시설을 모니터링하는 동작은,
    상기 상황 정보 및 표정 정보를 기초로 상기 아동의 정서 발달 상태에 관한 분석 정보를 생성하는 동작을 포함하는,
    모니터링 서버.
16. 제12 항에 있어서,
    상기 대상 시설은 아동 관련 시설이고,
    상기 정보 추출 장치로부터 아동의 음성에서 추출된 기초 정보를 수신하는 동작을 더 포함하되,
    상기 대상 시설을 모니터링하는 동작은,
    상기 음성에서 추출된 기초 정보를 토대로 상기 아동의 언어 발달 상태에 관한 분석 정보를 생성하는 동작을 포함하는,
    모니터링 서버.
17. 제12 항에 있어서,
    상기 대상 시설은 아동 관련 시설이고,
    상기 기초 정보는 아동의 행동 정보, 위치 트래킹 정보 및 표정 정보를 더 포함하며,
    상기 대상 시설을 모니터링하는 동작은,
    상기 기초 정보를 분석하여 대상 아동과 다른 사람 간의 접촉횟수, 접촉시점의 행동 및 접촉시점의 표정에 관한 정보를 도출하는 동작 및
    상기 도출된 정보를 토대로 상기 대상 아동과 상기 다른 사람 간의 관계맵을 생성하는 동작을 포함하는,
    모니터링 서버.
18. 제12 항에 있어서,
    상기 대상 시설은 아동 관련 시설이고,
    상기 기초 정보는 상기 대상 시설 내의 사람에 관한 정보를 더 포함하며,
    상기 대상 시설을 모니터링하는 동작은,
    상기 기초 정보를 토대로 특정 아동의 성장 상태를 판단하는 동작을 포함하고,
    상기 판단된 성장 상태와 표준 성장 지표의 비교 결과에 기초하여 미션 정보 또는 콘텐츠를 제공하는 동작을 더 포함하는,
    모니터링 서버.