KR20210088601A - 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체 - Google Patents

Abstract

본 발명은 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체를 제공한다. 일 예에 있어서, 당해 방법은 복수의 전시 영역에서 각각 수집한 비디오 화면을 취득하는 것; 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하는 것 - 상기 상태는 목표 사용자의 각 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함함 -; 및 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어하는 것을 포함한다.

Description

상태 인식 방법, 장치, 전자 디바이스 및 기록 매체

[관련 출원의 상호 참조 인용]

본 발명은 출원일이 2019년 12월 31일이고, 출원 번호가 2019114163416인 중국 특허 출원의 우선권을 주장하는바, 당해 중국 특허 출원의 모든 내용을 인용하는 방식으로 본 출원에 병합시킨다.

[기술분야]

본 발명은 컴퓨터 기술의 분야에 관한 것인바, 구체적으로는 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체에 관한 것이다.

슈퍼 마켓이나 쇼핑 점포, 전시관 등의 전시 장소에서는 통상 사용자가 구입 또는 참관하도록 각 전시 영역에 다양한 물품을 전시한다. 사용자의 각 전시 영역의 물품에 대한 관심 정도는 많은 점포 또는 전시회가 주목하고 있는 문제 중 하나다. 그렇지만, 점포 또는 전시회의 사람들의 흐름 특징은 밀집한 군중이나 불규칙한 상태에서의 사용자 활동의 궤적에 대부분 반영되기 때문에, 사용자의 각 전시 영역의 물품에 대한 관심 정도를 분석하는 것은 매우 어렵다.

이를 감안하여, 본 발명은 적어도 상태 인식의 해결 방안을 제공한다.

제1 양태에 따르면, 본 발명은 상태 인식 방법을 제공하는 바, 당해 방법은,

복수의 전시 영역에서 각각 수집한 복수의 비디오 화면을 취득하는 것;

상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것 - 상기 상태는 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함함 -; 및

단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하는 것을 포함한다.

상기의 방법에 있어서, 수집한 비디오 화면에 대해 인식을 실행함으로써, 목표 사용자의 상태 데이터를 얻고, 목표 사용자의 적어도 두 개의 상태 데이터에 기반하여, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어할 수 있다. 목표 사용자의 각 영역 내에서의 상태가 표시된 표시 인터페이스는, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 직관적으로 반영할 수 있고, 또한 더 정확한 사용자 행위 정보를 참고로 사용하여 전시 영역에 대응하는 전시 계획을 작성할 수 있다.

가능한 일 실시 형태에 있어서, 상기 체류 상태는 체류 지속 시간 및/또는 체류 횟수를 포함하고, 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것은, 각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득하는 것; 상기 목표 비디오 화면의 수집 시점에 기반하여, 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간을 확정하는 것; 및 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정하는 것을 포함한다.

상기의 방법에 있어서, 목표 사용자가 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 목표 사용자의 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정하고, 체류 상태를 얻음으로써, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 확정하기 위한 데이터 서포트를 제공했다.

가능한 일 실시 형태에 있어서, 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정하는 것은, 상기 목표 사용자가 상기 전시 영역에 2회 연속으로 들어갈 때의 시작 시간 간의 간격이 제1 시간을 초과할 경우, 상기 목표 사용자가 상기 전시 영역에 1회 체류한 것으로 확정하고 및/또는 상기 간격을 상기 목표 사용자가 상기 전시 영역에 1회 체류한 체류 지속 시간으로 확정하는 것을 포함한다.

상기의 방식에 따르면, 목표 사용자가 전시 영역에 효과적으로 체류하지 않은 상황을 배제할 수 있으며, 얻어진 체류 상태가 더 정확해지므로, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 더 정확하게 반영할 수 있다.

가능한 일 실시 형태에 있어서, 상기 주목 상태는 주목 지속 시간 및/또는 주목 횟수를 포함하고, 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것은, 각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점 및 상기 목표 비디오 화면 내에서의 상기 목표 사용자의 얼굴 방향 데이터를 취득하는 것; 상기 얼굴 방향 데이터가, 상기 목표 사용자가 상기 전시 영역의 전시 물체를 주목한 것을 나타내는 것이 검출되었을 경우, 상기 목표 비디오 화면에 대응하는 수집 시점을 상기 목표 사용자가 상기 전시 물체를 관람할 때의 시작 시간으로 확정하는 것; 및 확정된 상기 목표 사용자가 상기 전시 물체를 복수회 관람할 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정하는 것을 포함한다.

상기의 방법에 있어서, 목표 사용자가 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 목표 사용자의 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정하고, 주목 상태를 얻음으로써, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 확정하기 위한 데이터 서포트를 제공했다.

가능한 일 실시 형태에 있어서, 상기 확정된 상기 목표 사용자가 상기 전시 물체를 복수회 관람할 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정하는 것은, 상기 목표 사용자가 상기 전시 물체를 2회 연속으로 관람할 때의 시작 시간 간의 간격이 제2 시간을 초과하였을 경우, 상기 목표 사용자가 상기 전시 영역을 1회 주목한 것으로 확정하고 및/또는 상기 간격을 상기 사용자가 상기 전시 영역을 1회 주목한 주목 지속 시간으로 확정하는 것을 포함한다.

상기의 방식에 따르면, 목표 사용자가 전시 물체를 관람한 시간이 상대적으로 짧은 상황을 배제함으로써(목표 사용자가 전시 물체를 관람한 시간이 상대적으로 짧으면, 당해 목표 사용자가 전시 물체를 주목하지 않은 것으로 간주함), 얻어진 주목 상태가 더 정확해지므로, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 더 정확하게 반영할 수 있다.

가능한 일 실시 형태에 있어서, 상기 얼굴 방향 데이터는 얼굴의 피치 각 및 요 각을 포함하며, 상기 피치 각이 제1 각도 범위 내에 있는 동시에, 상기 요 각이 제2 각도 범위 내에 있을 경우, 상기 얼굴 방향 데이터가, 상기 목표 사용자가 상기 전시 영역의 전시 물체를 주목한 것을 나타내는 것으로 확정한다.

상기의 방식에 따르면, 목표 사용자가 전시 영역의 전시 물체를 주목하였는지 여부를 확정함으로써, 목표 사용자가 전시 영역 범위 내에 출현하여 체류했지만 전시 물체를 관람하지 않은 상황을 효과적인 배제할 수 있으며, 인식률을 향상시켰다.

가능한 일 실시 형태에 있어서, 상기 목표 사용자의 각 상기 전시 영역 내에서의 감정 상태는, 상기 목표 사용자의 상기 전시 영역에 체류한 총 체류 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨, 상기 목표 사용자의 상기 전시 영역을 주목한 총 주목 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨 및 상기 전시 영역에 대응하는 현재 비디오 화면 내에서의 상기 목표 사용자의 표정 라벨 중의 적어도 하나를 포함한다.

상기의 방법에 있어서, 목표 사용자가 대응하는 전시 영역 내에서의 표정 라벨을 확정하고, 감정 상태 중의 표정 라벨에 기반하여 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 확정할 수 있다. 예를 들면 표정 라벨이 "해피"이면, 관심 정도가 상대적으로 높고, 표정 라벨이 "차분"이면, 관심 정도가 상대적으로 낮다. 감정 상태를 참조함으로써, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 더 정확하게 확정할 수 있다.

가능한 일 실시 형태에 있어서, 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하는 것은, 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태 및 감정 상태에 기반하여, 상기 단말 디바이스가 각 상기 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하는 것, 또는 상기 목표 사용자의 각 상기 전시 영역 내에서의 주목 상태 및 감정 상태에 기반하여, 상기 단말 디바이스가 각 상기 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하는 것을 포함한다.

가능한 일 실시 형태에 있어서, 각 표시 영역은 특정 도형으로 표시되며, 상기 전시 영역에 대응하는 상기 특정의 도형 표시 사이즈는 상기 주목 지속 시간 또는 상기 주목 횟수에 비례하며, 상기 전시 영역에 대응하는 상기 특정의 도형 색은 상기 감정 상태와 매칭되거나, 또는 상기 체류 상태는 상기 목표 사용자의 상기 전시 영역 내에서의 체류 지속 시간 또는 체류 횟수를 나타내고, 상기 전시 영역에 대응하는 상기 특정의 도형 표시 사이즈는 상기 체류 지속 시간 또는 체류 횟수에 비례하며, 상기 전시 영역에 대응하는 상기 특정의 도형 색은 상기 감정 상태와 매칭된다.

상기의 방법에 있어서, 대응하는 표시 영역을 나타내는 특정 도형의 사이즈 및 대응하는 표시 영역을 나타내는 특정 도형의 색을 확정하고, 서로 다른 사이즈 및/또는 서로 다른 색의 특정 도형을 이용하여 서로 다른 표시 영역을 표시함으로써, 단말 디바이스가 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시할 때, 상대적으로 직관적이고, 유연성이 있으며, 대조적이다.

가능한 일 실시 형태에 있어서, 상기 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하기 전에, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 것을 더 포함한다.

가능한 일 실시 형태에 있어서, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 것은, 상기 단말 디바이스의 표시 인터페이스가 자태 기술 내용을 포함하는 자태 프롬프트 프레임을 표시하도록 제어하는 것; 목표 사용자가 전시한 사용자 자태를 취득하여 인식하는 것; 및 상기 사용자 자태가 상기 자태 기술 내용에 기록된 자태를 충족시킬 경우, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인하는 것을 포함한다.

상기의 방법에 있어서, 목표 사용자가 전시한 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시키는 것이 검출되었을 경우, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태의 표시 인터페이스를 표시하도록 제어함으로써, 사용자와 디바이스 사이의 대화를 증가하고, 표시의 유연성을 향상시켰다.

가능한 일 실시 형태에 있어서, 복수의 전시 영역에서 각각 수집한 비디오 화면을 취득한 후에, 각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득하는 것; 각 전시 영역에 대응하는 상기 수집 시점에 기반하여, 상기 목표 사용자의 각 상기 전시 영역 내에서의 이동 궤적 데이터를 확정하는 것; 및 상기 이동 궤적 데이터에 기반하여, 상기 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 이동 궤적 경로를 표시하도록 제어하는 것을 더 포함한다.

상기의 실시 형태에 있어서, 얻어진 목표 사용자의 이동 궤적 경로를 참조하여, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 더 정확하게 확정할 수 있는바, 예를 들면 이동 궤적 경로 중에 목표 사용자가 전시 영역 1에 복수회 이동했을 경우, 목표 사용자가 전시 영역 1에 전시된 물체에 대한 관심 정도가 상대적으로 높은 것으로 확인할 수 있다.

제2 양태에 따르면, 본 발명은 상태 인식 장치를 제공하는바, 당해 장치는,

복수의 전시 영역에서 각각 수집한 복수의 비디오 화면을 취득하기 위한 비디오 화면 취득 모듈;

상태 인식 모듈은 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것 - 상기 상태는 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함함 -; 및

단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하기 위한 제어 모듈을 구비한다.

제3 양태에 따르면, 본 발명은 전자 디바이스를 제공하는바, 당해 전자 디바이스는 프로세서 및 메모리를 구비하며, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 기록되어 있으며, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기의 제1 양태 또는 임의의 실시 형태에 기재된 상태 인식 방법을 실행하도록 한다.

제4 양태에 따르면, 본 발명은 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 당해 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기의 제1 양태 또는 임의의 실시 형태에 기재된 상태 인식 방법을 실행하도록 한다.

이하, 본 발명의 상기의 목적, 특징 및 이점을 더 명확하고 이해하기 쉽도록 하기 위하여, 바람직한 실시예를 들어 도면을 참조하여 다음과 같이 상세하게 설명한다.

이하, 본 발명의 실시예를 더 명확히 설명하기 위하여, 실시예에 필요한 도면을 간단히 소개한다. 본 명세서의 도면은 본 명세서에 병합되어 본 명세서의 일부를 구성하며, 본 발명의 실시예를 제시하고, 본 명세서와 같이 본 발명의 실시예를 설명하기 위하여 사용된다. 이하의 도면은 본 발명의 특정 실시예를 제시할 뿐이며, 따라서 범위를 한정하는 것으로 간주하여서는 안됨을 이해해야 한다. 당업자에 있어서, 발명적 노력을 가하지 않고 이러한 도면으로부터 기타 관련된 도면을 얻을 수 있다.
도 1은 본 발명의 실시예에 의해 제공되는 상태 인식 방법의 플로우를 나타내는 모식도이다.
도 2는 본 발명의 실시예에 의해 제공되는 상태 인식 방법 중의 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하는 방법의 플로우를 나타내는 모식도이다.
도 3은 본 발명의 실시예에 의해 제공되는 상태 인식 방법 중의 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하는 방법의 플로우를 나타내는 모식도이다.
도 4는 본 발명의 실시예에 의해 제공되는 상태 인식 방법 중의 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 방법의 플로우를 나타내는 모식도이다.
도 5는 본 발명의 실시예에 의해 제공되는 자태 프롬프트 프레임의 인터페이스를 나타내는 모식도이다.
도 6은 본 발명의 실시예에 의해 제공되는 단말 표시 인터페이스를 제어하는 인터페이스를 나타내는 모식도이다.
도 7은 본 발명의 실시예에 의해 제공되는 상태 인식 장치의 구성을 나타내는 모식도이다.
도 8은 본 발명의 실시예에 의해 제공되는 전자 디바이스의 구성을 나타내는 모식도이다.

이하, 본 발명의 실시예의 목적 및 이점을 더 명확히 하기 위하여, 도면을 참조하면서 본 발명의 실시예를 명확하고 완전히 기술한다. 당연히, 기술되는 실시예는 본 발명의 몇몇의 실시예에 불과할 뿐, 모든 실시예가 아니다. 일반적으로 본 명세서의 도면에 기술되거나 나타낸 본 발명의 실시예의 구성 요소는 기타 구성으로 배치 및 설계될 수 있다. 따라서, 도면에 제공되는 본 발명의 실시예에 대한 이하의 상세한 기술은 청구된 본 발명의 범위를 한정하려는 것을 의도하는 것이 아닌바, 단지 본 발명의 선정된 실시예를 나타낸다. 당업자에 의해 본 발명의 실시예에 기반하여 발명적인 노력을 가하지 않고 얻을 수 있는 기타의 모든 실시예는 본 발명의 보호 범위에 포함된다.

본 발명의 실시예에 대한 이해를 용이하게 하기 위하여, 먼저 본 발명의 실시예의 상태 인식 방법을 상세하게 소개한다.

본 발명의 실시예에 의해 제공되는 상태 인식 방법은 서버 또는 표시 기능을 서포트하는 단말 디바이스에 적용될 수 있다. 서버는 로컬 서버 또는 클라우드 서버일 수 있고, 단말 디바이스는 스마트폰, 태블릿 컴퓨터, 개인용 디지털 처리 장치(Personal Digital Assistant, PDA), 스마트 텔레비전 등일 수 있으며, 본 발명은 이에 대해 한정하지 않는다.

본 발명의 실시예가 서버에 적용될 경우, 본 발명 중의 데이터는 단말 디바이스 및/또는 촬영 디바이스로부터 취득된 것일 수 있으며, 표시 인터페이스의 표시 상태를 제어하는 것은, 단말 디바이스에 제어 명령을 발송함으로써, 단말 디바이스의 표시 인터페이스의 표시 상태에 대한 제어를 실현하는 것일 수 있다.

도 1은 본 발명의 실시예에 의해 제공되는 상태 인식 방법의 플로우를 나타내는 모식도이며, 여기서, 당해 방법은 이하의 몇몇의 단계를 포함한다.

S101에 있어서, 복수의 전시 영역에서 각각 수집한 비디오 화면을 취득한다.

S102에 있어서, 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하되, 당해 상태는 목표 사용자의 각 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함한다.

S103에 있어서, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어한다.

상기의 단계를 통해 수집한 비디오 화면에 대해 인식을 실행함으로써, 목표 사용자의 상태 데이터를 얻고, 목표 사용자의 적어도 두 개의 상태 데이터에 기반하여, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어한다. 목표 사용자의 각 영역 내에서의 상태가 표시된 표시 인터페이스는, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 직관적으로 반영할 수 있고, 또한 더 정확한 사용자 행위 정보를 참고로 사용하여 전시 영역에 대응하는 전시 계획을 작성할 수 있다.

이하, 단계 S101∼S103을 각각 설명한다.

단계 S101의 경우, 본 발명의 실시예에 있어서, 각 전시 영역 내에 적어도 하나의 촬영 디바이스를 배치하여, 각 전시 영역에 배치된 적어도 하나의 촬영 디바이스에 의해 수집된 비디오 화면을 취득할 수 있다. 여기서, 서버 또는 단말 디바이스는 촬영 디바이스에 의해 수집된 비디오 화면을 실시간으로 취득할 수도 있고, 로컬에 기억된 비디오 데이터로부터 촬영 디바이스에 의해 수집된 비디오 화면을 취득할 수도 있으며, 클라우드에 기억된 비디오 데이터로부터 촬영 디바이스에 의해 수집된 비디오 화면을 취득할 수도 있다.

여기서, 당해 전시 영역은 전시 장소에 설정된 전시 물체의 영역일 수 있는바, 예를 들면 회장 또는 전시관의 전시 홀 또는 전시장 등일 수 있으며, 또는 당해 전시 영역은 오프라인 쇼핑 점포에서 서로 다른 종류의 물체를 전시하는 판매 영역 등일 수 있다.

단계 S102의 경우, 본 발명의 실시예에 있어서, 수집한 비디오 화면에 기반하여 이미지 인식 기술을 이용하여 비디오 화면 내에 출현한 목표 사용자의 상태를 인식할 수 있다. 체류 상태란, 목표 사용자가 대응하는 전시 영역에 체류해 있는 상태를 의미하며, 예를 들면 체류 상태는 체류 지속 시간, 체류 횟수 등을 포함한다. 주목 상태란, 목표 사용자가 대응하는 전시 영역을 주목하고 있는 상태를 의미하며, 예를 들면 주목 상태는 주목 지속 시간, 주목 횟수 등을 포함한다. 감정 상태란, 목표 사용자가 대응하는 전시 영역에 있을 때의 감정 상태를 의미하며, 예를 들면 감정 상태는 해피, 차분 등의 표정 라벨을 포함한다.

당해 발명의 실시예에 있어서, 목표 사용자는 각 비디오 화면 내에 출현하는 사용자일 수도 있고, 사용자의 정보에 기반하여 확정한 목표 사용자일 수도 있는바, 예를 들면 목표 사용자는 소정의 시간대 내에서 전시 장소 또는 실제 점포에 드나든 빈도가 상대적으로 높은 사용자일 수도 있다. 또는, 목표 사용자는 VIP 사용자 등의 사용자 수준이 요건을 충족시키는 사용자일 수도 있고, 설정된 조건에 기반하여 복수의 사용자 중에서 1명의 사용자를 목표 사용자로 선택할 수 있는바, 예를 들면 설정된 조건은 성별이 여자이며, 연령이 xx~xx이며, 신장이 xxcm이다. 여기서, 목표 사용자의 선택은 실제의 응용 시나리오에 따라 결정될 수 있다.

가능한 일 실시 형태에 있어서, 체류 상태는 체류 지속 시간 및/또는 체류 횟수를 포함한다.

도 2에 나타낸 바와 같이, 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하는 것은 단계 S201∼S203을 포함할 수 있다.

S201에 있어서, 각 전시 영역에 대해, 전시 영역에 대응하는 복수의 비디오 화면 중의 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득한다.

S202에 있어서, 목표 비디오 화면의 수집 시점에 기반하여 목표 사용자가 전시 영역에 매회 들어갈 때의 시작 시간을 확정한다.

S203에 있어서, 목표 사용자가 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여 목표 사용자의 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정한다.

예시적으로, 수집 시점은 목표 사용자가 목표 비디오 화면에 출현하였을 때에 대응하는 시간이며, 예를 들면 목표 사용자가 목표 비디오 화면에 출현하였을 때의 시간 정보가 11:30:00, 11:30:20 및 11:32:30이면, 수집 시점은 11:30:00 (즉, 11시 30분 00초), 11:30:20 및 11:32:30이다. 구체적으로, 목표 사용자가 목표 비디오 화면에 출현한 수집 시점을 목표 사용자가 전시 영역에 매회 들어갈 때의 시작 시간으로 사용할 수 있는바, 예를 들면 시작 시간은 11:30:00, 11:30:20 및 11:32:30일 수 있다.

또한, 간격 시간 한계값을 설정할 수 있으며, 다음 하나의 수집 시점(이하, 목표 수집 시점이라고 부름)과 인접하는 앞의 하나의 수집 시점 사이의 간격 시간값이 설정된 간격 시간 한계값 이하인 것이 검출되면, 목표 수집 시점을 시작 시간으로 사용할 수 없는 것으로 확정한다. 목표 수집 시점과 인접하는 앞의 하나의 수집 시점 사이의 간격 시간값이 설정된 간격 시간 한계값보다 큰 것이 검출되면, 목표 수집 시점을 시작 시간으로 사용할 수 있다. 예를 들면 설정된 간격 시간 한계값이 30초이면, 수집 시점 11:30:20과 수집 시점 11:30:00 사이의 시간 간격이 30초 미만인 것으로 검출되며, 수집 시점 11:30:20을 목표 사용자가 전시 영역에 들어갈 때의 시작 시간으로 사용할 수 없다. 수집 시점 11:32:30과 수집 시점 11:30:20 사이의 시간 간격이 30초보다 큰 것으로 검출되며, 수집 시점 11:32:30을 목표 사용자가 전시 영역에 들어갈 때의 시작 시간으로 사용할 수 있다. 여기서, 간격 시간 한계값은 전시 영역의 면적, 목표 사용자의 보행 속도 등의 정보에 기반하여 결정될 수 있다.

가능한 일 실시 형태에 있어서, 목표 사용자의 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정할 때, 이하의 방식을 채용할 수 있는바, 즉, 목표 사용자가 전시 영역에 2회 연속으로 들어갈 때의 시작 시간 간의 간격이 제1 시간을 초과할 경우, 목표 사용자가 전시 영역에 1회 체류한 것으로 확정하고 및/또는 전시 영역에 2회 연속으로 들어갈 때의 시작 시간 간의 간격을 목표 사용자가 전시 영역에 1회 체류한 체류 지속 시간으로 확정한다.

예시적으로, 목표 사용자가 전시 영역에 복수회 진입했을 때의 시작 시간이 11:30:00, 11:45:00 및 11:50:00이고, 제1 시간을 10분으로 설정한다. 전시 영역에 첫 번째로 들어갈 때의 시작 시간과 전시 영역에 두 번째로 들어갈 때의 시작 시간 사이의 간격이 15분이며, 제1 시간보다 크기에, 목표 사용자가 전시 영역에 1회 체류한 것으로 확정하고, 대응하는 체류 지속 시간은 15분이다. 전시 영역에 두 번째로 들어갈 때의 시작 시간과 전시 영역에 세 번째로 들어갈 때의 시작 시간 사이의 간격이 5분이며, 제1 시간 미만이기에, 목표 사용자가 전시 영역에 오랜 시간 체류하지 않은 것으로 확정한다.

상기의 실시 형태를 통해 목표 사용자가 전시 영역에 효과적으로 체류하지 않은 상황을 배제할 수 있으며, 얻어진 체류 상태가 더 정확해지므로, 또한 확정된 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도도 더 정확해진다.

가능한 일 실시 형태에 있어서, 주목 상태는 주목 지속 시간 및/또는 주목 횟수를 포함한다.

도 3에 나타낸 바와 같이, 수집한 비디오 화면에 기반하여, 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하는 것은 단계 S301∼S303을 포함할 수 있다.

S301에 있어서, 각 전시 영역에 대해, 전시 영역에 대응하는 복수의 비디오 화면 중의 목표 사용자가 출현한 목표 비디오 화면의 수집 시점 및 목표 비디오 화면 내의 목표 사용자의 얼굴 방향 데이터를 취득한다.

S302에 있어서, 얼굴 방향 데이터가, 목표 사용자가 전시 영역의 전시 물체를 주목하고 있는 것을 나타내는 것이 검출되었을 경우, 목표 비디오 화면에 대응하는 수집 시점을 목표 사용자가 전시 물체를 관람한 시작 시간으로 확정한다.

S303에 있어서, 확정된 목표 사용자가 전시 물체를 복수회 관람한 시작 시간에 기반하여, 목표 사용자의 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정한다.

본 발명의 실시예에 있어서, 얼굴 방향 데이터는 목표 사용자의 수집 시점에서의 관람 방향을 나타내는바, 예를 들면 얼굴 방향 데이터가 목표 사용자의 관람 방향이 동쪽인 것을 나타내면, 목표 사용자가 동쪽에 위치한 전시 영역에 전시된 물체를 관람하고 있는 것을 나타낸다.

얼굴 방향 데이터가 목표 사용자가 전시 영역의 전시 물체를 주목하지 않고 있는 것이 검출되면, 목표 비디오 화면에 대응하는 수집 시점을 목표 사용자가 전시 물체를 관람한 시작 시간으로 확정하지 않는다.

상기의 실시 형태를 통해, 목표 사용자가 전시 영역에 체류하지 않은 상황을 배제함으로써, 얻어진 체류 상태가 더 정확해지므로, 목표 사용자의 전시 영역에 전시된 물체에 대한 관심 정도를 더 정확하게 반영할 수 있다.

가능한 일 실시 형태에 있어서, 확정된 목표 사용자가 전시 물체를 복수회 관람한 시작 시간에 기반하여, 목표 사용자의 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정하는 것은, 목표 사용자가 전시 물체를 2회 연속으로 관람할 때의 시작 시간 간의 간격이 제2 시간을 초과하였을 경우, 목표 사용자가 전시 영역을 1회 주목한 것으로 확정하고, 및/또는 전시 영역을 2회 연속으로 관람했을 때의 시작 시간 간의 간격을 사용자가 전시 영역을 1회 주목한 주목 지속 시간으로 확정하는 것을 포함한다.

예시적으로, 목표 사용자가 전시 물체를 복수회 관람했을 때의 시작 시간이 12:10:00, 12:25:00 및 12:30:00이고, 제2 시간을 10분으로 설정한다. 전시 물체를 첫 번째로 관람했을 때의 시작 시간과 전시 물체를 두 번째로 관람했을 때의 시작 시간 사이의 간격이 15분인바 제2 시간보다 크므로 목표 사용자가 전시 영역을 1회 주목한 것으로 확정하고, 대응하는 주목 지속 시간은 15분이다. 전시 물체를 두 번째로 관람했을 때의 시작 시간과 전시 물체를 세 번째로 관람했을 때의 시작 시간 사이의 간격이 5분인바 제2 시간 미만이며, 목표 사용자가 전시 영역을 주목하지 않은 것으로 확정한다.

상기의 실시 형태를 통해 전시 물체를 2회 관람했을 때의 시작 시간 간의 간격이 제2 시간 미만인 상황을 배제할 수 있는바, 즉, 목표 사용자가 전시 물체를 관람한 시간이 상대적으로 짧은 상황을 배제함으로써(목표 사용자가 전시 물체를 관람한 시간이 상대적으로 짧으면, 당해 목표 사용자가 전시 물체를 주목하지 않은 것으로 간주함), 얻어진 주목 상태가 더 정확해지므로, 목표 사용자의 전시 영역의 전시 물체에 대한 관심 정도를 더 정확하게 반영할 수 있다.

가능한 일 실시 형태에 있어서, 얼굴 방향 데이터는 얼굴의 피치 각 및 요 각을 포함한다. 얼굴 방향 데이터가, 목표 사용자가 전시 영역의 전시 물체를 주목하고 있는 것을 나타내는 것이 검출된 것은, 피치 각이 제1 각도 범위 내에 있는 동시에, 요 각이 제2 각도 범위 내에 있을 경우, 얼굴 방향 데이터가, 목표 사용자가 전시 영역의 전시 물체를 주목하고 있는 것을 나타내는 것으로 확정하는 것을 포함한다.

본 발명의 실시예에 있어서, 피치 각이 제1 각도 범위 내에 있지 않고 및/또는 요 각이 제2 각도 범위 내에 있지 않으면, 얼굴 방향 데이터가, 목표 사용자가 전시 영역의 전시 물체를 주목하지 않고 있는 것을 나타내는 것으로 확정한다.

여기서, 전시 물체의 부피, 전시 영역의 크기 등에 기반하여, 제1 각도 범위 및 제2 각도 범위를 확정할 수 있다.

상기의 실시 형태를 통해, 목표 사용자가 전시 영역의 전시 물체를 주목하였는지 여부를 확정함으로써, 목표 사용자가 전시 영역 범위 내에 출현하여 체류했지만 전시 물체를 관람하지 않은 상황을 효과적인 배제할 수 있고, 목표 사용자의 전시 영역 내의 전시 물체에 대한 관심의 인식률을 향상시킬 수 있다.

가능한 일 실시 형태에 있어서, 목표 사용자의 각 전시 영역 내에서의 감정 상태는 목표 사용자의 전시 영역에 체류한 총 체류 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨, 목표 사용자의 전시 영역을 주목한 총 주목 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨 및 전시 영역에 대응하는 현재 비디오 화면 내의 목표 사용자의 표정 라벨 중의 적어도 하나를 포함한다.

본 발명의 실시예에 있어서, 표정 라벨은 해피, 차분, 괴로움 등을 포함할 수 있다. 예시적으로, 트레이닝된 신경망 모델을 이용하여 목표 사용자를 포함하는 목표 비디오 화면에 대해 인식을 실행함으로써, 목표 비디오 화면 내의 목표 사용자에 대응하는 표정 라벨을 얻을 수 있다.

예시적으로, 목표 사용자가 대응하는 전시 영역 내에서의 표정 라벨을 확정하고, 표정 라벨에 기반하여 사용자의 전시 영역의 전시 물체에 대한 관심 정도를 확정할 수 있는바, 예를 들면 표정 라벨이 "해피"이면, 관심 정도가 상대적으로 높고, 표정 라벨이 "차분"이면, 관심 정도가 상대적으로 낮다. 감정 상태를 참조하여 목표 사용자의 전시 영역 내의 전시 물체에 대한 관심 정도를 더 정확하게 확정할 수 있다.

단계 S103의 경우, 본 발명의 실시예에 있어서, 서버가 목표 사용자의 상태 데이터에 기반하여 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어하고, 또는 단말 디바이스에 구비된 프로세서를 통해 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어한다.

가능한 일 실시 형태에 있어서, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어하는 것은, 목표 사용자의 각 전시 영역 내에서의 체류 상태 및 감정 상태에 기반하여, 단말 디바이스가 각 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하는 것, 또는 목표 사용자의 각 전시 영역 내에서의 주목 상태 및 감정 상태에 기반하여, 단말 디바이스가 각 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하는 것을 포함한다.

본 발명의 실시예에 있어서, 목표 사용자의 각 전시 영역 내에서의 체류 상태 및 감정 상태 또는 목표 사용자의 각 전시 영역 내에서의 주목 상태와 감정 상태에 기반하여, 단말 디바이스가 각 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어할 수 있다.

가능한 일 실시 형태에 있어서, 각 표시 영역을 특정 도형으로 표시할 수 있으며, 주목 상태는 목표 사용자가 전시 영역을 주목한 주목 지속 시간 또는 주목 횟수를 나타내고, 전시 영역에 대응하는 특정 도형의 표시 사이즈는 상기 주목 지속 시간 또는 주목 횟수에 비례하며, 전시 영역에 대응하는 특정 도형의 색은 감정 상태에 매칭되거나, 또는 체류 상태는 목표 사용자의 전시 영역 내에서의 체류 지속 시간 또는 체류 횟수를 나타내고, 전시 영역에 대응하는 특정 도형의 표시 사이즈는 체류 지속 시간 또는 체류 횟수에 비례하며, 전시 영역에 대응하는 특정 도형의 색은 감정 상태에 매칭된다.

본 발명의 실시예에 있어서, 목표 사용자의 주목 지속 시간이 상대적으로 긴 전시 영역 또는 주목 횟수가 상대적으로 많은 전시 영역에 대해, 대응하는 특정 도형의 사이즈를 상대적으로 크게 설정하고, 목표 사용자가 주목 지속 시간이 상대적으로 짧은 전시 영역 또는 주목 횟수가 상대적으로 적은 전시 영역에 대해, 대응하는 특정 도형의 사이즈를 상대적으로 작게 설정할 수 있다. 동시에, 또한 서로 다른 표정 라벨에 기반하여, 특정 도형에 대해 서로 다른 색을 설정할 수 있다. 예를 들면 표정 라벨이 "해피"인 것에 대응하는 특정 도형을 빨간색으로 설정하고, 표정 라벨이 "차분"인 것에 대응하는 특정 도형을 청색으로 설정할 수 있다. 또한, 어느 전시 영역에 대해, 목표 사용자의 주목 지속 시간 또는 주목 횟수 및 목표 사용자가 당해 전시 영역을 관람할 때의 표정 라벨에 기반하여, 당해 전시 영역에 대응하는 표시 영역을 확정할 수 있다. 여기서, 체류 상태에 기반하여 전시 영역에 대응하는 특정 도형의 사이즈를 확정하는 것은, 상기의 과정을 참조할 수 있는바, 여기에서는 반복적으로 설명하지 않는다.

본 발명의 실시예에 있어서, 각 표정 라벨에 대해 대응하는 이미지를 설정함으로써, 전시 영역에 대응하는 특정 도형에 설정된 이미지가 표정 라벨과 매칭되도록 할 수 있다. 예를 들면 표정 라벨이 "해피"이면, 특정 도형에 대응하는 이미지는 웃고 있는 얼굴이며, 표정 라벨이 "괴로움"이면, 특정 도형에 대응하는 이미지는 울고 있는 얼굴이다. 본 발명의 실시예에 있어서, 또한 정기적으로 확정된 목표 사용자의 상태 데이터에 기반하여, 상태 데이터에 대응하는 특정 도형의 표시 상태를 갱신할 수 있는바, 예를 들면 특정 도형의 사이즈 또는 특정 도형의 색 등을 갱신한다.

한편, 본 발명의 실시예에 있어서, 특정 도형에 관한 표시 상태는 사이즈 및 색 등에 한정되지 않는바, 특정 도형의 형상을 더 포함할 수도 있고, 특정의 이미지에 특수 효과 등을 중첩시킬 수도 있다.

상기의 방법에 있어서, 대응하는 표시 영역을 나타내는 특정 도형의 사이즈 및 대응하는 표시 영역을 나타내는 특정 도형의 색을 확정하고, 서로 다른 사이즈 및/또는 서로 다른 색의 특정 도형을 이용하여 서로 다른 표시 영역을 표시함으로써, 단말 디바이스가 대응하는 서로 다른 표시 상태의 표시 영역을 표시할 때, 상대적으로 직관적이고, 유연성이 있으며, 대조적이다.

가능한 일 실시 형태에 있어서, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어하는 것은, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 것을 더 포함한다.

본 발명의 실시예에 있어서, 목표 사용자가 표시 인터페이스를 트리거한 트리거 조작을 취득한 후에, 당해 트리거 조작에 응답하여, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어한다.

가능한 일 실시 형태에 있어서, 도 4에 나타낸 바와 같이, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 것은 단계 S401∼S403을 포함할 수 있다.

S401에 있어서, 단말 디바이스의 표시 인터페이스가 자태 프롬프트 프레임을 표시하도록 제어하되, 자태 프롬프트 프레임은 자태 기술 내용을 포함한다.

S402에 있어서, 목표 사용자가 전시한 사용자 자태를 취득하여 인식한다.

S403에 있어서, 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시킬 경우, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인한다.

예시적으로, 자태 프롬프트 프레임 내에는 자태 기술 내용이 포함되어 있으며, 목표 사용자가 자태 프롬프트 프레임 내의 자태 기술 내용에 기반하여, 자태 전시를 완성하도록 할 수 있다. 예를 들면 자태 기술 내용이 손을 들어 확인하는 것이면, 목표 사용자는 자태 프롬프트 프레임 내에 표시된 손을 들어 확인하는 내용에 기반하여, 손 드는 동작을 취할 수 있다.

본 발명의 실시예에 있어서, 목표 사용자가 자태 전시를 완성한 후에, 촬영 디바이스가 목표 사용자가 전시한 사용자 자태를 취득하여 인식하도록 제어하고, 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시킬 경우, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인한다. 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시키지 않을 경우, 자태 프롬프트 프레임 내에 프롬프트 정보를 표시하고, 목표 사용자가 프롬프트 정보에 기반하여 전시하는 사용자 자태를 변경하도록 할 수 있다. 예를 들면 프롬프트 정보는 "자태가 정확하지 않습니다. 자태를 변경해 주세요"일 수 있다. 구체적으로, 갱신 후의 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시키면, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인할 수 있다.

본 발명의 실시예에 있어서, 자태 프롬프트 프레임에 대해 표시 시간 한계값을 설정하고, 표시 시간 한계값을 초과하지 않는 시간 내에서, 목표 사용자가 전시한 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시키지 않으면, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하지 못한 것으로 확인하고, 단말 디바이스의 표시 인터페이스가 자태 프롬프트 프레임을 오프시키도록 제어할 수 있다. 예를 들면 표시 시간 한계값이 60초일 수 있으며, 61초 때 목표 사용자가 전시한 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시키지 않으면, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하지 못한 것으로 확인하여, 단말 디바이스의 표시 인터페이스가 자태 프롬프트 프레임을 오프시키도록 제어할 수 있다.

본 발명의 실시예에 있어서, 자태 기술 내용에 기록된 자태는 한 사람의 고개를 끄덕이는 것, 고개를 흔드는 것, 손을 드는 것, 박수 치는 것 등의 동작일 수도 있고, 복수의 사람의 하이 터치, 손 잡기 등의 인터렉티브 액션의 동작일 수도 있다. 및/또는 표정에 기반하여 표시 인터페이스를 트리거하는 트리거 조작을 확정할 수 있는바, 예를 들면 단말 디바이스의 표시 인터페이스가 표정 프롬프트 프레임을 표시하도록 제어하되, 표정 프롬프트 프레임 내에는 표정 기술 내용이 포함되어 있다. 촬영 디바이스에 의해 수집된 비디오 화면 내의 사용자 표정을 취득하여 인식하며, 사용자 표정이 표정 기술 내용에 기록된 표정을 충족시킬 경우, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인할 수 있다. 여기서, 자태 기술 내용에 기록되는 자태 및 표정 기술 내용에 기록되는 표정은 실제의 필요에 기반하여 설정할 수 있다.

본 발명의 실시예에 있어서, 또한 표시 버튼을 설정할 수 있고, 표시 버튼이 트리거된 것이 검출되면, 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는바, 예를 들면 표시 버튼이 클릭되면, 목표 사용자가 표시 인터페이스를 트리거한 트리거 조작이 취득된다.

또는, 음성의 방식을 통해서도, 목표 사용자가 표시 인터페이스를 트리거하는 트리거 조작이 취득되었는지 여부를 확정할 수 있다. 예를 들면 소정의 트리거 음성 데이터가 "안녕하세요, 전시해 주세요"이면, 단말 디바이스에 의해 "안녕하세요, 전시해 주세요"라는 오디오 데이터가 검출되었을 경우, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확정한다.

도 5는 자태 프롬프트 프레임의 인터페이스를 나타내는 모식도이며, 당해 자태 프롬프트 프레임은 위에서 아래로의 순서로 타이틀 정보, 자태 표시 영역 및 자태 기술 내용이며, 도면으로부터 알 수 있듯이, 당해 도면 중의 타이틀 정보는 "손 들어 확인"하는 것이며, 자태 기술 내용은 "뷰 파인더 프레임에 정면으로 마주하여, 손을 들어 확인해 주세요"일 수 있다.

본 발명의 실시예에 있어서, 수집한 비디오 화면 내의 사용자 자태가 자태 기술 내용에 기록된 자태를 충족시키는 것이 검출되면, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태의 표시 인터페이스를 표시하도록 제어함으로써, 목표 사용자와 디바이스 사이의 대화를 증가하고, 표시의 유연성을 향상시켰다.

가능한 일 실시 형태에 있어서, 복수의 전시 영역에서 각각 수집한 비디오 화면을 취득한 후, 각 전시 영역에 대해, 전시 영역에 대응하는 복수의 비디오 화면 중의 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득하는 것; 각 전시 영역에 대응하는 수집 시점에 기반하여, 목표 사용자의 각 전시 영역 내에서의 이동 궤적 데이터를 확정하는 것; 및 이동 궤적 데이터에 기반하여, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 이동 궤적 경로를 표시하도록 제어하는 것을 더 포함한다.

본 발명의 실시예에 있어서, 각 전시 영역에 대응하는 수집 시점에 기반하여, 목표 사용자의 각 전시 영역 내에서의 이동 순서(즉, 이동 궤적 데이터)를 확정할 수 있고, 이동 순서에 기반하여 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 이동 궤적 경로를 표시하도록 제어할 수 있다. 예를 들면 전시 영역이 전시 영역 1, 전시 영역 2 및 전시 영역 3을 포함하면, 전시 영역 1에 대응하는 수집 시점이 13:10:00이고, 전시 영역 2에 대응하는 수집 시점이 14:00:00이며, 전시 영역 3에 대응하는 수집 시점이 13:30:00이라고 확정한다. 이로부터 알 수 있듯이, 이동 궤적 데이터는 사용자가 영역 1로부터 영역 3으로 이동하고, 영역 3으로부터 영역 2으로 이동한 것이며, 또한 이동 궤적 데이터에 기반하여 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 이동 궤적 경로를 표시하도록 제어할 수 있다.

본 발명의 실시예에 있어서, 또한 얻어진 목표 사용자의 이동 궤적 경로를 참조하여, 목표 사용자의 전시 영역 내의 전시 물체에 대한 관심 정도를 더 정확하게 확정할 수 있는바, 예를 들면 이동 궤적 경로 중에서 목표 사용자가 전시 영역 1에 복수회 이동했을 경우, 목표 사용자의 전시 영역 1의 전시 물체에 대한 관심 정도가 상대적으로 높은 것으로 확인한다.

도 6은 단말 표시 인터페이스를 제어하는 인터페이스를 나타내는 모식도이며, 당해 도면에서 왼쪽에서 오른쪽에의 순서로 제1 영역 및 제2 영역이며, 제1 영역에는 목표 사용자의 이동 궤적 경로가 표시되고, 제2 영역에는 위에서 아래에의 순서로 목표 사용자의 이미지 분석 영역 및 상태 데이터 전시 영역이다. 제1 영역 내의 파선은 목표 사용자의 이동 궤적 경로를 나타낸다. 제2 영역의 목표 사용자 이미지 분석 영역 내에는 왼쪽에서 오른쪽에의 순서로 목표 사용자 이미지 영역(정방형 프레임 내의 영역) 및 목표 사용자 정보 전시 영역이며, 목표 사용자 정보는 연령, 매력값, 성별, 체류 지속 시간, 표정, 주목 지속 시간 등일 수 있다. 목표 사용자 정보는 또한 목표 사용자의 이미지에 기반하여 설정된 적어도 하나의 형용사 중에서 매칭한 목표 형용사일 수 있는바, 예를 들면 "부드럽고 관대함", "세련되고 아름다움" 등일 수 있다. 목표 사용자 이미지 영역에 표시하는 목표 사용자 이미지는 목표 비디오 화면 내에서 확정한 이미지 품질이 요건을 충족시키는 목표 사용자의 이미지일 수 있는바, 예를 들면 이미지 품질 요건은 얼굴이 전면적으로 표시된 것, 이미지가 선명한 것 등을 포함할 수 있고, 목표 사용자 이미지는 또한 목표 사용자가 업로드한 이미지일 수 있다. 제2 영역 내의 상태 데이터 전시 영역 내에는 목표 사용자가 주목한 적어도 하나의 전시 영역이 포함되고, 상태 데이터 전시 영역 내에 표시하는 표시 영역의 수량은 실제의 필요에 따라 결정할 수 있다. 여기서, 원으로 각 표시 영역을 표시할 수 있고, 원의 표시 사이즈가 클수록, 대응하는 목표 사용자가 전시 영역을 주목한 주목 지속 시간이 길거나 또는 주목 횟수가 많다. 예시적으로, 상태 데이터 전시 영역 내의 표시 영역을 사이즈의 내림차순으로 제1 표시 영역(601), 제2 표시 영역(602), 제3 표시 영역(603), 제4 표시 영역(604), 제5 표시 영역(605)으로 배열할 수 있으며, 원의 윤곽의 서로 다른 색은 서로 다른 표정 라벨을 나타내는바, 즉, 제1 표시 영역과 제3 표시 영역의 표정 라벨이 동일하고, 제2 표시 영역과 제4 표시 영역의 표정 라벨이 동일하다.

예시적으로, 당해 방법을 실제로 점포에 적용하는 시나리오를 설명한다. 예를 들면 당해 방법을 전자 제품의 실제 점포에 적용하는 시나리오에 있어서, 제1 표시 영역은 컴퓨터이고, 제2 전시 영역은 태블릿이며, 제3 전시 영역은 휴대전화이며, 제4 전시 영역은 전자 제품에 대응하는 전자 부속품이고, 제5 전시 영역은 전자 제품에 대응하는 장식품일 경우, 본 발명에 의해 제공되는 방법을 통해 전자 제품의 실제 점포에 진입한 목표 사용자의 관심 물체 및 대응하는 관심 정도를 분석할 수 있다. 구체적으로, 각각 복수의 전시 영역에 배치되어 있는 촬영 디바이스에 의해 수집된 비디오 화면을 취득하고(전시 영역의 면적이 상대적으로 크면, 각 전시 영역에 각각 하나의 촬영 디바이스를 배치할 수 있고, 전시 영역이 상대적으로 작으면, 복수의 전시 영역의 곳에 하나의 촬영 디바이스를 배치할 수 있음), 비디오 화면 내에 출현하는 목표 사용자의 상태를 인식하되, 여기서 당해 상태는 체류 상태 및 감정 상태, 또는 주목 상태 및 감정 상태를 포함할 수 있다. 그리고, 단말 디바이스가 목표 사용자의 각 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 제어한다. 이렇게 하여, 판매자 또는 전시자가 표시된 표시 인터페이스에 기반하여 목표 사용자의 관심 물체 및 관심 정도를 편리하게 확정할 수 있는바, 예를 들면 관심 정도가 가장 높은 물체(예를 들면 휴대전화)를 목표 사용자의 관심 물체로 확정한다.

당업자는 구체적인 실시 형태의 상기의 방법 중의 각 단계의 설명 순서는 엄밀한 실행 순서를 의미하여 실시 과정에 대한 제한을 구성하는 것이 아닌바, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 로직에 의해 결정되어야 함을 이해해야 한다.

본 발명의 실시예는 같은 개념에 기반하여 상태 인식 장치를 더 제공하는바, 도 7은 본 발명의 실시예에 의해 제공되는 상태 인식 장치의 구성을 나타내는 모식도이다. 당해 장치는 비디오 화면 취득 모듈(701); 상태 인식 모듈(702); 및 제어 모듈(703)을 구비할 수 있다.

비디오 화면 취득 모듈(701)은 복수의 전시 영역에서 각각 수집한 복수의 비디오 화면을 취득한다.

상태 인식 모듈(702)은 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하되, 상기 상태는 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함한다.

제어 모듈(703)은 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어한다.

가능한 일 실시 형태에 있어서, 상기 체류 상태는 체류 지속 시간 및/또는 체류 횟수를 포함하고, 상기 상태 인식 모듈(702)은 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식할 때,

각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득하고, 상기 목표 비디오 화면의 수집 시점에 기반하여, 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간을 확정하며, 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정한다.

가능한 일 실시 형태에 있어서, 상기 상태 인식 모듈(702)은 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정할 때,

상기 목표 사용자가 상기 전시 영역에 2회 연속으로 들어갈 때의 시작 시간 간의 간격이 제1 시간을 초과할 경우, 상기 목표 사용자가 상기 전시 영역에 1회 체류한 것으로 확정하고 및/또는 상기 간격을 상기 목표 사용자가 상기 전시 영역에 1회 체류한 체류 지속 시간으로 확정한다.

가능한 일 실시 형태에 있어서, 상기 주목 상태는 주목 지속 시간 및/또는 주목 횟수를 포함하고, 상기 상태 인식 모듈(702)은 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식할 때,

각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점 및 상기 목표 비디오 화면 내에서의 상기 목표 사용자의 얼굴 방향 데이터를 취득하고,

상기 얼굴 방향 데이터가, 상기 목표 사용자가 상기 전시 영역의 전시 물체를 주목하는 것을 나타내는 것으로 검출되었을 경우, 상기 목표 비디오 화면에 대응하는 수집 시점을 상기 목표 사용자가 상기 전시 물체를 관람할 때의 시작 시간으로 확정하고, 확정된 상기 목표 사용자가 상기 전시 물체를 복수회 관람할 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정한다.

가능한 일 실시 형태에 있어서, 상기 상태 인식 모듈(702)은 확정된 상기 목표 사용자가 상기 전시 물체를 복수회 관람할 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정할 때,

상기 목표 사용자가 상기 전시 물체를 2회 연속으로 관람할 때의 시작 시간 간의 간격이 제2 시간을 초과하였을 경우, 상기 목표 사용자가 상기 전시 영역을 1회 주목한 것으로 확정하고 및/또는 상기 간격을 상기 사용자가 상기 전시 영역을 1회 주목한 주목 지속 시간으로 확정한다.

가능한 일 실시 형태에 있어서, 상기 얼굴 방향 데이터는 얼굴의 피치 각 및 요 각을 포함하며, 상기 상태 인식 모듈(702)은,

상기 피치 각이 제1 각도 범위 내에 있는 동시에, 상기 요 각이 제2 각도 범위 내에 있을 경우, 상기 얼굴 방향 데이터가, 상기 목표 사용자가 상기 전시 영역의 전시 물체를 주목하는 것을 나타내는 것으로 검출된 것을 확정한다.

가능한 일 실시 형태에 있어서, 상기 목표 사용자의 각 상기 전시 영역 내에서의 감정 상태는, 상기 목표 사용자의 상기 전시 영역에 체류한 총 체류 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨, 상기 목표 사용자의 상기 전시 영역을 주목한 총 주목 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨, 상기 전시 영역에 대응하는 현재 비디오 화면 내에서의 상기 목표 사용자의 표정 라벨 중의 적어도 하나를 포함한다.

가능한 일 실시 형태에 있어서, 상기 제어 모듈(703)은 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어할 때,

상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태 및 감정 상태에 기반하여, 상기 단말 디바이스가 각 상기 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하고, 또는 상기 목표 사용자의 각 상기 전시 영역 내에서의 주목 상태 및 감정 상태에 기반하여, 상기 단말 디바이스가 각 상기 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어한다.

가능한 일 실시 형태에 있어서, 각 표시 영역은 특정 도형으로 표시되며, 상기 주목 상태는 상기 목표 사용자가 상기 전시 영역을 주목한 주목 지속 시간 또는 주목 횟수를 나타내고, 상기 전시 영역에 대응하는 상기 특정의 도형 표시 사이즈는 상기 주목 지속 시간 또는 상기 주목 횟수에 비례하며, 상기 전시 영역에 대응하는 상기 특정의 도형 색은 상기 감정 상태와 매칭되거나, 또는 상기 체류 상태는 상기 목표 사용자의 상기 전시 영역 내에서의 체류 지속 시간 또는 체류 횟수를 나타내고, 상기 전시 영역에 대응하는 상기 특정의 도형 표시 사이즈는 체류 지속 시간 또는 체류 횟수에 비례하며, 상기 전시 영역에 대응하는 상기 특정의 도형 색은 상기 감정 상태와 매칭된다.

가능한 일 실시 형태에 있어서, 상기 장치는 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하기 위한 트리거 조작 취득 모듈을 더 구비한다.

가능한 일 실시 형태에 있어서, 상기 트리거 조작 취득 모듈은 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득할 때에, 상기 단말 디바이스의 표시 인터페이스가 자태 기술 내용을 포함하는 자태 프롬프트 프레임을 표시하도록 제어하고, 상기 목표 사용자가 전시한 사용자 자태를 취득하여 인식하고, 상기 사용자 자태가 상기 자태 기술 내용에 기록된 자태를 충족시킬 경우, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인한다.

가능한 일 실시 형태에 있어서, 상기 장치는 수집 시점 확정 모듈; 이동 궤적 데이터 확정 모듈; 및 경로 표시 모듈을 더 구비한다.

수집 시점 확정 모듈은 각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득한다.

이동 궤적 데이터 확정 모듈은 각 전시 영역에 대응하는 상기 수집 시점에 기반하여, 상기 목표 사용자의 각 상기 전시 영역 내에서의 이동 궤적 데이터를 확정한다.

경로 표시 모듈은 상기 이동 궤적 데이터에 기반하여, 상기 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 이동 궤적 경로를 표시하도록 제어한다.

몇몇의 실시예에 있어서, 본 발명의 실시예에 의해 제공되는 장치에 포함되는 기능 또는 템플릿은, 상기의 방법의 실시예에 기술된 방법을 실행하는 데에 사용될 수 있으며, 그 구체적인 구현은 상기의 방법의 실시예의 기술을 참조할 수 있다.

본 발명의 실시예는 동일한 기술적 개념에 기반하여 전자 디바이스를 더 제공한다. 도 8은 본 발명의 실시예에 의해 제공되는 전자 디바이스의 구성을 나타내는 모식도이다. 당해 전자 디바이스는 프로세서(801); 메모리(802); 및 버스(803)를 포함한다. 여기서, 메모리(802)는 내부 메모리(8021) 및 외부 메모리(8022)를 포함한다. 여기에서의 내부 메모리(8021)는 메모리라고도 불리우며, 프로세서(801) 중의 계산 데이터 및 하드 디스크 등의 외부 메모리(8022)와 교환하려는 데이터를 일시적으로 기억한다. 프로세서(801)는 내부 메모리(8021)를 이용하여 외부 메모리(8022)와 데이터 교환을 실행한다. 전자 디바이스(800)가 운행되면, 프로세서(801)와 메모리(802) 사이가 버스(803)를 통하여 통신함으로써, 프로세서(801)가 이하의 명령을 실행하도록 하는바, 당해 명령은 복수의 전시 영역에서 각각 수집한 비디오 화면을 취득하는 것; 상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것 - 상기 상태는 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함함 -; 및 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하는 것을 포함한다.

한편, 본 발명의 실시예는 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 당해 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기의 방법의 실시예에 기재된 상태 인식 방법의 단계가 실행된다.

본 발명의 실시예에 의해 제공되는 상태 인식 방법의 컴퓨터 프로그램 제품은 프로그램 코드가 기록되어 있는 컴퓨터 판독 가능 기록 매체를 포함하며, 상기 프로그램 코드에 포함된 명령은 상기의 방법의 실시예에 기재된 상태 인식 방법의 단계를 실행하기 위하여 사용된다.

당업자는 상기의 시스템 및 장치의 구체적인 작업 과정은 방법의 실시예 중의 과정을 참고할 수 있으며, 설명의 편의 및 간결화를 위하여, 여기에서는 반복적으로 설명하지 않음을 명확히 이해할 수 있다. 본 발명에 의해 제공되는 실시예에 개시되는 시스템, 장치 및 방법은 기타 방식을 통해 실현될 수 있음을 이해해야 한다. 상기의 장치의 실시예는 단지 모식적인 것이다. 예를 들면 상기 유닛의 분할은 논리 기능의 분할에 불과할 뿐, 실제의 구현에서는 다른 분할 방법을 있을 수 있고, 또한 예를 들면 복수의 유닛 또는 구성 요소는 조합되거나, 별도의 시스템에 통합되거나, 일부의 특징이 생략되거나 실행되지 않을 경우가 있다. 또한, 표시 또는 논의된 서로 간의 결합, 직접 결합 또는 통신 접속은, 몇몇의 통신 인터페이스, 디바이스 또는 유닛의 간접 결합 또는 통신 접속을 사용할 수 있고, 전기적, 기계적 또는 기타 형태일 수 있다.

상기의 분리된 부품으로 설명된 유닛은 물리적으로 분리되어 있는 경우와 물리적으로 분리되지 않은 경우가 있으며, 유닛으로 표시되는 부품은 물리적 유닛일 경우와 그렇지 않을 경우가 있다. 하나의 장소에 배치되거나, 복수의 네트워크 유닛에 분산 배치될 수 있다. 유닛의 일부 또는 전부는 본 발명의 실시예의 해결 방안 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다.

또한, 본 발명의 각 실시예의 각 기능 유닛은 하나의 처리 유닛에 통합되거나, 각 유닛이 물리적으로 단독으로 존재하거나, 또는 두 개 이상의 유닛이 하나의 유닛으로 통합될 수 있다.

상기 기능이 소프트웨어 기능 유닛의 형태로 구현되어, 독립적 제품으로 판매 또는 사용될 경우, 하나의 프로세서에 의해 실행 가능한 비휘발성의 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 이러한 이해에 기반하여, 본 발명의 실시예는 본질적으로 소프트웨어 제품의 형태로 구현되거나, 또는 선행 기술에 기여하는 부분 또는 실시 형태의 일부가 소프트웨어 제품의 형태로 구현될 수 있다. 당해 컴퓨터 소프트웨어 제품은 기록 매체에 기록되어, 컴퓨터, 서버, 또는 네트워크 디바이스 등의 컴퓨터 디바이스로 하여금 이하의 다양한 실시 형태에 기재된 방법의 단계의 전부 또는 일부를 실행하도록 하기 위한 몇몇의 명령을 포함한다. 전술한 기록 매체는 U 디스크, 이동 하드 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광학 디스크 등의 프로그램 코드를 기록할 수 있는 다양한 매체를 포함한다.

상기는 본 발명의 몇몇의 실시 형태에 불과할 뿐, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 발명에 기반하여 당업자가 용이하게 생각해낼 수 있는 변경 또는 치환은 본 발명의 범위 내에 포함된다. 따라서, 본 발명의 범위는 특허청구범위에 의해 결정된다.

Claims (15)

1. 상태 인식 방법에 있어서,
   복수의 전시 영역에서 각각 수집한 복수의 비디오 화면을 취득하는 것;
   상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것 - 상기 상태는 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함함 -; 및
   단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하는 것을 포함하는
   것을 특징으로 하는 상태 인식 방법.
2. 제1항에 있어서,
   상기 체류 상태는 체류 지속 시간 및/또는 체류 횟수를 포함하고,
   상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것은,
   각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득하는 것;
   상기 목표 비디오 화면의 수집 시점에 기반하여, 상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간을 확정하는 것; 및
   상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정하는 것을 포함하는
   것을 특징으로 하는 상태 인식 방법.
3. 제2항에 있어서,
   상기 목표 사용자가 상기 전시 영역에 매회 들어갈 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 체류 횟수 및/또는 체류 지속 시간을 확정하는 것은,
   상기 목표 사용자가 상기 전시 영역에 2회 연속으로 들어갈 때의 시작 시간 간의 간격이 제1 시간을 초과할 경우, 상기 목표 사용자가 상기 전시 영역에 1회 체류한 것으로 확정하고 및/또는 상기 간격을 상기 목표 사용자가 상기 전시 영역에 1회 체류한 체류 지속 시간으로 확정하는 것을 포함하는
   것을 특징으로 하는 상태 인식 방법.
4. 제1항에 있어서,
   상기 주목 상태는 주목 지속 시간 및/또는 주목 횟수를 포함하고,
   상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하는 것은,
   각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점 및 상기 목표 비디오 화면 내에서의 상기 목표 사용자의 얼굴 방향 데이터를 취득하는 것;
   상기 얼굴 방향 데이터가, 상기 목표 사용자가 상기 전시 영역의 전시 물체를 주목하는 것을 나타내는 것으로 검출되었을 경우, 상기 목표 비디오 화면에 대응하는 수집 시점을 상기 목표 사용자가 상기 전시 물체를 관람할 때의 시작 시간으로 확정하는 것; 및
   확정된 상기 목표 사용자가 상기 전시 물체를 복수회 관람할 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정하는 것을 포함하는
   것을 특징으로 하는 상태 인식 방법.
5. 제4항에 있어서,
   상기 확정된 상기 목표 사용자가 상기 전시 물체를 복수회 관람할 때의 시작 시간에 기반하여, 상기 목표 사용자의 상기 전시 영역 내에서의 주목 횟수 및/또는 주목 지속 시간을 확정하는 것은,
   상기 목표 사용자가 상기 전시 물체를 2회 연속으로 관람할 때의 시작 시간 간의 간격이 제2 시간을 초과하였을 경우, 상기 목표 사용자가 상기 전시 영역을 1회 주목한 것으로 확정하고 및/또는 상기 간격을 상기 사용자가 상기 전시 영역을 1회 주목한 주목 지속 시간으로 확정하는 것을 포함하는
   것을 특징으로 하는 상태 인식 방법.
6. 제4항 또는 제5항에 있어서,
   상기 얼굴 방향 데이터는 얼굴의 피치 각 및 요 각을 포함하며,
   상기 피치 각이 제1 각도 범위 내에 있는 동시에, 상기 요 각이 제2 각도 범위 내에 있을 경우, 상기 얼굴 방향 데이터가, 상기 목표 사용자가 상기 전시 영역의 전시 물체를 주목한 것을 나타내는 것으로 확정하는
   것을 특징으로 하는 상태 인식 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 목표 사용자의 각 상기 전시 영역 내에서의 감정 상태는, 상기 목표 사용자의 상기 전시 영역에 체류한 총 체류 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨, 상기 목표 사용자의 상기 전시 영역을 주목한 총 주목 지속 시간 내에서 출현한 적이 가장 많은 표정 라벨 및 상기 전시 영역에 대응하는 현재 비디오 화면 내에서의 상기 목표 사용자의 표정 라벨 중의 적어도 하나를 포함하는
   것을 특징으로 하는 상태 인식 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하는 것은,
   상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태 및 감정 상태에 기반하여, 상기 단말 디바이스가 각 상기 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하는 것, 또는,
   상기 목표 사용자의 각 상기 전시 영역 내에서의 주목 상태 및 감정 상태에 기반하여, 상기 단말 디바이스가 각 상기 전시 영역에 각각 대응하는 서로 다른 표시 상태를 가진 표시 영역을 표시하도록 제어하는 것을 포함하는
   것을 특징으로 하는 상태 인식 방법.
9. 제8항에 있어서,
   각 상기 표시 영역은 특정 도형으로 표시되며,
   상기 주목 상태는 상기 목표 사용자가 상기 전시 영역을 주목한 주목 지속 시간 또는 주목 횟수를 나타내고, 상기 전시 영역에 대응하는 상기 특정의 도형 표시 사이즈는 상기 주목 지속 시간 또는 상기 주목 횟수에 비례하며, 상기 전시 영역에 대응하는 상기 특정의 도형 색은 상기 감정 상태와 매칭되거나, 또는,
   상기 체류 상태는 상기 목표 사용자의 상기 전시 영역 내에서의 체류 지속 시간 또는 체류 횟수를 나타내고, 상기 전시 영역에 대응하는 상기 특정의 도형 표시 사이즈는 상기 체류 지속 시간 또는 체류 횟수에 비례하며, 상기 전시 영역에 대응하는 상기 특정의 도형 색은 상기 감정 상태와 매칭되는
   것을 특징으로 하는 상태 인식 방법.
10. 제1항에 있어서,
    상기 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하기 전에, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 것을 더 포함하는
    것을 특징으로 하는 상태 인식 방법.
11. 제10항에 있어서,
    상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득하는 것은,
    상기 단말 디바이스의 표시 인터페이스가 자태 기술 내용을 포함하는 자태 프롬프트 프레임을 표시하도록 제어하는 것;
    상기 목표 사용자가 전시한 사용자 자태를 취득하여 인식하는 것; 및
    상기 사용자 자태가 상기 자태 기술 내용에 기록된 자태를 충족시킬 경우, 상기 표시 인터페이스를 트리거하기 위한 트리거 조작을 취득한 것으로 확인하는 것을 포함하는
    것을 특징으로 하는 상태 인식 방법.
12. 제1항에 있어서,
    복수의 전시 영역에서 각각 수집한 비디오 화면을 취득한 후에, 각 상기 전시 영역에 대해, 상기 전시 영역에 대응하는 복수의 비디오 화면 중의 상기 목표 사용자가 출현한 목표 비디오 화면의 수집 시점을 취득하는 것;
    각 전시 영역에 대응하는 상기 수집 시점에 기반하여, 상기 목표 사용자의 각 상기 전시 영역 내에서의 이동 궤적 데이터를 확정하는 것; 및
    상기 이동 궤적 데이터에 기반하여, 상기 단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 이동 궤적 경로를 표시하도록 제어하는 것을 더 포함하는
    것을 특징으로 하는 상태 인식 방법.
13. 상태 인식 장치에 있어서,
    복수의 전시 영역에서 각각 수집한 복수의 비디오 화면을 취득하기 위한 비디오 화면 취득 모듈;
    상기 비디오 화면 내에 출현한 목표 사용자의 상태를 인식하기 위한 상태 인식 모듈 - 상기 상태는 상기 목표 사용자의 각 상기 전시 영역 내에서의 체류 상태, 주목 상태 및 감정 상태 중의 적어도 두 개를 포함함 -; 및
    단말 디바이스가 상기 목표 사용자의 각 상기 전시 영역 내에서의 상태를 기술하기 위한 표시 인터페이스를 표시하도록 상기 단말 디바이스를 제어하기 위한 제어 모듈을 구비하는
    것을 특징으로 하는 상태 인식 장치.
14. 전자 디바이스에 있어서,
    프로세서 및 메모리를 구비하며,
    상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 기록되어 있으며,
    상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제12항 중 어느 한 항에 기재된 상태 인식 방법을 실행하도록 하는
    것을 특징으로 하는 전자 디바이스.
15. 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체에 있어서,
    당해 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제12항 중 어느 한 항에 기재된 상태 인식 방법을 실행하도록 하는
    것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.

Images