KR20210072808A

KR20210072808A - 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체

Info

Publication number: KR20210072808A
Application number: KR1020217014152A
Authority: KR
Inventors: 준웨이 장
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2019-07-17
Filing date: 2020-05-11
Publication date: 2021-06-17
Also published as: CN110348418B; JP2022507145A; CN110348418A; TW202215364A; WO2021008207A1; TW202105326A; TWI755762B

Abstract

본 발명은 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체에 관한 것이고, 상기 타깃 추적 방법은, 수집된 이미지를 획득하는 단계(S10); 상기 이미지에서의 타깃 대상의 위치를 획득하는 단계(S20); 및 상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기를 제어하는 제어 명령어를 얻는 단계(S30) - 상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 를 포함한다.

Description

타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 출원번호가 201910646696.8이고 출원일자가 2019년 07월 17일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명의 실시예는 컴퓨터 시각 기술 분야에 관한 것으로, 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체에 관한 것이지만 이에 한정되지 않는다.

현재, 원격 조종 차, 이동 로봇 등 스마트 이동 기기는 각 분야에서 모두 응용되고 있고, 예를 들어 교육 분야에서는 원격 조종 차를 교학 도구로 사용함으로써 타깃 추적을 구현한다.

본 발명의 실시예는 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체를 제공한다.

본 발명의 실시예가 제공하는 타깃 추적 방법은,

수집된 이미지를 획득하는 단계;

상기 이미지에서의 타깃 대상의 위치를 결정하는 단계; 및

상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하기 위한 제어 명령어를 결정하는 단계 - 상기 제어 명령어는 상기 타깃 대상으로 하여금 상기 이미지의 중심 위치에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 이미지에서의 타깃 대상의 위치를 결정하기 전에, 상기 타깃 추적 방법은 상기 이미지에 대해 사전 처리 동작을 실행하는 단계를 더 포함하고, 상기 사전 처리 동작은, 상기 이미지를 사전 설정 규격의 그레이 스케일 이미지로 조정하며, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 포함하고, 여기서, 상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는, 상기 사전 처리 동작 후 얻은 이미지에 대해 타깃 검출 처리를 실행하고, 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치를 획득하는 단계; 및 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치에 기반하여, 상기 이미지 중 상기 타깃 대상의 위치를 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계는, 상기 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 결정하는 단계; 상기 각 픽셀 포인트의 픽셀값과 상기 평균값 사이의 차이값을 획득하는 단계; 및 상기 각 픽셀 포인트에 대응되는 상기 차이값 및 상기 표준 편차 사이의 비율을, 상기 각 픽셀 포인트가 정규화 후의 픽셀값으로 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는, 상기 이미지의 이미지 특징을 추출하는 단계; 상기 이미지 특징에 대해 분류 처리를 실행하고, 상기 이미지에서의 타깃 대상의 위치 영역을 얻는 단계; 및 상기 위치 영역의 중심 위치를 상기 타깃 대상의 위치로 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 대상은 얼굴을 포함하고; 대응하여, 상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는, 상기 이미지 중 얼굴의 위치를 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하기 위한 제어 명령어를 결정하는 단계는, 상기 이미지에서의 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리에 기반하여, 타깃 오프셋을 결정하는 단계; 상기 타깃 오프셋에 기반하여 복수 개 세트 오프셋 시퀀스를 생성하는 단계 - 각 세트 오프셋 시퀀스에서의 오프셋 값의 합값은 상기 타깃 오프셋임 - ; 및 강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하고, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하는 단계는, 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값에 대해, 값 테이블에서 상기 오프셋 값과 대응되는 최대 값을 결정하는 단계 - 상기 값 테이블은 오프셋 값이 상이한 회전 명령어하에 대응되는 값을 포함함 - ; 상기 오프셋 값에 대응되는 보상가치를 획득하고, 상기 오프셋 값에 대응되는 상기 보상가치 및 상기 최대 값에 기반하여, 상기 오프셋 값의 최종 값을 결정하는 단계 - 상기 보상가치는 상기 오프셋 값의 최대 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치와 이미지 중심 위치 사이의 거리임 - ; 및 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값의 상기 최종 값의 합이 제일 큰 오프셋 시퀀스를, 요구를 만족시키는 오프셋 시퀀스로 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 결정하는 단계는, 상기 요구를 만족시키는 오프셋 시퀀스 중 각 오프셋 값의 최대 값에 대응되는 회전 명령어에 기반하여, 상기 제어 명령어를 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 추적 방법은, 상기 제어 명령어에 기반하여 상기 스마트 이동 기기를 구동시켜 회전을 실행하는 단계를 더 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 추적 방법은, 상기 타깃 대상의 위치 영역에 기반하여, 상기 스마트 이동 기기 이동을 제어하기 위한 제어 명령어를 결정하는 단계 - 상기 타깃 대상의 위치 영역에 대응되는 면적이 제1 임계값보다 큰 것에 응답하여, 상기 스마트 이동 기기 후진을 제어하기 위한 제어 명령어를 생성하고; 상기 타깃 대상의 위치 영역에 대응되는 면적이 제2 임계값보다 작은 것에 응답하여, 상기 스마트 이동 기기 전진을 제어하기 위한 제어 명령어를 생성하며, 상기 제1 임계값은 제2 임계값보다 큼 - 를 더 포함한다.

본 발명의 실시예는 타깃 추적 장치를 제공하고, 상기 타깃 추적 장치는, 이미지를 수집하도록 구성된 이미지 수집 모듈; 상기 이미지에서의 타깃 대상의 위치를 결정하도록 구성된 타깃 검출 모듈; 및 상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하는 제어 명령어를 - 상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심 위치에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 결정하도록 구성된 제어 모듈을 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 추적 장치는, 상기 이미지에 대해 사전 처리 동작을 실행 - 상기 사전 처리 동작은, 상기 이미지를 사전 설정 규격의 그레이 스케일 이미지로 조정하고, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 포함함 - 하도록 구성된 사전 처리 모듈을 더 포함하고;

상기 타깃 검출 모듈은 또한 상기 사전 처리 동작 후 얻은 이미지에 대해 타깃 검출 처리를 실행하고, 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치를 획득하며; 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치에 기반하여, 상기 이미지 중 상기 타깃 대상의 위치를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 사전 처리 모듈이 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 실행하는 단계는, 상기 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 결정하는 단계; 상기 각 픽셀 포인트의 픽셀값과 상기 평균값 사이의 차이값을 획득하는 단계; 및 상기 각 픽셀 포인트에 대응되는 상기 차이값 및 상기 표준 편차 사이의 비율을, 상기 각 픽셀 포인트가 정규화 후의 픽셀값으로 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 검출 모듈은 또한 상기 이미지의 이미지 특징을 추출하고; 상기 이미지 특징에 대해 분류 처리를 실행하고, 상기 이미지에서의 타깃 대상의 위치 영역을 얻으며; 상기 위치 영역의 중심 위치를 상기 타깃 대상의 위치로 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 타깃 대상은 얼굴을 포함하고; 대응하여, 상기 타깃 검출 모듈은 또한 상기 이미지 중 얼굴의 위치를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 제어 모듈은 또한 상기 이미지에서의 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리에 기반하여, 타깃 오프셋을 결정하고; 상기 타깃 오프셋에 기반하여 복수 개 세트 오프셋 시퀀스를 생성하며, 각 세트 오프셋 시퀀스에서의 오프셋 값의 합값은 상기 타깃 오프셋이고; 강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하며, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 얻도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 제어 모듈은 또한 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값에 대해, 값 테이블에서 상기 오프셋 값과 대응되는 최대 값을 결정 - 상기 값 테이블은 오프셋 값이 상이한 회전 명령어하에 대응되는 값을 포함함 - 하고; 상기 오프셋 값에 대응되는 보상가치를 획득하며, 상기 오프셋 값에 대응되는 상기 보상가치 및 상기 최대 값에 기반하여, 상기 오프셋 값의 최종 값을 결정 - 상기 보상가치는 상기 오프셋 값의 최대 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치와 이미지 중심의 거리임 - 하고; 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값의 상기 최종 값의 합이 제일 큰 오프셋 시퀀스를, 요구를 만족시키는 오프셋 시퀀스로 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 제어 모듈은 또한 상기 요구를 만족시키는 오프셋 시퀀스 중 각 오프셋 값의 최대 값에 대응되는 회전 명령어에 기반하여, 상기 제어 명령어를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 타깃 검출 모듈은 또한 상기 타깃 대상의 위치 영역에 기반하여, 상기 스마트 이동 기기 이동을 제어하는 제어 명령어를 결정 - 상기 타깃 대상의 위치 영역에 대응되는 면적이 제1 임계값보다 큰 경우, 상기 스마트 이동 기기 후진을 제어하는 제어 명령어를 생성하고; 상기 타깃 대상의 위치 영역에 대응되는 면적이 제2 임계값보다 작은 경우, 상기 스마트 이동 기기 전진을 제어하는 제어 명령어를 생성하며, 상기 제1 임계값은 제2 임계값보다 큼 - 하도록 구성된다.

본 발명의 실시예는 스마트 이동 기기를 제공하고, 상기 스마트 이동 기기는 상기 타깃 추적 장치를 포함하며, 상기 타깃 추적 장치 내의 타깃 검출 모듈은 스마트 이동 기기의 관리 장치에 집적되고, 상기 관리 장치를 통해 상기 이미지 수집 모듈에 의해 수집된 이미지의 타깃 검출 처리를 실행하며, 상기 타깃 대상의 위치를 얻고; 상기 제어 모듈과 상기 관리 장치는 연결되며, 상기 관리 장치에 따라 타깃 대상의 위치를 얻고 상기 제어 명령어를 생성하기 위한 것이며, 상기 제어 명령어에 따라 상기 스마트 이동 기기 회전을 제어한다.

본 발명의 일부 실시예에 있어서, 상기 관리 장치에는 또한 상기 타깃 추적 장치의 사전 처리 모듈이 집적되어 있고 상기 이미지에 대해 사전 처리 동작을 실행하기 위한 것이며, 상기 사전 처리 동작 후의 이미지에 대해 타깃 검출 처리를 실행하며, 상기 이미지 중 타깃 대상의 위치를 얻는다.

본 발명의 일부 실시예에 있어서, 상기 스마트 이동 기기는 교육 로봇을 포함한다.

본 발명의 실시예는 스마트 이동 기기를 제공하고, 상기 스마트 이동 기기에는, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 프로세서는 상기 메모리가 저장한 명령어를 호출함으로써, 어느 한 항에 따른 타깃 추적 방법을 실행하도록 구성된다.

본 발명의 실시예는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 제1 측면 중 어느 한 항에 따른 타깃 추적 방법을 구현한다.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 스마트 이동 기기에서 작동될 때, 상기 스마트 이동 기기에서의 프로세서는 어느 한 항에 따른 타깃 추적 방법을 구현다.

본 발명의 실시예에서 제공하는 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체는, 수집된 이미지 중 타깃 대상의 위치를 얻을 수 있고, 상기 타깃 대상의 위치와 이미지 중심 사이의 거리에 따라, 스마트 이동 기기의 제어 명령어를 얻으며, 상기 제어 명령어는 스마트 이동 기기의 회전을 제어하기 위한 것이고, 얻은 제어 명령어는 적어도 하나의 오프셋 값에 대응되는 회전 명령어를 포함하며, 여기서 각 오프셋 값이 형성한 오프셋 시퀀스는 타깃 대상 및 이미지 중심 사이의 거리로 결정되고, 얻은 제어 명령어를 통해 회전 후의 타깃 대상으로 하여금 수집된 이미지의 중심에 있을 수 있도록 함으로써, 타깃 대상으로 하여금 스마트 이동 기기의 추적 범위 내에 있도록 한다. 본 발명의 실시예에서 제공하는 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체는 실시간적으로 타깃 대상의 위치에 따라 타깃 추적을 실행할 수 있고, 더욱 편리하며, 정확한 특점을 구비한다.

이해해야 할 것은, 이상의 일반적인 설명 및 아래의 세부적인 설명은 다만 예시적 및 해석적인 것이며, 본 발명의 실시예를 한정하는 것은 아니다.

아래 참조 도면이 예시적 실시예에 대한 상세한 설명에 따라, 본 발명 실시예의 다른 특징 및 측면은 명확해진다.

여기서 도면은 명세서에 통합되어 본 명세서의 일부를 구성하며, 이 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명 실시예의 기술적 방안을 설명하기 위한 것이다.
도 1은 본 발명의 실시예에서 제공하는 타깃 추적 방법의 흐름 예시도이다.
도 2는 본 발명의 실시예에서 제공하는 이미지에 대해 사전 처리를 실행하는 흐름 예시도이다.
도 3은 본 발명의 실시예에서 제공하는 타깃 추적 방법에서 단계 S20의 흐름 예시도이다.
도 4는 본 발명의 실시예에서 제공하는 타깃 추적 방법에서 단계 S30의 흐름 예시도이다.
도 5는 본 발명의 실시예에서 제공하는 타깃 추적 방법에서 단계 S303의 흐름 예시도이다.
도 6은 본 발명의 실시예에서 제공하는 타깃 추적 방법의 다른 흐름 예시도이다.
도 7은 본 발명의 실시예에서 제공하는 타깃 추적 방법의 응용 예시도이다.
도 8은 본 발명의 실시예에서 제공하는 사전 처리 과정의 흐름 예시도이다.
도 9는 본 발명의 실시예에서 제공하는 타깃 검출 네트워크의 훈련 과정 예시도이다.
도 10은 본 발명의 실시예에서 제공하는 타깃 검출 네트워크의 응용 과정 예시도이다.
도 11은 본 발명의 실시예에서 제공하는 강화 학습 경로 계획 알고리즘에 기반하는 흐름 예시도이다.
도 12는 본 발명의 실시예에서 제공하는 타깃 추적 장치의 구조 예시도이다.
도 13은 본 발명의 실시예에서 제공하는 스마트 이동 기기의 구조 예시도이다.

아래에 도면을 참조하여 본 발명 실시예의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에서 도시되었지만, 특별히 지적하지 않는 한, 비례대로 제도될 필요는 없다.

여기서 전문적으로 사용되는 "예시적"이란 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 그 어떤 실시예는 다른 실시예보다 더 우수하거나 좋은 것으로 해석될 필요는 없다.

본문에서 용어 “및 /또는”은 다만 관련 대상의 관련 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낼 수 있다. 또한, 본문에서 용어 "적어도 하나"는 복수에서의 어느 하나 또는 복수에서의 적어도 두 개 중의 어느 하나의 조합을 나타내고, 예를 들어, A, B, C 중 적어도 하나를 포함하는 것은, A, B 및 C로 구성된 집합에서 선택된 어느 하나 또는 복수 개의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명의 실시예를 더욱 잘 설명하기 위해, 아래의 구체적 실시 방식에서 수많은 구체적 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적 세부 사항이 없더라도, 본 발명의 실시예는 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 실제의 시예에 있어서, 본 발명 실시예의 요지가 부각되도록 본 분야의 기술자들이 익숙한 방법, 수단, 구성 요소 및 회로에 대해서는 상세한 설명을 하지 않는다.

본 발명의 실시예는 타깃 추적 방법을 제공하고, 상기 타깃 추적 방법은 임의의 이미지 처리 기능을 구비한 스마트 이동 기기에 적용될 수 있다. 예를 들어, 타깃 추적 방법은 이동 로봇, 원격 조종 차, 항공기 등 기기에 적용될 수 있고, 이상 다만 예시적인 설명일 뿐, 이동을 구현할 수 있는 기기라면 모두 본 발명의 실시예에서 제공하는 타깃 추적 방법을 사용할 수 있다. 일부 가능한 구현 방식에 있어서, 상기 타깃 추적 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출하는 방식을 통해 구현될 수 있다.

도 1은 본 발명의 실시예에서 제공하는 타깃 추적 방법의 흐름 예시도이고, 도 1에 도시된 바와 같이, 상기 타깃 추적 방법은,

단계 S10에 있어서, 수집된 이미지를 획득한다.

본 발명의 일부 실시예에 있어서, 본 발명 실시예의 타깃 추적 방법을 응용하는 스마트 이동 기기에는 예를 들어 웹캠 또는 카메라 등 기기와 같은 이미지 수집 기기가 포함될 수 있다. 본 발명의 실시예는 이미지 수집 기기를 통해 이미지를 직접 수집할 수 있거나, 또는 이미지 수집 기기를 통해 비디오 데이터를 수집하고, 비디오 데이터에 대해 프레이밍 또는 프레임 선택 처리를 수행하여, 대응되는 이미지를 얻을 수도 있다.

단계 S20에 있어서, 상기 이미지에서의 타깃 대상의 위치를 결정한다.

본 발명의 일부 실시예에 있어서, 수집된 이미지를 얻은 경우, 수집된 이미지의 타깃 검출 처리를 실행할 수 있고, 즉 수집된 이미지에 타깃 대상이 존재하는지 여부를 검출하며, 타깃 대상이 존재할 때, 타깃 대상이 위치한 위치를 결정한다.

본 발명의 일부 실시예에 있어서, 신경 네트워크를 통해 상기 타깃 검출 처리를 구현할 수 있다. 여기서, 본 발명의 실시예에 의해 검출된 타깃 대상은 임의의 타입의 대상일 수 있고, 예를 들어 타깃 대상은 얼굴일 수 있거나, 타깃 대상은 다른 추적될 대상일 수 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다. 또는, 일부 실시예에 있어서, 타깃 대상은 신원을 이미 알고 있는 특정된 대상일 수 있고, 즉 본 발명의 실시예는 상응한 타입의 대상에 대한(예를 들어 전체 얼굴 이미지) 추적을 실행할 수 있으며, 어느 특정된 신원 대상에 대한(예를 들어 이미 알고 있는 특정된 얼굴 이미지) 추적을 실행할 수도 있고, 수요에 따라 설정될 수 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 타깃 검출 처리를 구현하는 신경 네트워크는 컨볼루션 신경 네트워크일 수 있고, 상기 신경 네트워크가 훈련을 통해, 이미지에서의 타깃 대상의 위치를 정확하게 검출할 수 있으며, 신경 네트워크의 형태는 한정하지 않는다.

하나의 예에 있어서, 이미지에 대해 타깃 검출 처리를 실행하는 과정에서, 이미지에 대해 특징 추출을 실행함으로써 이미지 특징을 획득할 수 있고, 다음 이미지 특징에 대해 분류 처리를 실행하고, 이미지에서 타깃 대상의 위치 영역을 얻으며, 상기 위치 영역에 기반하면 타깃 대상의 위치를 결정할 수 있다. 여기서 분류 처리하여 얻은 분류 결과는 예를 들어 제1 식별자 또는 제2 식별자와 같은 이미지에 타깃 대상이 존재하는지 여부의 식별자를 포함할 수 있고, 여기서 제1 식별자는 현재 위치가 이미지에서 대응되는 픽셀 포인트는 타깃 대상임을 나타내며, 제2 식별자는 현재 위치가 이미지에서 대응되는 픽셀 포인트는 타깃 대상이 아님을 나타내고, 제1 식별자를 통해 구성된 영역은 타깃 대상이 이미지에서의 위치를 결정할 수 있으며, 예를 들어 상기 영역의 중심 위치를 타깃 대상의 위치로 결정할 수 있다. 상기, 이미지에 타깃 대상이 포함되는 경우를 통해, 타깃 대상이 이미지에서의 위치를 직접 얻을 수 있고, 예를 들어 좌표의 형식에 따라 타깃 대상의 위치를 나타낼 수 있다. 본 발명의 실시예는 타깃 대상이 이미지에서의 위치 영역의 중심 위치를 타깃 대상의 위치로 사용할 수 있다. 또한, 이미지에서 타깃 대상이 검출되지 않는 경우, 출력된 위치는 비어있다.

단계 S30에 있어서, 상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하기 위한 제어 명령어를 결정하고, 여기서, 상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심 위치에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함한다.

본 발명의 일부 실시예에 있어서, 타깃 대상이 이미지에서의 위치를 얻는 경우, 상기 위치에 따라 스마트 이동 기기 이동을 제어함으로써, 타깃 대상으로 하여금 수집된 이미지의 중심 위치에 위치하고, 타깃 대상에 대한 추적을 구현할 수 있도록 한다. 여기서, 본 발명의 실시예는 타깃 대상이 이미지에서의 위치 및 이미지의 중심 위치 사이의 거리에 따라, 스마트 이동 기기 회전을 제어하는 제어 명령어를 얻을 수 있고, 상기 타깃 대상의 위치로 하여금 현재 수집된 이미지의 중심에 위치할 수 있도록 한다. 여기서, 제어 명령어는 적어도 하나의 오프셋 값에 각각 대응되는 회전 명령어를 포함할 수 있고, 여기서 적어도 하나의 오프셋 값에 대응되는 오프셋 시퀀스에 따라 상기 타깃 대상의 위치와 이미지 중심 위치 사이의 거리를 결정할 수 있다. 예를 들어, 각 오프셋 값의 합은 상기 거리값임을 결정한다. 여기서, 본 발명의 실시예의 거리는 부호화 거리(예를 들어 방향 벡터)일 수 있고, 오프셋 값도 방향 벡터일 수 있으며, 각 오프셋 값에 대응되는 방향 벡터의 합을 통해 거리에 대응되는 방향 벡터를 얻을 수 있고, 즉 각 오프셋 값에 대응되는 회전 명령어를 통해 각 오프셋 값의 오프셋을 구현할 수 있으며, 최종적으로 타깃 대상으로 하여금 현재 수집된 이미지의 중심에 위치하도록 한다. 타깃 대상이 움직이지 않는 경우, 현재 이미지의 다음 이미지를 수집하는 시각부터, 타깃 대상은 항상 수집된 이미지의 중심에 위치할 수 있다. 만약 타깃 대상이 이동하는 경우가 존재하면, 본 발명의 실시예는 빠르게 이전 이미지에서 타깃 대상의 위치에 대해 스마트 이동 기기 회전을 조정할 수 있음으로써, 타깃 대상으로 하여금 수집된 이미지 중심에 있도록 하고, 타깃 대상이 이동하는 경우라도, 타깃 대상에 대해 추적 촬영을 실행할 수 있으며, 타깃 대상으로 하여금 수집된 이미지의 화면에 있도록 한다.

본 발명의 일부 실시예에 있어서, 본 발명의 실시예는 강화 학습 알고리즘을 사용하고, 스마트 이동 기기의 회전 경로의 계획을 실행하여, 타깃 대상으로 하여금 이미지 중심에 위치하도록 하는 제어 명령어를 얻을 수 있고, 상기 제어 명령어는 강화 학습 알고리즘에 기반하여 결정된 최적화 이동 방안에 대응되는 제어 명령어일 수 있다. 예시에 있어서, 강화 학습 알고리즘은 가치 학습 알고리즘(Q-learning 알고리즘)일 수 있다.

강화 학습 알고리즘을 통해, 스마트 이동 기기의 이동 경로에 대해 최적화 결정을 수행하고, 이동 시간, 이동 경로에서의 편의성 및 스마트 이동 기기 에너지 소모의 종합 평가가 제일 좋은 이동 경로에 대응되는 제어 명령어를 얻는다.

상기 구성에 기반하여, 본 발명의 실시예는 편리하고 정확하게 타깃 대상에 대한 실시간 추적을 구현할 수 있으며, 타깃 대상의 위치에 따라 스마트 이동 기기의 회전을 제어함으로써, 타깃 대상으로 하여금 수집된 이미지의 중심에 위치하도록 한다. 여기서 이미지 중 타깃 대상의 위치와 이미지의 중심 위치 사이의 거리에 따라, 스마트 이동 기기의 제어 명령어를 얻을 수 있고, 상기 제어 명령어는 스마트 이동 기기의 회전을 제어하기 위한 것이며, 얻은 제어 명령어는 적어도 하나의 오프셋 값에 대응되는 회전 명령어를 포함하고, 여기서 각 오프셋 값이 형성한 오프셋 시퀀스는 타깃 대상 및 이미지 중심 사이의 거리로 결정되며, 얻은 제어 명령어를 통해 회전 후의 타깃 대상으로 하여금 수집된 이미지의 중심에 있을 수 있도록 함으로써, 타깃 대상으로 하여금 스마트 이동 기기의 추적 범위 내에 있도록 한다. 본 발명의 실시예는 실시간적으로 타깃 대상의 위치에 따라 타깃 추적을 실행할 수 있고, 더욱 편리하며, 정확하고 스마트 이동 기기의 효능을 향상시키는 특점을 구비한다.

아래에 도면을 결합하여, 본 발명의 실시예에서 제공하는 것에 대해 상세하게 설명한다.

상기 실시예에서 설명한 바와 같이, 본 발명의 실시예는 이미지가 수집된 경우, 즉 상기 이미지에 대해 타깃 검출 처리를 실행할 수 있다. 본 발명의 실시예에 있어서, 수집된 이미지의 규격, 타입 등 파라미터가 상이할 수 있기에, 따라서, 이미지에 대해 타깃 검출 처리를 실행하기 전에 이미지에 대해 사전 처리 동작을 실행하고, 정규화 처리된 이미지를 얻을 수 있다.

상기 이미지에서의 타깃 대상의 위치를 결정하기 전에, 상기 타깃 추적 방법은 상기 이미지에 대해 사전 처리 동작을 실행하는 단계를 더 포함하고, 도 2는 본 발명의 실시예에서 제공하는 이미지에 대해 사전 처리를 실행하는 흐름 예시도이며, 도 2에 도시된 바와 같이, 상기 사전 처리 동작은, 하기와 같은 단계를 포함한다.

단계 S11에 있어서, 상기 이미지를 사전 설정 규격의 그레이 스케일 이미지로 조정한다.

본 발명의 일부 실시예에 있어서, 수집된 이미지는 컬러 이미지 또는 다른 형식의 이미지일 수 있고, 수집된 이미지를 사전 설정 규격의 이미지로 전환한 다음 사전 설정 규격의 이미지를 그레이 스케일 이미지로 전환할 수 있다. 또는, 먼저 수집된 이미지를 그레이 스케일 이미지로 전환한 다음 그레이 스케일 이미지를 사전 설정 규격의 형식으로 전환할 수도 있다. 여기서 사전 설정 규격은 640*480일 수 있지만, 본 발명 실시예의 구체적 한정으로 사용되지 않는다. 컬러 이미지 또는 다른 형식의 이미지를 그레이 스케일 이미지로 전환하는 것은 픽셀값에 대한 처리에 기반하여 전환될 수 있고, 예를 들어 각 픽셀 포인트의 픽셀값을 제일 큰 픽셀값으로 나눠지도록 하고 상기 결과에 기반하여 상응한 그레이 스케일 값을 얻을 수 있으며, 이상 다만 예시적인 설명일 뿐, 본 발명의 실시예는 상기 과정에 대해 구체적으로 한정하지 않는다.

컬러 이미지 또는 다른 형식의 이미지를 처리할 때 많은 자원이 소모될 수 있지만, 이미지의 형식이 검출 효과에 대한 영향은 비교적 작기에, 발명의 실시예는 이미지를 그레이 스케일 이미지로 전환하고, 이미지를 그레이 스케일 이미지로 직접 전환한 다음 네트워크 모델에 보내 검출을 수행하며, 자원의 소모를 줄이고, 처리 속도를 향상시킬 수 있다.

단계 S12에 있어서, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행한다.

그레이 스케일 이미지를 얻은 경우, 그레이 스케일 이미지에 대해 정규화 처리를 실행할 수 있다. 정규화 처리를 통해 이미지의 픽셀값을 동일한 척도 범위 내로 정규화할 수 있다. 여기서, 정규화 처리는, 상기 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 결정하는 단계; 상기 픽셀 포인트의 픽셀값과 상기 평균값 사이의 차이값을 결정하는 단계; 및 각 픽셀 포인트에 대응되는 상기 차이값 및 상기 표준 편차 사이의 비율을, 상기 픽셀 포인트가 정규화 후의 픽셀값으로 결정하는 단계를 포함할 수 있다.

본 발명의 실시예에서 수집된 이미지는 복수 개일 수 있고, 하나일 수도 있으며, 이미지가 하나인 경우, 얻은 그레이 스케일 이미지도 하나이다. 상기 그레이 스케일 이미지 중 각 픽셀 포인트에 대응되는 픽셀값(그레이 스케일값)에 대해, 각 픽셀 포인트의 픽셀값에 대응되는 평균값 및 표준 편차를 얻을 수 있다. 계속하여 각 픽셀 포인트와 평균값 사이의 차이값 및 표준 편차 사이의 비율을, 상기 픽셀 포인트의 픽셀값으로 업데이트할 수 있다.

또한, 수집된 이미지는 복수 개인 경우, 대응하여 복수 개 그레이 스케일 이미지를 얻을 수 있다. 상기 복수 개 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값을 통해 복수 개 그레이 스케일 이미지의 픽셀값의 평균값 및 표준 편차를 결정할 수 있다. 즉 본 발명 실시예의 평균값 및 표준 편차는 하나의 이미지에 대한 것일 수 있고, 복수 개 이미지에 대한 것일 수도 있다. 복수 개 이미지의 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 얻는 경우, 각 이미지의 각 픽셀 포인트의 픽셀값과 평균값의 차이값을 얻을 수 있고, 그런 다음 차이값 및 평균값 사이의 비율을 얻으며, 상기 비율을 사용하여 픽셀 포인트의 픽셀값을 업데이트한다.

상기 방식을 통해, 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값으로 하여금 동일한 척도로 통일되도록 하여, 수집된 이미지의 정규화 처리를 구현할 수 있다.

상기 내용은 본 발명의 실시예가 사전 처리를 실행하는 방식을 예시적으로 설명한 것으로, 다른 실시예에 있어서, 다른 방식을 통해 사전 처리를 실행할 수도 있다. 예를 들어 이미지를 사전 설정 규격으로 전환하는 것만 실행하고, 사전 설정 규격의 이미지에 대해 정규화 처리를 실행할 수 있다. 즉 본 발명의 실시예는 컬러 이미지의 정규화 처리도 실행할 수 있다. 여기서, 컬러 이미지 중 각 픽셀 포인트의 각 채널의 특징값의 평균값 및 표준 편차를 얻을 수 있고, 예를 들어 이미지의 각 픽셀 포인트의 레드(Red, R) 채널의 특징 값(R 값)의 평균값 및 표준 편차, 그린(Green, G) 채널의 특징값(G 값)의 평균값 및 표준 편차, 및 블루(Blue, B) 채널의 특징값(B 값)의 평균값 및 표준 편차를 얻을 수 있다. 그런 다음 상응한 컬러 채널의 특징값과 평균값의 차이값 및 표준 편차의 비율에 따라, 대응되는 컬러 채널의 새로운 특징값을 얻는다. 따라서 각 이미지의 각 픽셀 포인트에 대응되는 컬러 채널의 업데이트된 특징값을 얻고, 계속하여 정규화된 이미지를 얻는다.

이미지에 대해 사전 처리를 실행하는 것을 통해, 본 발명의 실시예로 하여금 실시될 때 상이한 타입의 이미지 및 상이한 척도의 이미지에 적용되도록 하여, 본 발명 실시예의 적용성을 향상시킬 수 있다.

이미지에 대해 사전 처리를 실행한 후, 사전 처리된 이미지에 대해 타깃 검출 처리를 실행하여, 사전 처리된 이미지 중 타깃 대상의 위치를 얻을 수 있고, 사전 처리 이미지와 사전 처리가 되지 않은 이미지 중 각 픽셀 포인트 위치의 대응 관계에 기반하여, 타깃 대상이 이미지에서의 위치를 얻으며, 즉 사전 처리된 타깃 대상의 위치에 따라 원시적으로 수집된 이미지 중 타깃 대상의 위치를 얻을 수 있다. 아래에 수집된 이미지에 대해 타깃 검출 처리를 실행하는 것으로만 예를 들어 설명하면, 사전 처리된 이미지에 대해 타깃 검출을 실행하는 과정은 그와 동일하고, 여기서 반복하여 설명하지 않는다.

도 3은 본 발명의 실시예에서 제공하는 타깃 추적 방법에서 단계 S20의 흐름 예시도이고, 도 3에 도시된 바와 같이, 상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는, 하기의 단계를 포함한다.

단계 S201에 있어서, 상기 이미지의 이미지 특징을 추출한다.

본 발명의 일부 실시예에 있어서, 먼저 이미지의 이미지 특징을 추출하는 것을 사용할 수 있고, 예를 들어 컨볼루션 처리를 통해 이미지 특징을 얻을 수 있으며, 상술한 바와 같이 신경 네트워크를 통해 타깃 검출 처리를 구현할 수 있고, 여기서 신경 네트워크는 특징 추출 모듈 및 분류 모듈을 포함할 수 있으며, 특징 추출 모듈은 적어도 하나의 컨볼루션 계층을 포함할 수 있고, 동시에 풀링 계층도 포함할 수 있다. 특징 추출 모듈을 통해 이미지의 특징을 추출할 수 있다. 다른 실시예에서도 잔차 네트워크의 구조로 상기 특징 추출 처리의 과정을 실행하고, 이미지 특징을 얻을 수 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.

단계 S202에 있어서, 상기 이미지 특징에 대해 분류 처리를 실행하고, 상기 이미지에서의 타깃 대상의 위치 영역을 얻는다.

본 발명의 일부 실시예에 있어서, 이미지 특징에 대해 분류 처리를 실행할 수 있고, 예를 들어 분류 처리를 실행하는 분류 모듈은 완전 연결층을 포함하며, 완전 연결층을 통해 이미지 중 타깃 대상의 검출 결과 즉 타깃 대상의 위치 영역을 얻을 수 있다. 본 발명 실시예의 타깃 대상의 위치 영역은 좌표의 형식에 따라 나타나고, 예를 들어 검출된 타깃 대상의 위치 영역에 대응되는 검출 프레임의 두 개 정각의 위치 좌표일 수 있으며, 또는 하나의 정점의 위치 좌표 및 검출 프레임의 높이 또는 너비일 수도 있다. 상기 내용을 통하면 타깃 대상이 위치한 위치 영역을 얻을 수 있다. 다시 말하면, 본 발명의 실시예의 분류 처리로 얻은 결과는 이미지에 타깃 타입의 대상 즉 타깃 대상 및 타깃 대상의 위치 영역이 존재하는지 여부를 포함할 수 있다. 여기서 제1 식별자 및 제2 식별자를 사용하여 타깃 타입의 대상이 존재하는지 여부를 표시하고, 좌표의 형식에 따라 타깃 대상이 위치한 위치 영역을 나타낼 수 있다. 예를 들어, 제1 식별자는 1일 수 있고, 타깃 대상이 존재함을 나타내며, 반대로, 제2 식별자는 0일 수 있고, 타깃 대상이 존재하지 않음을 나타내며, (x1, x2, y1, y2)는 각각 검출 프레임의 두 개 정점에 대응되는 가로세로 좌표값이다.

단계 S203에 있어서, 상기 위치 영역의 중심 위치를 상기 타깃 대상의 위치로 결정한다.

본 발명의 일부 실시예에 있어서, 검출된 타깃 대상의 위치 영역의 중심 위치를 타깃 대상의 위치로 결정할 수 있다. 상기 타깃 대상이 위치한 위치 영역의 네 개 정점의 좌표값의 평균값을 취하여, 중심 위치의 좌표를 얻고, 상기 중심 위치의 좌표를 타깃 대상의 위치로 결정할 수 있다.

여기서, 예시에 있어서, 타깃 대상은 얼굴일 수 있고, 타깃 검출 처리는 얼굴 검출 처리일 수 있으며, 즉 이미지 중 얼굴이 위치한 위치 영역을 검출하고, 추가로 검출된 얼굴이 위치한 위치 영역의 중심에 따라 얼굴의 위치를 얻을 수 있다. 계속하여 얼굴에 대한 타깃 추적을 실행한다.

상기 실시 방식을 통해, 본 발명의 실시예는 정밀도가 높은 타깃 대상의 위치를 얻고, 타깃 추적의 정확도를 향상시킬 수 있다.

또한, 본 발명의 일부 실시예에 있어서, 본 발명의 실시예는 스마트 이동 기기의 관리 장치를 통해 상기 사전 처리 및 타깃 검출 처리의 과정을 실행할 수 있고, 본 발명의 실시예에 있어서, 상기 관리 장치는 라즈베리 파이 칩일 수 있으며, 라즈베리 파이 칩은 비교적 높은 확장성을 구비하는 동시에 비교적 빠른 처리 속도를 구비한다.

본 발명의 일부 실시예에 있어서, 얻은 타깃 대상에 관련된 위치 등 정보를 스마트 이동 기기의 제어단으로 전송하고, 제어 명령어를 획득할 수 있다. 본 발명의 실시예에 의해 실행되는 타깃 대상 검출 결과의 전송은 사전 설정된 데이터 포맷에 따라 캡슐화 전송될 수 있다. 여기서 검출 결과는 타깃 대상이 이미지에서의 위치를 나타낸다. 여기서, 상기 전송된 검출 결과에 대응되는 데이터는 80 바이트 일 수 있고, 여기에는 모드 플래그 비트, 검출 결과 정보, 순환 중복(Cyclic Redundancy Check, CRC) 체크, 재전송 임계값, 제어 필드 및 선택 가능한 필드가 포함될 수 있다. 모드 플래그 비트는 라즈베리 파이 칩의 현재 작동 모드를 나타낼 수 있고, 검출 결과 정보는 즉 타깃 대상의 위치일 수 있으며, CRC 체크 비트는 안전 검증을 위한 것이고, 재전송 임계값은 데이터 재전송의 최대 횟수값을 나타내기 위한 것이며, 제어 필드는 기대하는 스마트 이동 기기의 작동 모드를 나타내기 위한 것이고, 선택 가능한 필드는 첨부 가능한 정보이다.

이미지 중 타깃 대상의 위치를 얻는 경우, 즉 스마트 이동 기기의 경로 계획 처리를 실행하고, 스마트 이동 기기를 제어하는 제어 명령어를 얻을 수 있다. 도 4는 본 발명의 실시예에서 제공하는 타깃 추적 방법에서 단계 S30의 흐름 예시도이고, 도 4에 도시된 바와 같이, 단계 S30은 하기와 같은 단계를 통해 구현된다.

단계 S301에 있어서, 상기 이미지에서의 타깃 대상의 위치와 상기 이미지의 중심 위치의 거리에 기반하여, 타깃 오프셋을 결정한다.

본 발명의 일부 실시예에 있어서, 본 발명의 실시예가 타깃 대상의 추적을 실행할 때, 타깃 대상의 위치가 이미지의 중심 위치에 위치하는 것을 유지하고, 상기 방식을 통해 타깃 대상의 추적을 구현할 수 있다. 따라서, 본 발명의 실시예는 타깃 대상의 위치를 얻는 경우, 상기 타깃 대상의 위치와 이미지의 중심 위치 사이의 거리를 검출하고, 상기 거리를 타깃 오프셋으로 사용할 수 있다. 여기서 타깃 대상의 위치의 좌표와 이미지의 중심 위치의 좌표 사이의 유클리드 거리를, 타깃 오프셋으로 사용할 수 있다. 여기서 상기 거리는 벡터 형식으로도 나태낼 수 있고, 예를 들어 이미지 중심 위치 및 타깃 대상의 위치 사이의 유향 벡터로 나태낼 수 있으며, 즉 얻은 타깃 오프셋은 타깃 대상의 위치 및 이미지 중심 위치 사이의 거리를 포함할 수 있고, 이미지의 중심이 타깃 대상에 비교한 위치의 방향을 포함할 수도 있다.

단계 S302에 있어서, 상기 타깃 오프셋에 기반하여 복수 개 세트 오프셋 시퀀스를 생성하고, 각 세트 오프셋 시퀀스에는 적어도 하나의 오프셋 값이 포함되며, 상기 오프셋 시퀀스에서의 오프셋 값의 합값은 상기 타깃 오프셋이다.

본 발명의 일부 실시예에 있어서, 본 발명의 실시예는 얻은 타깃 오프셋에 따라 복수 개 세트 오프셋 시퀀스를 생성할 수 있고, 상기 오프셋 시퀀스에는 적어도 하나의 오프셋 값이 포함되며, 상기 적어도 하나의 오프셋 값의 합은 타깃 오프셋이다. 예를 들어, 타깃 대상의 위치는 (100,0)이고, 이미지 중심의 위치는 (50,0)이면, 타깃 오프셋은 x축에서의 50이다. 상기 타깃 오프셋을 구현하기 위해, 복수 개 오프셋 시퀀스를 생성할 수 있고, 예를 들어 첫 번째 오프셋 시퀀스에서의 오프셋 값은 10,20 및 20이며, 두 번째 오프셋 시퀀스의 오프셋 값은 10,25 및 15일 수 있고, 여기서 각 오프셋 값의 방향은 모두 x 축의 정방향일 수 있다. 똑같이, 타깃 오프셋과 대응되는 복수 개 세트의 오프셋 시퀀스를 얻을 수 있다.

가능한 실시 방식에 있어서, 생성된 복수 개 세트 오프셋 시퀀스에서의 오프셋 값의 수량은 예를 들어 3과 같이 설정된 것일 수 있지만, 본 발명 실시예의 구체적 한정으로 사용되지 않는다. 또한, 복수 개 세트 오프셋 시퀀스를 생성하는 방식은 랜덤으로 생성하는 방식일 수 있다. 실제에서, 타깃 오프셋을 구현할 수 있는 오프셋 시퀀스에서 오프셋 값의 조합 방식은 여러 가지를 포함할 수 있고, 본 발명의 실시예는 상기 여러 가지 조합 방식에서 사전 설정된 수량의 조합 방식을 랜덤으로 선택할 수 있으며, 즉 사전 설정된 수량의 오프셋 시퀀스이다.

단계 S303에 있어서, 강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하며, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 얻는다.

본 발명의 일부 실시예에 있어서, 생성된 오프셋 시퀀스를 얻은 경우, 강화 학습 알고리즘을 사용하여 요구를 만족시키는 오프셋 시퀀스를 선택할 수 있다. 여기서, 강화 학습 알고리즘을 사용하여 오프셋 시퀀스에 대응되는 총 가치를 얻을 수 있고, 총 가치가 제일 높은 오프셋 시퀀스를 요구를 만족시키는 오프셋 시퀀스로 결정한다.

도 5는 본 발명의 실시예에서 제공하는 타깃 추적 방법에서 단계 S303의 흐름 예시도이고, 도 5에 도시된 바와 같이, 단계S303 "상기 강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하며, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 얻는 단계"는 하기와 같은 단계를 포함한다.

단계 S3031에 있어서, 상기 제어 모듈은 또한 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값에 대해, 값 테이블에서 상기 오프셋 값과 대응되는 최대 값을 결정 - 상기 값 테이블은 오프셋 값이 상이한 회전 명령어하에 대응되는 값을 포함함 - 한다.

본 발명의 일부 실시예에 있어서, 강화 학습 알고리즘은 가치 학습 알고리즘(Q-learning 알고리즘)일 수 있고, 대응되는 값 테이블(Q-table)은 상이한 오프셋 값이 상이한 회전 명령어에서 대응되는 가치(quality)를 나타낼 수 있다. 회전 명령어는 스마트 이동 기기 회전을 제어하는 명령어를 의미하고, 여기에는 모터 회전 각도, 모터 회전 속도 및 모터 회전 시간 등 파라미터가 포함될 수 있다. 본 발명의 실시예에서의 값 테이블은 미리 강화 학습을 통해 얻은 값 테이블일 수 있고, 여기서 값 테이블의 파라미터는 상이한 오프셋 값에 체현되는 경우, 상이한 회전 명령어에 대응되는 가치를 정확하게 구분하고 체현할 수 있다. 예를 들어, 표 1은 회전 명령어의 적어도 한 부분의 파라미터를 도시하였고, 표 2는 값 테이블의 시멘틱 테이블을 도시하며, 여기서 횡방향의 파라미터 a1, a2 및 a3은 상이한 회전 명령어이고, 종방향의 파라미터 s1, s2 및 s3은 상이한 오프셋 값을 나타내며, 테이블 내의 파라미터는 상응한 오프셋 값과 상응한 회전 명령어에 대응되는 가치를 나타낸다. 가치는 상응한 오프셋 값에서 대응되는 회전 명령어의 가치를 나타낼 수 있고, 보통 수치가 클수록, 가치는 더욱 높으며, 상기 명령어를 통해 타깃 추적을 구현하는 가치가 더욱 높음을 의미한다.

[표 1] 회전 명령어에 대응되는 일부 회전 파라미터 테이블

[표 2] 회전 파라미터에 대응되는 값 테이블

상기 실시예에서 설명한 바와 같이, 각 오프셋 시퀀스에는 복수 개 오프셋 값을 포함할 수 있고, 본 발명의 실시예는 값 테이블에 기반하여 각 시퀀스 중 각 오프셋 값에 대응되는 제일 큰 가치를 결정할 수 있다. 예를 들어 오프셋 값 s1에 대해, 제일 큰 가치는 3이고, 오프셋 값 s2에 대해, 제일 큰 가치는 2이며, 오프셋 값 s3에 대해, 제일 큰 가치는 4이다. 이상 다만 예시적인 설명일 뿐, 상이한 값 테이블에 대해, 얻은 가치는 상이할 수 있고, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.

단계 S3032에 있어서, 상기 오프셋 값에 대응되는 보상가치를 획득하고, 상기 오프셋 값에 대응되는 상기 보상가치 및 상기 최대 값에 기반하여, 상기 오프셋 값의 최종 값을 결정 - 상기 보상가치는 상기 오프셋 값의 최대 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치와 이미지의 중심 위치 사이의 거리임 - 한다.

본 발명의 일부 실시예에 있어서, 오프셋 시퀀스 중 각 오프셋 값의 보상가치를 획득할 수 있고, 여기서 보상가치는 상응한 오프셋 값을 실행하지 않을 때 타깃 대상의 위치와 관련된다. 예를 들어 각 오프셋 시퀀스의 첫 번째 오프셋 값에 대해, 상기 오프셋 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치는 즉 이미지 중 타깃 대상이 처음 검출된 위치이다. 하지만 오프셋 시퀀스에서의 다른 오프셋 값에 대해, 상기 오프셋 값 이전의 오프셋 값의 최대 값에 대응하는 회전 명령어를 실행했다고 가정한 후, 타깃 대상의 위치에 기반할 수 있다.

예를 들어, 검출된 이미지에서의 타깃 대상의 위치는 (100, 0)이라고 가정하면, 얻은 조건을 만족시키는 오프셋 시퀀스는 20,15,15일 수 있다. 첫 번째 오프셋 값에 대해, 타깃 대상의 위치 (100, 0)를 통해 상기 첫 번째 오프셋 값의 보상가치를 결정할 수 있다. 두 번째 오프셋 값에 대해, 타깃 대상의 위치는 (120,0)이라고 결정할 수 있고, 이때 상기 위치에 기반하여 두 번째 오프셋 값의 보상가치를 결정할 수 있으며, 세 번째 오프셋 값을 실행할 때, 타깃 대상의 위치는 (135,0)이라고 결정할 수 있고, 이때 상기 위치에 기반하여 세 번째 오프셋 값의 보상가치를 결정할 수 있다.

예시에 있어서, 보상가치를 얻는 표달식은 공식(1-1)에 표시된 바와 같고,

(1-1)

여기서,

는 오프셋 값 s에 대응되는 최대 값의 회전 명령어

의 보상가치이고, 즉 오프셋 값 s에 대응되는 보상가치이며, s(

) 및 s(

)는 각각 오프셋 값에 대응되는 최대 값의 회전 명령어

를 실행하지 않을 때의 타깃 대상의 위치의 횡좌표 및 종좌표이고, b 및 c는 각각 이미지의 중심 위치의 횡좌표 및 종좌표를 나타낸다.

오프셋 값에 대응되는 보상가치 및 최대 값을 얻은 경우, 오프셋 값에 대응되는 보상가치 및 상기 오프셋 값에 대응되는 최대 값에 때라, 상기 오프셋 값의 최종 가치를 결정할 수 있다. 예를 들어 보상가치와 최대 값의 가중합을 사용하여 최종 가치를 결정할 수 있다. 여기서, 본 발명의 실시예가 오프셋 값의 최종 가치를 결정하는 표달식은 공식(1-2)에 표시된 바와 같고,

(1-2)

여기서,

는 오프셋 값 s에 대응되는 최종 가치이고,

는 오프셋 값 s에 대응되는 최대 값의 회전 명령어 a의 보상가치이며,

는 오프셋 값s에 대응되는 최대 값이다.

상기 방식을 통하면 각 오프셋 값에 대응되는 최종 가치를 얻을 수 있다.

단계 S3033에 있어서, 상기 최종 값의 합이 제일 큰 오프셋 시퀀스를, 요구를 만족시키는 오프셋 시퀀스로 결정한다.

본 발명의 일부 실시예에 있어서, 오프셋 시퀀스에서의 각 오프셋 값의 최종 가치를 합산 처리 수행하고, 상기 오프셋 시퀀스에 대응되는 총 가치를 얻을 수 있다. 그런 다음 총 가치가 제일 큰 오프셋 시퀀스를 선택하여 요구를 만족시키는 오프셋 시퀀스로 사용한다.

상기 방식을 통해, 총 가치가 제일 큰 오프셋 시퀀스를 얻을 수 있고, 상기 총 가치가 제일 큰 것은 즉 오프셋 시퀀스에 대응되는 회전 경로에 대응되는 회전 명령어는 제일 좋은 선택임을 나타낸다.

요구를 만족시키는 오프셋 시퀀스를 얻은 후, 즉 상기 오프셋 시퀀스에서 각 오프셋 값이 값 테이블에서 대응되는 최대 값에 대응되는 회전 명령어에 때라, 제어 명령어를 조합하여 생성할 수 있다. 그런 다음 상기 제어 명령어를 스마트 이동 기기로 전송하고, 스마트 이동 기기로 하여금 상기 제어 명령어에 따라 회전 동작을 실행할 수 있도록 한다.

본 발명의 일부 실시예에 있어서, 생성된 제어 명령어에 따라 스마트 이동 기기를 제어하여 이동할 수 있다. 여기서, 제어 명령어에는 모터의 회전 각도, 회전 방향 등 파라미터가 포함될 수 있고, 또는 모터 회전 속도, 모터 회전 시간, 정지 여부 등 명령어가 포함될 수도 있다.

본 발명의 실시예는 차동 조향의 방식을 사용하여 이동 기기 이동을 제어할 수 있고, 예를 들어 스마트 이동 기기는 스마트 이동 차량일 수 있으며, 이는 좌우 두 개 구동 휠을 포함할 수 있고, 본 발명의 실시예는 제어 명령어에 기반하여 좌우 두 개 구동 휠의 회전 속도를 제어함으로써 회전 및 이동을 구현할 수 있다. 구동 휠의 회전 속도가 상이할 때, 스티어링 휠이 없거나 또는 스티어링 휠이 동작하지 않아도, 차체는 회전할 수 있다. 본 발명의 실시예에 있어서, 두 개 구동 휠 회전 속도가 상이한 것은 좌우 드라이브 샤프트에 설치된 두 개 단독적인 클러치 또는 제동 장치를 작동하는 것을 통해 구현할 수 있다.

스마트 이동 기기는 좌우 구동 휠의 상이한 회전 속도 및 회전 각도에 따라, 상이한 회전 궤적을 구현할 수 있다. 상이한 회전 궤적에 있어서, 차량에 의해 수집된 이미지는 상이하고, 끊임없는 최적화를 통해, 스마트 이동 차량의 위치를 조정하며, 최종적으로 타깃 대상이 이미지 중심에 있음을 보장하고, 타깃 대상의 추적을 구현한다.

또한, 본 발명의 일부 실시예에 있어서, 검출된 타깃 대상의 크기에 따라 스마트 이동 기기의 전진 또는 후진 등 이동을 결정할 수도 있다. 도 6은 본 발명의 실시예에서 제공하는 타깃 추적 방법의 다른 흐름 예시도이고, 도 6에 도시된 바와 같이, 상기 타깃 추적 방법은 하기와 같은 단계를 더 포함한다.

단계 S41에 있어서, 상기 타깃 대상의 위치 영역에 기반하여, 상기 스마트 이동 기기 이동을 제어하기 위한 제어 명령어를 결정한다. 여기서, 타깃 대상의 위치 영역의 면적은 제1 임계값 및 제2 임계값 사이의 범위 내에 있는지 여부를 판단할 수 있다. 본 발명의 실시예가 단계 S20를 실행하는 과정에 있어서, 타깃 대상이 수집된 이미지에서의 위치 영역을 얻을 수 있고, 본 발명의 실시예는 상기 위치 영역의 면적에 따라 스마트 이동 기기의 이동 방향에 대해 제어를 수행할 수 있다.

여기서, 얻은 타깃 대상의 위치 영역에 따라, 상기 위치 영역의 면적을 결정할 수 있고, 상기 면적, 제1 임계값 및 제2 임계값을 비교한다.여기서 제1 임계값 및 제2 임계값은 사전 설정된 참고 임계값일 수 있고, 제1 임계값은 제2 임계값보다 크며, 본 발명의 실시예는 구체적인 값에 대해 한정하지 않는다.

단계 S42에 있어서, 상기 타깃 대상의 위치 영역에 대응되는 면적이 제1 임계값보다 큰 경우, 상기 스마트 이동 기기 후진을 제어하기 위한 제어 명령어를 생성한다.

본 발명의 실시예에 있어서, 검출된 타깃 대상의 위치 영역의 면적이 제1 임계값보다 클 때, 즉 상기 타깃 대상과 스마트 이동 기기 사이의 거리가 비교적 가까운 것을 나타내며, 이때 스마트 이동 기기를 뒤로 이동할 수 있다. 여기서 검출된 타깃 대상의 위치 영역의 면적이 제1 임계값보다 작고 제2 임계값보다 클 때까지, 상기 스마트 이동 기기 후진을 제어하는 제어 명령어를 생성할 수 있다.

단계 S43에 있어서, 상기 타깃 대상의 위치 영역에 대응되는 면적이 제2 임계값보다 작은 경우, 상기 스마트 이동 기기 전진을 제어하기 위한 제어 명령어를 생성 - 상기 제1 임계값은 제2 임계값보다 큼- 한다.

본 발명의 실시예에 있어서, 검출된 타깃 대상의 위치 영역의 면적이 제2 임계값보다 작을 때, 즉 상기 타깃 대상과 스마트 이동 기기 사이의 거리가 비교적 먼 것을 나타내며, 이때 스마트 이동 기기를 앞으로 이동할 수 있다. 여기서 검출된 타깃 대상의 위치 영역의 면적이 제1 임계값보다 작고 제2 임계값보다 클 때까지, 상기 스마트 이동 기기 전진을 제어하는 제어 명령어를 생성할 수 있다.

이에 대응되게, 스마트 이동 기기는 수신된 전진 또는 후진의 제어 명령어에 따라 전진 또는 후진 동작을 실행할 수 있다.

상기 방식을 통해, 타깃 대상의 크기에 따라 스마트 이동 기기의 이동을 제어하는 것을 구현하고, 검출된 타깃 대상(예를 들어 얼굴)의 위치 영역에 대응되는 면적이 제2 임계값 및 제1 임계값 사이에 있는 것을 유지하며, 스마트 이동 기기의 이동 방향의 제어를 구현할 수 있다.

본 발명의 실시예에서의 타깃 추적 방법의 응용 주체는 스마트 이동 기기일 수 있고, 또는 스마트 이동 기기에 설치된 장치일 수도 있으며, 상기 장치는 스마트 이동 기기의 이동을 제어하기 위한 것이다. 아래에 본 발명 실시예의 타깃 추적 방법을 응용하는 스마트 이동 기기를 교육 로봇으로 하고, 교육 로봇의 관리 장치는 라즈베리 파이이며, 타깃 대상을 얼굴로 하는 것을 예로 들어 설명함으로써, 본 발명의 실시예를 명확하게 구현한다. 도 7은 본 발명의 실시예에서 제공하는 타깃 추적 방법의 응용 예시도이고, 여기서, 카메라(701)와 라즈베리 파이(702)는 연결되고, 카메라(701)에 의해 수집된 이미지 또는 비디오를 라즈베리 파이(702)로 전송하기 위한 것이며, 여기서 카메라(701) 및 라즈베리 파이(702)는 유니버설 시리얼 버스(Universal Serial Bus, USB)포트를 통해 연결되고 데이터 전송을 수행할 수 있지만, 상기 연결 방식은 본 발명 실시예의 한정으로 사용되지 않는다. 그런 다음 하기 과정을 실행할 수 있다.

1. 라즈베리 파이 이미지 수집 및 이미지 사전 처리한다.

본 발명 실시예의 적용 분야는 교육 배경 하의 스마트 로봇일 수 있고, 스마트 로봇은 얼굴 검출 및 추적 기능을 구현할 수 있다. 여기서, 라즈베리 파이(702)는 이미지의 처리 과정을 실행할 수 있고, 본 발명 실시예의 라즈베리 파이(702)는 이미지의 사전 처리 및 타깃 검출 처리를 실행할 수 있으며, 라즈베리 파이에는 타깃 검출 네트워크가 집적되어 있을 수 있다. 카메라(701)를 통해 수집된 이미지 타입은 상이하기에, 이미지를 타깃 검출 네트워크 모델로 전송하기 전에, 라즈베리 파이(702)는 이미지 데이터에 대해 필요한 사전 처리 작업을 수행해야 한다.

사전 처리 흐름은 하기와 같은 네 개 부분을 포함하고, 도 8은 본 발명의 실시예에서 제공하는 사전 처리 과정의 흐름 예시도이며 하기와 같은 단계를 포함한다.

단계 S51에 있어서, 수집된 비디오 데이터를 수신한다.

단계 S52에 있어서, 상기 비디오 데이터를 이미지 데이터로 프레이밍 한다.

단계 S53에 있어서, 이미지 크기를 통일한다.

단계 S54에 있어서, 상기 이미지를 그레이 스케일 이미지로 전환한다.

단계 S55에 있어서, 이미지를 정규화한다.

이미지 프레이밍은 수집된 비디오 데이터를 한 프레임 한 프레임의 이미지로 분해한 다음, 이미지의 크기를 640*480 크기 범위로 통일되게 하는 것을 의미한다. 컬러 이미지는 처리될 때 많은 자원을 소모하지만, 검출 효과에 대해 영향이 비교적 작기에, 본 발명의 실시예는 컬러 특징을 무시하고, 이미지를 그레이 스케일 이미지로 직접 전환한 다음 타깃 검출 네트워크에 보내 검출 작업을 수행한다. 마지막으로 이미지 처리의 편의성을 위해, 이미지를 정규화 처리하고, 이미지 데이터의 각 1차원 원시 데이터로 각 1차원 데이터의 평균값을 감하며, 결과로 원시 데이터를 대체한 다음, 다시 각 1차원의 데이터를 각 1차원 데이터의 표준 편차로 나누고, 이러면 이미지 데이터를 동일한 척도로 정규화 처리할 수 있다.

2. 심층 신경 네트워크 모델에 기반하여 얼굴 검출을 구현한다.

입력：카메라(701)가 수집하여 얻은 이미지

출력：얼굴 검출 좌표 위치

본 발명의 실시예에서 라즈베리 파이(702)에서의 타깃 검출 네트워크를 통해 이미지에서의 얼굴 인식 및 검출을 실행할 수 있고, 즉 본 발명의 실시예는 딥 러닝 기술을 사용하여 얼굴 검출 기술을 구현할 수 있으며, 여기서 딥 러닝 기술이 얼굴 검출 기술을 구현하는 것은 모델 훈련 및 모델 응용 두 개 단계로 나뉘고, 도 9는 본 발명의 실시예에서 제공하는 타깃 검출 네트워크의 훈련 과정 예시도이며, 도 9에 도시된 바와 같이, 훈련 과정은,

단계 S61에 있어서, 얼굴 데이터 집합 이미지를 수집한다.

얼굴 데이터 집합 이미지는 각 년령, 각 지역의 얼굴 이미지를 포함하고, 얼굴 이미지에 대해 인공적으로 태깅을 수행하여, 얼굴 좌표 위치를 얻는다. 얼굴 데이터 집합을 구축하고, 상기 데이터 집합을 훈련 집합, 테스트 집합 및 검증 집합 세 개 부분으로 나눈다.

단계 S62에 있어서, 신경 네트워크 모델을 구축한다.

실제로 구현할 때, 단계 S62는 하기와 같은 단계를 통해 구현된다.

단계 S621에 있어서, 컨볼루션 계층 및 풀링 계층을 겹치는 것을 통해 특징 추출을 구현한다.

단계 S622에 있어서, 분류기를 사용하여 추출된 특징에 대해 분류를 수행한다.

구현할 때, 완전 연결층(분류기)을 통해 분류를 구현할 수 있다.

단계 S63에 있어서, 신경 네트워크 모델 훈련이다.

일련의 경사도 최적화 알고리즘을 통해 모델 훈련을 구현하며, 대량의 반복 훈련을 통해, 훈련된 모델을 얻을 수 있고, 모델 테스트를 위한 것이다.

단계 S64에 있어서, 훈련된 신경 네트워크 모델을 얻는다.

본 발명의 실시예에 있어서, 모델의 훈련 과정은 즉 타깃 검출 네트워크(신경 네트워크 모델)의 훈련 과정이다.

도 10은 본 발명의 실시예에서 제공하는 타깃 검출 네트워크의 응용 과정 예시도이고, 응용 과정은 하기와 같은 단계를 포함한다.

단계 S71에 있어서, 얼굴 이미지를 수집한다.

단계 S72에 있어서, 사전 처리된 이미지를 이미 훈련된 모델에 보낸다.

단계 S73에 있어서, 얼굴 좌표 위치를 얻는다.

본 발명의 실시예에 있어서, 사전 처리된 이미지를 이미 훈련된 모델에 보내고, 전 방향 컴퓨팅을 거친 후 이미지 중 얼굴 좌표 위치를 출력할 수 있다.

3. 검출 결과를 교육 로봇 EV3으로 송신한다(상기 실시예에서의 스마트 로봇과 같다).

상기 실시예를 통해, 라즈베리 파이(702)를 통해 얼굴 좌표 위치 검출을 완성할 수 있고, 이미 정의된 통신 프로토콜 규범을 통해, 상기 얼굴 좌표 위치를 데이터 패킷에 캡슐화할 수 있다. 데이터 캡슐화를 완성한 후, 시리얼 포트를 통해 스마트 이동 기기(703)에서의 프로세서 또는 제어기에 송신되고, 여기서 스마트 이동 기기(703)는 교육 로봇 EV3일 수 있으며, 그런 다음 스마트 이동 기기(703)는 수신된 얼굴 위치에 따라 후속적인 얼굴 추적을 완성할 수 있다.

4. EV3은 얼굴 위치 좌표에 따라, 경로 계획을 수행한다.

교육 로봇 EV3은 라즈베리 파이(702) 측에서 송신된 데이터 패킷을 수신 및 파싱하고, 얼굴 좌표 위치를 얻은 다음, 경로 계획을 완성할 수 있다. 여기서 강화 학습 알고리즘을 사용하여 경로 계획을 구현할 수 있다. 강화 학습은 주로 상태, 보상 및 동작 요소를 포함한다. 여기서, 상태는 즉 매번 검출하여 얻은 얼굴 좌표 위치이고, 보상은 얼굴 중심과 이미지 중심의 유클리드 거리로 정의될 수 있으며, 동작은 즉 매번 실행되는 모터 운동 명령어이고, 교육 로봇 EV3에서, 표 1과 같이 모터 동작을 제어할 수 있다. 신경 Q-learning 알고리즘 모델을 통해, 경로 계획을 수행할 수 있다. Q 함수는 다음과 같이, 입력은 상태 및 동작을 포함하고, 특정된 상태에서 어느 한 동작을 실행하는 보상가치를 리턴하는 것으로 정의된다.

도 11은 본 발명의 실시예에서 제공하는 강화 학습 경로 계획 알고리즘에 기반하는 흐름 예시도이고, 도 11에 도시된 바와 같이, 하기와 같은 단계를 포함한다.

단계 S81에 있어서, Q 값 테이블을 초기화한다.

단계 S82에 있어서, 동작 집합에서 특정된 모터 실행 명령어를 선택한다.

단계 S83에 있어서, 특정된 모터 실행 명령어를 실행한다.

단계 S84에 있어서, 상기 상태의 Q 값 테이블을 계산한다.

단계 S85에 있어서, Q 값 테이블을 업데이트 한다.

교육 로봇 EV3의 동작 집합은 표 1과 같고, 상태 집합은 얼굴 좌표를 통해, 추적 효과를 결정하며, 즉 얼굴 위치와 이미지 중심의 거리를 보상 함수로 사용하고, 상이한 동작의 보상 함수를 가늠하는 것을 통해 Q 값 테이블을 업데이트하며, 마지막에 최적의 Q 값 테이블 쌍을 얻을 수 있고, Q 값 테이블 쌍은 제일 좋은 동작 시퀀스를 포함하며, 즉 모터는 명령어를 실행한다.

5. 스마트 이동 기기(703)는 운동 명령어(상기 각 실시예에서의 제어 명령어와 같다)에 따라, 얼굴 추적을 구현한다.

교육 로봇 등과 같은 스마트 이동 기기는 차동 조향 메커니즘을 사용하고, 차량은 좌우 두 개 구동 휠(704) 및 구동 휠(704)의 회전 속도를 제어하는 것을 통해 회전을 구현한다. 구동 휠의 회전 속도가 상이할 때, 스티어링 휠이 없거나 또는 스티어링 휠이 동작하지 않아도, 차체는 회전할 수 있다. 구동 휠 회전 속도가 상이한 것은 좌우 드라이브 샤프트에 설치된 두 개 단독적인 클러치 또는 제동 장치를 작동하는 것을 통해 구현할 수 있다.

스마트 이동 기기(703)는 좌우 휠의 상이한 회전 속도 및 회전 각도에 따라, 상이한 회전 궤적을 구현할 수 있다. 상이한 회전 궤적에서, 차량에 의해 수집된 이미지는 상이하고, 끊임없는 최적화 동작으로, 차량 위치를 조정하며, 최종적으로 얼굴 위치가 이미지 중심에 있음을 보장하고, 얼굴 추적 기능을 구현한다.

또한, 본 발명의 실시예에서의 스마트 이동 기기에는 예를 들어 거리 센서, 터치 센세 등과 같은 센서(706)가 더 설치되어 있을 수 있고, 스마트 이동 기기(703) 주위 환경의 관련 정보를 센싱 하기 위한 것이며, 센싱된 주변 환경의 관련 정보에 따라 스마트 이동 기기(703)의 작동 모드, 이동 파라미터 등을 제어할 수 있다.

이상 다만 예시적으로 예를 들어 설명하는 것일 뿐, 본 발명 실시예의 구체적 한정으로 사용되지 않는다.

상기 내용을 종합하면, 본 발명의 실시예에서 제공하는 타깃 추적 방법은, 수집된 이미지 중 타깃 대상의 위치를 얻을 수 있고, 상기 타깃 대상의 위치와 이미지 중심 사이의 거리에 따라, 스마트 이동 기기의 제어 명령어를 얻으며, 상기 제어 명령어는 스마트 이동 기기의 회전 각도를 조정하기 위한 것이고, 얻은 제어 명령어는 적어도 하나의 오프셋 값에 대응되는 회전 명령어를 포함하며, 여기서 각 오프셋 값이 형성한 오프셋 시퀀스는 타깃 대상 및 이미지 중심 사이의 거리로 결정되고, 얻은 제어 명령어를 통해 회전 후의 타깃 대상으로 하여금 수집된 이미지의 중심에 있을 수 있도록 함으로써, 타깃 대상으로 하여금 스마트 이동 기기의 추적 범위 내에 있도록 한다. 본 발명의 실시예는 실시간적으로 타깃 대상의 위치에 따라 타깃 추적을 실행할 수 있고, 더욱 편리하며, 정확하고 스마트 이동 기기의 효능을 향상시키는 특점을 구비한다.

또한, 본 발명의 실시예는 딥 러닝 기술을 사용하여 얼굴 검출(신경 네트워크를 사용하여 타깃 검출을 구현)을 완성할 수 있고, 전통적인 타깃 검출 방법과 비교하면 정확성 및 속도가 뚜렷하게 향상되었다. 본 발명의 실시예는 강화 학습 알고리즘을 사용할 수도 있고, Q-learning 기술을 통해 경로 계획을 수행하며, 제일 좋은 회전 경로를 선택할 수 있다. 본 발명의 실시예는 상이한 시나리오 요구에 적용될 수도 있고, 확장성이 좋다.

본 분야의 기술자는 구체적인 실시 방식의 상기 방법에서, 각 단계의 기록 순서는 엄격한 수행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내부 논리에 의해 결정되는 것을 이해할 수 있다.

이해할 수 있는 것은, 본 발명에서 언급한 상기 각 방법 실시예는, 원리 논리에 위배되지 않는 한, 모두 서로 상호적으로 결합되어 결합된 실시예를 형성할 수 있다.

또한, 본 발명의 실시예는 타깃 추적 장치, 스마트 이동 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하고, 상기 타깃 추적 장치, 스마트 이동 기기, 컴퓨터 판독 가능 저장 매체, 프로그램은 모두 본 발명의 실시예에서 제공하는 어느 하나의 타깃 추적 방법을 구현하는데 사용될 수 있으며, 상응한 기술적 방안 및 설명은 방법 부분의 상응한 기재를 참조할 수 있다.

도 12는 본 발명의 실시예에서 제공하는 타깃 추적 장치의 구조 예시도이고, 도 12에 도시된 바와 같이, 상기 타깃 추적 장치는,

이미지를 수집도록 구성된 이미지 수집 모듈(10);

상기 이미지에서의 타깃 대상의 위치를 획득하도록 구성된 타깃 검출 모듈(20); 및

상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하는 제어 명령어를 결정하도록 구성된 제어 모듈(30) - 상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심 위치에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 제어 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 을 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 추적 장치는 상기 이미지에 대해 사전 처리 동작을 실행하도록 구성된 사전 처리 모듈 - 상기 사전 처리 동작은, 상기 이미지를 사전 설정 규격의 그레이 스케일 이미지로 조정하고, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 포함함 - 을 더 포함하고;

상기 타깃 검출 모듈은 또한 상기 사전 처리 동작 후 얻은 이미지에 대해 타깃 검출 처리를 실행하고, 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치를 획득하며;

상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치에 기반하여, 상기 이미지 중 상기 타깃 대상의 위치를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 사전 처리 모듈이 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 실행하는 단계는,

상기 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 결정하는 단계;

상기 각 픽셀 포인트의 픽셀값과 상기 평균값 사이의 차이값을 획득하는 단계; 및

상기 각 픽셀 포인트에 대응되는 상기 차이값 및 상기 표준 편차 사이의 비율을, 상기 픽셀 포인트가 정규화 후의 픽셀값으로 결정하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 상기 타깃 검출 모듈은 또한 상기 이미지의 이미지 특징을 추출하고;

상기 이미지 특징에 대해 분류 처리를 실행하고, 상기 이미지에서의 타깃 대상의 위치 영역을 얻으며;

상기 위치 영역의 중심 위치를 상기 타깃 대상의 위치로 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 타깃 대상은 얼굴을 포함하고;

대응하여, 상기 타깃 검출 모듈은 또한 상기 이미지 중 얼굴의 위치를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 제어 모듈은 또한 상기 이미지에서의 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리에 기반하여, 타깃 오프셋을 결정하고;

상기 타깃 오프셋에 기반하여 복수 개 세트 오프셋 시퀀스를 생성하며, 복수 개 세트 오프셋 시퀀스에서의 오프셋 값의 합값은 상기 타깃 오프셋이며;

강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하며, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 얻도록 구성된다.

본 발명의 일부 실시예에 있어서, 상기 제어 모듈은 또한 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값에 대해, 값 테이블에서 상기 오프셋 값과 대응되는 최대 값을 결정도록 구성되고 - 상기 값 테이블은 오프셋 값이 상이한 회전 명령어하에 대응되는 값을 포함함 - ;

상기 오프셋 값에 대응되는 보상가치를 획득하고, 상기 오프셋 값에 대응되는 상기 보상가치 및 상기 최대 값에 기반하여, 상기 오프셋 값의 최종 값을 결정하며 - 상기 보상가치는 상기 오프셋 값의 최대 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치와 이미지 중심의 거리임 - ;

상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값의 상기 최종 값의 합이 제일 큰 오프셋 시퀀스를, 요구를 만족시키는 오프셋 시퀀스로 결정하도록 구성된다.

또한, 본 발명의 실시예는 스마트 이동 기기를 더 제공하고, 상기 스마트 이동 기기는 상기 실시예에 따른 타깃 추적 장치를 포함하며, 상기 타깃 추적 장치 내의 타깃 검출 네트워크는 스마트 이동 기기의 관리 장치에 집적되고, 상기 관리 장치를 통해 상기 이미지 수집 모듈에 의해 수집된 이미지의 타깃 검출 처리를 실행하며, 상기 타깃 대상의 위치를 얻고;

상기 제어 모듈과 상기 관리 장치는 연결되며, 상기관리 장치에 따라 타깃 대상의 위치를 얻고 상기 제어 명령어를 생성하기 위한 것이며, 상기 제어 명령어에 따라 상기 스마트 이동 기기 회전을 제어한다.

일부 가능한 실시 방식에 있어서, 상기 관리 장치는 라즈베리 파이이다.

일부 가능한 실시 방식에 있어서, 상기 스마트 이동 기기는 교육 로봇을 포함한다.

일부 가능한 실시 방식에 있어서, 상기 관리 장치에는 또한 상기 이미지에 대해 사전 처리 동작을 실행하도록 구성된 상기 타깃 추적 장치의 사전 처리 모듈이 집적되어 있고, 상기 사전 처리 동작 후의 이미지에 대해 타깃 검출 처리를 실행하며, 상기 이미지 중 타깃 대상의 위치를 얻는다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하도록 구성되고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있다.

본 발명의 실시예는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 수행될 때 상기 타깃 추적 방법을 구현한다. 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예는 스마트 이동 기기를 더 제공하고, 상기 스마트 이동 기기는, 프로세서; 및 프로세서가 수행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 메모리는 상기 타깃 추적 방법을 수행하도록 구성된다.

도 13은 본 발명의 실시예에서 제공하는 스마트 이동 기기의 구조 예시도이다. 예를 들어, 스마트 이동 기기(800)는 이미지 처리 실행이 가능한 임의의 기기 또는 타깃 추적 실행이 가능한 임의의 이동 기기일 수 있다.

도 13을 참조하면, 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(Input Output, I/O)의 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 기기(800)의 전반적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 타깃 추적 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 수행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 기타 컴포넌트 사이의 인터랙션을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 용이한 인터랙션을 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 기기(800)의 동작을 지원하기 위해, 다양한 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 기기(800)에서의 동작을 위한 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 전기적 소거 및 프로그램 가능 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 및 프로그램 가능 읽기 전용 메모리(Electrical Programmable Read Only Memory, EPROM), 프로그램 가능 읽기 전용 메모리(Programmable Read-Only Memory, PROM), 읽기 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래시 메모리, 디스켓 또는 광디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 기타 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 기기(800) 및 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(Liquid Crystal Display, LCD) 및 터치 패드(Touch Pad, TP)를 포함할 수 있다. 스크린이 터치 패드를 포함하면, 스크린은 사용자에 의해 입력된 신호를 수신하도록 터치 스크린으로 구현될 수 있다. 터치 패드는 터치, 스와이프 및 터치 패드에서의 제스처를 감지하도록 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 바운드를 감지할 수 있을 뿐만 아니라, 상기 터치 또는 스와이프 동작과 관련된 지속 시간 및 압력도 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 전방 카메라 및/또는 후방 카메라를 포함한다. 기기(800)가 촬영 모드 또는 비디오 모드와 같은 작동 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MIC)을 포함하고, 기기(800)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802) 및 주변 인터페이스 모듈 사이에 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 기기(800)에 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 기기(800) 또는 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 기기(800) 접촉의 존재 유무, 기기(800) 방위 또는 가속/감속, 및 기기(800)의 온도 변화도 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체 소자(Complementary Metal Oxide Semiconductor, CMOS) 또는 전하 결합 소자(Charge Coupled Device, CCD) 이미지 센서와 같은 이미징 애플리케이션에 사용하기 위한 광센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 기기(800) 및 기타 기기 사이의 유선 또는 무선 방식의 통신을 용이하게 하도록 구성된다. 기기(800)는 통신 표준에 기반하는 무선 네트워크, 예를 들어 WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송과 관련된 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하도록 근거리 자기장 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wide Band, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 기타 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 기기(800)는 상기 타깃 추적 방법을 수행하기 위해, 하나 또는 복수 개의 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 기기(Digital Signal Process, DSPD), 프로그램 가능 논리 소자(Programmable Logic Device, PLD), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 소자에 의해 구현될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 프로그램 명령어는 기기(800)의 프로세서(820)에 의해 수행됨으로써 상기 타깃 추적 방법을 완료하도록 한다.

본 발명의 실시예는 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능 저장 매체에는 프로세서로 하여금 본 발명 실시예의 각 측면을 구현하도록 하기 위한 컴퓨터 판독 가능 프로그램 명령어가 탑재되어 있다.

컴퓨터 판독 가능 저장 매체는 명령어 수행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 유형 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더욱 구체적인 예(비전면한 리스트)는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리(Erasable EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 비디오 디스크(Digital Video Disc, DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 홈내에 철기된 구조와 같은 기계적으로 인코딩된 기기 및 이들의 임의의 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선 전자파 또는 기타 자유롭게 전파되는 전자기파, 도파관 또는 기타 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통과하는 펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간적인 신호 자체로 해석되지 않는다.

여기서 설명한 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각 컴퓨팅/처리 기기로 다운로드될 수 있거나, 또는 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능 저장 매체에 저장하기 위해, 컴퓨터 판독 가능 프로그램 명령어를 전달한다.

본 발명의 실시예 동작을 수행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목적 코드일 수 있고, 상기 프로그래밍 언어에는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 수행되거나, 사용자 컴퓨터에서 부분적으로 수행되거나, 독립적인 소프트웨어 패키지로서 수행되거나, 사용자 컴퓨터에서 일부가 수행되고 원격 컴퓨터에서 일부가 수행되거나, 원격 컴퓨터 또는 서버에서 완전히 수행될 수 있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결). 일부 실시예에 있어서, 프로그램 가능 논리 회로, 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 프로그램 가능 논리 어레이 (Programmable Logic Array, PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 수행할 수 있음으로써, 본 발명 실시예의 다양한 측면을 구현한다.

여기서 본 발명 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명 실시예의 다양한 측면을 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있음을 이해해야 한다.

이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능 데이터 처리 장치의 프로세서에 제공될 수 있음으로써, 이러한 명령어가 컴퓨터 또는 기타 프로그램 가능 데이터 처리 장치의 프로세서에 의해 수행되도록 하는 기계가 생성되고, 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에서 규정된 기능/동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능 프로그램 명령어를 컴퓨터 판독 가능 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 기타 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에서 규정된 기능/동작을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능 프로그램 명령어는 컴퓨터, 기타 프로그램 가능 데이터 처리 장치 또는 기타 기기에 로딩될 수도 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 기타 프로그램 가능 데이터 처리 장치 또는 기타 기기에서 수행되도록 함으로써, 컴퓨터, 기타 프로그램 가능 데이터 처리 장치 또는 기타 기기에서 수행되는 명령어는 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 수행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 부동한 순서로 발생될 수도 있다. 예를 들어, 연속적으로 도시된 두 개의 블록은 실제로 동시에 수행될 수 있으며, 때로는 관련 기능에 따라 역순으로 수행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은, 지정된 기능 또는 동작의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 철저하지 않으며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 경우, 많은 수정 및 변경은 본 기술 분야의 통상적인 기술자에게는 자명한 것이다. 본문에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 또는 본 기술 분야의 기타 통상적인 기술자가 본문에서 개시된 각 실시예를 이해할 수 있는것을 목적으로 한다.

[산업상 이용 가능성]

본 발명의 실시예는 타깃 추적 방법 및 장치, 스마트 이동 기기 및 저장 매체를 개시하였고, 상기 타깃 추적 방법은, 수집된 이미지를 획득하는 단계; 상기 이미지에서의 타깃 대상의 위치를 결정하는 단계; 및 상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기를 제어하기 위한 제어 명령어를 얻는 단계 -상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심 위치에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 를 포함한다. 본 발명의 실시예는 타깃 대상의 실시간 추적을 구현할 수 있다.

Claims

타깃 추적 방법으로서,
수집된 이미지를 획득하는 단계;
상기 이미지에서의 타깃 대상의 위치를 결정하는 단계; 및
상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하기 위한 제어 명령어를 결정하는 단계 - 상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심 위치에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제1항에 있어서,
상기 이미지에서의 타깃 대상의 위치를 결정하기 전에, 상기 타깃 추적 방법은 상기 이미지에 대해 사전 처리 동작을 실행하는 단계 - 상기 사전 처리 동작은, 상기 이미지를 사전 설정 규격의 그레이 스케일 이미지로 조정하며, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 포함함 - 를 더 포함하고;
상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는,
상기 사전 처리 동작 후 얻은 이미지에 대해 타깃 검출 처리를 실행하고, 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치를 획득하는 단계; 및
상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치에 기반하여, 상기 이미지 중 상기 타깃 대상의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제2항에 있어서,
상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계는,
상기 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 결정하는 단계;
상기 각 픽셀 포인트의 픽셀값과 상기 평균값 사이의 차이값을 획득하는 단계; 및
상기 각 픽셀 포인트에 대응되는 상기 차이값 및 상기 표준 편차 사이의 비율을, 상기 각 픽셀 포인트가 정규화 후의 픽셀값으로 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는,
상기 이미지의 이미지 특징을 추출하는 단계;
상기 이미지 특징에 대해 분류 처리를 실행하고, 상기 이미지에서의 타깃 대상의 위치 영역을 얻는 단계; 및
상기 위치 영역의 중심 위치를 상기 타깃 대상의 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 타깃 대상은 얼굴을 포함하고;
상기 타깃 대상은 얼굴인 것에 대응하여, 상기 이미지에서의 타깃 대상의 위치를 결정하는 단계는, 상기 이미지 중 얼굴의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하기 위한 제어 명령어를 결정하는 단계는,
상기 이미지에서의 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리에 기반하여, 타깃 오프셋을 결정하는 단계;
상기 타깃 오프셋에 기반하여 복수 개 세트 오프셋 시퀀스를 생성하는 단계 - 각 세트 오프셋 시퀀스에서의 오프셋 값의 합값은 상기 타깃 오프셋임 - ; 및
강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하고, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제6항에 있어서,
강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하는 단계는,
상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값에 대해, 값 테이블에서 상기 오프셋 값과 대응되는 최대 값을 결정하는 단계 - 상기 값 테이블은 오프셋 값이 상이한 회전 명령어하에 대응되는 값을 포함함 - ;
상기 오프셋 값에 대응되는 보상가치를 획득하고, 상기 오프셋 값에 대응되는 상기 보상가치 및 상기 최대 값에 기반하여, 상기 오프셋 값의 최종 값을 결정하는 단계 - 상기 보상가치는 상기 오프셋 값의 최대 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리임 - ; 및
상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값의 상기 최종 값의 합이 제일 큰 오프셋 시퀀스를, 요구를 만족시키는 오프셋 시퀀스로 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제6항 또는 제7항에 있어서,
상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 결정하는 단계는,
상기 요구를 만족시키는 오프셋 시퀀스 중 각 오프셋 값의 최대 값에 대응되는 회전 명령어에 기반하여, 상기 제어 명령어를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 추적 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 타깃 추적 방법은,
상기 제어 명령어에 기반하여 상기 스마트 이동 기기를 구동시켜 회전을 실행하는 단계를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
제4항에 있어서,
상기 타깃 추적 방법은,
상기 타깃 대상의 위치 영역에 기반하여, 상기 스마트 이동 기기 이동을 제어하기 위한 제어 명령어를 결정하는 단계 - 상기 타깃 대상의 위치 영역에 대응되는 면적이 제1 임계값보다 큰 것에 응답하여, 상기 스마트 이동 기기 후진을 제어하기 위한 제어 명령어를 생성하고; 상기 타깃 대상의 위치 영역에 대응되는 면적이 제2 임계값보다 작은 것에 응답하여, 상기 스마트 이동 기기 전진을 제어하기 위한 제어 명령어를 생성하며, 상기 제1 임계값은 제2 임계값보다 큼 - 를 더 포함하는 것을 특징으로 하는 타깃 추적 방법.
타깃 추적 장치로서,
이미지를 수집하기 위한 이미지 수집 모듈;
상기 이미지에서의 타깃 대상의 위치를 획득하기 위한 타깃 검출 모듈; 및
상기 타깃 대상의 위치 및 상기 이미지의 중심 위치 사이의 거리에 기반하여, 스마트 이동 기기 회전을 제어하기 위한 제어 명령어를 결정 - 상기 제어 명령어는 상기 타깃 대상의 위치로 하여금 상기 이미지의 중심에 위치하도록 하기 위한 것이고, 상기 제어 명령어는 상기 거리를 구성하는 오프셋 시퀀스에서의 오프셋 값에 대응되는 회전 명령어를 포함하며, 상기 오프셋 시퀀스는 적어도 하나의 오프셋 값을 포함함 - 하도록 구성된 제어 모듈을 포함하는 것을 특징으로 하는 타깃 추적 장치.
제11항에 있어서,
상기 타깃 추적 장치는 상기 이미지에 대해 사전 처리 동작을 실행 - 상기 사전 처리 동작은, 상기 이미지를 사전 설정 규격의 그레이 스케일 이미지로 조정하고, 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 포함함 - 하도록 구성된 사전 처리 모듈을 더 포함하고;
상기 타깃 검출 모듈은 또한 상기 사전 처리 동작 후 얻은 이미지에 대해 타깃 검출 처리를 실행하고, 상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치를 획득하며;
상기 사전 처리 동작 후의 이미지 중 상기 타깃 대상의 위치에 기반하여, 상기 이미지 중 상기 타깃 대상의 위치를 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
제12항에 있어서,
상기 사전 처리 모듈이 상기 그레이 스케일 이미지에 대해 정규화 처리를 실행하는 단계를 실행하는 것은,
상기 그레이 스케일 이미지 중 각 픽셀 포인트의 픽셀값의 평균값 및 표준 편차를 결정하는 것;
상기 각 픽셀 포인트의 픽셀값과 상기 평균값 사이의 차이값을 획득하는 것; 및
상기 각 픽셀 포인트에 대응되는 상기 차이값 및 상기 표준 편차 사이의 비율을, 상기 각 픽셀 포인트가 정규화 후의 픽셀값으로 결정하는 것을 포함하는 것을 특징으로 하는 타깃 추적 장치.
제11항 내지 제13항 중 어느 한 항에 있어서,
상기 타깃 검출 모듈은 또한 상기 이미지의 이미지 특징을 추출하고;
상기 이미지 특징에 대해 분류 처리를 실행하고, 상기 이미지에서의 타깃 대상의 위치 영역을 얻으며; 및
상기 위치 영역의 중심 위치를 상기 타깃 대상의 위치로 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
제11항 내지 제14항 중 어느 한 항에 있어서,
상기 타깃 대상은 얼굴을 포함하고;
상기 타깃 대상은 얼굴을 포함하는 것에 대응하여, 상기 타깃 검출 모듈은 또한 상기 이미지 중 얼굴의 위치를 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
제11항 내지 제15항 중 어느 한 항에 있어서,
상기 제어 모듈은 또한 상기 이미지에서의 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리에 기반하여, 타깃 오프셋을 결정하고;
상기 타깃 오프셋에 기반하여 복수 개 세트 오프셋 시퀀스를 생성하며, 각 세트 오프셋 시퀀스에서의 오프셋 값의 합값은 상기 타깃 오프셋이며;
강화 학습 알고리즘을 사용하여, 상기 복수 개 세트 오프셋 시퀀스에서 요구를 만족시키는 오프셋 시퀀스를 선택하며, 상기 요구를 만족시키는 오프셋 시퀀스에 대응되는 제어 명령어를 얻도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
제16항에 있어서,
상기 제어 모듈은 또한 상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값에 대해, 값 테이블에서 상기 오프셋 값과 대응되는 최대 값을 결정 - 상기 값 테이블은 오프셋 값이 상이한 회전 명령어하에 대응되는 값을 포함함 - 하고;
상기 오프셋 값에 대응되는 보상가치를 획득하고, 상기 오프셋 값에 대응되는 상기 보상가치 및 상기 최대 값에 기반하여, 상기 오프셋 값의 최종 값을 결정 - 상기 보상가치는 상기 오프셋 값의 최대 값에 대응되는 회전 명령어를 실행하지 않은 경우, 타깃 대상의 위치와 상기 이미지의 중심 위치 사이의 거리임 - 하며;
상기 복수 개 세트 오프셋 시퀀스 중 각 오프셋 값의 상기 최종 값의 합이 제일 큰 오프셋 시퀀스를, 요구를 만족시키는 오프셋 시퀀스로 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
제16항 또는 제17항에 있어서,
상기 제어 모듈은 또한 상기 요구를 만족시키는 오프셋 시퀀스 중 각 오프셋 값의 최대 값에 대응되는 회전 명령어에 기반하여, 상기 제어 명령어를 결정하도록 구성되는 것을 특징으로 하는 타깃 추적 장치.
제14항에 있어서,
상기 타깃 검출 모듈은 또한 상기 타깃 대상의 위치 영역에 기반하여, 상기 스마트 이동 기기 이동을 제어하기 위한 제어 명령어를 결정하도록 구성 - 상기 타깃 대상의 위치 영역에 대응되는 면적이 제1 임계값보다 큰 경우, 상기 스마트 이동 기기 후진을 제어하는 제어 명령어를 생성하고; 상기 타깃 대상의 위치 영역에 대응되는 면적이 제2 임계값보다 작은 경우, 상기 스마트 이동 기기 전진을 제어하는 제어 명령어를 생성하고, 상기 제1 임계값은 제2 임계값보다 큼 - 되는 것을 특징으로 하는 타깃 추적 장치.
스마트 이동 기기로서,
제11항 내지 제19항 중 어느 한 항에 따른 타깃 추적 장치를 포함하고,
상기 타깃 추적 장치 내의 상기 타깃 검출 모듈은 스마트 이동 기기의 관리 장치에 집적되고, 상기 관리 장치를 통해 상기 이미지 수집 모듈에 의해 수집된 이미지의 타깃 검출 처리를 실행하며, 상기 타깃 대상의 위치를 얻으며;
상기 제어 모듈과 상기 관리 장치는 연결되며, 상기 관리 장치에 의해 얻어진 타깃 대상의 위치에 따라 상기 제어 명령어를 생성하도록 구성되고, 상기 제어 명령어에 따라 상기 스마트 이동 기기 회전을 제어하는 것을 특징으로 하는 스마트 이동 기기.
제20항에 있어서,
상기 관리 장치에는 또한 상기 타깃 추적 장치의 사전 처리 모듈이 집적되어 있음으로써 상기 이미지에 대해 사전 처리 동작을 실행하고, 상기 사전 처리 동작 후의 이미지에 대해 타깃 검출 처리를 실행하여, 상기 이미지 중 타깃 대상의 위치를 얻도록 구성되는 것을 특징으로 하는 스마트 이동 기기.
제20항 또는 제21항에 있어서,
상기 스마트 이동 기기에는 교육 로봇이 포함되는 것을 특징으로 하는 스마트 이동 기기.
스마트 이동 기기로서,
프로세서; 및
프로세서가 실행 가능한 명령어를 저장하도록 구성된 메모리를 포함하고;
상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 제1항 내지 제10항 중 어느 한 항에 따른 타깃 추적 방법을 실행하도록 구성된 것을 특징으로 하는 스마트 이동 기기.
컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 제1항 내지 제10항 중 어느 한 항에 따른 타깃 추적 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드가 포함되고, 상기 컴퓨터 판독 가능 코드가 스마트 이동 기기에서 작동될 경우, 상기 스마트 이동 기기에서의 프로세서는 제1항 내지 제10항 중 어느 한 항에 따른 타깃 추적 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.