KR20210140763A

KR20210140763A - 시선 방향 결정 방법, 장치, 전자 장치 및 저장 매체

Info

Publication number: KR20210140763A
Application number: KR1020217034841A
Authority: KR
Inventors: 페이 왕; 천 첸
Original assignee: 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2019-12-30
Filing date: 2020-12-04
Publication date: 2021-11-23
Also published as: CN111178278B; JP7309116B2; CN111178278A; JP2022553776A; WO2021135827A1

Abstract

출원에서는 시선 방향 결정 방법, 장치, 전자 장치 및 저장 매체를 제공하는 바, 당해 시선 방향 결정 방법은, 목표 객체의 안면 이미지와 안부 이미지를 취득하는 것; 안면 이미지 내에서 목표 객체의 안면 특징을 추출하는 것; 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정하는 것; 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하며, 또한 안면 특징과 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득하는 것; 및 시선 잔차 정보에 기반하여 초기 시선 방향에 대하여 수정을 수행하여, 목표 객체의 시선 방향을 취득하는 것을 포함한다.

Description

시선 방향 결정 방법, 장치, 전자 장치 및 저장 매체

[관련 출원의 상호 인용]

본 출원은 출원 일이 2019년 12월 30이고, 출원 번호가 201911403648.2인 중국 특허 출원의 우선권을 주장하는 바, 당해 출원의 전문은 인용을 통하여 본 발명에 통합된다.

본 출원은 이미지 처리 기술분야에 관한 것으로서, 구체적으로, 시선 방향 결정 방법, 장치, 전자 장치 및 저장 매체에 관한 것이다.

현재 시선 추적은 컴퓨터 시각 중의 하나의 중요한 분야이고, 시선 추적의 주요 목적은 사용자의 시선 방향을 예측하는 것이며, 사용자의 시선 방향이 흔히 사용자의 개인 의사와 관련되기 때문에, 시선 추적 기술은 사용자의 의사를 이해하는데 중요한 역할을 하므로, 어떻게 사용자의 시선 방향을 정확하게 결정할 것인가 하는 것은 특히 중요하다.

본 출원의 실시예는 적어도 하나의 시선 방향 결정 방안을 제공한다.

제1 양태에 있어서, 본 출원의 실시예에서는 시선 방향 결정 방법을 제공하는 바, 목표 객체의 안면 이미지와 안부 이미지를 취득하는 것; 상기 안면 이미지 내에서 상기 목표 객체의 안면 특징을 추출하는 것; 상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정하는 것; 상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측하며, 또한 상기 안면 특징과 상기 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득하는 것; 및 상기 시선 잔차 정보에 기반하여 상기 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 객체의 시선 방향을 취득하는 것을 포함한다.

본 출원의 실시예에서 제공하는 시선 방향 결정 방법은, 안면 이미지에 기반하여 목표 객체의 안면 특징을 추출할 수 있으며, 당해 안면 특징은 목표 객체의 초기 시선 방향을 예측하고, 또한 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정할 수 있다. 그 후, 안면 특징과 안부 특징을 융합한 후의 융합 특징을 통하여 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보, 즉 시선 잔차 정보를 예측할 수 있다. 그 후 다시 당해 차이를 표시하는 정보를 통하여 단지 안면 특징에 기반하여 예측한 초기 시선 방향을 조정하는 바, 즉 더욱 실제 시선 방향에 근접한 시선 방향을 취득할 수 있다. 이로부터 알 수 있는바와 같이, 본 출원의 실시예에서 제출하는 시선 결정 방법은 더욱 정확한 시선 방향을 예측하여 취득할 수 있다.

가능한 일 실시 형태에 있어서, 상기 안부 이미지는 좌안 이미지와 우안 이미지를 포함하고, 상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정하는 것은, 상기 좌안 이미지에서 좌안 특징을 추출하는 것; 상기 우안 이미지에서 우안 특징을 추출하는 것; 상기 안면 특징, 상기 좌안 특징 및 상기 우안 특징에 기반하여, 상기 좌안 특징에 대응하는 제1 가중치와 상기 우안 특징에 대응하는 제2 가중치를 결정하는 것; 및 상기 제1 가중치 및 상기 제2 가중치에 기반하여, 상기 좌안 특징과 상기 우안 특징에 대하여 가중 합산을 실행하여 상기 안부 특징을 취득하는 것을 포함한다.

본 출원의 실시예는 안면 특징과 좌안 특징을 결합하고, 또한 안면 특징과 우안 이미지를 결합하는 것을 통하여, 각각 좌안 이미지와 우안 이미지의 시선 방향 결정 시의 서로 다른 기여를 결정하여, 정확도가 비교적 높은 안부 특징을 결정하고, 나아가 시선 잔차 정보를 예측하는 정확도를 향상시킨다.

가능한 일 실시 형태에 있어서, 상기 안면 특징, 상기 좌안 특징 및 상기 우안 특징에 기반하여, 상기 좌안 특징에 대응하는 제1 가중치와 상기 우안 특징에 대응하는 제2 가중치를 결정하는 것은, 상기 안면 특징과 상기 좌안 특징에 기반하여 상기 좌안 특징의 제1 점수를 결정하는 것 또한 상기 안면 특징과 상기 우안 특징에 기반하여 상기 우안 특징의 제2 점수를 결정하는 것; 및 상기 제1 점수와 제2 점수에 기반하여 상기 제1 가중치와 제2 가중치를 결정하는 것을 포함한다.

가능한 일 실시 형태에 있어서, 상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측하는 것은, 상기 안면 특징 중 각 특징 포인트의 가중치를 결정하고, 또한 상기 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 상기 안면 특징에 대하여 조정을 실행하는 것; 및 조정 후의 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 결정하는 것을 포함한다.

여기에서 안면 특징 중 각 특징 포인트의 가중치에 대하여 조정을 실행하는 것을 제출하여, 초기 시선 방향에 영향이 비교적 큰 특징 포인트의 가중치가 초기 시선 방향에 영향이 비교적 작은 특징 포인트의 가중치보다 크게 하여, 이로써 조정 후의 안면 특징에 기반하여 비교적 정확한 초기 시선 방향을 취득할 수 있다.

가능한 일 실시 형태에 있어서, 이하의 방식에 따라 상기 안면 특징과 상기 안부 특징에 기반하여 상기 융합 특징을 결정하는 것은, 상기 조정 후의 안면 특징, 상기 안부 특징 및 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 기반하여 중간 특징을 결정하는 것; 및 상기 중간 특징, 상기 조정 후의 안면 특징 및 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 상기 중간 특징과 상기 조정 후의 안면 특징에 대하여 가중 합산을 실행하여 상기 융합 특징을 취득하는 것을 포함한다.

가능한 일 실시 형태에 있어서, 이하의 방식에 따라 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는 바, 즉 상기 안부 특징과 상기 조정 후의 안면 특징에 기반하여 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는 것이다.

가능한 일 실시 형태에 있어서, 이하의 방식에 따라 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는 바, 즉 상기 안부 특징과 상기 조정 후의 안면 특징에 기반하여 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는 것이다.

위에서는 안부 특징과 조정 후의 안면 특징에 기반하여, 안면 특징과 안부 특징을 융합한 후의 융합 특징을 결정하는 바, 당해 융합 특징은 안면 이미지와 안부 이미지를 종합적으로 고려함으로써, 당해 융합 특징을 통하여 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 결정하기 편리하게 하고, 나아가 당해 차이에 기반하여 초기 시선 방향에 대하여 수정을 수행하여 비교적 정확한 시선 방향을 취득할 수 있다.

가능한 일 실시 형태에 있어서, 상기 시선 방향 결정 방법은 신경망을 통해 구현하고, 상기 신경망은 목표 샘플 객체의 표기 시선 방향을 포함하는 샘플 이미지를 이용하여 훈련하여 취득한다.

가능한 일 실시 형태에 있어서, 상기 신경망은 이하의 방식을 사용하여 훈련 취득하는 바, 즉 샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득하는 것;상기 안면 샘플 이미지에서 상기 목표 샘플 객체의 안면 특징을 추출하는 것;상기 목표 샘플 객체의 안면 특징과 상기 안부 샘플 이미지에 기반하여 상기 목표 샘플 객체의 안부 특징을 결정하는 것; 상기 목표 샘플 객체의 안면 특징에 기반하여 상기 목표 샘플 객체의 초기 시선 방향을 예측하며, 또한 상기 목표 샘플 객체의 안면 특징과 상기 목표 샘플 객체의 안부 특징을 융합한 후의 융합 특징에 기반하여, 상기 목표 샘플 객체의 시선 잔차 정보를 예측하여 취득하는 것;상기 목표 샘플 객체의 시선 잔차 정보에 기반하여 상기 목표 샘플 객체의 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 샘플 객체의 시선 방향을 취득하는 것;및 취득한 상기 목표 샘플 객체의 시선 방향과 상기 목표 샘플 객체의 표기 시선 방향에 기반하여, 상기 신경망의 네트워크 파라미터 값에 대하여 조정을 실행하는 것을 포함한다.

본 출원의 실시예에서 제공하는 신경망의 훈련 방법에 기반하여, 샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득할 수 있다. 그 후, 안면 샘플 이미지에 기반하여 목표 샘플 객체의 안면 특징을 추출하는 바, 당해 목표 샘플 객체의 안면 특징은 목표 샘플 객체의 초기 시선 방향을 예측할 수 있다. 목표 샘플 객체의 안면 특징과 안부 이미지에 기반하여 목표 샘플 객체의 안부 특징을 결정한다. 목표 샘플 이미지의 안면 특징과 안부 특징을 융합한 후의 융합 특징을 통하여 목표 샘플 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보, 즉 시선 잔차 정보를 예측하여 표시할 수 있다. 그 후 다시 당해 차이를 표시하는 정보를 통하여 단지 목표 샘플 객체의 안면 특징에 기반하여 예측한 초기 시선 방향을 조정하는 바, 즉 목표 샘플 객체의 표기 시선 방향에 더 근접한 시선 방향을 취득할 수 있다. 취득한 목표 샘플 객체의 시선 방향 및 표기 시선 방향에 기반하여, 신경망의 네트워크 파라미터 값에 대하여 조정을 실행하는 바, 즉 정확도가 더욱 높은 신경망을 취득할 수 있다. 당해 정확도가 더욱 높은 신경망에 기반하면 목표 객체의 시선 방향에 대하여 정확한 예측을 할 수 있다.

제2 양태에 있어서, 본 출원의 실시예에서는 시선 방향 결정 장치를 제공하는 바, 목표 객체의 안면 이미지와 안부 이미지를 취득하는 이미지 취득 모듈; 상기 안면 이미지 내에서 상기 목표 객체의 안면 특징을 추출하며; 또한 상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정하는 특징 추출 모듈; 상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측하며, 또한 상기 안면 특징과 상기 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득하는 시선 예측 모듈; 상기 시선 잔차 정보에 기반하여 상기 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 객체의 시선 방향을 취득하는 시선 수정 모듈을 포함한다.

제3 양태에 있어서, 본 출원의 실시예에서는 전자 장치를 제공하는 바, 프로세서, 저장 매체와 버스를 포함하고, 상기 저장 매체에는 상기 프로세서가 수행할 수 있는 기계 판독가능 명령이 저장되며, 상기 프로세서와 상기 저장 매체 사이는 버스를 통하여 통신을 하고, 상기 기계 판독가능 명령이 상기 프로세서가 제1 양태의 상기 방법을 수행하게 한다.

제4 양태에 있어서, 본 출원의 실시예에서는 컴퓨터 판독가능 저장 매체를 제공하는 바, 당해 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 당해 컴퓨터 프로그램이 상기 프로세서가 제1 양태의 상기 방법을 수행하게 한다.

본 출원의 상기 목적, 특징 및 장점이 더욱 선명하고 알기 쉽게 하기 위하여, 아래 실시예에 기반하고 또한 첨부된 도면을 참조하여 상세하게 설명을 하도록 한다.

본 출원의 실시방식의 기술방안에 대하여 더욱 자세하게 설명하기 위하여, 아래 실시예에 사용될 도면에 대하여 간단하게 설명을 하며, 이곳의 도면들은 명세서에 포함되고 또한 본 명세서의 일부분을 구성하며, 이 도면들은 본 출원에 부합되는 실시예를 도시하고, 또한 명세서와 함께 본 출원의 기술방안을 설명한다. 이하의 도면은 단지 본 출원의 일부 실시예에 불과하기 때문에 범위에 대한 한정으로 여겨서는 안되고, 또한 당업계의 기술자들은 창조적인 노력 없이 이러한 도면에 기반하여 기타 관련 도면을 취득할 수 있음을 이해해야 한다.
도 1은 본 출원의 실시예에서 제공하는 일 시선 방향 결정 방법의 흐름도이다.
도 2는 본 출원의 실시예에서 제공하는 일 시선 방향 결정 원리의 개략도이다.
도 3은 본 출원의 실시예에서 제공하는 일 안부 특징의 결정 방법의 흐름도이다.
도 4는 본 출원의 실시예에서 제공하는 일 좌안 특징 및 우안 특징에 각각 대응하는 가중치의 결정 과정의 개략도이다.
도 5는 본 출원의 실시예에서 제공하는 일 초기 시선 방향 결정 방법의 흐름도이다.
도 6은 본 출원의 실시예에서 제공하는 일 융합 특징의 결정 방법의 흐름도이다.
도 7은 본 출원의 실시예에서 제공하는 일 초기 시선 방향 결정 및 시선 잔차 정보 결정 과정의 개략도이다.
도 8은 본 출원의 실시예에서 제공하는 일 시선 방향 결정 과정의 개략도이다.
도 9는 본 출원의 실시예에서 제공하는 일 신경망 훈련 방법의 흐름도이다.
도 10은 본 출원의 실시예에서 제공하는 일 시선 방향 결정 장치의 개략 구조도이다.
도 11은 본 출원의 실시예에서 제공하는 일 전자 장치의 개략 구조도이다.

본 출원의 실시예의 목적, 기술방안과 장점이 더욱 명확해지도록 하기 위하여, 아래 본 출원의 실시예 중의 도면을 결합하여, 본 출원의 실시예의 기술방안에 대하여 명확하고 완전한 설명을 하는 바, 기재된 실시예는 단지 본 출원의 일부 실시예이고 전부가 아님은 물론이다. 일반적으로 여기에서 도면에서 설명하고 도시하는 본 출원의 실시예의 모듈은 여러 가지 서로 다른 구성으로 배치 및 설계할 수 있다. 그러므로, 이하의 도면에서 제공하는 본 출원의 실시예에 대한 상세한 설명은 청구하고자 하는 본 출원의 청구 범위를 제한하는 것이 아니고, 단지 본 출원의 선택된 실시예를 표시하는 것이다. 본 출원의 실시예에 기반하여, 당업계의 기술자들의 창조적인 노력 없이 취득한 모든 기타 실시예는 본 출원의 청구 범위에 속한다.

시선 추적은 컴퓨터 시각 중의 하나의 중요한 분야이고, 시선 추적의 주요 목적은 사용자의 시선 방향을 예측하는 것이며, 연구를 거쳐 발견한데 의하면, 외관에 기반한 시선 예측 모델은 흔히 딥러닝 모델을 사용하여 구현하는 바, 예를 들면 안면 이미지 중의 얼굴 특징 또는 안부 이미지 중의 안부 특징에 기반하여 시선 방향을 예측할 수 있다.

관련 기술에서, 단지 안면 이미지와 안부 이미지를 서로 다른 독립적인 특징 소스로 하고, 실질적으로 안면 이미지와 안부 이미지 사이의 내재적인 관계를 고려하지 않는다. 실제로 안부 이미지는 응시에 집중하는 세립도(Fine-Grained) 특징을 제공하고, 안면 이미지는 더욱 보다 광범위한 정보를 갖는 조립도(Coarse-Grained) 특징을 제공하며, 양자의 결합은 시선 방향을 더욱 정확하게 예측할 수 있다.

상기 연구에 기반하여, 본 출원에서는 일 시선 방향 결정 방법을 제공한다. 안면 이미지에 기반하여 목표 객체의 안면 특징을 추출하는 바, 당해 안면 특징은 목표 객체의 초기 시선 방향을 예측에 사용될 수 있다. 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정한 후, 안면 특징과 안부 특징을 융합한 후의 특징(또한 “융합 특징”이라 칭함)을 통하여 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보, 즉 시선 잔차 정보를 예측할 수 있다. 그 후 다시 당해 차이를 표시하는 정보를 통하여 단지 안면 특징에 기반하여 예측한 초기 시선 방향을 조정하는 바, 즉 더욱 실제 시선 방향에 근접한 시선 방향을 취득할 수 있다. 이로부터 알 수 있는바와 같이, 본 출원의 실시예에서 제출하는 시선 결정 방법은 더욱 정확한 시선 방향을 예측하여 취득할 수 있다.

아래 본 출원의 도면을 참조하여 본 출원 중의 기술방안에 대하여 명확하고 완전한 설명을 하게 되는 바, 기재된 실시예는 단지 본 출원의 일부 실시예에 불과하며 모든 실시예가 아니다. 일반적으로 여기에서 도면에서 설명하고 도시하는 본 출원의 모듈은 여러 가지 서로 다른 구성으로 배치 및 설계할 수 있다. 그러므로, 이하의 도면에서 제공하는 본 출원의 실시예에 대한 상세한 설명은 청구하고자 하는 본 출원의 청구 범위를 제한하고자 하는 것이 아니고, 단지 본 출원의 선택된 실시예를 표시하는 것이다. 본 출원의 실시예에 기반하여, 당업계의 기술자들이 창조적인 노력 없이 취득한 모든 기타 실시예는 본 출원의 청구 범위에 속한다.

주의하여야 할 바로는, 유사한 도면부호와 알파벳은 이하의 도면에서 유사한 항목을 표시하기 때문에, 어느 한 항목이 한 도면에서 정의되기만 하면, 하기 도면에서는 이에 대하여 진일보 정의와 설명을 할 필요가 없다.

본 실시예에 대한 이해를 돕기 위하여, 우선 본 출원의 실시예에서 공개한 일 시선 방향 결정 방법에 대하여 상세하게 설명을 하도록 한다. 본 출원의 실시예에서 제공하는 시선 결정 방법의 실행 주체는 일반적으로 일정한 계산 능력을 갖는 컴퓨터 장치이다. 당해 컴퓨터 장치는 예를 들면 단말 장치 또는 서버 또는 기타 처리 장치를 포함하고, 단말 장치는 사용자 장치(User Equipment, UE), 이동 장치, 사용자 단말, 단말 등일 수 있다. 일부 가능한 실시방식에서, 당해 시선 방향 결정 방법은 프로세서가 기억장치에 저장된 컴퓨터 판독가능 명령을 호출하는 방식을 통하여 구현할 수 있다.

아래 실행 주체가 단말 장치인 것을 예로 들어 본 출원의 실시예에서 제공하는 시선 방향 결정 방법을 설명하도록 한다.

도 1에 도시된 것은, 본 출원의 실시예에서 제공하는 시선 결정 방법의 흐름도로서, 방법은 S101~S103 단계를 포함한다.

S101: 목표 객체의 안면 이미지와 안부 이미지를 취득한다.

여기에서 목표 객체는 예측하고자 하는 시선 방향의 사용자일 수 있고, 비디오 카메라 또는 사진기 등 이미지를 수집할 수 있는 장치를 통하여 목표 객체의 얼굴에 대하여 촬영을 하여 목표 객체의 안면 이미지를 취득하고, 그 후 당해 안면 이미지 내에서 목표 객체의 안부 이미지를 캡쳐한다.

S102: 안면 이미지 내에서 목표 객체의 안면 특징을 추출한다.

S103: 목표 객체의 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정한다.

여기에서, 목표 객체의 안면 특징은 보다 광범위한 정보를 갖고 있는 조립도 특징을 가리키고, 이러한 안면 특징을 통하여 목표 객체의 초기 시선 방향을 예측할 수 있으며; 목표 객체의 안부 특징은 응시에 집중하는 것을 표시할 수 있는 세립도 특징을 가리킨다. 안부 특징과 안면 특징의 결합은 비교적 정확하게 시선 방향을 예측할 수 있다.

구체적으로, 여기에서 안면 특징과 안부 특징은 사전 훈련된 시선 방향 예측을 하는 신경망 중 특징 추출을 실행하기 위한 서브 신경망을 통하여 추출할 수 있고, 추후의 실시예에서 상세한 소개를 할 것이기 때문에 여기에서는 상세한 설명을 생략하도록 한다.

S104: 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하며, 또한 안면 특징과 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득한다.

그 중에서, 시선 잔차 정보는 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하기 위한 것이다.

여기에서의 초기 시선 방향은 안면 특징에 기반하여 결정할 수 있는 바, 구체적으로, 사전 훈련된 시선 방향 예측을 하는 신경망 중 초기 시선 방향을 결정하기 위한 서브 신경망에 기반하여 예측을 할 수 있고, 구체적인 예측 방식은 추후 실시예와 결부시켜 상세한 설명을 하도록 한다.

여기에서의 시선 잔차 정보는 사전 훈련된 시선 방향 예측을 하는 신경망 중 시선 잔차 정보를 결정하기 위한 서브 신경망을 통하여 예측을 할 수 있고, 구체적인 예측 방식은 추후 상세한 설명을 하도록 한다.

여기에서 안면 특징과 안부 특징을 융합한 후의 특징을 통하여 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보를 예측하고, 그 후 다시 당해 차이를 표시하는 정보를 통하여 단지 안면 특징에 기반하여 예측한 초기 시선 방향을 조정하는 바, 즉 실제 시선 방향에 더욱 근접한 시선 방향을 취득할 수 있다. 즉 본 출원에서는 목표 객체의 안면 이미지와 안부 이미지를 결합시키고, 안부 이미지가 제공하는 응시에 집중하는 세립도 특징 및 안면 이미지가 제공하는 더 보다 광범위한 정보에 대응하는 조립도 특징을 결합시켜 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 시선 잔차 정보를 예측하여, 당해 시선 잔차 정보를 이용하여 안면 특징에 기반하여 예측한 목표 객체의 초기 시선 방향을 조정하고, 나아가 더욱 정확한 목표 객체의 시선 방향을 취득하는 것을 제출한다.

구체적으로 안면 특징과 안부 특징을 사전 훈련된 시선 방향 예측을 하는 신경망 중 시선 잔차 정보를 결정하기 위한 서브 신경망에 입력하여, 안면 특징과 안부 특징을 융합한 후의 특징을 취득하는 바, 당해 방식은 추후 구체적인 실시예를 결부시켜 상세한 설명을 하도록 한다.

S105: 시선 잔차 정보에 기반하여 초기 시선 방향에 대하여 수정을 수행하여, 목표 객체의 시선 방향을 취득한다.

구체적으로, 여기에서의 시선 잔차 정보는 안면 특징과 안부 특징을 융합한 후의 특징에 기반하여 결정한 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보를 포함할 수 있고, 그 후 당해 시선 잔차 정보에 기반하여 초기 시선 방향에 대하여 조정을 실행할 수 있는 바, 예를 들면 당해 시선 잔차 정보와 안면 특징에 기반하여 예측한 초기 시선 방향을 합산하여, 더욱 목표 객에의 실제 시선 방향에 근접한 시선 방향을 취득할 수 있다.

예를 들면, 도 2에 도시된 바와 같이, 시선 방향을 결정하기 위한 원리 개략도를 표시하는 바, 그 중에서

가 안면 특징에 기반하여 예측한 목표 객체의 초기 시선 방향을 표시하고,

가 시선 잔차 정보를 표시하면, 최종적으로 취득하는 목표 객체의 시선 방향

는 이하의 공식(1)을 통하여 표시한다.

(1);

시선 잔차 정보는 실제 시선 방향과 초기 시선 방향의 차이를 표시할 때, 벡터를 통하여 표시할 수 있다. 여기에서 국제 좌표계를 도입하여 초기 시선 방향과 시선 잔차 정보를 표시할 수 있다. 시선 잔차 정보와 초기 시선 방향을 합산할 때, 초기 시선 방향과 시선 잔차 정보를 국제 좌표계의 동일 방향 축 중의 값을 대응하게 합하면 목표 각체의 시선 방향을 취득할 수 있다.

예를 들면, 만일 목표 객체의 실제 시선 방향이 동남(East by South) 30도이고, 목표 객체의 안면 특징을 통하여 예측하여 취득한 목표 객체의 초기 시선 방향이 동남 25도이며, 안면 특징과 안부 특징을 융합한 후의 특징을 통하여 예측하여 취득한 시선 잔차 정보가 편차 4도이면, 시선 잔차 정보를 통하여 초기 시선 방향에 대하여 수정을 수행하면, 예측한 목표 객체의 시선 방향이 동남 29도인 것을 취득할 수 있으며, 동남 29도는 동남 25도에 비하여 목표 객체의 실제 시선 방향에 더 근접하는 것이 분명하다.

위의 S101~S105 단계에 제출된 시선 방향 결정 방법은, 안면 이미지 내에서 목표 객체의 안면 특징을 추출할 수 있는 바, 당해 안면 특징은 목표 객체의 초기 시선 방향을 예측할 수 있으며; 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정한 후, 안면 특징과 안부 특징을 융합한 후의 특징을 통하여 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보, 즉 시선 장차 정보를 예측하여 표시하며; 그 후 다시 당해 차이를 표시하는 정보를 통하여 단지 안면 특징에 기반하여 예측한 초기 시선 방향을 조정하는 바, 즉 더욱 실제 시선 방향에 근접한 시선 방향을 취득할 수 있다. 이로부터 알 수 있는바와 같이, 본 출원의 실시예에서 제출하는 시선 결정 방법은 더욱 정확한 시선 방향을 예측하여 취득할 수 있다.

아래 구체적인 실시예를 참조하여 상기 S101~S105의 과정에 대하여 분석을 하기로 한다.

상기 안면 이미지 내에서 목표 객체의 안면 특징을 추출하는 단계(S102)에 대하여, 안면 이미지에 대하여 이미지 분석을 하는 것을 통하여, 안면 이미지 내에서 안면 특징을 표시할 수 있는 위치점 좌표를 추출하여 목표 객체의 안면 특징으로 한다. 예를 들면 볼, 눈가 등 위치점 좌표를 추출한다. 또는 신경망에 기반하여 목표 객체의 안면 특징을 추출할 수 있다.

예를 들면, 목표 객체의 안면 특징은 사전 훈련된 시선 방향 예측을 하는 신경망 중 특징 추출을 실행하는 서브 신경망에 기반하여 추출할 수 있는 바, 구체적으로,

안면 이미지를 제1 특징 추출 네트워크에 입력하고, 제1 특징 추출 네트워크 처리를 거쳐 안면 특징을 취득하는 것을 포함하며, 제1 특징 추출 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 안면 특징 추출을 실행하기 위한 서브 신경망이다.

여기에서의 제1 특징 추출 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 안면 이미지 중의 안면 특징을 추출하기 위한 것으로서, 즉 안면 이미지를 당해 제1 특징 추출 네트워크에 입력한 후, 초기 시선 방향을 예측하기 위한 안면 특징을 추출할 수 있다.

여기에서 사전 훈련된 시선 방향 예측을 하는 신경망 중의 제1 특징 추출 네트워크를 통하여 안면 이미지 중의 안면 특징을 추출한다. 시선 방향 예측을 하는 신경망에서, 당해 제1 특징 추출 네트워크가 안면 이미지의 안면 특징 추출 전용이기 때문에, 더욱 정확한 안면 특징을 추출할 수 있고, 나아가 초기 시선 방향의 정확도를 향상시키는데 유리하다.

상기 안부 이미지는 좌안 이미지와 우안 이미지를 포함한다. 일반적으로, 좌안 이미지가 표시하는 좌안의 외관과 우안 이미지가 표시하는 우안의 외관은, 환경의 변화 또는 두부 자세의 변화에 따라 변화한다. 이로써, 좌안 이미지에 기반하여 추출한 좌안 특징과 우안 이미지에 기반하여 추출한 우안 특징에 기반하여 시선 방향을 결정할 때, 서로 다른 기여가 존재할 수 있다. 이를 고려하여, 목표 객체의 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정하는 것은, 도 3에 도시된 바와 같이, 이하의 S301~S304 단계를 포함할 수 있다.

S301: 좌안 이미지에서 좌안 특징을 추출한다.

여기에서 좌안 이미지에서 좌안 특징을 추출하는 것은, 좌안 이미지에서 안부 특징을 표시할 수 있는 위치점 좌표를 추출하여 목표 객체의 좌안 특징으로 하는 것일 수 있는 바, 예를 들면 동공, 눈가 등 위치점 좌표이며, 또는 사전 훈련된 신경만에 기반하여 좌안 특징을 추출할 수 있다.

S302: 우안 이미지에서 우안 특징을 추출한다.

마찬가지로, 여기에서 우안 이미지에서 우안 특징을 추출하는 것은, 우안 이미지에서 안부 특징을 표시할 수 있는 위치점 좌표를 추출하여 목표 객체의 우안 특징으로 하는 것일 수 있는 바, 예를 들면 동공, 눈가 등 위치점 좌표이며, 또는 사전 훈련된 신경망에 기반하여 우안 특징을 추출할 수 있다.

본 출원은 사전 훈련된 신경망을 통하여 좌안 특징과 우안 특징을 추출하는 것을 예로 들어 설명을 한다.

좌안 이미지를 제2 특징 추출 네트워크에 입력하고, 제2 특징 추출 네트워크 처리를 거쳐 좌안 특징을 취득하며, 또한 우안 이미지를 제3 특징 추출 네트워크에 입력하고, 제3 특징 추출 네트워크 처리를 거쳐 우안 특징을 취득한다.

그 중에서, 제2 특징 추출 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 좌안 특징 추출을 실행하기 위한 서브 신경망이다. 제3 특징 추출 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 우안 특징 추출을 실행하기 위한 서브 신경망이다.

S303: 안면 특징, 좌안 특징 및 우안 특징에 기반하여, 좌안 특징에 대응하는 제1 가중치와 우안 특징에 대응하는 제2 가중치를 결정한다.

여기에서 좌안 특징에 대응하는 제1 가중치는 좌안 이미지가 시선 방향을 결정할 때의 기여를 표시하고, 우안 특징에 대응하는 제2 가중치는 우안 이미지가 시선 방향을 결정할 때의 기여를 표시한다. 당해 제1 가중치와 제2 가중치를 결정할 때, 사전 훈련된 신경망을 통하여 결정할 수 있다. 예를 들면 안면 특징, 좌안 특징 및 우안 특징을 주의력 네트워크에 입력하고, 주의력 네트워크의 처리를 거쳐 좌안 특징에 대응하는 제1 가중치와 우안 특징에 대응하는 제2 가중치를 취득한다.

그 중에서, 주의력 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 좌안 특징과 우안 특징 각자의 평가치를 결정하기 위한 서브 신경망이다. 당해 평가치는 좌안 특징/우안 특징의 안부 특징 중에서의 중요도를 표시한다.

안면 특징, 좌안 특징 및 우안 특징을 당해 주의력 네트워크에 입력한 후, 좌안 특징과 우안 특징 각자의 평가치를 취득할 수 있다.

구체적으로, 안면 특징, 좌안 특징 및 우안 특징을 주의력 네트워크에 입력하고, 주의력 네트워크의 처리를 거쳐 제1 가중치와 제2 가중치를 취득할 때,

(1) 안면 특징과 좌안 특징에 기반하여 좌안 특징의 제1 점수를 결정하며, 또한 안면 특징과 우안 특징에 기반하여 우안 특징의 제2 점수를 결정하는 것; 및

(2) 제1 점수와 제2 점수에 기반하여 제1 가중치와 제2 가중치를 결정하는 것을 포함한다.

마찬가지로, 여기에서 안면 특징과 좌안 특징에 기반하여 좌안 특징의 제1 점수를 결정하며, 또한 안면 특징과 우안 특징에 기반하여 우안 특징의 제2 점수를 결정할 때, 사전 훈련된 신경망을 통하여 결정할 수 있는 바, 예를 들면 주의력 네트워크를 통하여 결정할 수 있는 바, 즉

안면 특징과 좌안 특징을 주의력 네트워크에 입력하고, 주의력 네트워크의 처리를 거쳐 좌안 특징의 제1 점수를 취득하며, 또한 안면 특징과 우안 특징을 주의력 네트워크에 입력하고, 주의력 네트워크의 처리를 거쳐 우안 특징의 제2 점수를 취득한다.

여기에서 제1 점수와 제2 점수에 기반하여 제1 가중치와 제2 가중치를 결정하는 것은 또한 주의력 네트워크 처리를 통하여 취득한 것일 수 있다. 제1 점수는 좌안 이미지가 시선 방향을 결정할 때의 기여를 표시할 수 있고, 사전 테스트를 통하여 알 수 있는바와 같이, 당해 제1 점수는 얼굴 특징 및 좌안 특징과 모두 연관된다. 제1 점수가 얼굴 특징과 연관된다는 것은 초기 시선 방향을 예측하는 안면 특징이 좌안 특징의 점수에 영향을 미칠 수 있다는 것을 가리킨다. 그리고 제1 점수가 좌안 특징과 관련된다는 것은 즉 좌안 형상, 외관 등도 좌안 특징의 점수에 영향을 미칠 수 있다는 것이다. 구체적으로, 주의력 네트워크는 안면 특징과 좌안 특징을 수신한 후, 이하의 공식(2)에 따라 제1 점수를 결정할 수 있다.

(2);

여기에서의

은 좌안 특징에 대응하는 제1 점수를 표시하며;

,

와

은 주의력 네트워크 중 네트워크 파라미터, 즉 주의력 네트워크가 훈련 완료 후 취득한 네트워크 파라미터이며;

는 안면 특징을 표시하며;

은 좌안 특징을 표시한다.

상응하게, 제2 점수는 우안 이미지가 시선 방향을 결정할 때의 기여를 표시할 수 있고, 사전 테스트를 통하여 알 수 있는바와 같이, 당해 제2 점수는 얼굴 특징 및 우안 특징과 모두 연관된다. 제2 점수가 얼굴 특징과 연관된다는 것은 초기 시선 방향을 예측하는 안면 특징이 우안 특징의 점수에 영향을 미칠 수 있다는 것을 가리킨다. 그리고 제2 점수가 우안 특징과 관련된다는 것은 즉 우안 형상, 외관 등도 우안 특징의 점수에 영향을 미칠 수 있다는 것이다. 구체적으로, 주의력 네트워크는 안면 특징과 우안 특징을 수신한 후, 이하의 공식(3)에 따라 제2 점수를 결정할 수 있다.

(3);

여기에서의

은 우안 특징에 대응하는 제2 점수를 표시하며;

,

와

는 안면 특징을 표시하며;

은 우안 특징을 표시한다.

좌안 특징에 대응하는 제1 점수 및 우안 특징에 대응하는 제2 점수를 취득한 후, 진일보로 당해 제1 점수와 제2 점수에 기반하여 좌안 특징에 대응하는 제1 가중치와 우안 특징에 대응하는 제2 가중치를 결정할 수 있는 바, 구체적으로 이하의 공식(4)에 기반하여 제1 가중치와 제2 가중치를 결정할 수 있다.

(4);

그 중에서, 여기에서는 정규화 지수 함수 softmax 함수를 도입하는 것을 통하여 좌안 특징에 대응하는 제1 가중치를 표시하는

및 우안 특징에 대응하는 제2 가중치를 표시하는

을 취득할 수 있다.

위에서 좌안 특징 및 우안 특징 각자에 대응하는 가중치를 결정하는 과정 개략도는 도 4에 도시된 바와 같을 수 있고, 도 4에서는 각각 심층 신경망(DNN)을 통하여 좌안 특징

과 우안 특징

을 취득하고, 그 후 진일보로 안면 특징

, 좌안 특징

및 우안 특징

을 주의력 네트워크에 입력하여, 좌안 특징에 대응하는 제1 가중치

및 우안 특징에 대응하는 제2 가중치

을 취득할 수 있다.

S304: 제1 가중치 및 제2 가중치에 기반하여, 좌안 특징과 우안 특징에 대하여 가중 합산을 실행하여 안부 특징을 취득한다.

여기에서 주의력 네트워크를 통하여 제1 가중치와 제2 가중치에 기반하여, 좌안 특징과 우안 특징에 대하여 가중 합산을 실행하여 안부 특징을 취득하는 단계를 실행할 수 있다. 좌안 특징에 대응하는 제1 가중치 및 우안 특징에 대응하는 제2 가중치를 취득한 후, 좌안 특징과 우안 특징에 대하여 가중 합산을 실행할 수 있는 바, 구체적으로 이하의 공식(6)에 기반하여 안부 특징

를 취득한다.

(6);

본 출원의 실시예는 안면 특징과 좌안 특징을 결합하고, 또한 안면 특징과 우안 이미지를 결합하는 것을 통하여, 각각 좌안 이미지와 우안 이미지의 시선 방향 결정 시의 서로 다른 기여를 결정하여, 정확도가 비교적 높은 안부 특징을 결정하고, 나아가 시선 잔차 정보의 정확도를 향상시킨다.

상기 방식에 따라 안면 특징과 안부 특징을 취득한 후, 진일보로 안면 특징과 안부 특징에 기반하여 목표 객체의 시선 방향을 결정할 수 있다. 목표 객체의 시선 방향을 결정하는 것은 두 부분을 포함할 수 있는 바, 제1 부분은 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하는 과정이고, 제2 부분은 안면 특징과 안부 특징을 융합한 후의 특징에 기반하여 목표 객체의 시선 잔차 정보를 예측하는 과정이다.

그 중에서, 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측할 때, 도 5에 도시된 바와 같이, 이하의 S501~S502 단계를 포함할 수 있다.

S501: 안면 특징 중 각 특징 포인트의 가중치를 결정하고, 또한 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 안면 특징에 대하여 조정을 실행하며;

S502: 조정 후의 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 결정한다.

안면 특징은 복수의 특징 포인트를 포함할 수 있고, 특징 포인트는 안면 이미지로부터 추출한 서로 다른 조립도 특징으로 이해할 수 있으며, 이러한 조립도 특징은 예를 들면 안면 이미지 중의 영역 특징, 위치점 특징 등을 포함할 수 있다. 안면 특징 중의 각 특징 포인트가 초기 시선 방향을 예측할 때 일으키는 중요도가 다르다. 여기에서 우선 각 특징 포인트의 가중치에 기반하여 안면 특징에 대하여 조정을 실행하고, 그 후 다시 조정 후의 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 결정할 수 있다.

여기에서 안면 특징에 대하여 조정을 실행할 때, 사전 훈련된 신경망을 통하여 조정을 실행할 수 있는 바, 추후 상세한 설명을 하도록 한다.

조정 후의 안면 특징을 취득한 후, 도 6에 도시된 방식에 기반하여 안면 특징과 안부 특징에 기반하여 융합 후의 특징을 결정할 수 있는 바, 구체적으로 이하의 S601~S602 단계를 포함한다.

S601: 조정 후의 안면 특징, 안부 특징 및 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 기반하여 중간 특징을 결정한다.

S602: 중간 특징, 조정 후의 안면 특징 및 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 중간 특징과 조정 후의 안면 특징에 대하여 가중 합산을 실행하여 융합 후의 특징을 취득한다.

여기에서의 중간 특징은 사전 훈련된 신경망을 통하여 결정을 할 수 있고, 당해 중간 특징과 조정 후의 안면 특징을 통하여 안면 특징과 안부 특징을 융합한 후의 특징을 결정할 수 있다.

위의 안면 특징에 대하여 조정을 실행하여 조정 후의 안면 특징을 취득하는 과정, 및 안면 특징과 안부 특징을 융합한 후의 특징을 취득하는 과정은, 모두 사전 훈련된 신경망을 통하여 처리를 할 수 있는 바, 예를 들면 게이트 네트워크를 통하여 처리를 실행한다. 조정 후의 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 결정하는 것도 사전 훈련된 신경망에 기반하여 결정할 수 있는 바, 추후 상세한 설명을 하도록 한다.

본 출원의 실시예에서, 이하의 단계에 따라 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정할 수 있는 바,

안부 특징과 조정 후의 안면 특징에 기반하여 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정한다.

여기에서 가중치를 결정하는 방식은 사전 설정된 가중치 할당 방식에 따라 결정하는 것일 수도 있고, 또한 사전 훈련된 신경망을 통하여 결정할 수도 있는 바, 추후 상세한 설명을 하도록 한다.

본 출원의 실시예에서, 이하의 단계에 따라 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는 바,

안부 특징과 조정 후의 안면 특징에 기반하여 중간 특징과 조정 후의 안면에 각각 대응하는 가중치를 결정한다.

마찬가지로, 여기에서 가중치를 결정하는 방식은 사전 설정된 가중치 할당 방식에 따라 결정할 수도 있고, 또한 사전 훈련된 신경망을 통하여 결정할 수도 있는 바, 추후 상세한 설명을 하도록 한다.

초기 시선 방향의 결정 과정 및 안면 특징과 안부 특징을 융합한 후의 특징의 결정 과정을 소개하기 전, 우선 게이트 네트워크를 소개하도록 한다. 우선, 여기에서 게이트 네트워크의 개념을 도입하도록 한다. 게이트 네트워크는 본 출원의 실시예에서 제출한 사전 훈련된 시선 방향 예측을 하는 신경망에서, 수신된 특징에 대하여 필터링과 선별을 하는 역할을 하는 바, 즉 중요 특징의 가중치를 크게 조정하고, 중요하지 않은 가중치를 작게 조정하며, 구체적으로 하기에서 실시예에 결부시켜 구체적인 설명을 할 것이며, 여기에서 우선 공식(7)~공식(10)을 결부시켜 게이트 네트워크의 특징 변화 방식을 소개하도록 한다.

(7);

(8);

(9);

(10);

그 중에서,

,

는 게이트 네트워크 중의 네트워크 파라미터이며;

는 sigmoid 연산을 표시하며; ReLU는 활성화 함수를 표시하며;

는 수신된 상응한 특징(안면 특징에 대하여 처리를 할 때, 여기에서의

는 안면 특징을 표시하고, 안부 특징에 대하여 처리를 할 때, 여기에서의

는 안부 특징을 표시함)을 표시하며;

는 sigmoid 연산을 거친 후 취득한 가중치를 표시하며;

는 게이트 네트워크에 입력된 특징에 대하여 융합을 실행한 후 취득한 중간 특징을 표시하며;

는 중간 특징과 인접된 게이트 네트워크가 출력한 특징의 가중 합을 표시하며,

을 0으로 설정한다.

본 출원의 실시예는 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하는 것, 및 안면 특징과 안부 특징을 융합한 후의 특징에 기반하여 목표 객체의 시선 잔차 정보를 예측하는 것을 결정하여야 한다. 본 출원의 실시예는 두 개 게이트 네트워크를 도입하여 각각 특징의 필터링과 선별을 할 수 있는 바, 각각 제1 게이트 네트워크와 제2 게이트 네트워크로 표시할 수 있으며, 제1 게이트 네트워크가 출력하는 특징을

로 표시하고, 제2 게이트 네트워크가 출력하는 특징을

로 표시할 수 있으며, 아래 구체적인 실시예를 결부시켜 설명을 하도록 한다. 우선 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하는 과정을 소개하는 바, 여기에서 우선 제1 게이트 네트워크를 통하여 안면 특징에 대하여 가중치 조정을 실행하여 조정 후의 안면 특징

을 취득하고, 그 후 다시 조정 후의 안면 특징

에 기반하여 초기 시선 방향을 예측할 수 있는 바, 구체적으로 이하의 단계를 포함한다.

(1) 안면 특징을 제1 게이트 네트워크에 입력하고, 제1 게이트 네트워크의 처리를 거쳐 안면 특징 중 각 특징 포인트의 가중치를 취득한다.

여기에서의 안면 특징은 복수의 특징 포인트를 포함할 수 있다. 여기에서의 특징 포인트는 안면 이미지 중 서로 다른 조립도 특징으로 이해할 수 있으며, 이러한 조립도 특징은 안면 이미지 중의 영역 특징, 위치점 특징 등을 포함할 수 있다. 안면 특징 중의 각 특징 포인트가 초기 시선 방향을 예측할 때 일으키는 중요도가 다르다. 여기에서 제1 게이트 네트워크를 통하여 안면 특징 중 각 특징 포인트의 가중치를 결정한다. 여기에서의 제1 게이트 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 안부 특징을 조정하기 위한 서브 신경망이다.

여기에서 제1 게이트 네트워크가 안면 특징 중 각 특징 포인트의 가중치를 취득하는 것은 상기 공식(7)과 공식(8)을 통하여 취득할 수 있다. 제1 게이트 네트워크가 최종 출력하는 것이

이기 때문에, 공식(7)과 공식(8)을 인용할 때,

,

가 되도록 하고, 이때

, 및

를 취득하고, 그 후 취득한

과

에 기반하여 진일보로 안면 특징에 대하여 조정을 실행할 수 있는 바, 여기에서의

은 0이다.

(2) 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 안면 특징에 대하여 조정을 실행한다.

여기에서 또한 제1 게이트 네트워크를 통하여 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 안면 특징에 대하여 조정을 실행할 수도 있다. 상기 취득한 안면 특징 중 각 특징 포인트의 가중치

을 상기 공식(9)에 대입하고, 또한

,

가 되도록 하여, 안면 특징의 중간 특징

를 취득하며, 또한 상기 취득한 안면 특징의 중간 특징의 가중치

및 인접된 게이트 네트워크가 출력한 특징

에 대응하는 가중치

을 상기 공식(10)에 대입하고, 또한

,

가 되도록 하여 조정 후의 안면 특징

을 취득하며, 여기에서

은 0이다.

(3) 조정 후의 안면 특징을 제1 다층 퍼셉트론(multilayer perception, MLP)에 입력하고, 제1 다층 퍼셉트론의 처리를 거쳐 목표 객체의 초기 시선 방향을 취득한다.

여기에서 제1 다층 퍼셉트론은 사전 훈련된 시선 방향 예측을 하는 신경망 중 초기 시선 방향을 예측하기 위한 서브 신경망이다.

조정 후의 안면 특징을

로 표시하고, 그 후 조정 후의 안면 특징을 제1 다층 퍼셉트론(MLP)에 입력하면, 목표 객체의 초기 시선 방향을 취득할 수 있다.

여기에서 제1 게이트 네트워크가 안면 특징 중 각 특징 포인트의 가중치에 대하여 조정을 실행하는 것을 제출하여, 초기 시선 방향에 영향이 비교적 큰 특징 포인트의 가중치가 초기 시선 방향에 영향이 비교적 작은 특징 포인트의 가중치보다 크게 하고, 이로써 다시 조정 후의 안면 특징을 초기 시선 방향을 예측하는 제1 다층 퍼셉트론에 입력하여 비교적 정확한 초기 시선 방향을 취득한다.

아래, 다시 안면 특징과 안부 특징에 기반하여, 융합 후의 특징을 결정하는 과정을 소개하는 바, 구체적으로,

안부 특징과 조정 후의 안면 특징을 제2 게이트 네트워크로 입력하고, 제2 게이트 네트워크의 처리를 거쳐 융합 후의 특징을 취득하는 것을 포함하며; 제2 게이트 네트워크는 사전 훈련된 시선 방향 예측을 하는 신경망 중 융합 후의 특징을 예측하기 위한 서브 신경망이다.

여기에서 조정 후의 안면 특징은 즉 상기 제1 게이트 네트워크가 출력한

이고, 그 후 다시 당해

과 안부 특징

를 제2 게이트 네트워크에 입력하면, 제2 게이트 네트워크가 출력하는 융합 후의 특징

를 취득할 수 있다.

구체적으로, 안부 특징과 조정 후의 안면 특징을 제2 게이트 네트워크로 입력하고, 제2 게이트 네트워크의 처리를 거쳐 융합 후의 특징을 취득할 때, 이하의 두 단계를 포함한다.

(1) 제2 게이트 네트워크를 통하여, 조정 후의 안면 특징, 안부 특징 및 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 대하여 처리를 하여 중간 특징을 취득하며;

(2) 중간 특징, 조정 후의 안면 특징, 및 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 제2 게이트 네트워크를 통하여 중간 특징과 조정 후의 안면 특징에 대하여 가중 합산을 실행하여 융합 후의 특징을 취득한다.

상기 제(1) 단계에 대하여, 여기에서 조정 후의 안면 특징 중 각 특징 포인트의 가중치는 이하의 방식에 기반하여 결정할 수 있는 바, 즉

제2 게이트 네트워크를 통하여 안부 특징과 조정 후의 안면 특징에 대하여 제1 처리를 하여 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 취득하는 바, 여기에서 제2 게이트 네트워크는 제1 처리를 할 때 훈련된 가중치 할당 함수 중의 제1 네트워크 파라미터 정보를 사용한다.

여기에서 제2 게이트 네트워크를 통하여 조정 후의 안면 특징

과 안부 특징

에 대하여 제1 처리를 하여 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 취득할 때, 상기 공식(8)을 인용할 수 있고, 여기에서

,

가 되게 하면, 안면 특징 중 각 특징 포인트의 가중치

를 취득할 수 있으며, 당해 공식은 상기 언급된 제2 게이트 네트워크가 안부 특징과 조정 후의 안면 특징에 대하여 실행하는 제1 처리에 대응되고, 그 중에서 가중치 할당 함수는

가 표시하는 sigmoid 연산이며; 제1 네트워크 파라미터 정보는

이다.

안면 특징 중 각 특징 포인트의 가중치를 취득한 후, 공식(9)를 도입하여 조정 후의 안면 특징, 안부 특징 및 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 대하여 처리를 하여 중간 특징을 취득하는 바, 취득한 중간 특징은

이다.

상기 제(2) 단계에 대하여, 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치는 이하의 방식에 기반하여 결정할 수 있는 바, 즉

안부 특징과 조정 후의 안면 특징에 대하여 제2 처리를 하여 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치를 취득하는 바, 여기에서 제2 게이트 네트워크는 제2 처리를 할 때 훈련된 가중치 할당 함수 중의 제2 네트워크 파라미터 정보를 사용한다.

조정 후의 안면 특징

과 안부 특징

에 대하여 제2 처리를 하여 중간 특징과 조정 후의 안면 특징

에 각각 대응하는 가중치를 취득하는 것은, 상기 공식(7)을 인용할 수 있고, 또한

,

가 되게 하면, 중간 특징에 대응하는 가중치

를 취득할 수 있으며, 당해 공식은 상기 언급된 제2 게이트 네트워크가 안부 특징과 조정 후의 안면 특징에 대하여 실행하는 제2 처리에 대응되고, 그 중에서 가중치 할당 함수는

가 표시하는 sigmoid 연산이며; 제2 네트워크 파라미터 정보는

이며; 이렇게 취득한 중간 특징에 대응하는 가중치는

이고, 조정 후의 안면 특징

에 대응하는 가중치는

이다.

그 후 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치를 취득한 후, 진일보로 상기 공식(10)을 도입하고, 마찬가지로

,

가 되게 하면, 중간 특징, 조정 후의 안면 특징, 및 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 제2 게이트 네트워크를 통하여 중간 특징과 조정 후의 안면 특징에 대하여 가중 합산을 실행하여, 안면 특징과 안부 특징을 융합한 후의 특징

를 취득한다.

안면 특징과 안부 특징을 융합한 후의 특징을 취득한 후, 이하의 방식에 따라 안면 특징과 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득할 수 있는 바, 즉

융합 후의 특징을 제2 다층 퍼셉트론(MLP)에 입력하고, 제2 다층 퍼셉트론의 처리를 통하여 시선 잔차 정보를 취득한다. 그 중에서, 제2 다층 퍼셉트론은 사전 훈련된 시선 방향 예측을 하는 신경망 중 시선 잔차 정보를 예측하기 위한 서브 신경망이다.

여기에서 융합 후의 특징을

로 표시하고, 그 후 융합 후의 특징을 제2 다층 퍼셉트론(MLP)에 입력하면, 목표 객체의 시선 잔차 정보를 취득할 수 있다.

위에서 초기 시선 방향 결정 및 시선 잔차 정보 결정 과정의 개략도는 도 7에 도시된 두 서브 신경망을 통하여 결정할 수 있다. 그 중에서, 제1 서브 신경망은 제1 게이트 네트워크(Gate function)와 제1 다층 퍼셉트론(MLP)를 포함하고, 제2 서브 신경망은 제2 게이트 네트워크(Gate function)와 제2 다층 퍼셉트론(MLP)를 포함한다. 안면 특징(Face feature)을 제1 게이트 네트워크에 입력한 후, 제1 게이트 네트워크의 조정을 거쳐 조정한 후의 안면 특징

을 취득할 수 있다. 당해 조정 후의 안면 특징

은 일 양태로 제1 다층 퍼셉트론에 입력하여 초기 시선 방향

를 취득하고, 다른 일 양태로 안부 특징(Eye feature)과 함께 제2 게이트 네트워크에 입력하여, 제2 게이트 네트워크의 처리를 거쳐 안면 특징과 안부 특징을 융합한 후의 특징

를 취득한다. 그 후 융합 후의 특징

를 제2 다층 퍼셉트론에 입력하여 시선 잔차 정보

을 취득한다.

위에서는 안부 특징과 제1 게이트 네트워크를 거쳐 조정한 후의 안면 특징을 제2 게이트 네트워크에 입력하는 것을 통하여, 안면 특징과 안부 특징을 융합한 후의 특징을 결정한다. 당해 융합 후의 특징은 안면 이미지와 안부 이미지를 종합적으로 고려한 후 취득한 것이기 때문에, 당해 융합 후의 특징을 통하여 목표 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 결정하기 편리하게 한다. 당해 차이에 기반하여 초기 시선 방향에 대하여 수정을 수행한 후, 비교적 정확한 시선 방향을 취득할 수 있다.

상기 모든 실시예에 따르면, 도 8에 도시된 개략도를 결부시켜 본 출원에서 제공하는 시선 방향 결정 방법에 대하여 설명을 할 수 있다.

안면 이미지를 취득한 후, 당해 안면 이미지 내에서 안부 이미지를 캡쳐하는 바, 당해 안부 이미지는 좌안 이미지와 우안 이미지를 포함한다. 안면 이미지를 제1 특징 추출 네트워크(CNN)에 입력하여 안면 특징

를 취득한다. 그 후, 당해 안면 특징을 상기 언급된 제1 서브 신경망(제1 서브 신경망은 제1 게이트 네트워크와 제1 다층 퍼셉트론 포함)에 입력하여 처리를 하여 초기 시선 방향

를 취득할 수 있다. 그리고, 캡쳐한 안부 이미지 중의 좌안 이미지를 제2 특징 추출 네트워크에 입력하여 좌안 특징

을 취득하고, 우안 이미지를 제3 특징 추출 네트워크에 입력하여 우안 특징

을 취득한다. 그 후, 좌안 특징, 우안 특징과 안면 특징을 주의력 네트워크에 입력하여 안부 특징

를 취득할 수 있다. 그 후, 안부 특징과 초기 시선 방향을 예측하는 서브 신경망을 통해 취득한 조정 후의 안면 특징

을 제2 서브 신경망(제2 서브 신경망은 제2 게이트 네트워크와 제2 다층 퍼셉트론 포함)에 입력하여 처리를 하여 시선 잔차 정보

을 취득할 수 있다.

진일보로, 초기 시선 방향

와 시선 잔차 정보

을 취득하면, 시선 잔차 정보

에 기반하여 초기 시선 방향에 대하여 수정을 수행하여, 목표 객체의 시선 방향을 취득할 수 있다.

요약하면, 본 출원의 실시예에서 제출한 시선 방향 결정 방법은 신경망이 구현하고, 신경망은 목표 샘플 객체의 표기 시선 방향을 포함하는 샘플 이미지를 이용하여 훈련 취득한다. 당해 표기 시선 방향은 목표 샘플 객체의 실제 시선 방향이다.

구체적으로, 도 9에 도시된 바와 같이, 본 출원의 실시예에서 제출한 시선 방향을 결정하기 위한 신경망은 이하의 단계를 사용하여 훈련 취득할 수 있는 바, S901~S906 단계를 포함한다.

S901: 샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득한다.

여기에서 목표 샘플 객체는 각각 서로 다른 공간 위치점에 위치하는 복수의 목표 객체를 포함할 수 있다. 이로써 이 복수의 목표 객체는 모두 동일한 관측 방향을 바라보고, 또한 이러한 목표 샘플 객체의 안면 이미지를 취득하여 안면 샘플 이미지로 한다. 그 후 안면 샘플 이미지에서 안부 샘플 이미지를 캡쳐한다. 또는 여기에서의 목표 샘플 객체는 하나의 목표 객체를 포함할 수 있다. 이로써 당해 목표 샘플 이미지가 각각 서로 다른 관측 방향을 바라보고, 또한 당해 목표 샘플 객체의 각 관측 방향에 대응하는 안면 이미지를 취득하여 안면 샘플 이미지로 하며, 그 후 안면 샘플 이미지 중에서 안부 샘플 이미지를 절취한다.

S902: 안면 샘플 이미지 중에서 목표 샘플 객체의 안면 특징을 추출한다.

여기에서 안면 샘플 이미지에서 목표 샘플 객체의 안면 특징을 추출하는 것은 위에서 소개한 목표 객체의 안면 특징을 추출하는 방식과 유사하며, 여기에서는 상세한 설명을 생략하도록 한다.

S903: 목표 샘플 객체의 안면 특징과 안부 샘플 이미지에 기반하여 목표 샘플 객체의 안부 특징을 결정한다.

121여기에서 목표 샘플 객체의 안부 특징을 결정하는 것은 위에서 소개한 목표 객체의 안부 특징을 결정하는 방식과 유사하며, 여기에서는 상세한 설명을 생략하도록 한다.

S904: 목표 샘플 객체의 안면 특징에 기반하여 목표 샘플 객체의 초기 시선 방향을 예측하며, 또한 목표 샘플 객체의 안면 특징과 목표 샘플 객체의 안부 특징을 융합한 후의 특징에 기반하여, 목표 샘플 객체의 시선 잔차 정보를 예측하여 취득한다.

마찬가지로, 여기에서 목표 샘플 객체의 초기 시선 방향 및 시선 잔차 정보를 결정하는 것은 위에서 목표 객체의 초기 시선 방향 및 시선 잔차 정보를 결정하는 방식과 유사하며, 여기에서는 상세한 설명을 생략하도록 한다.

S905: 목표 샘플 객체의 시선 잔차 정보에 기반하여 목표 샘플 객체의 초기 시선 방향에 대하여 수정을 수행하여, 목표 샘플 객체의 시선 방향을 취득한다.

여기에서 목표 샘플 객체의 초기 시선 방향에 대하여 수정을 수행하는 방식은 위에서 소개한 목표 객체의 시선 잔차 정보에 기반하여 목표 객체의 초기 시선 방향에 대하여 수정을 수행하는 방식과 유사하며, 여기에서는 상세한 설명을 생략하도록 한다.

S906: 취득한 목표 샘플 객체의 시선 방향과 목표 샘플 객체의 표기 시선 방향에 기반하여, 신경망의 네트워크 파라미터 값에 대하여 조정을 실행한다.

여기에서 손실 함수를 도입하여 예측한 시선 방향에 대응하는 손실값을 결정할 수 있다. 여러 회 훈련을 거친 후, 손실값을 통하여 신경망의 네트워크 파라미터 값에 대하여 조정을 실행한다. 예를 들면 손실값이 설정 임계값보다 작을 때, 훈련을 정지하여 신경망의 네트워크 파라미터 값을 취득할 수 있다.

그리고, 어떻게 안면 특징, 좌안 특징, 우안 특징과 주의력 네트워크에 기반하여 안부 특징을 취득할 것인가 하는 것은, 위에서 소개한 시선 방향 결정 방법 중 안부 특징을 결정하는 상세한 과정과 유사하며, 여기에서는 상세한 설명을 생략하도록 하며; 어떻게 안면 특징에 기반하여 목표 샘플 객체의 초기 시선 방향을 결정할 것인지, 어떻게 안면 특징과 안부 특징에 기반하여 융합 후의 특징을 결정할 것인지, 어떻게 융합 후의 특징에 기반하여 목표 샘플 객체의 시선 잔차 정보를 결정할 것인지는 마찬가지로 위에서 소개한 시선 방향 결정 방법 중 융합 후의 특징을 결정하는 것과 시선 잔차 정보를 결정하는 과정과 유사하며, 여기에서는 상세한 설명을 생략하도록 한다.

본 출원의 실시예에서 제공하는 신경망의 훈련 방법에 기반하여, 샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득할 수 있다. 그 후, 안면 샘플 이미지에 기반하여 목표 샘플 객체의 안면 특징을 추출하는 바, 당해 목표 샘플 객체의 안면 특징은 목표 샘플 객체의 초기 시선 방향을 예측할 수 있다. 목표 샘플 객체의 안면 특징과 안부 샘플 이미지에 기반하여 목표 샘플 객체의 안부 특징을 결정한 후, 목표 샘플 객체의 안면 특징과 안부 특징을 융합한 후의 특징을 통하여 목표 샘플 객체의 실제 시선 방향과 초기 시선 방향 사이의 차이를 표시하는 정보, 즉 시선 잔차 정보를 예측할 수 있다. 그 후 다시 당해 차이를 표시하는 정보를 통하여 단지 목표 샘플 객체의 안면 특징에 기반하여 예측한 초기 시선 방향을 조정하는 바, 즉 목표 샘플 객체의 표기 시선 방향에 더욱 근접한 시선 방향을 취득할 수 있다. 취득한 시선 방향과 표기 시선 방향에 기반하여, 신경망의 네트워크 파라미터 값에 대하여 조정을 실행하여, 즉 정확도가 더욱 높은 신경망을 취득할 수 있다. 당해 정확도가 비교적 높은 신경망에 기반하면 목표 객체의 시선 방향에 대하여 정확한 예측을 할 수 있다.

당업계의 기술자들은 구체적인 실시방식의 상기 방법에서, 각 단계의 기술 순서는 엄격한 실행 순서를 뜻하여 실시 과정을 제한하는 것이 아니고, 각 단계의 구체적인 실행 순서는 그 기능과 가능한 내재적 논리에 기반하여 결정되어야 하는 것을 이해해야 한다.

동일한 기술 사상에 기반하여, 본 출원의 실시예에서는 또한 상기 시선 방향 결정 방법에 대응하는 시선 방향 결정 장치를 제공하고, 본 출원의 실시예 중의 시선 방향 결정 장치가 문제를 해결하는 원리는 본 출원의 실시예의 상기 시선 방향 결정 방법과 유사하기 때문에, 장치의 실시는 방법의 실시를 참조할 수 있고, 중복되는 부분에 대해서는 상세한 설명을 생략하도록 한다.

도 10에 도시된 것은 본 출원의 실시예에서 제공하는 일 시선 방향 결정 장치(1000)의 개략도이고, 당해 시선 방향 결정 장치(1000)는 이미지 취득 모듈(1001), 특징 추출 모듈(1002), 시선 예측 모듈(1003), 시선 수정 모듈(1004)을 포함한다.

그 중에서, 이미지 취득 모듈(1001)은 목표 객체의 안면 이미지와 안부 이미지를 취득한다.

특징 추출 모듈(1002)은 안면 이미지 내에서 목표 객체의 안면 특징을 추출하며, 또한 목표 객체의 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정한다.

시선 예측 모듈(1003)은 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하며, 또한 안면 특징과 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득한다.

시선 수정 모듈(1004)은 시선 잔차 정보에 기반하여 초기 시선 방향에 대하여 수정을 수행하여, 목표 객체의 시선 방향을 취득한다.

가능한 일 실시 형태에 있어서, 안부 이미지는 좌안 이미지와 우안 이미지를 포함하고, 특징 추출 모듈(1002)은 목표 객체의 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정할 때, 이하의 조작을 하는 바, 즉 좌안 이미지에서 좌안 특징을 추출하며; 우안 이미지에서 우안 특징을 추출하며; 안면 특징, 좌안 특징 및 우안 특징에 기반하여, 좌안 특징에 대응하는 제1 가중치와 우안 특징에 대응하는 제2 가중치를 결정하며; 제1 가중치 및 제2 가중치에 기반하여, 좌안 특징과 우안 특징에 대하여 가중 합산을 실행하여 안부 특징을 취득한다.

가능한 일 실시 형태에 있어서, 특징 추출 모듈(1002)은 안면 특징, 좌안 특징 및 우안 특징에 기반하여, 좌안 특징에 대응하는 제1 가중치와 우안 특징에 대응하는 제2 가중치를 결정할 때, 이하의 조작을 하는 바, 즉 안면 특징과 좌안 특징에 기반하여 좌안 특징의 제1 점수를 결정하며, 또한 안면 특징과 우안 특징에 기반하여 우안 특징의 제2 점수를 결정하며; 제1 점수와 제2 점수에 기반하여 제1 가중치와 제2 가중치를 결정한다.

가능한 일 실시 형태에 있어서, 시선 예측 모듈(1003)은 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측할 때, 이하의 조작을 하는 바, 즉 안면 특징 중 각 특징 포인트의 가중치를 결정하고, 또한 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 안면 특징에 대하여 조정을 실행하며; 조정 후의 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 결정한다.

가능한 일 실시 형태에 있어서, 시선 예측 모듈(1003)은 이하의 방식에 따라, 안면 특징과 안부 특징에 기반하여 융합 특징을 결정하는 바, 즉 조정 후의 안면 특징, 안부 특징 및 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 기반하여 중간 특징을 결정하며; 중간 특징, 조정 후의 안면 특징, 및 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 중간 특징과 조정 후의 안면 특징에 대하여 가중 합산을 실행하여 융합 특징을 취득한다.

가능한 일 실시 형태에 있어서, 시선 예측 모듈(1003)은 이하의 방식에 따라 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는 바, 즉 안부 특징과 상기 조정 후의 안면 특징에 기반하여 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정한다.

가능한 일 실시 형태에 있어서, 시선 예측 모듈(1003)은 이하의 방식에 따라 중간 특징과 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는 바, 즉 안부 특징과 조정 후의 안면 특징에 기반하여 중간 특징과 조정 후의 안면에 각각 대응하는 가중치를 결정한다.

가능한 일 실시 형태에 있어서, 시선 방향 결정 장치(1000)는 또한 신경망 훈련 모듈(1005)을 포함하고, 신경망 훈련 모듈(1005)은 목표 객체의 시선 방향을 결정하기 위한 신경망을 훈련하고, 신경망은 목표 샘플 객체의 표기 시선 방향을 포함하는 샘플 이미지를 이용하여 훈련하여 취득한다.

가능한 일 실시 형태에 있어서, 신경망 훈련 모듈(1005)은 이하의 방식에 따라 신경망을 훈련시키는 바, 즉 샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득하는 것; 안면 샘플이미지에서 목표 샘플 객체의 안면 특징을 추출하는 것; 목표 샘플 객체의 안면 특징과 안부 샘플 이미지에 기반하여 목표 샘플 객체의 안부 특징을 결정하는 것; 목표 샘플 객체의 안면 특징에 기반하여 목표 샘플 객체의 초기 시선 방향을 예측하며, 또한 목표 샘플 객체의 안면 특징과 목표 샘플 객체의 안부 특징을 융합한 후의 융합 특징에 기반하여, 목표 샘플 객체의 시선 잔차 정보를 예측하여 취득하는 것; 목표 샘플 객체의 시선 잔차 정보에 기반하여 목표 샘플 객체의 초기 시선 방향에 대하여 수정을 수행하여, 목표 샘플 객체의 시선 방향을 취득하는 것; 및 취득한 목표 샘플 객체의 시선 방향과 목표 샘플 객체의 표기 시선 방향에 기반하여, 신경망의 네트워크 파라미터 값에 대하여 조정을 실행하는 것을 포함한다.

장치 중의 각 모듈의 처리 과정 및 각 모듈 사이의 상호작용 과정에 관한 설명은 상기 방법 실시예 중의 관련 설명을 참조할 수 있으며, 여기에서는 상세한 설명을 생략하도록 한다.

도 1 중의 시선 방향 결정 방법에 대응하여, 본 출원의 실시예는 또한 전자 장치를 제공하는 바, 도 11에 도시된 바와 같이, 본 출원의 실시예에서 제공하는 전자 장치(1100)의 개략 구조도로서, 프로세서(1101), 저장 매체(1102)와 버스(1103)를 포함하며; 저장 매체(1102)는 실행 명령을 저장하기 위한 것이고, 메모리(11021)와 외부 기억장치(11022)가 포함되며; 여기에서의 메모리(11021)는 또한 내부 기억장치라 불리고, 잠시 프로세서(1101)의 연산 데이터 및 하드웨어 등 외부 기억장치(11022)와 교환되는 데이터를 저장하기 위한 것이며, 프로세서(1101)는 메모리(11021)를 통하여 외부 기억장치(11022)와 데이터 교환을 하고, 전자 장치(1100)가 작동할 때, 프로세서(1101)와 기억장치(1102) 사이는 버스(1103)를 통하여 통신을 하며, 기계 판독가능 명령이 프로세서(1101)에 의하여 실행될 때 이하의 처리를 실행하는 바, 즉

목표 객체의 안면 이미지와 안부 이미지를 취득하고, 안면 이미지 내에서 목표 객체의 안면 특징을 추출하며; 목표 객체의 안면 특징과 안부 이미지에 기반하여 목표 객체의 안부 특징을 결정하며; 안면 특징에 기반하여 목표 객체의 초기 시선 방향을 예측하며, 또한 안면 특징과 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득하며; 시선 잔차 정보에 기반하여 초기 시선 방향에 대하여 수정을 수행하여, 목표 객체의 시선 방향을 취득한다.

본 출원의 실시예에서는 또한 컴퓨터 판독가능 저장 매체를 제공하는 바, 당해 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 당해 컴퓨터 프로그램이 프로세서에 의하여 실행될 때, 상기 시선 방향 결정 방법 실시예 중의 상기 시선 방향 결정 방법의 단계를 실행하도록 한다. 그 중에서, 당해 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독가능 저장 매체일 수 있다.

본 출원의 실시예에서 제공하는 시선 방향 결정 방법의 컴퓨터 프로그램 제품에는 프로그램 코드가 저장된 컴퓨터 판독가능 저장 매체가 포함되고, 상기 프로그램 코드에 포함된 명령은 상기 방법 실시예에 기재된 상기 시선 방향 결정 방법의 단계를 실행하는 데에 사용될 수 있으며, 구체적인 내용은 상기 실시예를 참조할 수 있으며, 여기에서는 상세한 설명을 생략하도록 한다.

본 출원의 실시예에서는 또한 컴퓨터 프로그램을 제공하는 바, 당해 컴퓨터 프로그램이 프로세서에 기반하여 실행될 경우, 상기 실시예의 임의의 방법을 구현하게 한다. 당해 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 양자의 조합의 방식을 통하여 구현될 수 있다. 일 선택 가능한 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되고, 다른 일 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 제품으로 구현되는 바, 예를 들면 소프트웨어 개발 키트(Software Development Kit, SDK) 등이다.

당업자는 상기의 시스템 및 장치의 구체적인 작업 과정은 방법의 실시예 중의 과정을 참고할 수 있으며, 기술의 편의 및 간결화를 위하여, 여기에서는 반복적으로 설명하지 않음을 명확히 이해할 수 있다. 본 발명에 의해 제공되는 실시예에 제출되는 시스템, 장치 및 방법은 기타 방식을 통하여 실현될 수 있을 이해해야 한다. 상기의 장치의 실시예는 단지 모식적인 것이다. 예를 들면 상기 유닛의 분할은 논리 기능의 분할에 불과한 것에 지나지 않으며, 실제의 구현에서는 기타 분할 방법을 사용할 수 있다. 또한 예를 들면 복수의 유닛 또는 구성 요소는 조합되거나, 별도의 시스템에 통합되거나, 일부의 특징이 생략되거나 실행되지 않을 경우가 있다. 또한 표시 또는 논의된 서로 사이의 결합, 직접 결합 또는 통신 접속은, 몇몇의 통신 인터페이스, 디바이스 또는 유닛의 간접 결합 또는 통신 접속을 사용할 수 있고, 전기적, 기계적 또는 기타 형태일 수 있다.

상기의 분리된 부품으로 설명된 유닛은 물리적으로 분리되어 있는 경우와 물리적으로 분리되지 않은 경우가 있으며, 유닛으로 표시되는 부품은 물리적 유닛일 경우와 그렇지 않을 경우가 있다. 하나의 장소에 배치되거나, 복수의 네트워크 유닛에 분산 배치될 수 있다. 유닛의 일부 또는 전부는 본 발명의 실시예의 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다.

또한, 본 발명의 각 실시예의 각 기능 유닛은 하나의 처리 유닛에 통합되거나, 각 유닛이 물리적으로 단독으로 존재하거나, 또는 두 개 이상의 유닛이 하나의 유닛으로 통합될 수 있다.

상기 기능이 소프트웨어 기능 유닛의 형태로 구현되어, 독립적 제품으로 판매 또는 사용될 경우, 하나의 프로세서에 의해 실행 가능한 비휘발성 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 이러한 이해에 기반하여, 본 발명의 실시예는 본질적으로 소프트웨어 제품의 형태로 구현되거나, 또는 선행 기술에 기여하는 부분 또는 실시 형태의 일부가 소프트웨어 제품의 형태로 구현될 수 있다. 당해 컴퓨터 소프트웨어 제품은 기록 매체에 기록되어, 컴퓨터, 서버, 또는 네트워크 디바이스 등의 컴퓨터 디바이스로 하여금 이하의 다양한 실시 형태에 기재된 방법의 단계의 전부 또는 일부를 실행하기 위한 몇몇의 명령을 포함한다. 전술한 기록 매체는 U 디스크, 이동 하드 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광학 디스크 등의 프로그램 코드를 기록할 수 있는 다양한 매체를 포함한다.

마지막으로 설명하여야 할 바로는, 상기 실시예는 단지 본 출원의 구체적인 실시방식으로서, 본 출원을 설명하기 위한 것에 지나지 않으며 이를 제한하지 않는다, 본 출원의 보호 범위는 이에 제한되지 않고, 전술한 실시예를 참조하여 본 출원에 대하여 상세하게 설명을 하였지만, 본 기술분야를 숙지하고 있는 기술자들은 본 출원에서 제시한 기술 범위 내에서 여전히 상기 실시예에 기재된 기술방안에 대하여 수정을 수행할 수 있거나 또는 쉽게 변화를 유도할 수 있으며, 또는 그 중의 일부 기술 특징에 대하여 등가 교체를 할 수 있으며; 이러한 수정, 변화 또는 등가 교체는 상응한 기술방안이 본질적으로 본 출원 실시예 기술방안의 사상과 범위를 벗어나게 할 수 없으며, 모두 본 출원의 보호 범위에 속한다. 그러므로 본 출원의 보호 범위는 상기 청구항의 보호 범위를 기준으로 하여야 한다.

Claims

시선 방향 결정 방법에 있어서,
목표 객체의 안면 이미지와 안부 이미지를 취득하는 것;
상기 안면 이미지 내에서 상기 목표 객체의 안면 특징을 추출하는 것;
상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정하는 것;
상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측하며, 또한 상기 안면 특징과 상기 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득하는 것; 및
상기 시선 잔차 정보에 기반하여 상기 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 객체의 시선 방향을 취득하는 것을 포함하는
것을 특징으로 하는 시선 방향 결정 방법.
제1항에 있어서,
상기 안부 이미지는 좌안 이미지와 우안 이미지를 포함하고, 상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정하는 것은,
상기 좌안 이미지에서 좌안 특징을 추출하는 것;
상기 우안 이미지에서 우안 특징을 추출하는 것;
상기 안면 특징, 상기 좌안 특징 및 상기 우안 특징에 기반하여, 상기 좌안 특징에 대응하는 제1 가중치와 상기 우안 특징에 대응하는 제2 가중치를 결정하는 것; 및
상기 제1 가중치 및 상기 제2 가중치에 기반하여, 상기 좌안 특징과 상기 우안 특징에 대하여 가중 합산을 실행하여 상기 안부 특징을 취득하는 것을 포함하는
것을 특징으로 하는 시선 방향 결정 방법.
제2항에 있어서,
상기 안면 특징, 상기 좌안 특징 및 상기 우안 특징에 기반하여, 상기 좌안 특징에 대응하는 제1 가중치와 상기 우안 특징에 대응하는 제2 가중치를 결정하는 것은,
상기 안면 특징과 상기 좌안 특징에 기반하여 상기 좌안 특징의 제1 점수를 결정하는 것 또한 상기 안면 특징과 상기 우안 특징에 기반하여 상기 우안 특징의 제2 점수를 결정하는 것; 및
상기 제1 점수와 제2 점수에 기반하여 상기 제1 가중치와 제2 가중치를 결정하는 것을 포함하는
것을 특징으로 하는 시선 방향 결정 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측하는 것은,
상기 안면 특징 중 각 특징 포인트의 가중치를 결정하고, 또한 상기 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 상기 안면 특징에 대하여 조정을 실행하는 것; 및
조정 후의 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 결정하는 것을 포함하는
것을 특징으로 하는 시선 방향 결정 방법.
제4항에 있어서,
상기 안면 특징과 상기 안부 특징에 기반하여 상기 융합 특징을 결정하는 것은,
상기 조정 후의 안면 특징, 상기 안부 특징 및 상기 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 기반하여 중간 특징을 결정하는 것; 및
상기 중간 특징, 상기 조정 후의 안면 특징 및 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 상기 중간 특징과 상기 조정 후의 안면 특징에 대하여 가중 합산을 실행하여 상기 융합 특징을 취득하는 것을 포함하는
것을 특징으로 하는 시선 방향 결정 방법.
제5항에 있어서,
상기 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는 것은,
상기 안부 특징과 상기 조정 후의 안면 특징에 기반하여 상기 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는
것을 특징으로 하는 시선 방향 결정 방법.
제5항에 있어서,
상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는 것은,
상기 안부 특징과 상기 조정 후의 안면 특징에 기반하여 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는
것을 특징으로 하는 시선 방향 결정 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 시선 방향 결정 방법은 신경망을 통해 구현하고, 상기 신경망은 목표 샘플 객체의 표기 시선 방향을 포함하는 샘플 이미지를 이용하여 훈련하여 취득하는
것을 특징으로 하는 시선 방향 결정 방법.
제8항에 있어서,
상기 신경망을 훈련하여 취득하는 것은,
샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득하는 것;
상기 안면 샘플 이미지 내에서 상기 목표 샘플 객체의 안면 특징을 추출하는 것;
상기 목표 샘플 객체의 안면 특징과 상기 안부 샘플 이미지에 기반하여 상기 목표 샘플 객체의 안부 특징을 결정하는 것;
상기 목표 샘플 객체의 안면 특징에 기반하여 상기 목표 샘플 객체의 초기 시선 방향을 예측하며, 또한 상기 목표 샘플 객체의 안면 특징과 상기 목표 샘플 객체의 안부 특징을 융합한 후의 융합 특징에 기반하여, 상기 목표 샘플 객체의 시선 잔차 정보를 예측하여 취득하는 것;
상기 목표 샘플 객체의 시선 잔차 정보에 기반하여 상기 목표 샘플 객체의 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 샘플 객체의 시선 방향을 취득하는 것; 및
취득한 상기 목표 샘플 객체의 시선 방향과 상기 목표 샘플 객체의 표기 시선 방향에 기반하여, 상기 신경망의 네트워크 파라미터 값에 대하여 조정을 실행하는 것을 포함하는
것을 특징으로 하는 시선 방향 결정 방법.
시선 방향 결정 장치에 있어서,
목표 객체의 안면 이미지와 안부 이미지를 취득하는 이미지 취득 모듈;
상기 안면 이미지 내에서 상기 목표 객체의 안면 특징을 추출하며, 또한 상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정하는 특징 추출 모듈;
상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측하며, 또한 상기 안면 특징과 상기 안부 특징을 융합한 후의 융합 특징에 기반하여, 시선 잔차 정보를 예측하여 취득하는 시선 예측 모듈; 및
상기 시선 잔차 정보에 기반하여 상기 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 객체의 시선 방향을 취득하는 시선 수정 모듈을 포함하는
것을 특징으로 하는 시선 방향 결정 장치.
제10항에 있어서,
상기 안부 이미지는 좌안 이미지와 우안 이미지를 포함하고, 상기 특징 추출 모듈은 상기 목표 객체의 안면 특징과 상기 안부 이미지에 기반하여 상기 목표 객체의 안부 특징을 결정할 때,
상기 좌안 이미지에서 좌안 특징을 추출하는 조작;
상기 우안 이미지에서 우안 특징을 추출하는 조작;
상기 안면 특징, 상기 좌안 특징 및 상기 우안 특징에 기반하여, 상기 좌안 특징에 대응하는 제1 가중치와 상기 우안 특징에 대응하는 제2 가중치를 결정하는 조작; 및
상기 제1 가중치 및 상기 제2 가중치에 기반하여, 상기 좌안 특징과 상기 우안 특징에 대하여 가중 합산을 실행하여 상기 안부 특징을 취득하는 조작을 진행하는
것을 특징으로 하는 시선 방향 결정 장치.
제11항에 있어서,
상기 특징 추출 모듈은 상기 안면 특징, 상기 좌안 특징 및 상기 우안 특징에 기반하여, 상기 좌안 특징에 대응하는 제1 가중치와 상기 우안 특징에 대응하는 제2 가중치를 결정할 때,
상기 안면 특징과 상기 좌안 특징에 기반하여 상기 좌안 특징의 제1 점수를 결정하는 조작 또한 상기 안면 특징과 상기 우안 특징에 기반하여 상기 우안 특징의 제2 점수를 결정하는 조작; 및
상기 제1 점수와 제2 점수에 기반하여 상기 제1 가중치와 제2 가중치를 결정하는 조작을 하는
것을 특징으로 하는 시선 방향 결정 장치.
제10항 내지 제12항의 어느 한 항에 있어서,
상기 시선 예측 모듈은 상기 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 예측할 때,
상기 안면 특징 중 각 특징 포인트의 가중치를 결정하고, 또한 상기 안면 특징 중 각 특징 포인트의 가중치에 기반하여, 상기 안면 특징에 대하여 조정을 실행하는 조작; 및
조정 후의 안면 특징에 기반하여 상기 목표 객체의 초기 시선 방향을 결정하는 조작을 하는
것을 특징으로 하는 시선 방향 결정 장치.
제13항에 있어서,
상기 시선 예측 모듈이 상기 안면 특징과 상기 안부 특징에 기반하여 상기 융합 특징을 결정하는 것은,
상기 조정 후의 안면 특징, 상기 안부 특징 및 상기 조정 후의 안면 특징 중 각 특징 포인트의 가중치에 기반하여 중간 특징을 결정하는 것; 및
상기 중간 특징, 상기 조정 후의 안면 특징 및 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치에 기반하여, 상기 중간 특징과 상기 조정 후의 안면 특징에 대하여 가중 합산을 실행하여 상기 융합 특징을 취득하는
것을 특징으로 하는 시선 방향 결정 장치.
제14항에 있어서,
상기 시선 예측 모듈이 상기 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는 것은,
상기 안부 특징과 상기 조정 후의 안면 특징에 기반하여 상기 조정 후의 안면 특징 중 각 특징 포인트의 가중치를 결정하는
것을 특징으로 하는 시선 방향 결정 장치.
제14항에 있어서,
상기 시선 예측 모듈이 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는 것은,
상기 안부 특징과 상기 조정 후의 안면 특징에 기반하여 상기 중간 특징과 상기 조정 후의 안면 특징에 각각 대응하는 가중치를 결정하는
것을 특징으로 하는 시선 방향 결정 장치.
제10항 내지 제16항의 어느 한 항에 있어서,
상기 시선 방향 결정 장치는 또한 신경망 훈련 모듈을 포함하는 바, 상기 신경망 훈련 모듈은,
상기 목표 객체의 시선 방향을 결정하기 위한 신경망을 훈련시키는 - 상기 신경망은 목표 샘플 객체의 표기 시선 방향을 포함하는 샘플 이미지를 이용하여 훈련하여 취득함 -;
것을 특징으로 하는 시선 방향 결정 장치.
제17항에 있어서,
상기 신경망 훈련 모듈이 상기 신경망을 훈련시키는 것은,
샘플 이미지 중의 목표 샘플 객체의 안면 샘플 이미지와 안부 샘플 이미지를 취득하는 것;
상기 안면 샘플 이미지에서 상기 목표 샘플 객체의 안면 특징을 추출하는 것;
상기 목표 샘플 객체의 안면 특징과 상기 안부 샘플 이미지에 기반하여 상기 목표 샘플 객체의 안부 특징을 결정하는 것;
상기 목표 샘플 객체의 안면 특징에 기반하여 상기 목표 샘플 객체의 초기 시선 방향을 예측하며, 또한 상기 목표 샘플 객체의 안면 특징과 상기 목표 샘플 객체의 안부 특징을 융합한 후의 융합 특징에 기반하여, 상기 목표 샘플 객체의 시선 잔차 정보를 예측하여 취득하는 것;
상기 목표 샘플 객체의 시선 잔차 정보에 기반하여 상기 목표 샘플 객체의 초기 시선 방향에 대하여 수정을 수행하여, 상기 목표 샘플 객체의 시선 방향을 취득하는 것; 및
취득한 상기 목표 샘플 객체의 시선 방향과 상기 목표 샘플 객체의 표기 시선 방향에 기반하여, 상기 신경망의 네트워크 파라미터 값에 대하여 조정을 실행하는
것을 특징으로 하는 시선 방향 결정 장치.
전자 장치에 있어서,
프로세서, 비휘발성 저장 매체와 버스를 포함하고, 상기 저장 매체에는 상기 프로세서가 할 있는 기계 판독가능 명령이 저장되며, 상기 프로세서와 상기 저장 매체 사이는 버스를 통하여 통신을 하고, 상기 기계 판독가능 명령이 상기 프로세서가 제1항 내지 제9항 중 어느 한 항에 기재된 상기 시선 방향 결정 방법을 수행하도록 하는
것을 특징으로 하는 전자 장치.
컴퓨터 판독가능 저장 매체에 있어서,
상기 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서가 제1항 내지 제9항 중 어느 한 항에 기재된 상기 시선 방향 결정 방법을 수행하도록 하는
것을 특징으로 하는 컴퓨터 판독가능 저장 매체.