KR20230147237A

KR20230147237A - 골프 타격 모니터링용 시선 추적 시스템 및 방법과 컴퓨터로 판독 가능한 기록매체

Info

Publication number: KR20230147237A
Application number: KR1020220045691A
Authority: KR
Inventors: 석윤찬; 하윤종
Original assignee: 주식회사 비주얼캠프
Priority date: 2022-04-13
Filing date: 2022-04-13
Publication date: 2023-10-23
Also published as: WO2023200038A1

Abstract

골프 타격 모니터링용 시선 추적 시스템 및 방법과 컴퓨터로 판독 가능한 기록매체가 개시된다. 본 발명의 일 실시예에 따른 골프 타격 모니터링용 시선 추적 시스템은 사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득하기 위한 촬영 기기; 및 기 설정된 복수의 타격 이미지 프레임으로 구성된 배치(batch) 단위의 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악하는 시선 추적 장치를 포함한다.

Description

골프 타격 모니터링용 시선 추적 시스템 및 방법과 컴퓨터로 판독 가능한 기록매체{EYE TRACKING SYSTEM AND METHOD FOR GOLF HITTING MONITORING, AND COMPUTER READABLE RECORDING MEDIUM}

개시되는 실시예들은 골프 타격 모니터링용 시선 추적 시스템 및 방법과 컴퓨터로 판독 가능한 기록매체와 관련된다.

골프 이용자가 빠르게 증가함에 따라 사용자들은 단순히 골프를 참여하는 것에 그치지 않고, 골프 성적 향상을 위해 골프 스윙 자세를 교정하는 등 다양한 방법을 적용하고 있는 실정이다.

운동 신경학적으로 골프공을 타격할 때 눈을 감거나 골프공을 정확히 응시하지 않으면 정확도 및 골프헤드 스피드가 증가하지 않을 수 있다. 이에, 골프 스윙 시 사용자의 시선이 골프공을 벗어나지 않는 것은 좋은 성적을 획득하기 위해 매우 중요한 요소 중 하나인 것이다.

상술한 이유로, 운용자는 골프공 타격 시 사용자의 시선을 정확히 파악하여 제공하는 기술의 필요성을 인지하게 되었다.

대한민국 등록 특허공보 제10-0926754호 (2009. 11. 06.)

개시된 실시예들은 골프 스윙 시 사용자가 골프공을 타격하는 시점 전후의 시선정보를 분석하기 위한 골프 타격 모니터링용 시선 추적 시스템 및 방법과 컴퓨터로 판독 가능한 기록매체를 제공하고자 한다.

일 실시예에 따른 골프 타격 모니터링용 시선 추적 시스템은, 사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득하기 위한 촬영 기기; 및 기 설정된 복수의 상기 타격 이미지 프레임으로 구성된 배치(batch) 단위의 상기 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악하는 시선 추적 장치를 포함하고, 상기 시선 추적 장치는 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 복수의 모듈을 포함하고, 상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임을 실행기준에 따라 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리한다.

상기 시선 추적 장치는, 상기 타격 이미지 프레임으로부터 얼굴 영역을 탐색하여 관심 영역(Region of interest)을 지정하는 얼굴 탐색 모듈; 상기 타격 이미지 프레임의 사용자의 얼굴 이미지 내 얼굴의 주요 특징인 복수의 랜드마크 좌표를 파악하는 랜드마크 추출 모듈; 상기 타격 이미지 프레임으로부터 탐색된 얼굴 영역의 위치 및 회전 각도를 기 학습된 얼굴 영역의 위치 및 회전 각도를 기초로 정규화된 공간 상의 얼굴 이미지로 변환하여 정규화하기 위한 이미지 정규화 모듈; 및 사용자의 얼굴 이미지 및 눈동자 이미지를 상기 시선추적 알고리즘에 적용하여 상기 사용자의 시선 예측 정보를 산출하고, 상기 시선 예측 정보에 학습 대상자들의 타격 이미지 프레임으로부터 획득된 최초 시선 예측 정보를 비롯한 정적 캘리브레이션 정보를 포함하는 사전 시선 예측 정보 및 메타 데이터를 반영한 캘리브레이션을 수행하여 최종 시선 예측 정보를 획득하기 위한 시선 추적 모듈을 포함할 수 있다.

상기 메타 데이터는, 카메라 내부 파라미터(camera intrinsic parameters), 사용자의 헤드 포즈(head pose) 및 카메라와의 이격 거리를 포함할 수 있다.

상기 시선 추적 모듈은, 시선예측 알고리즘에 따라 상기 골프공 타격 시점에 상기 타격 이미지 프레임 내 상기 사용자의 3차원 시선 방향 벡터를 추출하고, 상기 3차원 시선 방향 벡터 및 상기 메타 데이터를 이용하여 화면 상에 디스플레이 되는 상기 사용자의 2차원 시선 지점 좌표를 산출하여 상기 시선 예측 정보를 산출하는 시선 예측 모델; 및 블링크 알고리즘에 따라 상기 골프공 타격 시점에 상기 타격 이미지 프레임 내 상기 사용자가 눈을 감았는지 여부를 파악하는 눈 깜빡임 예측 모델을 포함할 수 있다.

상기 시선 예측 모델은, 상기 학습 대상자들의 골프공 타격 상태를 촬영하여 획득된 타격 이미지 프레임으로부터 기 설정된 위치의 골프공 좌표 및 상기 골프공 좌표에 대응되는 상기 학습 대상자들의 상기 최초 시선 예측 정보를 포함하는 상기 사전 시선 예측 정보를 파악할 수 있다.

상기 시선 예측 모델은, 상기 타격 이미지 프레임 내 사용자의 얼굴 영역 위치가 기 설정된 기준 위치와 상이한 경우, 상기 사용자의 얼굴 영역 위치를 상기 기 설정된 기준 위치와 일치하도록 보정하고, 상기 기 설정된 기준 위치는 상기 촬영 기기의 촬영영역 내에서 상기 사용자의 얼굴 이미지를 파악하기 위해 기 설정된 위치일 수 있다.

상기 시선 추적 장치는, 상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임 중 어느 하나의 대상의 상기 실행기준에 따라 병렬 실행이 필요한 대상과 순차 실행이 필요한 대상을 분류하고, 분류 결과에 따라 상기 각 대상을 상기 멀티 스레드 처리 및 상기 싱글 스레드 처리 중 어느 하나로 처리하기 위한 연산 처리 제어부를 더 포함할 수 있다.

상기 연산 처리 제어부는, 상기 복수의 모듈 중 현재 모듈의 처리 시 이전 모듈의 연산 결과가 필요한 경우 상기 현재 모듈에 대해 상기 싱글 스레드 처리로 분류하고, 상기 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 상기 멀티 스레드 처리로 분류할 수 있다.

상기 연산 처리 제어부는, 상기 복수의 타격 이미지 프레임 중 현재 타격 이미지 프레임의 처리 시 이전 타격 이미지 프레임의 연산 결과가 필요한 경우 상기 현재 타격 이미지 프레임에 대해 상기 싱글 스레드 처리로 분류하고, 상기 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 상기 멀티 스레드 처리로 분류할 수 있다.

상기 연산 처리 제어부는, 상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임을 처리하기 위한 복수의 스레드를 포함하고, 상기 복수의 모듈 또는 상기 복수의 타격 이미지 프레임 각각을 적어도 하나 이상의 스레드에 할당할 수 있다.

상기 시선 추적 장치는, 상기 최종 시선 예측 정보, 눈 깜빡임 데이터 및 촬영영역에서의 골프공 위치를 이용하여 상기 골프공 타격 시점의 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 모니터링부를 더 포함할 수 있다.

상기 모니터링부는, 상기 사용자가 골프공의 타격 시점에 상기 골프공을 응시하지 않고 있거나, 또는 눈을 감고 있는 상태인 경우, 기 설정된 알람을 출력할 수 있다.

상기 모니터링부는, 상기 촬영 기기를 통해 획득된 상기 타격 이미지 프레임 내 사용자의 얼굴 영역 위치를 비롯한 촬영 결과가 기 설정된 촬영조건과 일치하지 않는 경우, 상기 촬영 기기의 위치 및 각도와 조명의 위치, 각도 및 밝기를 비롯한 촬영 환경을 조정할 수 있도록 알림을 출력할 수 있다.

상기 타격 이미지 프레임은, 상기 촬영 기기를 통해 촬영되어 배치단위로 상기 시선 추적 장치로 입력되는 비실시간 이미지 프레임일 수 있다.

상기 시선 추적 장치는, 상기 촬영 기기로부터 상기 복수의 타격 이미지 프레임을 수신할 때, 촬영 시간 기준의 이미지 프레임 순서에 따라 상기 복수의 타격 이미지 프레임을 수신할 수 있다.

다른 실시예에 따른 골프 타격 모니터링용 시선 추적 방법은, 촬영 기기가 사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득하는 단계; 시선 추적 장치가 기 설정된 복수의 상기 타격 이미지 프레임으로 구성된 배치(batch) 단위의 상기 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임을 파악하는 단계; 및 상기 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악하는 단계를 포함하고, 상기 시선 추적 장치는 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 복수의 모듈을 포함하고, 상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계에서, 상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임을 실행기준에 따라 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리한다.

상기 골프 타격 모니터링용 시선 추적 방법은, 상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계 이전에, 학습 대상자들의 타격 이미지 프레임을 획득하는 단계; 및 시선 추적 장치가 상기 학습 대상자들의 타격 이미지 프레임으로부터 획득된 최초 시선 예측 정보를 비롯한 정적 캘리브레이션 정보를 포함하는 사전 시선 예측 정보를 생성하는 단계를 더 포함할 수 있다.

상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계는, 사용자의 얼굴 이미지 및 눈동자 이미지를 상기 시선추적 알고리즘에 적용하여 상기 사용자의 시선 예측 정보를 산출하는 단계; 상기 시선 예측 정보에 상기 사전 시선 예측 정보 및 메타 데이터를 반영한 캘리브레이션을 수행하여 최종 시선 예측 정보를 획득하는 단계; 상기 최종 시선 예측 정보, 눈 깜빡임 데이터 및 촬영영역에서의 골프공 위치를 이용하여 상기 골프공 타격 시점의 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계를 포함할 수 있다.

상기 골프 타격 모니터링용 시선 추적 방법은, 상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계에서, 상기 복수의 모듈 중 현재 모듈의 처리 시 이전 모듈의 연산 결과가 필요한 경우 상기 현재 모듈에 대해 상기 싱글 스레드 처리로 분류하고, 상기 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 상기 멀티 스레드 처리로 분류하여 처리할 수 있다.

다른 실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상술한 골프 타격 모니터링용 시선 추적 방법을 실행시키기 위한 프로그램을 기록한다.

개시되는 실시예들에 따르면, 골프 스윙 시 사용자의 시선이 골프공을 정확히 응시했는지 여부 및 사용자가 눈을 감았는지 여부를 파악할 수 있어 사용자의 스윙 분석력을 강화할 수 있다는 효과를 기대할 수 있다.

또한, 개시되는 실시예들은 사용자의 시선 분석 처리를 실행기준에 따라 멀티 스레드 환경 또는 싱글 스레드 환경으로 구분하여 처리하기 때문에, 시선 분석 처리 시의 연산 처리 속도를 향상시킬 수 있다.

또한, 개시되는 실시예들은 사용자의 시선을 객관적으로 분석할 수 있고, 이로 인해 코칭 스태프가 체크하기 힘든 부분까지 체크하여 사용자의 스윙 자세를 효과적으로 교정할 수 있다.

또한, 개시되는 실시예들은 사용자의 스윙 교정에 있어 시선분석 리포팅이 가능하므로 코칭 스태프의 인건비를 절감할 수 있다.

도 1은 일 실시예에 따른 시선 추적 시스템을 설명하기 위한 블록도
도 2는 도 1의 시선 추적 장치를 설명하기 위한 블록도
도 3은 일 실시예에 따른 시선 추적 방법을 개략적으로 설명하기 위한 예시도
도 4는 일 실시예에 따른 실행 모드에 따라 시선 추적 처리를 수행하는 방법을 설명하기 위한 예시도
도 5 내지 도 7은 일 실시예에 따른 시선 추적 방법을 설명하기 위한 예시도
도 8은 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도
도 9는 도 8의 일부를 상세 설명하기 위한 흐름도
도 10은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 일 실시예에 따른 시선 추적 시스템을 설명하기 위한 블록도이고, 도 2는 도 1의 시선 추적 장치를 설명하기 위한 블록도이다.

이하에서는, 일 실시예에 따른 시선 추적 방법을 개략적으로 설명하기 위한 예시도인 도 3, 일 실시예에 따른 실행 모드에 따라 시선 추적 처리를 수행하는 방법을 설명하기 위한 예시도인 도 4 및 일 실시예에 따른 시선 추적 방법을 설명하기 위한 예시도인 도 5 내지 도 7을 참고하여 설명하기로 한다.

도 1을 참고하면, 골프 타격 모니터링용 시선 추적 시스템(이하에서는 '시선 추적 시스템'이라 하기로 함)(1000)은 촬영 기기(100) 및 시선 추적 장치(200)를 포함한다.

촬영 기기(100)는 사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득하기 위한 구성일 수 있다.

이때, 촬영 기기(100)는 사용자의 스윙 시 전체 샷을 촬영하기 위한 촬영 기기, 사용자의 얼굴 이미지 및 눈동자를 촬영하기 위한 촬영 기기, 사용자의 전면을 촬영하기 위한 촬영 기기, 사용자의 사이드를 촬영하기 위한 촬영 기기 및 천장에 설치되어 사용자의 스윙 시 탑 샷을 촬영하기 위한 촬영 기기 등 복수 개일 수 있다. 상기 복수 개의 촬영 기기(100)는 각각의 식별정보가 매칭되어 타격 이미지 프레임을 전달할 때 함께 전송할 수 있다.

시선 추적 장치(200)는 기 설정된 복수의 타격 이미지 프레임으로 구성된 배치(batch) 단위의 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악할 수 있다. 상기 시선추적 알고리즘은 사전 시선 예측, 사용자의 시선 예측, 사용자의 최종 시선 예측 등을 처리하기 위한 시선예측 알고리즘 및 사용자가 눈을 감았는지 여부를 파악하기 위한 블링크(blink) 알고리즘을 포함할 수 있다. 이에 대한 상세 설명은 후술하기로 한다.

이때, 골프공 타격 시점은 실내 스크린 골프장에 구비된 골프기기 또는 실내외 개인용 골프기기 등의 골프기기(미도시)로부터 전달될 수 있다. 이에 한정되지 않고, 시선 추적 장치(200)가 복수의 타격 이미지 프레임을 머신러닝을 적용한 분석 등을 통해 자체적으로 골프공 타격 시점을 파악하는 것 역시 가능하다 할 것이다.

본 실시예에서는 촬영 기기(100)로부터 촬영된 단일 타격 이미지 프레임을 실시간으로 수신하는 것이 아니라, 기 설정된 배치 단위의 복수의 타격 이미지 프레임을 수신하여 시선 추적 처리를 수행하기 때문에, 후술하는 멀티 스레드 방식의 연산 처리를 적용하여 처리 속도 향상 및 시선 추적 정확도를 향상시킬 수 있다는 효과를 기대할 수 있다.

도 5를 참고하면, 시선 추적 장치(200)는 촬영 기기(100)를 통해 사용자의 골프공 타격 시점의 기 설정된 전후의 타격 이미지 프레임을 캘리브레이션 데이터로 수집할 수 있다. 예를 들어, 기 설정된 전후는 테이크어웨이 동작 및 백스윙 동작을 수행하는 시점, 또는 어드레스 동작 및 테이크웨이 동작을 수행하는 시점, 또는 타격전 3초 내지 타격 후 0.5초 등일 수 있으며, 이에 한정되지 않고, 운용자에 의해서 임의로 설정될 수 있다.

상기 타격 이미지 프레임은 촬영 기기(100)를 통해 촬영되어 배치단위로 시선 추적 장치(200)로 입력되는 비실시간 이미지 프레임일 수 있다.

시선 추적 장치(200)는 촬영 기기(100)로부터 복수의 타격 이미지 프레임을 수신할 때, 촬영 시간 기준의 이미지 프레임 순서에 따라 복수의 타격 이미지 프레임을 수신할 수 있다. 즉, 시선 추적 장치(200)는 촬영된 시간 순서에 따라 복수의 타격 이미지 프레임을 수신할 수 있다는 것이다.

시선 추적 장치(200)는 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 복수의 모듈을 포함하고, 복수의 모듈 및 복수의 타격 이미지 프레임을 실행기준에 따라 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리할 수 있다.

도 2를 참고하면, 시선 추적 장치(200)는 얼굴 탐색 모듈(210), 랜드마크 추출 모듈(220), 이미지 정규화 모듈(230), 시선 추적 모듈(240), 연산 처리 제어부(250) 및 모니터링부(260)를 포함한다.

보다 상세히 설명하면, 얼굴 탐색 모듈(210)은 타격 이미지 프레임으로부터 얼굴 영역을 탐색하여 관심 영역(region of interest)을 지정할 수 있다.

즉, 얼굴 탐색 모듈(210)은 배치 단위의 복수의 타격 이미지 프레임 내 얼굴 이미지의 각도와 헤드 포즈를 파악하기 위한 기준점을 생성하는 것이다.

랜드마크 추출 모듈(220)은 타격 이미지 프레임의 사용자의 얼굴 이미지 내 얼굴의 주요 특징인 복수의 랜드마크 좌표를 파악할 수 있다.

구체적으로, 랜드마크 추출 모듈(220)은 사용자 시선 예측을 위한 단초가 되는 얼굴의 위치, 회전, 카메라와의 거리 등의 정보를 알기 위해서 타격 이미지 프레임 내의 얼굴 특징점, 즉 랜드마크들의 좌표를 추출할 수 있다.

이미지 정규화 모듈(230)은 타격 이미지 프레임으로부터 탐색된 얼굴 영역의 위치 및 회전 각도를 기 학습된 얼굴 영역의 위치 및 회전 각도를 기초로 정규화된 공간 상의 얼굴 이미지로 변환하여 정규화 할 수 있다. 도 3에서 도시하는 바와 같이, 이미지 정규 모듈(230)은 카메라 내부 파라미터(camera intrinsic parameters), 사용자의 헤드 포즈(head pose) 및 카메라와의 이격 거리(distance to subject)를 포함하는 메타 데이터를 적용하여 정규화 처리할 수 있다.

외모 기반 시선 예측은 헤드 포즈(head pose), 사용자와 촬영 기기 간의 거리 변동성 등으로 인해 시선 예측에 어려움이 있을 수 있다. 이미지 정규화는 입력된 이미지와 시선 레이블들을 정규화된 공간에 매핑하여 상술한 기하학적 변동성을 제거하기 위한 것이다.

본 실시예에 따른 이미지 정규화 모듈(230)은 헤드 회전 및 이동으로 인한 변동성을 줄임으로써 학습 기반 시선 추정을 위한 훈련 및 테스트 데이터를 정렬할 수 있다.

이미지 정규화 모듈(230)은 임의의 헤드 포즈가 있는 3차원 얼굴 메시(3D face mesh)에서 눈 이미지의 합성을 용이하게 하기 위해 눈 이미지와 시선 방향을 정규화된 공간으로 변환할 수 있다. 이미지 정규화 모듈(230)에 의해서 합성된 이미지는 시선 추적에 사용될 수 있다.

이미지 정규화 모듈(230)은 카메라를 회전하고 눈에서 고정된 거리로 이동시키고 그에 따라 시선 방향을 조정할 수 있다. 정규화된 공간의 타격 이미지 프레임이 동일한 내부 및 외부 카메라 매개변수를 공유한다는 점을 고려하여 이미지 정규화 모듈(230)은 정규화된 공간에서 훈련 및 테스트할 수 있는 것이다.

상술한 이미지 정규화 모듈(230)에 따른 표준화된 입력형태는 시선 예측 모델의 정확성을 높이고, 새로운 사용자의 시선 예측에 대한 일반화 성능을 향상시킬 수 있다.

시선 추적 모듈(240)은 사용자의 얼굴 이미지 및 눈동자 이미지를 시선추적 알고리즘에 적용하여 사용자의 시선 예측 정보를 산출하고, 시선 예측 정보에 학습 대상자들의 타격 이미지 프레임으로부터 획득된 최초 시선 예측 정보를 비롯한 정적 캘리브레이션 정보를 포함하는 사전 시선 예측 정보 및 메타 데이터를 반영한 캘리브레이션을 수행하여 최종 시선 예측 정보를 획득할 수 있다. 이때, 시선 추적 모듈(240)은 시선추적 알고리즘의 시선예측 알고리즘을 적용할 수 있다.

상술한 사용자의 얼굴 이미지 및 눈동자 이미지는 기 수집된 추가 얼굴 이미지 및 눈동자 이미지를 더 포함할 수 있다. 이때, 시선 추적 모듈(240)에 입력되는 사용자의 얼굴 이미지 및 눈동자 이미지는 이미지 정규화 처리 후의 이미지일 수 있다.

도 3을 참고하면, 상기 메타 데이터는 카메라 내부 파라미터(camera intrinsic parameters), 사용자의 헤드 포즈(head pose) 및 카메라와의 이격 거리를 포함할 수 있다.

도 2를 참고하면, 시선 추적 모듈(240)은 시선 예측 모델 및 눈 깜빡임 예측 모델을 포함할 수 있다. 도 3에서 개시하는 바와 같이, 본 실시예에 따른 시선 추적 모듈(240)은 시선 예측 모델(Gaze Model) 및 눈 깜빡임 예측 모델(Blink Model) 이외에 실행기준에 따라 독립적으로 병렬 처리할 수 있는 모듈들을 추가로 포함할 수 있다. 이때, 추가되는 모듈 역시 실행기준에 따라 병렬 처리 이외에 순차 처리 역시 가능할 수 있다.

시선 예측 모델은 학습 대상자들의 골프공 타격 상태를 촬영하여 획득된 타격 이미지 프레임으로부터 기 설정된 위치의 골프공 좌표 및 상기 골프공 좌표에 대응되는 학습 대상자들의 최초 시선 예측 정보를 포함하는 사전 시선 예측 정보를 파악할 수 있다.

시선 추적 모듈(240)은 사전에 정확한 위치를 알고 있는 지점을 기 설정된 시간 동안 학습자가 응시하고 있는 타격 이미지 프레임(타격 영상)의 분석 과정을 통해 사전 시선 예측 정보를 생성할 수 있다. 상기 타격 이미지 프레임에서 시선 예측 모델이 최초로 예측하는 시선정보는 사람들의 공통적인 특성, 조명 등의 촬영조건 하의 일반화된 시선 예측으로, 분석하고자 하는 사용자 개인의 시선 방향과 차이가 있을 수 있다. 이러한 차이는 분석하고자 하는 사용자의 개인적인 특성으로부터 발생하는 값으로 사용자의 시선 예측 과정에서 일관되게 존재하는 개인적인 차이일 수 있다. 본 실시예의 시선 추적 모듈(240)은 사전 시선 예측 처리에서 파악한 개인별 특징 요소를 저장하고, 이후의 사용자의 타격 이미지 프레임별 시선 예측 시 반영하여 캘리브레이션을 수행함에 따라 더욱 정확한 최종 시선 예측 정보를 획득할 수 있다.

도 3을 참고하면, 시선 예측 모델은 시선예측 알고리즘에 따라 골프공 타격 시점에 타격 이미지 프레임 내 사용자의 3차원 시선 방향 벡터(3D gaze direction vector)를 추출하고, 3차원 시선 방향 벡터 및 메타 데이터를 이용하여 화면 상에 디스플레이 되는 사용자의 2차원 시선 지점 좌표를 산출(2D PoG conversion)하여 시선 예측 정보를 산출할 수 있다.

시선 예측 모델은 타격 이미지 프레임 내 사용자의 얼굴 영역 위치가 기 설정된 기준 위치와 상이한 경우, 사용자의 얼굴 영역 위치를 기 설정된 기준 위치와 일치하도록 보정할 수 있다. 상기 기 설정된 기준 위치는 촬영 기기(100)의 촬영영역 내에서 사용자의 얼굴 이미지를 양호한 상태로 획득하기 위해 미리 설정된 위치일 수 있다.

눈 깜빡임 예측 모델은 블링크 알고리즘에 따라 골프공 타격 시점에 타격 이미지 프레임 내 사용자가 눈을 감았는지 여부를 파악할 수 있다. 이때, 블링크 알고리즘은 타격 이미지 프레임 내에서 파악된 눈 이미지를 통해 눈을 감고 있는지 또는 뜨고 있는지 여부를 파악하기 위한 알고리즘일 수 있다.

연산 처리 제어부(250)는 복수의 모듈 및 복수의 타격 이미지 프레임 중 어느 하나의 대상의 실행기준에 따라 병렬 실행이 필요한 대상과 순차 실행이 필요한 대상을 분류할 수 있다. 이때, 병렬 실행은 멀티 스레드 방식으로 처리하는 것을 의미하고, 순차 실행은 싱글 스레드 방식으로 처리하는 것을 의미할 수 있다.

연산 처리 제어부(250)는 분류 결과에 따라 각 대상을 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리할 수 있다.

구체적으로, 연산 처리 제어부(250)는 복수의 모듈 중 현재 모듈의 처리 시 이전 모듈의 연산 결과가 필요한 경우 현재 모듈에 대해 싱글 스레드 처리로 분류하고, 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 멀티 스레드 처리로 분류할 수 있다.

연산 처리 제어부(250)는 복수의 타격 이미지 프레임 중 현재 타격 이미지 프레임의 처리 시 이전 타격 이미지 프레임의 연산 결과가 필요한 경우 현재 타격 이미지 프레임에 대해 싱글 스레드 처리로 분류하고, 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 현재 모듈에 대해 멀티 스레드 처리로 분류할 수 있다. 이러한 이전 연산 결과에 따른 분류 방법이 상술한 실행기준일 수 있다.

즉, 연산 처리 제어부(250)는 현재 타격 이미지 프레임의 처리 시 이전 타격 이미지 프레임에 포함된 정보(예를 들어, 이미지 프레임 및 모듈에 의한 연산 결과)에 의존성을 가지지 않는 타격 이미지 프레임이라면 멀티 스레딩 방식으로 처리할 수 있다.

연산 처리 제어부(250)는 복수의 모듈 및 복수의 타격 이미지 프레임을 처리하기 위한 복수의 스레드를 포함하고, 복수의 모듈 또는 복수의 타격 이미지 프레임 각각을 적어도 하나 이상의 스레드에 할당할 수 있다.

도 4와 같이, 실행되는 스레드들을 스레드 풀에 모아두고 각 스레드에 모듈에서 처리할 태스크(task)를 할당할 수 있다. 멀티 스레딩 방식은 처리해야 할 다수의 태스크들(예를 들어, 타격 이미지 프레임 또는 타격 이미지 프레임에 대한 이전 모듈의 연산 결과)이 존재하는 경우, 그 순서에 상관없이 처리할 태스크들을 가져와 연산하는 워커, 즉 스레드를 다수 구비하는 방식이다.

본 실시예의 연산 처리 제어부(250)의 멀티 스레드 구현 방식은 태스크 기반 멀티 스레딩 개념을 사용하는 것으로서, 한 이미지 프레임을 처리하는 태스크 단위를 다수로 규정할 수 있다. 연산 처리 제어부(250)는 다수의 스레드 중 태스크 처리가 완료된 스레드로 처리할 태스크를 할당하여 연산을 수행하도록 할 수 있다.

일반적으로, 한 이미지 프레임에 대한 모든 모듈 연산 과정을 하나의 스레드에게 할당하고 이런 스레드를 다수 구비하는 멀티 스레드 방식이거나, 각 모듈은 하나의 스레드가 진행할 수 있다.

도 4를 참고하면, 본 실시예의 연산 처리 제어부(250)는 얼굴 탐색 모듈(210), 랜드마크 추출 모듈(220), 이미지 정규화 모듈(230) 및 시선 추적 모듈(240)을 포함하는 복수의 모듈 각각의 다수의 태스크가 다수의 스레드에서 처리하는 멀티 스레딩 방식일 수 있다. 예를 들어, 연산 처리 제어부(250)는 1 모듈에 대한 태스크 1(1-Task 1) 내지 태스크 6(1-Task 6)을 하나의 스레드에만 순차적으로 할당하는 것이 아니라, 특정 태스크(1-Task 3)에 대해 타 스레드 보다 빠르게 착수할 수 있는 스레드로 할당하거나, 또는 태스크 처리가 완료되어 태스크를 보유하고 있지 않은 스레드로 할당하는 것이다. 이에, 연산 처리 제어부(250)는 이미지 프레임의 순서를 맞추는 동기화 처리, 또는 각 스레드의 결과가 잘 완료되도록 확인하는 절차를 수행할 수 있다.

모니터링부(260)는 최종 시선 예측 정보, 눈 깜빡임 데이터 및 촬영영역에서의 골프공 위치를 이용하여 골프공 타격 시점의 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 구성일 수 있다.

도 6은 복수의 타격 이미지 프레임 중 하나를 나타내는 것으로서, 사용자가 응시해야 할 골프공과 이에 대한 사용자의 시선 예측에 관한 이미지를 예로 나타내고 있다. 이때, 1은 골프공으로 이에 대한 평면 상의 좌표는 이미 저장하고 있는 상태이고, 2는 사용자의 시선을 추적하기 위한 촬영 기기(100)로 이에 대한 위치 정보 역시 기 저장된 상태일 수 있다.

모니터링부(260)는 촬영 기기(100)에 의해서 촬영되어 파악된 최종 시선 예측 정보를 통해 촬영 기기(100)의 상대적 위치로부터 골프공의 위치를 기준으로 사용자가 응시하고 있는 영역의 위치(도 6의 3)를 파악할 수 있다. 즉, 3은 사용자의 응시 지점인 것이다.

한편, 캘리브레이션을 위한 사전 시선 예측 처리인 경우, 시선 예측 모델은 1과 3의 차이로부터 학습할 이미지 프레임에 적용될 개인의 특성을 파악할 수 있다.

모니터링부(260)는 골프공 타격 시점의 사용자의 시선 좌표인 3이 어떻게 유지되는지와 변화하였는지를 수집, 분석 및 축적한 시선 분석 리포팅을 사용자가 확인할 수 있도록 제공하여, 사용자의 골프 스윙 자세 교정에 활용할 수 있도록 하는 것이다.

도 7은 도 6을 시각화 한 예시로서, 기 설정된 기간 동안 사용자의 시선이 집중된 영역을 빨간색(ⓐ)으로, 시선이 미치지 않는 영역을 파란색(ⓑ)으로 표현한 특징 지도(saliency map)를 나타낸 것이다. 모니터링부(260)는 도 7의 시선 분석 맵을 시선 분석 리포팅에 포함하여 사용자 단말로 제공할 수 있다.

모니터링부(260)는 사용자가 골프공의 타격 시점에 골프공을 응시하지 않고 있거나, 또는 눈을 감고 있는 상태인 경우, 기 설정된 알람을 출력할 수 있다. 예를 들어, 모니터링부(260)는 시선 추적 서비스를 제공하는 주체가 실내 스크린 골프장에 구비된 골프 분석 기기, 또는 실내외용 개인용 골프기기인 경우, 해당 기기의 화면을 통해 골프공 타격 시점의 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 표시하여 사용자가 확인할 수 있도록 할 수 있다.

모니터링부(260)는 촬영 기기(100)를 통해 획득된 타격 이미지 프레임 내 사용자의 얼굴 영역 위치를 비롯한 촬영 결과가 기 설정된 촬영조건과 일치하지 않는 경우, 촬영 기기의 위치 및 각도와 조명의 위치, 각도 및 밝기를 비롯한 촬영 환경을 조정할 수 있도록 알림을 출력할 수 있다.

모니터링부(260)는 최적의 환경 조건에서 사용자의 얼굴 및 눈동자를 촬영할 수 있도록 조명(미도시) 및 촬영 기기(100)의 위치, 각도 및 밝기 등의 조건을 조정할 수 있도록 운용자의 단말로 알림을 전송할 수 있다.

한편, 모니터링부(260)와 조명 및 촬영 기기(100) 각각과의 유무선 통신이 가능한 경우, 모니터링부(260)는 각각으로 제어 정보를 전송하여 원격으로 구동모터를 제어하여 각도를 변경하거나, 밝기 등의 조건을 조정할 수 있다.

도 8은 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도이다. 도 8에 도시된 방법은 예를 들어, 전술한 시선 추적 시스템(1000)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

101 단계에서, 촬영 기기(100)는 학습 대상자들의 타격 이미지 프레임을 획득할 수 있다.

103 단계에서, 시선 추적 장치(200)는 학습 대상자들의 타격 이미지 프레임으로부터 획득된 최초 시선 예측 정보를 비롯한 정적 캘리브레이션 정보를 포함하는 사전 시선 예측 정보를 생성할 수 있다.

105 단계에서, 촬영 기기(100)는 사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득할 수 있다. 이때, 촬영 기기(100)는 사용자의 얼굴 이미지 및 눈동자 이미지를 획득할 수 있는 위치에 구비되어, 촬영할 수 있다.

107 단계에서, 시선 추적 장치(200)는 기 설정된 복수의 타격 이미지 프레임으로 구성된 배치(batch) 단위의 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임을 파악할 수 있다.

또한, 시선 추적 장치(200)는 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악할 수 있다. 이때, 시선추적 알고리즘은 시선예측 알고리즘 및 블링크 알고리즘을 포함할 수 있다.

상기 시선 추적 장치(200)는 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 복수의 모듈을 포함할 수 있다. 상기 복수의 모듈은 얼굴 탐색 모듈(210), 랜드마크 추출 모듈(220), 이미지 정규화 모듈(230) 및 시선 추적 모듈(240)을 포함할 수 있다. 상기 시선 추적 모듈(240)은 시선 예측 모델 및 눈 깜빡임 예측 모델을 포함할 수 있고, 이에 더해 추가로 멀티 스레드 처리가 가능한 모듈을 더 포함할 수 있다.

107 단계에서, 시선 추적 장치(200)는 복수의 모듈 및 복수의 타격 이미지 프레임을 실행기준에 따라 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리할 수 있다.

107 단계에서, 시선 추적 장치(200)는 복수의 모듈 및 복수의 타격 이미지 프레임 중 어느 하나의 대상의 실행기준에 따라 병렬 실행이 필요한 대상과 순차 실행이 필요한 대상을 분류할 수 있다.

시선 추적 장치(200)는 분류 결과에 따라 상기 각 대상을 상기 멀티 스레드 처리 및 상기 싱글 스레드 처리 중 어느 하나로 처리할 수 있다.

구체적으로, 시선 추적 장치(200)는 복수의 모듈 중 현재 모듈의 처리 시 이전 모듈의 연산 결과가 필요한 경우 현재 모듈에 대해 싱글 스레드 처리로 분류하고, 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 멀티 스레드 처리로 분류할 수 있다.

시선 추적 장치(200)는 복수의 타격 이미지 프레임 중 현재 타격 이미지 프레임의 처리 시 이전 타격 이미지 프레임의 연산 결과가 필요한 경우 현재 타격 이미지 프레임에 대해 싱글 스레드 처리로 분류하고, 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 현재 모듈에 대해 멀티 스레드 처리로 분류할 수 있다.

즉, 시선 추적 장치(200)는 현재 타격 이미지 프레임의 처리 시 이전 타격 이미지 프레임에 포함된 정보(예를 들어, 이미지 프레임 및 모듈에 의한 연산 결과)에 의존성을 가지지 않는 타격 이미지 프레임이라면 멀티 스레딩 방식으로 처리할 수 있다.

시선 추적 장치(200)는 복수의 모듈 및 복수의 타격 이미지 프레임을 처리하기 위한 복수의 스레드를 포함하고, 복수의 모듈 또는 복수의 타격 이미지 프레임 각각을 적어도 하나 이상의 스레드에 할당할 수 있다.

109 단계에서, 시선 추적 장치(200)는 파악된 골프공 타격 시점의 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 화면 상에 출력하거나, 사용자 단말로 전송하거나, 또는 운용자 단말로 전송할 수 있다.

도 9은 도 8의 일부를 상세 설명하기 위한 흐름도로서, 도 8의 107의 단계를 상세히 설명하기 위한 도면이다.

201 단계에서, 시선 추적 장치(200)는 타격 이미지 프레임으로부터 얼굴 영역을 탐색하여 관심 영역(Region of interest)을 지정할 수 있다.

203 단계에서, 시선 추적 장치(200)는 타격 이미지 프레임의 사용자의 얼굴 이미지 내 얼굴의 주요 특징인 복수의 랜드마크 좌표를 파악할 수 있다.

205 단계에서, 시선 추적 장치(200)는 타격 이미지 프레임으로부터 탐색된 얼굴 영역의 위치 및 회전 각도를 기 학습된 얼굴 영역의 위치 및 회전 각도를 기초로 정규화된 공간 상의 얼굴 이미지로 변환하여 정규화 할 수 있다.

207 단계 및 209 단계에서, 시선 추적 장치(200)는 사용자의 얼굴 이미지 및 눈동자 이미지를 시선추적 알고리즘에 적용하여 상기 사용자의 시선 예측 정보를 산출할 수 있다.

구체적으로, 시선 추적 장치(200)는 시선추적 알고리즘에 따라 골프공 타격 시점에 타격 이미지 프레임 내 사용자의 3차원 시선 방향 벡터(3D gaze direction vector)를 추출하고, 3차원 시선 방향 벡터 및 메타 데이터를 이용하여 화면 상에 디스플레이 되는 사용자의 2차원 시선 지점 좌표를 산출(2D PoG conversion)하여 시선 예측 정보를 산출할 수 있다.

211 단계에서, 시선 추적 장치(200)는 시선 예측 정보에 사전 시선 예측 정보 및 메타 데이터를 반영한 캘리브레이션을 수행하여 최종 시선 예측 정보를 획득할 수 있다.

213 단계에서, 시선 추적 장치(200)는 최종 시선 예측 정보, 눈 깜빡임 데이터 및 촬영영역에서의 골프공 위치를 이용하여 골프공 타격 시점의 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악할 수 있다.

본 실시예는 상술한 도 8 및 9의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 포함한다.

도 10은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 시선 추적 장치(200)일 수 있다. 또한, 컴퓨팅 장치(12)는 시선 추적 시스템(1000)일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 촬영 기기
200: 시선 추적 장치
210: 얼굴 탐색 모듈
220: 랜드마크 추출 모듈
230: 이미지 정규화 모듈
240: 시선 추적 모듈
250: 연산 처리 제어부
260: 모니터링부

Claims

사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득하기 위한 촬영 기기; 및
기 설정된 복수의 타격 이미지 프레임으로 구성된 배치(batch) 단위의 상기 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악하는 시선 추적 장치를 포함하고,
상기 시선 추적 장치는 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 복수의 모듈을 포함하고, 상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임을 실행기준에 따라 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 1에 있어서,
상기 시선 추적 장치는,
상기 타격 이미지 프레임으로부터 얼굴 영역을 탐색하여 관심 영역(Region of interest)을 지정하는 얼굴 탐색 모듈;
상기 타격 이미지 프레임의 사용자의 얼굴 이미지 내 얼굴의 주요 특징인 복수의 랜드마크 좌표를 파악하는 랜드마크 추출 모듈;
상기 타격 이미지 프레임으로부터 탐색된 얼굴 영역의 위치 및 회전 각도를 기 학습된 얼굴 영역의 위치 및 회전 각도를 기초로 정규화된 공간 상의 얼굴 이미지로 변환하여 정규화하기 위한 이미지 정규화 모듈; 및
사용자의 얼굴 이미지 및 눈동자 이미지를 상기 시선추적 알고리즘에 적용하여 상기 사용자의 시선 예측 정보를 산출하고, 상기 시선 예측 정보에 학습 대상자들의 타격 이미지 프레임으로부터 획득된 최초 시선 예측 정보를 비롯한 정적 캘리브레이션 정보를 포함하는 사전 시선 예측 정보 및 메타 데이터를 반영한 캘리브레이션을 수행하여 최종 시선 예측 정보를 획득하기 위한 시선 추적 모듈을 포함하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 2에 있어서,
상기 메타 데이터는, 카메라 내부 파라미터(camera intrinsic parameters), 사용자의 헤드 포즈(head pose) 및 카메라와의 이격 거리를 포함하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 2에 있어서,
상기 시선 추적 모듈은,
시선예측 알고리즘에 따라 상기 골프공 타격 시점에 상기 타격 이미지 프레임 내 상기 사용자의 3차원 시선 방향 벡터를 추출하고, 상기 3차원 시선 방향 벡터 및 상기 메타 데이터를 이용하여 화면 상에 디스플레이 되는 상기 사용자의 2차원 시선 지점 좌표를 산출하여 상기 시선 예측 정보를 산출하는 시선 예측 모델; 및
블링크 알고리즘에 따라 상기 골프공 타격 시점에 상기 타격 이미지 프레임 내 상기 사용자가 눈을 감았는지 여부를 파악하는 눈 깜빡임 예측 모델을 포함하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 4에 있어서,
상기 시선 예측 모델은,
상기 학습 대상자들의 골프공 타격 상태를 촬영하여 획득된 타격 이미지 프레임으로부터 기 설정된 위치의 골프공 좌표 및 상기 골프공 좌표에 대응되는 상기 학습 대상자들의 상기 최초 시선 예측 정보를 포함하는 상기 사전 시선 예측 정보를 파악하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 4에 있어서,
상기 시선 예측 모델은,
상기 타격 이미지 프레임 내 사용자의 얼굴 영역 위치가 기 설정된 기준 위치와 상이한 경우, 상기 사용자의 얼굴 영역 위치를 상기 기 설정된 기준 위치와 일치하도록 보정하고,
상기 기 설정된 기준 위치는 상기 촬영 기기의 촬영영역 내에서 상기 사용자의 얼굴 이미지를 파악하기 위해 기 설정된 위치인, 골프 타격 모니터링용 시선 추적 장치.
청구항 2에 있어서,
상기 시선 추적 장치는,
상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임 중 어느 하나의 대상의 상기 실행기준에 따라 병렬 실행이 필요한 대상과 순차 실행이 필요한 대상을 분류하고, 분류 결과에 따라 상기 각 대상을 상기 멀티 스레드 처리 및 상기 싱글 스레드 처리 중 어느 하나로 처리하기 위한 연산 처리 제어부를 더 포함하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 7에 있어서,
상기 연산 처리 제어부는,
상기 복수의 모듈 중 현재 모듈의 처리 시 이전 모듈의 연산 결과가 필요한 경우 상기 현재 모듈에 대해 상기 싱글 스레드 처리로 분류하고, 상기 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 상기 멀티 스레드 처리로 분류하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 7에 있어서,
상기 연산 처리 제어부는,
상기 복수의 타격 이미지 프레임 중 현재 타격 이미지 프레임의 처리 시 이전 타격 이미지 프레임의 연산 결과가 필요한 경우 상기 현재 타격 이미지 프레임에 대해 상기 싱글 스레드 처리로 분류하고, 상기 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 상기 멀티 스레드 처리로 분류하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 7에 있어서,
상기 연산 처리 제어부는,
상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임을 처리하기 위한 복수의 스레드를 포함하고, 상기 복수의 모듈 또는 상기 복수의 타격 이미지 프레임 각각을 적어도 하나 이상의 스레드에 할당하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 2에 있어서,
상기 시선 추적 장치는,
상기 최종 시선 예측 정보, 눈 깜빡임 데이터 및 촬영영역에서의 골프공 위치를 이용하여 상기 골프공 타격 시점의 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 모니터링부를 더 포함하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 11에 있어서,
상기 모니터링부는,
상기 사용자가 골프공의 타격 시점에 상기 골프공을 응시하지 않고 있거나, 또는 눈을 감고 있는 상태인 경우, 기 설정된 알람을 출력하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 11에 있어서,
상기 모니터링부는,
상기 촬영 기기를 통해 획득된 상기 타격 이미지 프레임 내 사용자의 얼굴 영역 위치를 비롯한 촬영 결과가 기 설정된 촬영조건과 일치하지 않는 경우, 상기 촬영 기기의 위치 및 각도와 조명의 위치, 각도 및 밝기를 비롯한 촬영 환경을 조정할 수 있도록 알림을 출력하는, 골프 타격 모니터링용 시선 추적 시스템.
청구항 1에 있어서,
상기 타격 이미지 프레임은, 상기 촬영 기기를 통해 촬영되어 배치단위로 상기 시선 추적 장치로 입력되는 비실시간 이미지 프레임인, 골프 타격 모니터링용 시선 추적 시스템.
청구항 1에 있어서,
상기 시선 추적 장치는,
상기 촬영 기기로부터 상기 복수의 타격 이미지 프레임을 수신할 때, 촬영 시간 기준의 이미지 프레임 순서에 따라 상기 복수의 타격 이미지 프레임을 수신하는, 골프 타격 모니터링용 시선 추적 시스템.
촬영 기기가 사용자의 골프공 타격 상태를 촬영하여 타격 이미지 프레임을 획득하는 단계;
시선 추적 장치가 기 설정된 복수의 상기 타격 이미지 프레임으로 구성된 배치(batch) 단위의 상기 복수의 타격 이미지 프레임 중 골프공 타격 시점을 기준으로 기 설정된 전후의 타격 이미지 프레임을 파악하는 단계; 및
상기 타격 이미지 프레임으로부터 시선추적 알고리즘을 기초로 사용자 시선을 파악하여 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부 중 적어도 하나 이상을 파악하는 단계를 포함하고,
상기 시선 추적 장치는 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하기 위한 복수의 모듈을 포함하고, 상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계에서, 상기 복수의 모듈 및 상기 복수의 타격 이미지 프레임을 실행기준에 따라 멀티 스레드 처리 및 싱글 스레드 처리 중 어느 하나로 처리하는, 골프 타격 모니터링용 시선 추적 방법.
청구항 16에 있어서,
상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계 이전에,
학습 대상자들의 타격 이미지 프레임을 획득하는 단계; 및
시선 추적 장치가 상기 학습 대상자들의 타격 이미지 프레임으로부터 획득된 최초 시선 예측 정보를 비롯한 정적 캘리브레이션 정보를 포함하는 사전 시선 예측 정보를 생성하는 단계를 더 포함하는, 골프 타격 모니터리용 시선 추적 방법.
청구항 17에 있어서,
상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계는,
사용자의 얼굴 이미지 및 눈동자 이미지를 상기 시선추적 알고리즘에 적용하여 상기 사용자의 시선 예측 정보를 산출하는 단계;
상기 시선 예측 정보에 상기 사전 시선 예측 정보 및 메타 데이터를 반영한 캘리브레이션을 수행하여 최종 시선 예측 정보를 획득하는 단계;
상기 최종 시선 예측 정보, 눈 깜빡임 데이터 및 촬영영역에서의 골프공 위치를 이용하여 상기 골프공 타격 시점의 상기 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계를 포함하는, 골프 타격 모니터리용 시선 추적 방법.
청구항 17에 있어서,
상기 골프공 타격 시 사용자의 골프공 응시 여부 및 눈을 감았는지 여부를 파악하는 단계에서,
상기 복수의 모듈 중 현재 모듈의 처리 시 이전 모듈의 연산 결과가 필요한 경우 상기 현재 모듈에 대해 상기 싱글 스레드 처리로 분류하고, 상기 현재 모듈의 처리 시 이전 모듈의 연산 결과가 불필요한 경우 상기 현재 모듈에 대해 상기 멀티 스레드 처리로 분류하여 처리하는, 골프 타격 모니터링용 시선 추적 방법.
청구항 16 내지 19 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.