KR20210111860A - 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체 - Google Patents

비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체 Download PDF

Info

Publication number
KR20210111860A
KR20210111860A KR1020217026694A KR20217026694A KR20210111860A KR 20210111860 A KR20210111860 A KR 20210111860A KR 1020217026694 A KR1020217026694 A KR 1020217026694A KR 20217026694 A KR20217026694 A KR 20217026694A KR 20210111860 A KR20210111860 A KR 20210111860A
Authority
KR
South Korea
Prior art keywords
display screen
user
video
visual focus
current visual
Prior art date
Application number
KR1020217026694A
Other languages
English (en)
Inventor
지웨이 친
쿤 송
샤오쿤 자오
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010443500.8A external-priority patent/CN111586459B/zh
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210111860A publication Critical patent/KR20210111860A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333—Processing operations in response to a pause request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 출원은 비디오 재생 제어 방법, 장치, 전자설비 및 저장매체를 개시하며, 증강 현실 기술 분야에 관한 것이다. 구체적인 방안은, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하며, 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어한다. 본 출원의 실시예는, 눈을 통해 비디오 재생을 보다 정확히 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다.

Description

비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체
본 출원은 2020년 5월 22일 중국 특허청에 제출된, 출원번호가 202010443500.8인 중국 특허 출원의 우선권을 주장하며 해당 출원의 전체 내용은 참조로서 본 출원에 포함된다.
본 출원은 컴퓨터 기술 분야에 관한 것으로, 예를 들어 증강 현실 기술에 관한 것이다. 구체적으로, 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체에 관한 것이다.
5G 기술의 신속한 추진과 쇼트 클립 등 리치 미디어가 등장함에 따라, 네티즌이 정보를 획득하는 방식은 더욱 다양해지고 있으며, 정보를 보다 스마트하게 획득 및 처리하는데에 대한 네티즌의 요구가 점점 커지고 있다. 예를 들어, 하오칸스핀App 출시 이래, 해당 App에서의 사용자의 활동이 점점 많아지고, 비디오의 시청 체험에 대한 요구도 향상되고 있다.
그러나, 실제로 모바일 폰, 태블릿 컴퓨터 등 스마트 설비에서 비디오를 재생하는 과정에서, 사용자가 스마트 설비에서 현재 재생되고 있는 비디오를 일시 정지하려는 경우, 사용자는 손으로 스마트 설비 스크린의 일시 정지 버튼을 클릭해야 하며, 사용자가 스마트 설비에서 비디오가 계속하여 재생되기를 원하는 경우, 사용자는 다시 손가락으로 스마트 설비 스크린의 재생 버튼을 클릭해야 한다. 이렇게 손가락으로 스크린을 클릭하여 비디오 재생을 제어하는 방식은 비디오 재생의 편리함을 감소시킬 뿐만 아니라, 비디오 재생 제어의 효율 또한 감소시킨다.
종래의 비디오 재생 제어 방법에서는, 인식 알고리즘을 통해 단지 눈을 뜨는 동작, 눈을 감는 동작, 눈의 움직임 방향 등을 포함하는 눈의 동작만을 분석할 수 있어 상기 눈의 동작을 통해 비디오 재생에 대해 보다 정확한 제어를 수행할 수 없다.
아래에서는 본 문에 대해 상세하게 설명한 주제에 대한 개요이다. 본 개요는 청구범위의 보호범위를 한정하기 위한 것이 아니다.
본 출원은 비디오 재생 제어 방법, 장치, 설비 및 저장매체를 제공하며, 눈을 통해 비디오 재생을 보다 정확히 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다.
본 출원의 일 측면에 따르면, 본 출원은 비디오 재생 제어 방법을 제공하며, 상기 방법은,
적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 상기 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 단계;
증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 디스플레이 스크린에서의 상기 사용자의 현재 시각적 초점(Current visual focus)을 결정하는 단계;
상기 현재 시각적 초점에 따라 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 단계; 를 포함한다.
본 출원의 일 측면에 따르면, 본 출원은 비디오 재생 제어 장치를 제공하며, 상기 장치는, 수집 모듈, 파싱 모듈 및 제어 모듈을 포함하며, 여기서,
상기 수집 모듈은, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지되는 경우, 상기 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는데 사용되고;
상기 파싱 모듈은, 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 디스플레이 스크린에서의 상기 사용자의 현재 시각적 초점을 결정하는데 사용되며;
상기 제어 모듈은, 상기 현재 시각적 초점에 따라 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는데 사용된다.
본 출원의 일 측면에 따르면, 본 출원은 전자 설비를 제공하고, 해당 전자 설비는,
하나 또는 복수의 프로세서;
하나 또는 복수의 프로그램을 저장하는 메모리;
상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상기 하나 또는 복수의 프로세서가 본 출원의 임의의 실시예에 따른 비디오 재생 제어 방법을 구현하도록 한다.
본 출원의 일 측면에 따르면, 저장매체를 제공하며, 해당 저장매체는 컴퓨터 프로그램이 저장되어 있고, 해당 프로그램이 프로세서에 의해 실행되는 경우 본 출원의 임의의 실시예에 따른 비디오 재생 제어 방법을 구현한다.
본 출원의 기술에 따르면 종래 기술에서 눈의 동작으로 비디오 재생을 정확하게 제어하지 못하는 기술적 과제를 해결하였으며, 본 출원은 눈을 통해 비디오 재생을 보다 정확하게 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다.
본문에서 설명된 내용은 본 개시의 실시예의 키포인트 또는 중요한 특징을 식별하기 위함이 아니며, 본 개시의 범위는 이에 한정되지 않음을 이해해야 한다. 본 개시의 기타 특징은 다음의 설명을 통해 쉽게 이해할 수 있다.
본문에서 설명된 내용은 본 개시의 실시예의 키포인트 또는 중요한 특징을 식별하기 위함이 아니며, 본 개시의 범위는 이에 한정되지 않음을 이해해야 한다. 본 개시의 기타 특징은 다음의 설명을 통해 쉽게 이해할 수 있다. 도면 및 상세한 설명을 읽고 이해하면 기타 측면을 알 수 있을 것이다.
도면은 본 방안을 보다 잘 이해하는데 사용되며, 본 출원을 한정하지 않는다. 여기서:
도 1은 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다.
도 2는 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다.
도 3은 본 출원의 실시예에서 제공하는 시선 추적 기술의 구현 원리도이다.
도 4는 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다.
도 5는 본 출원의 실시예에서 제공하는 안구 추적 비디오 재생 제어 기술의 동작 원리도이다.
도 6은 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다.
도 7은 본 출원의 실시예에서 제공하는 비디오 재생 제어 장치의 구조 개략도이다.
도 8은 본 출원의 실시예의 비디오 재생 제어 방법을 구현하는 전자 설비의 블록도이다.
이하, 도면을 결합하여 본 출원의 예시적 실시예에 대해 설명하도록 하며, 여기에는 이해를 돕기 위해 본 출원 실시예의 각종 구체적 내용이 포함되나, 이는 예시적인 것으로 간주되어야 한다. 따라서, 본 분야의 당업자는 본 출원의 범위 및 사상을 벗어나지 않는 한, 여기서 설명된 실시예에 대해 여러 가지 변경 및 보정을 수행할 수 있음을 인지해야 한다. 아울러, 명확성과 간결성을 위해, 이하의 설명에서는 공지 기능과 구조에 대한 설명을 생략한다.
실시예 1
도 1은 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이고, 해당 방법은 비디오 재생 제어 장치 또는 전자 설비에 의해 수행되며, 해당 장치 또는 전자 설비는 소프트웨어 및/또는 하드웨어의 방식에 의해 구현될 수 있으며, 해당 장치 또는 전자 설비는 네트워크 통신 기능을 구비하는 임의의 스마트 설비에 통합될 수 있다. 도 1에 도시된 바와 같이, 비디오 재생 제어 방법은 다음의 단계를 포함할 수 있다.
단계(S101), 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집한다.
본 출원의 구체적인 실시예에서, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 전자 설비는 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집할 수 있다. 바람직하게, 전자 설비는 기설정된 주기에 따라 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집할 수 있다. 구체적으로, 전자 설비는 우선 전방 카메라 권한을 획득하고, 이후 증강 현실(Augmented Reality, AR) 엔진을 통해 스크린 전방에 나타난 사용자의 얼굴 이미지를 자동적으로 수집할 수 있다. AR 기술은 가상 정보와 현실 세계를 교모하게 융합한 기술로, 멀티미디어, 3차원 모델링, 실시간 추적 및 등록, 스마트 상호 작용, 센싱 등 다양한 기술 수단을 활용하여, 컴퓨터에 의해 생성된 문자, 이미지, 3차원 모델, 음악, 비디오 등 가상 정보에 대해 아날로그 시뮬레이션을 수행한 후, 현실 세계에 응용하면, 두 가지 정보는 상호 보완되어, 현실 세계의 "증강"을 구현한다.
단계(S102), 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정한다.
본 출원의 구체적인 실시예에서, 전자 설비는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정한다. 구체적으로, 증강 현실에 기반하는 시선 추적 방법은 ARkit 시선 추적 방법일 수 있다.
단계(S103), 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어한다.
본 출원의 구체적인 실시예에서, 전자 설비는 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어할 수 있다. 구체적으로, 기설정된 시간대 내에 사용자의 N번의 눈깜빡임을 검출하였다면, 전자 설비는 디스플레이 스크린에서의 사용자의 현재 시각적 초점에 따라, 현재 시각적 초점이 위치하는 비디오를 결정할 수 있으며, 여기서, N은 1보다 큰 자연수이고; 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 재생되는 경우, 전자 설비는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 일시 정지되도록 제어할 수 있고; 또는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 일시 정지되는 경우, 전자 설비는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 계속하여 재생되도록 제어할 수 있다.
여기서 설명해야 할 것은, 상기 단계(S101)-단계(S103)을 통해, 복수의 비디오의 전환을 구현할 수 있다. 예를 들어, 디스플레이 스크린에 3개의 비디오, 즉, 비디오 1, 비디오 2, 비디오 3이 각각 존재하며, 여기서, 비디오 1과 비디오 2는 일시 정지되었고, 비디오 3은 재생되고 있다고 가정하면, 전자 설비는 우선 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정한다. 현재 시각적 초점이 위치하는 비디오가 비디오 3이라고 가정하면, 전자 설비는 비디오 3이 계속하여 재생되도록 제어하고, 비디오 1과 비디오 2가 일시 정지되도록 제어할 수 있다. 또한, 전자 설비는 계속하여 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정할 수 있다. 현재 시각적 초점이 위치하는 비디오가 비디오 2라고 가정하면, 전자 설비는 비디오 2가 계속하여 재생되도록 제어하고, 비디오 1과 비디오 3이 일시 정지되도록 제어할 수 있다.
본 출원의 실시예에서 제시하는 비디오 재생 제어 방법에 있어서, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 전자 설비는 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하며, 다시 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어할 수 있다. 즉, 본 출원은 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 것을 통해, 눈으로 비디오 재생을 정확하게 제어할 수 있다. 그러나, 종래의 비디오 재생 제어 방법에서는, 인식 알고리즘을 통해 단지 눈을 뜨는 동작, 눈을 감는 동작, 눈의 움직임 방향 등을 포함하는 눈의 동작 만을 분석할 수 있어, 상기 눈의 동작을 통해 비디오 재생에 대해 보다 정확한 제어를 수행할 수 없다. 본 출원에서는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하는 기술수단을 사용함으로써, 종래 기술에서 눈의 동작을 통해 비디오 재생을 정확하게 제어하지 못하는 기술적 과제를 극복하였으며, 본 출원에서 제공하는 기술방안은, 눈을 통해 비디오 재생을 보다 정확하게 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다. 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 보급이 편리하고, 적용 범위가 보다 넓다.
실시예 2
도 2는 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다. 본 실시예는 상기 실시예의 기초상 제기한 선택적인 방안이다. 도 2에 도시된 바와 같이, 비디오 재생 제어 방법은 다음의 단계를 포함할 수 있다.
단계(S201), 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집한다.
단계(S202), 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 사용자의 좌안 시선과 디스플레이 스크린의 교점 및 사용자의 우안 시선과 디스플레이 스크린의 교점을 결정한다.
본 출원의 구체적인 실시예에서, 전자 설비는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 사용자의 좌안 시선과 디스플레이 스크린의 교점 및 사용자의 우안 시선과 상기 디스플레이 스크린의 교점을 결정할 수 있다. 구체적으로, 전자 설비는 우선 사용자에 대응되는 좌안 전환 모델(Left Transform) 및 우안 전환 모델(Right Transform)을 통해 좌안 시선의 공간 위치와 우안 시선의 공간 위치를 결정하며, 이후, 좌안 시선의 공간 위치와 우안 시선의 공간 위치 및 기결정된 디스플레이 스크린의 공간 위치에 따라, 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점을 결정할 수 있다. 본 출원은 우선 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 상기 디스플레이 스크린의 교점을 결정하며, 이후, 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 상기 디스플레이 스크린의 교점에 따라, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 정확하게 결정할수 있으므로, 비디오가 계속하여 재생되거나 일시 정지되도록 정확하게 제어할 수 있다.
도 3은 본 출원의 실시예에서 제공하는 시선 추적 기술의 구현 원리도이다. 도 3에 도시된 바와 같이, 전자 설비는 우선 3차원 공간에 사용자의 좌안 노드와 우안 노드, 및 좌안 노드에 대응되는 좌측 가상 앵커 포인트 및 우안 노드에 대응되는 우측 가상 앵커 포인트를 각각 추가하며, 이후, 좌안 노드와 좌측 가상 앵커 포인트의 공간 위치에 따라, 좌안 시선의 공간 위치를 결정하고, 우안 노드와 우측 가상 앵커 포인트의 공간 위치에 따라 우안 시선의 공간 위치를 결정할 수 있다. 사용자의 좌안 시선은 사용자의 좌안 노드와 좌측 가상 앵커 포인트의 연결선을 나타내며, 사용자의 우안 시선은 사용자의 우안 노드와 우측 가상 앵커 포인트의 연결선을 나타낸다. 여기서, 좌안 노드의 공간 위치는
Figure pct00001
로 표시할 수 있고, 좌측 가상 앵커 포인트의 공간 위치는
Figure pct00002
로 표시할 수 있으며, 우안 노드의 공간 위치는
Figure pct00003
로 표시할 수 있고, 우측 가상 앵커 포인트의 공간 위치는
Figure pct00004
로 표시할 수 있다. 바람직하게, 사용자의 좌안 노드는 사용자의 좌안 동공일 수 있으며, 사용자의 우안 노드는 사용자의 우안 동공일 수 있다. 본 출원은 우선 좌안 노드와 좌측 가상 앵커 포인트의 공간 위치 및 우안 노드와 우측 가상 앵커 포인트의 공간 위치를 결정함으로써, 좌안 노드와 좌측 가상 앵커 포인트를 연결하여, 사용자의 좌안 시선의 공간 위치를 획득할 수 있고, 우안 노드와 우측 가상 앵커 포인트를 연결하여, 사용자의 우안 시선의 공간 위치를 획득할 수 있으며, 이로써, 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점을 정확하게 결정할 수 있다.
바람직하게, 본 출원의 구체적인 실시예에서, 사용자의 얼굴과 가상 패널 사이의 거리는 미리 설정할 수 있으며, 예를 들어, 사용자의 얼굴과 가상 패널 사이의 거리는 2 미터로 설정할 수 있다.
단계(S203), 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점에 따라 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정한다.
본 출원의 구체적인 실시예에서, 전자 설비는 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점에 따라 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정할 수 있다. 구체적으로, 전자 설비는 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점의 중심점을 디스플레이 스크린에서의 사용자의 현재 시각적 초점으로 정할 수 있다. 좌안 시선과 디스플레이 스크린의 교점의 공간 위치가
Figure pct00005
이고, 우안 시선과 디스플레이 스크린의 교점의 공간 위치가
Figure pct00006
라고 가정하면, 디스플레이 스크린에서의 사용자의 현재 시각적 초점의 공간 위치는
Figure pct00007
이다.
단계(S204), 디스플레이 스크린에서의 사용자의 현재 시각적 초점에 따라, 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어한다.
본 출원의 실시예에서 제시하는 비디오 재생 제어 방법에 있어서, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 전자 설비는 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하며, 다시 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어할 수 있다. 즉, 본 출원은 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 것을 통해, 눈으로 비디오 재생을 정확하게 제어할 수 있다. 그러나, 종래의 비디오 재생 제어 방법에서는, 인식 알고리즘을 통해 단지 눈을 뜨는 동작, 눈을 감는 동작, 눈의 움직임 방향 등을 포함하는 눈의 동작 만을 분석할 수 있어, 상기 눈의 동작을 통해 비디오 재생에 대해 보다 정확한 제어를 수행할 수 없다. 본 출원에서는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하는 기술수단을 사용함으로써, 종래 기술에서 눈의 동작을 통해 비디오 재생을 정확하게 제어하지 못하는 기술적 과제를 극복하였으며, 본 출원에서 제공하는 기술방안은, 눈을 통해 비디오 재생을 보다 정확하게 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다. 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 보급이 편리하고, 적용 범위가 보다 넓다.
실시예 3
도 4는 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다. 본 실시예는 상기 실시예의 기초상 제기한 선택적인 방안이다. 도 4에 도시된 바와 같이, 비디오 재생 제어 방법은 다음의 단계를 포함할 수 있다.
단계(S401), 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집한다.
도 5는 본 출원의 실시예에서 제공하는 안구 추적 비디오 재생 제어 기술의 동작 원리도이다. 도 5에 도시된 바와 같이, 전자 설비는 우선 전방 카메라 권한을 획득하고, 이후 AR 엔진을 통해 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 자동적으로 수집할 수 있으며, 수집된 현재 얼굴 이미지를 계산하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 획득하며, 이후, 표시 인터페이스에서의 현재 시각적 초점의 상대적인 위치에 따라, 표시 인터페이스가 위로 스크롤되거나 아래로 스크롤되도록 자동적으로 제어할 수 있다. 구체적으로, 디스플레이 스크린에서의 사용자의 현재 시각적 초점이 디스플레이 스크린의 상반부 영역에 위치하는 경우, 전자 설비는 디스플레이 스크린의 표시 인터페이스가 아래로 스크롤되도록 제어할 수 있으며, 디스플레이 스크린에서의 사용자의 현재 시각적 초점이 디스플레이 스크린의 하반부 영역에 위치하는 경우, 전자 설비는 디스플레이 스크린의 표시 인터페이스가 위로 스크롤되도록 제어할 수 있다. 이로부터 알 수 있듯이, 본 출원은 눈을 통해 비디오 재생을 제어할 뿐만 아니라, 눈을 통해 표시 인터페이스의 스크롤을 제어할 수도 있으므로, 사용자의 사용 체험을 보다 향상시킬 수 있다.
단계(S402), 사용자에 대응되는 좌안 전환 모델 및 우안 전환 모델을 통해, 좌안 시선의 공간 위치와 우안 시선의 공간 위치를 결정한다.
본 출원의 구체적인 실시예에서, 전자 설비는 사용자에 대응되는 좌안 전환 모델 및 우안 전환 모델을 통해, 좌안 시선의 공간 위치와 우안 시선의 공간 위치를 결정할 수 있다. 구체적으로, 사용자의 좌안 시선은 사용자의 좌안 노드와 좌측 가상 앵커 포인트의 연결선을 나타내며, 사용자의 우안 시선은 사용자의 우안 노드와 우측 가상 앵커 포인트의 연결선을 나타낸다. 바람직하게, 사용자의 좌안 노드는 좌안 동공일 수 있으며, 사용자의 우안 노드는 우안 동공일 수 있다. 좌안 동공의 공간 위치는
Figure pct00008
로 표시할 수 있고, 좌측 가상 앵커 포인트의 공간 위치는
Figure pct00009
로 표시할 수 있으며, 우안 동공의 공간 위치는
Figure pct00010
로 표시할 수 있고, 우측 가상 앵커 포인트의 공간 위치는
Figure pct00011
로 표시할 수 있다.
바람직하게, 본 출원의 구체적인 실시예에서, 사용자의 얼굴과 가상 패널 사이의 거리는 미리 설정할 수 있으며, 예를 들어, 사용자의 얼굴과 가상 패널 사이의 거리는 2 미터로 설정할 수 있다.
단계(S403), 좌안 시선의 공간 위치와 우안 시선의 공간 위치 및 기결정된 디스플레이 스크린의 공간 위치에 따라, 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점을 결정한다.
본 출원의 구체적인 실시예에서, 전자 설비는 좌안 시선의 공간 위치와 우안 시선의 공간 위치 및 기결정된 디스플레이 스크린의 공간 위치에 따라, 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점을 결정할 수 있다. 구체적으로, 디스플레이 스크린의 공간 위치는 디스플레이 스크린이 위치하는 평면으로 표시할 수 있으며, 좌안 시선과 우안 시선이 디스플레이 스크린이 위치하는 평면과 교차되지 않으므로, 좌안 시선과 우안 시선은 디스플레이 스크린이 위치하는 평면과 각각 하나의 교점을 가진다.
단계(S404), 좌안 시선과 디스플레이 스크린의 교점 및 우안 시선과 디스플레이 스크린의 교점에 따라 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정한다.
단계(S405), 디스플레이 스크린에서의 사용자의 현재 시각적 초점에 따라, 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어한다.
본 출원의 구체적인 실시예에서, 전자 설비가 수집하는 현재 얼굴 이미지에는 하나의 사용자의 얼굴이 포함될 수 있고, 복수의 사용자의 얼굴이 포함될 수도 있다. 현재 얼굴 이미지에 하나의 사용자의 얼굴만이 포함되는 경우, 전자 설비는 해당 사용자를 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하며, 현재 얼굴 이미지에 복수의 사용자의 얼굴이 포함되는 경우, 전자 설비는 복수의 사용자 중 하나의 사용자를 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정할 수 있다. 예를 들어, 현재 얼굴 이미지에 복수의 사용자의 얼굴이 포함되는 경우, 전자 설비는 디스플레이 스크린의 중심 위치에 가까이 위치하는 사용자를 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정할 수 있다. 이로부터 알 수 있듯이, 본 출원은 하나의 얼굴 이미지를 식별할 수 있을 뿐만 아니라, 복수의 얼굴 이미지를 식별할 수도 있으며, 여러 가지 시청 시나리오에서 모두 본 출원에서 제공하는 기술 방안을 사용할 수 있음으로써, 본 출원의 사용 범위를 확장할 수 있다.
본 출원의 실시예에서 제시하는 비디오 재생 제어 방법에 있어서, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 전자 설비는 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하며, 다시 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어한다. 즉, 본 출원은 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 것을 통해, 눈으로 비디오 재생을 정확하게 제어할 수 있다. 그러나, 종래의 비디오 재생 제어 방법에서는, 인식 알고리즘을 통해 단지 눈을 뜨는 동작, 눈을 감는 동작, 눈의 움직임 방향 등을 포함하는 눈의 동작 만을 분석할 수 있어, 상기 눈의 동작을 통해 비디오 재생에 대해 보다 정확한 제어를 수행할 수 없다. 본 출원에서는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하는 기술수단을 사용함으로써, 종래 기술에서 눈의 동작을 통해 비디오 재생을 정확하게 제어하지 못하는 기술적 과제를 극복하였으며, 본 출원에서 제공하는 기술방안은, 눈을 통해 비디오 재생을 보다 정확하게 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다. 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 보급이 편리하고, 적용 범위가 보다 넓다.
실시예 4
도 6은 본 출원의 실시예에서 제공하는 비디오 재생 제어 방법의 흐름 개략도이다. 본 실시예는 상기 실시예의 기초상 제기한 선택적인 방안이다. 도 6에 도시된 바와 같이, 비디오 재생 제어 방법은 다음의 단계를 포함할 수 있다.
단계(S601), 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집한다.
본 출원의 구체적인 실시예에서, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 전자 설비는 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집할 수 있다. 구체적으로, 전자 설비는 샘플링 빈도 알고리즘을 통해 얼굴 이미지의 샘플링 빈도를 결정할 수 있으며, 이후, 해당 샘플링 빈도에 따라 디스플레이 스크린 전방에 나타난 사용자의 얼굴 이미지를 수집하며, 매번 수집한 얼굴 이미지를 현재 얼굴 이미지로 할 수 있다.
단계(S602), 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정한다.
본 출원의 구체적인 실시예에서, 전자 설비는 또한 초점 위치 교정 알고리즘을 통해, 결정된 현재 시각적 초점을 교정할 수 있다. 개개인의 얼굴 모델 및 동공이 눈에서 회전하는 폭과 위치의 관계가 모두 상이하므로, 본 출원은 딥러닝(deep learning) 기술을 이용하여, 수집된 현재 얼굴 이미지에 대해 모델 훈련을 수행할 수 있음으로써, 보다 정확한 위치를 획득할 수 있다. 비록 사람들의 얼굴은 각인각색이나, 본 출원은 딥러닝 기술을 통해, 개개인의 초점 위치가 생대적으로 정확하도록 할 수 있다.
바람직하게, 본 출원의 구체적인 실시예에서, 전자 설비는 또한 초점 데이터 디노이징 알고리즘을 통해, 결정된 현재 시각적 초점에 대해 디노이징을 수행할 수 있다. 동공 위치의 변화 빈도가 매우 높으므로, 어느 한 샘플링 데이터의 비정상은 전체 초점 위치의 흔들림을 초래할 수 있다. 디노이징 알고리즘을 통해 임계치를 설정하여, 기대에 부합되지 않는 샘플링 데이터를 폐기한다.
단계(S603), 기설정된 시간대 내에 사용자의 N번의 눈깜빡임을 확정하였다면, 현재 시각적 초점에 따라 현재 시각적 초점이 위치하는 비디오를 결정하며, 여기서, N은 1보다 큰 자연수이다.
본 출원의 구체적인 실시예에서, 기설정된 시간대 내에 사용자의 N번의 눈깜빡임을 확정하였다면, 전자 설비는 디스플레이 스크린에서의 사용자의 현재 시각적 초점에 따라 현재 시각적 초점이 위치하는 비디오를 결정하며, 여기서, N은 1보다 큰 자연수이다. 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 재생되고 있는 경우, 전자 설비는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 일지 정지되도록 제어할 수 있고; 또는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 일시 정지된 경우, 전자 설비는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 계속하여 재생되도록 제어할 수 있다. 본 출원에서의 기설정 시간대는 사전에 설정된 하나의 비교적 짧은 시간대일 수 있으며, 예를 들어, 기설정된 시간대는 1초일 수 있다. 기설정 시간대를 설정하는 목적은 사용자가 정상적으로 눈을 깜빡이는지, 아니면 제어 명령을 내리는 것인지를 결정하여, 전자 설비가 사용자의 정상적인 눈깜빡임과 제어 명령을 내리는 것을 혼돈하여, 사용자의 정상적인 시청에 영향을 미치는 것을 방지하는 것이다. 예를 들어, 특정 비디오가 디스플레이 스크린에서 재생되고 있는 경우, 사용자는 1초 내에 눈을 두 번 깜빡일 수 있으며, 이는 사용자가 일시 정지 명령을 내렸음을 표시하고, 전자 설비가 1초 내에 사용자의 두 번의 눈깜빡임을 검출하였다면, 사용자가 내린 일시 정지 명령을 수신한 것으로 간주하며, 이때, 해당 비디오가 디스플레이 스크린에서 일지 정지되도록 제어한다. 특정 비디오가 디스플레이 스크린에서 일시 정지된 경우, 사용자는 1초 내에 눈을 두 번 깜빡일 수 있으며, 이는 사용자가 계속 재생하라는 명령을 내렸음을 표시하고, 전자 설비는 1초 내에 사용자의 두 번의 눈깜빡임을 검출하였다면, 사용자가 내린 계속 재생하라는 명령을 수신한 것으로 간주하며, 이때, 해당 비디오가 디스플레이 스크린에서 계속하여 재생되도록 제어한다.
바람직하게, 본 출원의 구체적인 실시예에서, 전자 설비가 현재 얼굴 이미지를 파싱하는 것을 통해, 현재 시각적 초점을 결정하지 못하는 경우, 전자 설비는 디스플레이 스크린의 밝기값을 소정 수치만큼 감소할 수 있다. 구체적으로, 전자 설비가 하나의 기설정 주기 내에, 현재 얼굴 이미지를 파싱하는 것을 통해 사용자의 현재 시각적 초점을 결정하지 못하는 경우, 전자 설비는 디스플레이 스크린의 밝기값을 하나의 단위값만큼 감소할 수 있으며, 전자 설비가 복수의 기설정 주기 내에, 현재 얼굴 이미지를 파싱하는 것을 통해 사용자의 현재 시각적 초점을 결정하지 못하는 경우, 전자 설비는 디스플레이 스크린의 밝기값을 복수의 단위값만큼 감소하여, 동적 절전의 목적을 달성할 수 있다.
단계(S604), 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 재생되고 있는 경우, 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 일시 정지되도록 제어하고; 또는 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 일시 정지된 경우, 현재 시각적 초점이 위치하는 비디오가 디스플레이 스크린에서 계속하여 재생되도록 제어한다.
본 출원의 실시예에서 제시하는 비디오 재생 제어 방법에 있어서, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 전자 설비는 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하며, 다시 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어할 수 있다. 즉, 본 출원은 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 것을 통해, 눈으로 비디오 재생을 정확하게 제어할 수 있다. 그러나, 종래의 비디오 재생 제어 방법에서는, 인식 알고리즘을 통해 단지 눈을 뜨는 동작, 눈을 감는 동작, 눈의 움직임 방향 등을 포함하는 눈의 동작 만을 분석할 수 있어, 상기 눈의 동작을 통해 비디오 재생에 대해 보다 정확한 제어를 수행할 수 없다. 본 출원에서는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하는 기술수단을 사용함으로써, 종래 기술에서 눈의 동작을 통해 비디오 재생을 정확하게 제어하지 못하는 기술적 과제를 극복하였으며, 본 출원에서 제공하는 기술방안은, 눈을 통해 비디오 재생을 보다 정확하게 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다. 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 보급이 편리하고, 적용 범위가 보다 넓다.
실시예 5
도 7은 본 출원의 실시예에서 제공하는 비디오 재생 제어 장치의 구조 개략도이다. 도 7에 도시된 바와 같이, 상기 장치(700)는 수집 모듈(701), 파싱 모듈(702) 및 제어 모듈(703)을 포함하며, 여기서,
상기 수집 모듈(701)은, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지되는 경우, 상기 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는데 사용되고;
상기 파싱 모듈(702)은, 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 디스플레이 스크린에서의 상기 사용자의 현재 시각적 초점을 결정하는데 사용되며;
상기 제어 모듈(703)은, 상기 현재 시각적 초점에 따라 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는데 사용된다.
나아가, 상기 파싱 모듈(702)은 구체적으로, 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 사용자의 좌안 시선과 디스플레이 스크린의 교점 및 상기 사용자의 우안 시선과 상기 디스플레이 스크린의 교점을 결정하고; 상기 좌안 시선과 상기 디스플레이 스크린의 교점 및 상기 우안 시선과 상기 디스플레이 스크린의 교점에 따라, 상기 현재 시각적 초점을 결정하는데 사용된다.
나아가, 상기 파싱 모듈(702)은 구체적으로, 상기 사용자에 대응되는 좌안 전환 모델 및 우안 전환 모델을 통해 상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치를 결정하며, 상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치 및 기결정된 상기 디스플레이 스크린의 공간 위치에 따라, 상기 좌안 시선과 상기 디스플레이 스크린의 교점 및 상기 우안 시선과 상기 디스플레이 스크린의 교점을 결정하는데 사용된다.
나아가, 상기 파싱 모듈(702)은 구체적으로, 3차원 공간에 상기 사용자의 좌안 노드와 우안 노드, 및 상기 좌안 노드에 대응되는 좌측 가상 앵커 포인트와 상기 우안 노드에 대응되는 우측 가상 앵커 포인트를 각각 추가하며, 상기 좌안 노드와 상기 좌측 가상 앵커 포인트의 공간 위치에 따라 상기 좌안 시선의 공간 위치를 결정하고, 상기 우안 노드와 상기 우측 가상 앵커 포인트의 공간 위치에 따라 상기 우안 시선의 공간 위치를 결정하는데 사용된다.
나아가, 상기 제어 모듈(703)은, 상기 현재 얼굴 이미지에 하나의 사용자의 얼굴만이 포함되는 경우, 상기 사용자를 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하며, 상기 현재 얼굴 이미지에 복수의 사용자의 얼굴이 포함되는 경우, 상기 복수의 사용자 중 하나의 사용자를 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하는데 더 사용된다.
나아가, 상기 제어 모듈(703)은 구체적으로, 기설정된 시간대 내에 상기 사용자의 N번의 눈깜빡임을 검출하였다면, 상기 현재 시각적 초점에 따라 현재 시각적 초점이 위치하는 비디오를 결정하는 하며, 여기서, N은 1보다 큰 자연수이고; 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 재생되는 경우, 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되도록 제어하고; 또는 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되는 경우, 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 계속하여 재생되도록 제어하는데 사용된다.
나아가, 상기 제어 모듈(703)은, 상기 현재 시각적 초점이 상기 디스플레이 스크린의 상반부 영역에 위치하는 경우, 상기 디스플레이 스크린에서의 표시 인터페이스가 아래로 스크롤되도록 제어하며, 상기 현재 시각적 초점이 상기 디스플레이 스크린의 하반부 영역에 위치하는 경우, 상기 디스플레이 스크린의 표시 인터페이스가 위로 스크롤되도록 제어하는데 더 사용된다.
나아가, 상기 제어 모듈(703)은, 상기 현재 얼굴 이미지를 파싱하는 것을 통해, 상기 현재 시각적 초점을 결정하지 못하는 경우, 상기 디스플레이 스크린의 밝기값을 소정 수치만큼 감소하는데 더 사용된다.
상기 비디오 재생 제어 장치는 본 출원의 임의의 실시예에서 제공하는 방법을 실행할 수 있으며, 방법을 실행하는데 대응되는 기능 모듈과 유익한 효과를 구비한다. 본 실시예에서 상세하게 설명되지 않은 기술적 세부 사항은, 본 출원의 임의의 실시예에서 제공하는 비디오 재생 제어 방법을 참조할 수 있다.
실시예 6
본 출원의 실시예에 따르면, 본 출원은 전자 설비 및 판독가능 저장매체를 더 제공한다.
도시된 바와 같이, 도 8은 본 출원의 실시예의 비디오 재생 제어 방법에 따른 전자 설비의 블록도이다. 전자 설비는 여러 가지 형태의 디지컬 컴퓨터를 표시하며, 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인용 정보 단말기(Personal Digital Assistant), 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적합한 컴퓨터를 표시한다. 전자 설비는 또한 여러 가지 형태의 모바일 장치를 표시할 수 있으며, 예를 들어, 개인 휴대 단말기, 셀 폰, 스마트 폰, 웨어러블 설비 및 기타 유사한 컴퓨팅 장치를 표시할 수 있다. 본문에 설명된 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것일 뿐, 본문에서 설명되는 및/또는 요구되는 본 출원의 구현을 한정하지 않는다.
도 8에 도시된 바와 같이, 해당 전자 설비는, 하나 또는 복수의 프로세서(801), 메모리(802) 및 각각의 부재를 연결하기 위한 인터페이스를 포함하며, 해당 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 부재는 상이한 버스를 이용하여 서로 연결되며, 공공 메인보드 상에 설치되거나 수요에 따라 기타 방식으로 설치될 수 있다. 프로세서는 전자 설비 내에서 실행되는 명령에 대해 처리할 수 있으며, 상기 명령은 외부 입력/출력 장치(예를 들면, 인터페이스에 연결된 디스플레이 설비)상에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 중 또는 메모리 상에 저장된 명령을 포함한다. 기타 실시형태에서, 필요한 경우, 복수의 프로세서 및/또는 복수의 버스는 복수의 메모리와 함께 사용될 수 있다. 마찬가지로, 복수의 전자 설비가 연결될 수 있으며, 각각의 설비는, 예를 들면, 서버 어레이, 하나의 그룹의 블레이드 서버 또는 멀티 프로세서 시스템으로서, 일부분의 필요한 동작을 제공한다. 도 8에서는 하나의 프로세서(801)로 예를 들어 설명한다.
메모리(802)는 본 출원에서 제공하는 비일시적 컴퓨터 판독가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하여, 상기 적어도 하나의 프로세서가 본 출원에서 제공하는 비디오 재생 제어 방법을 실행하도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장매체에는 컴퓨터 명령이 저장되며, 해당 컴퓨터 명령은 컴퓨터가 본 출원에서 제공하는 비디오 재생 제어 방법을 실행하도록 한다.
메모리(802)는 비일시적 컴퓨터 판독가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장하는데 사용되며, 예를 들어, 본 출원의 실시예에서의 비디오 재생 제어 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 7에 도시된 수집 모듈(701), 파싱 모듈(702) 및 제어 모듈(703))을 저장하는데 사용된다. 프로세서(801)는 메모리(802)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 여러 가지 기능적 응용 및 데이터 처리를 수행하여, 상기 방법 실시예에서의 비디오 재생 제어 방법을 구현한다.
메모리(802)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있으며, 여기서, 프로그램 저장 영역은 운영 시스템(operation system), 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있고, 데이터 저장 영역은 비디오 재생 제어 방법에 따른 전자 설비의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리를 더 포함할 수 있으며, 예를 들어, 적어도 하나의 자기 디스크 저장 소자, 플래시 저장 소자 또는 기타 비일시적인 솔리드 스테이트 저장 소자를 포함할 수 있다. 일부 실시예에서, 메모리(802)는 프로세서(801)에 대해 원격으로 설치된 메모리를 선택적으로 포함하고, 이러한 원격 메모리는 네트워크를 통해 비디오 재생 제어 방법을 구현하는 전자 설비에 연결될 수 있다. 상기 네트워크의 예시로는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합이 포함되지만 이에 제한되지 않는다.
비디오 재생 제어 방법을 구현하는 전자 설비는, 입력 장치(803) 및 출력 장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력 장치(803) 및 출력 장치(804)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 8에서는 버스를 통해 연결되는 것을 예로 들어 설명한다.
입력 장치(803)는 입력되는 디지털 또는 문자(Character) 정보를 수신하고, 비디오 재생 제어 방법을 구현하는 전자 설비의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어, 입력 장치(803)는 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조작레버 등 입력 장치이다. 출력 장치(804)는 디스플레이 설비, 보조 조명 장치(예를 들어, LED) 및 햅틱 피드백 장치(haptic feedback device)(예를 들어, 진동 모터) 등을 포함할 수 있다. 해당 디스플레이 설비는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 설비는 터치스크린일 수 있다.
여기서 설명된 시스템 및 기술의 여러 가지 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 여러 가지 실시형태는, 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 방식을 포함할 수 있으며, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및/또는 해석(interpretating)될 수 있으며, 해당 프로그램 가능한 프로세서는 전용 또는 범용 프로그램 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 함)은 프로그램 가능한 프로세서의 기계 명령을 포함하고, 이러한 컴퓨팅 프로그램을 실행하기 위해 고급 프로세스 및/또는 객체 지향 프로그램 언어 및/또는 어셈블리/기계 언어를 이용할 수 있다. 본문에서 사용되는 용어 "기계 판독가능 매체" 및 "컴퓨터 판독가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 설비, 및/또는 장치(예를 들어, 디스크, 콤팩트디스크, 메모리, 프로그램 가능한 로직 장치(PLD))를 나타내며, 기계 판독가능 신호로서 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 "기계 판독가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위한 임의의 신호를 나타낸다.
사용자와의 상호 작용을 위해, 여기에서 설명된 시스템 및 기술은 컴퓨터 상에서 구현될 수 있으며, 해당 컴퓨터는, 사용자에게 정보를 디스플레이 하기 위한 디스플레이 장치(예를 들어, 음극선관(CRT) 또는 액정디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 해당 키보드 및 해당 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 상호 작용을 제공할 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 햅틱 피드백과 같은 임의의 형태의 센싱 피드백일 수 있으며, 사운드 입력, 음성 입력 또는 햅틱 입력과 같은 임의의 형태를 사용하여 사용자로부터의 입력을 수신할 수 있다.
여기에서 설명된 시스템 및 기술은 백엔드 구성 요소(back-end component)를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버)에서 구현될 수 있거나, 미들웨어 구성 요소(middleware component)를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버)에서 구현될 수 있거나, 프론트엔드 구성 요소(front-end component)를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹브라우저를 구비하는 사용자 컴퓨터; 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹브라우저를 통해 여기에서 설명된 시스템 및 기술의 실시형태와 상호 작용할 수 있음)에서 구현될 수 있거나, 이러한 백엔드 구성 요소, 미들웨어 구성 요소 또는 프론트엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크의 예시에는 근거리 통신망(LAN), 원거리 통신망(WAN) 및 인터넷이 포함된다.
컴퓨터 시스템에는 클라이언트단과 서버가 포함될 수 있다. 클라이언트단과 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호 작용을 수행한다. 클라이언트단과 서버 간의 관계는 대응되는 컴퓨터상에서 실행되고 서 클라이언트단-서버 관계를 구비하는 컴퓨터 프로그램을 통해 발생한다.
본 출원의 실시예의 기술방안에 따르면, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되고 있거나 일시 정지된 경우, 전자 설비는 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하고, 이후 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하며, 다시 현재 시각적 초점에 따라 적어도 하나의 비디오가 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어할 수 있다. 즉, 본 출원은 디스플레이 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 것을 통해, 눈으로 비디오 재생을 정확하게 제어할 수 있다. 그러나, 종래의 비디오 재생 제어 방법에서는, 인식 알고리즘을 통해 단지 눈을 뜨는 동작, 눈을 감는 동작, 눈의 움직임 방향 등을 포함하는 눈의 동작 만을 분석할 수 있어, 상기 눈의 동작을 통해 비디오 재생에 대해 보다 정확한 제어를 수행할 수 없다. 본 출원에서는 증강 현실의 시선 추적 방법에 기반하여 현재 얼굴 이미지를 파싱하여, 디스플레이 스크린에서의 사용자의 현재 시각적 초점을 결정하는 기술수단을 사용함으로써, 종래 기술에서 눈의 동작을 통해 비디오 재생을 정확하게 제어하지 못하는 기술적 과제를 극복하였으며, 본 출원에서 제공하는 기술방안은, 눈을 통해 비디오 재생을 보다 정확하게 제어하여, 사용자의 조작을 보다 편리하게 할 수 있어, 사용자의 시청 체험을 효과적으로 향상시킬 수 있다. 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 보급이 편리하고, 적용 범위가 보다 넓다.
상기에 언급된 여러 가지 형태의 과정을 사용하여 재배열하거나, 단계를 증가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계들은 병행되어 수행될 수 있거나, 순차적으로 수행될 수도 있거나, 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술방안이 원하는 결과를 구현할 수만 있으면, 본문에서는 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본 출원의 보호 범위에 대해 한정하지 않는다. 본 분야의 당업자는 설계 요구 및 기타 요소에 따라 여러 가지 수정, 조합, 서브 조합 및 대체를 수행할 수 있음을 알아야 한다.

Claims (18)

  1. 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지된 경우, 상기 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는 단계;
    증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 디스플레이 스크린에서의 상기 사용자의 현재 시각적 초점을 결정하는 단계;
    상기 현재 시각적 초점에 따라 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 단계; 를 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  2. 제 1 항에 있어서,
    증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 디스플레이 스크린에서의 상기 사용자의 현재 시각적 초점을 결정하는 단계는,
    상기 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 사용자의 좌안 시선과 디스플레이 스크린의 교점 및 상기 사용자의 우안 시선과 상기 디스플레이 스크린의 교점을 결정하는 단계;
    상기 좌안 시선과 상기 디스플레이 스크린의 교점 및 상기 우안 시선과 상기 디스플레이 스크린의 교점에 따라 상기 현재 시각적 초점을 결정하는 단계; 를 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  3. 제 2 항에 있어서,
    상기 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 사용자의 좌안 시선과 디스플레이 스크린의 교점 및 상기 사용자의 우안 시선과 상기 디스플레이 스크린의 교점을 결정하는 단계는,
    상기 사용자에 대응되는 좌안 전환 모델 및 우안 전환 모델을 통해, 상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치를 결정하는 단계;
    상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치 및 기결정된 상기 디스플레이 스크린의 공간 위치에 따라, 상기 좌안 시선과 상기 디스플레이 스크린의 교점 및 상기 우안 시선과 상기 디스플레이 스크린의 교점을 결정하는 단계; 를 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  4. 제 3 항에 있어서,
    상기 사용자에 대응되는 좌안 전환 모델 및 우안 전환 모델을 통해, 상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치를 결정하는 단계는,
    3차원 공간에 상기 사용자의 좌안 노드와 우안 노드 및 상기 좌안 노드에 대응되는 좌측 가상 앵커 포인트와 상기 우안 노드에 대응되는 우측 가상 앵커 포인트를 각각 추가하는 단계;
    상기 좌안 노드와 상기 좌측 가상 앵커 포인트의 공간 위치에 따라 상기 좌안 시선의 공간 위치를 결정하고, 상기 우안 노드와 상기 우측 가상 앵커 포인트의 공간 위치에 따라 상기 우안 시선의 공간 위치를 결정하는 단계; 를 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  5. 제 1 항에 있어서,
    상기 방법은,
    상기 현재 얼굴 이미지에 하나의 사용자의 얼굴만이 포함되는 경우, 상기 사용자를 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하며, 상기 현재 얼굴 이미지에 복수의 사용자의 얼굴이 포함되는 경우, 상기 복수의 사용자 중에서 하나의 사용자를 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  6. 제 1 항에 있어서,
    상기 현재 시각적 초점에 따라 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 단계는,
    기설정된 시간대 내에 상기 사용자의 N번의 눈깜빡임을 검출하였다면, 상기 현재 시각적 초점에 따라 현재 시각적 초점이 위치하는 비디오를 결정하는 단계-여기서, N은 1보다 큰 자연수임-;
    상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 재생되는 경우, 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되도록 제어하고; 또는 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되는 경우, 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 계속하여 재생되도록 제어하는 단계; 를 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  7. 제 6 항에 있어서,
    상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되도록 제어하는 단계 이후,
    상기 현재 시각적 초점이 상기 디스플레이 스크린의 상반부 영역에 위치하는 경우, 상기 디스플레이 스크린에서의 표시 인터페이스가 아래로 스크롤되도록 제어하며, 상기 현재 시각적 초점이 상기 디스플레이 스크린의 하반부 영역에 위치하는 경우, 상기 디스플레이 스크린의 표시 인터페이스가 위로 스크롤되도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  8. 제 1 항에 있어서,
    상기 방법은,
    상기 현재 얼굴 이미지를 파싱하는 것을 통해, 상기 현재 시각적 초점을 결정하지 못하는 경우, 상기 디스플레이 스크린의 밝기값을 소정 수치만큼 감소하는 단계를 더 포함하는 것을 특징으로 하는 비디오 재생 제어 방법.
  9. 수집 모듈, 파싱 모듈 및 제어 모듈을 포함하는 비디오 재생 제어 장치에 있어서,
    상기 수집 모듈은, 적어도 하나의 비디오가 디스플레이 스크린에서 재생되거나 일시 정지되는 경우, 상기 스크린 전방에 나타난 사용자의 현재 얼굴 이미지를 수집하는데 사용되고;
    상기 파싱 모듈은, 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 디스플레이 스크린에서의 상기 사용자의 현재 시각적 초점을 결정하는데 사용되며;
    상기 제어 모듈은, 상기 현재 시각적 초점에 따라 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는데 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  10. 제 9 항에 있어서,
    상기 파싱 모듈은 구체적으로, 증강 현실의 시선 추적 방법에 기반하여 상기 현재 얼굴 이미지를 파싱하여, 상기 사용자의 좌안 시선과 디스플레이 스크린의 교점 및 상기 사용자의 우안 시선과 상기 디스플레이 스크린의 교점을 결정하고; 상기 좌안 시선과 상기 디스플레이 스크린의 교점 및 상기 우안 시선과 상기 디스플레이 스크린의 교점에 따라, 상기 사용자가 상기 디스플레이 스크린에서의 현재 시각적 초점을 결정하는데 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  11. 제 10 항에 있어서,
    상기 파싱 모듈은 구체적으로, 상기 사용자에 대응되는 좌안 전환 모델 및 우안 전환 모델을 통해, 상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치를 결정하고; 상기 좌안 시선의 공간 위치와 상기 우안 시선의 공간 위치 및 기결정된 상기 디스플레이 스크린의 공간 위치에 따라, 상기 좌안 시선과 상기 디스플레이 스크린의 교점 및 상기 우안 시선과 상기 디스플레이 스크린의 교점을 결정하는데 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  12. 제 11 항에 있어서,
    상기 파싱 모듈은 구체적으로, 3차원 공간에 상기 사용자의 좌안 노드와 우안 노드 및 상기 좌안 노드에 대응되는 좌측 가상 앵커 포인트와 상기 우안 노드에 대응되는 우측 가상 앵커 포인트를 각각 추가하고; 상기 좌안 노드와 상기 좌측 가상 앵커 포인트의 공간 위치에 따라 상기 좌안 시선의 공간 위치를 결정하고, 상기 우안 노드와 상기 우측 가상 앵커 포인트의 공간 위치에 따라 상기 우안 시선의 공간 위치를 결정하는데 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  13. 제 9 항에 있어서,
    상기 제어 모듈은 상기 현재 얼굴 이미지에 하나의 사용자의 얼굴만이 포함되는 경우, 상기 사용자를 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하며, 상기 현재 얼굴 이미지에 복수의 사용자의 얼굴이 포함되는 경우, 상기 복수의 사용자 중에서 하나의 사용자를 상기 적어도 하나의 비디오가 상기 디스플레이 스크린에서 계속하여 재생되거나 일시 정지되도록 제어하는 사용자로 결정하는데 더 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  14. 제 9 항에 있어서,
    상기 제어 모듈은 구체적으로, 기설정된 시간대 내에 상기 사용자의 N번의 눈깜빡임을 검출하였다면, 상기 현재 시각적 초점에 따라 현재 시각적 초점이 위치하는 비디오를 결정하는 하며, 여기서, N은 1보다 큰 자연수이고; 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 재생되는 경우, 상기 시각 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되도록 제어하고; 또는 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 일시 정지되는 경우, 상기 현재 시각적 초점이 위치하는 비디오가 상기 디스플레이 스크린에서 계속하여 재생되도록 제어하는데 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  15. 제 14 항에 있어서,
    상기 제어 모듈은, 상기 현재 시각적 초점이 상기 디스플레이 스크린의 상반부 영역에 위치하는 경우, 상기 디스플레이 스크린에서의 표시 인터페이스가 아래로 스크롤되도록 제어하며, 상기 현재 시각적 초점이 상기 디스플레이 스크린의 하반부 영역에 위치하는 경우, 상기 디스플레이 스크린의 표시 인터페이스가 위로 스크롤되도록 제어하는데 더 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  16. 제 9 항에 있어서,
    상기 제어 모듈은, 상기 현재 얼굴 이미지를 파싱하는 것을 통해, 상기 현재 시각적 초점을 결정하지 못하는 경우, 상기 디스플레이 스크린의 밝기값을 소정 수치만큼 감소하는데 더 사용되는 것을 특징으로 하는 비디오 재생 제어 장치.
  17. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 를 포함하는 전자 설비에 있어서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있으며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 실행하도록 하는 것을 특징으로 하는 전자 설비.
  18. 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독가능 저장매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터가 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 실행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장매체.
KR1020217026694A 2020-05-22 2021-01-06 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체 KR20210111860A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010443500.8A CN111586459B (zh) 2020-05-22 2020-05-22 一种控制视频播放的方法、装置、电子设备及存储介质
CN202010443500.8 2020-05-22
PCT/CN2021/070412 WO2021232827A1 (zh) 2020-05-22 2021-01-06 一种控制视频播放的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
KR20210111860A true KR20210111860A (ko) 2021-09-13

Family

ID=77800018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026694A KR20210111860A (ko) 2020-05-22 2021-01-06 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체

Country Status (4)

Country Link
US (1) US20230336826A1 (ko)
EP (1) EP3941077A4 (ko)
JP (1) JP2022537236A (ko)
KR (1) KR20210111860A (ko)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
KR102281233B1 (ko) * 2013-03-14 2021-07-23 삼성전자 주식회사 화면 제어 방법 및 장치
US20150036999A1 (en) * 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
KR102246310B1 (ko) * 2013-12-31 2021-04-29 아이플루언스, 인크. 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
US10303245B2 (en) * 2015-05-04 2019-05-28 Adobe Inc. Methods and devices for detecting and responding to changes in eye conditions during presentation of video on electronic devices
CA2915020A1 (en) * 2015-12-11 2017-06-11 Igt Canada Solutions Ulc Enhanced electronic gaming machine with electronic maze and eye gaze display
CN106792036A (zh) * 2016-11-18 2017-05-31 广东小天才科技有限公司 一种视频播放的控制方法及装置、智能设备
CN106604130A (zh) * 2016-12-03 2017-04-26 西安科锐盛创新科技有限公司 一种基于视线追踪的视频播放方法
CN107396170A (zh) * 2017-07-17 2017-11-24 上海斐讯数据通信技术有限公司 一种基于虹膜控制视频播放的方法及系统
EP4235263A3 (en) * 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10838490B2 (en) * 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
CN110825228B (zh) * 2019-11-01 2023-06-23 腾讯科技（深圳）有限公司 交互控制方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
EP3941077A4 (en) 2022-06-29
US20230336826A1 (en) 2023-10-19
JP2022537236A (ja) 2022-08-25
EP3941077A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
CN111586459B (zh) 一种控制视频播放的方法、装置、电子设备及存储介质
US10348795B2 (en) Interactive control management for a live interactive video game stream
CN109313812B (zh) 具有上下文增强的共享体验
EP3829186A2 (en) Video playing method, apparatus, electronic device and storage medium
WO2022022028A1 (zh) 虚拟对象控制方法及装置、设备、计算机可读存储介质
WO2022237268A1 (zh) 头戴式显示设备的信息输入方法、装置及头戴式显示设备
CN111225236B (zh) 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
US20230186583A1 (en) Method and device for processing virtual digital human, and model training method and device
KR102649722B1 (ko) 중점 학습 내용 결정 방법, 장치, 기기 및 저장 매체
EP3890294A1 (en) Method and apparatus for extracting hotspot segment from video
CN104007826A (zh) 基于脸部动作识别技术的视频控制方法和系统
KR102358012B1 (ko) 음성 제어 방법, 장치, 전자 기기 및 판독 가능 저장 매체
KR20220010580A (ko) 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기
CN111507111A (zh) 语义表示模型的预训练方法、装置、电子设备及存储介质
CN110505406A (zh) 背景虚化方法、装置、存储介质及终端
CN110913259A (zh) 视频播放方法、装置、电子设备和介质
CN111695516A (zh) 热力图的生成方法、装置及设备
WO2018000606A1 (zh) 一种虚拟现实交互界面的切换方法和电子设备
US11615140B2 (en) Method and apparatus for detecting temporal action of video, electronic device and storage medium
CN111970560B (zh) 视频获取方法、装置、电子设备及存储介质
CN111638787A (zh) 用于展示信息的方法和装置
KR20210111860A (ko) 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체
CN113495621A (zh) 一种交互模式的切换方法、装置、电子设备及存储介质
JP7256857B2 (ja) 対話処理方法、装置、電子機器及び記憶媒体
EP3955585A1 (en) Video processing method and apparatus, and electronic device and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application