KR20180042386A - 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치 - Google Patents

임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20180042386A
KR20180042386A KR1020187008179A KR20187008179A KR20180042386A KR 20180042386 A KR20180042386 A KR 20180042386A KR 1020187008179 A KR1020187008179 A KR 1020187008179A KR 20187008179 A KR20187008179 A KR 20187008179A KR 20180042386 A KR20180042386 A KR 20180042386A
Authority
KR
South Korea
Prior art keywords
video
user
control signal
playback
video content
Prior art date
Application number
KR1020187008179A
Other languages
English (en)
Other versions
KR102087690B1 (ko
Inventor
시궈 리안
잔 추
쉬에얀 후앙
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20180042386A publication Critical patent/KR20180042386A/ko
Application granted granted Critical
Publication of KR102087690B1 publication Critical patent/KR102087690B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 인간-기계 상호작용 기술의 분야에 적용되며, 임의의 위치 및 임의의 시간으로부터 비디오를 디스플레이하기 위한 방법 및 장치를 제공한다. 본 방법은: 사용자에 의해 입력된 제어 신호를 획득하는 단계 - 상기 제어 신호는 사용자의 조작 의도를 반영함 -; 사용자에 의해 입력된 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계; 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하는 단계 - 상기 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함함 -; 및 비디오 재생 제어 명령의 제어 하에 비디오 컨텐츠를 재생하는 방식을 포함한다. 제어 명령이 재생될 비디오를 디스플레이하는 방식에 따라 결정되기 때문에, 비디오는 임의의 위치 및 임의의 시간으로부터 재생될 수 있다.

Description

임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
본 발명은 인간-기계 상호작용 기술 분야에 관한 것으로, 특히 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 상호작용 방법 및 장치에 관한 것이다.
기술이 발전하고 사람들의 요구가 증가함에 따라, 더 많은 비디오가 전파되고 시청된다. 그러나, 현재 비디오의 재생은 단지 비디오 소스의 단순한 재생 및 반복일 뿐이다. 일반적으로, 비디오는 캡쳐된대로 재생된다. 사람이 객체나 장면을 포괄적으로 관찰하기를 원할 때, 관찰자와 관찰된 객체가 같은 공간에 있지 않으면, 객체에 대해 모든 각도의 비디오를 찍는 것이 해결책이며, 관찰자는 비디오를 시청하면서 어떤 각도에서든지 객체 또는 장면의 세부 사항을 학습한다. 예를 들어, 전형적인 시나리오는 이하와 같다: 온라인 상점 주인이 상품을 디스플레이하기를 원하면, 주인은 모바일 폰과 같은 공통 사진 장치를 사용하여 상품 주위를 회전하면서 모든 각도의 비디오를 찍을 필요가 있으며, 이로써 구매자는 실제 객체를 관찰하는 것처럼 상품을 알 수 있다. 이러한 방식의 단점은 관찰자가 촬영된 비디오만을 볼 수 있으며, 비디오 컨텐츠를 재생하는 시퀀스 및 방식이 고정되어 있고, 촬영된 객체 또는 장면이 임의의 위치 및 임의의 시간에서 시청될 수 없다는 점이다.
본 발명의 실시예는 임의의 위치 또는 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 상호작용 방법을 제공하며, 이로써 관찰자는 임의의 위치로부터 비디오 컨텐츠의 객체 또는 장면을 유연하고 임의적으로 관찰할 수 있다.
본 발명의 실시예의 제1 측면은 비디오를 재생하는 방법을 제공하며, 사용자에 의해 입력된 제어 신호를 획득하는 단계 - 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -; 상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계; 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하는 단계 - 상기 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함함 -; 및 상기 비디오 재생 제어 명령의 제어 하에 상기 비디오 컨텐츠를 재생하는 단계를 포함한다.
제1 측면의 구현 방식에서, 상기 방법은 비디오 소스를 획득하는 단계 - 상기 비디오 소스는 상기 비디오 컨텐츠를 포함함 -; 및 상기 사용자에 의해 입력된 제어 신호를 획득하는 단계 이전에, 상기 비디오의 프리뷰 화면을 디스플레이하거나 상기 비디오 컨텐츠를 재생하는 단계를 더 포함할 수 있다.
제1 측면의 구현 방식에서, 상기 사용자에 의해 입력된 제어 신호를 획득하는 단계는, 상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하는 단계; 상기 사용자의 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하는 단계; 상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하는 단계; 또는 입력 장치에서 상기 사용자에 의해 수행된 동작을 검출함으로써 상기 제어 신호를 획득하는 단계를 포함한다.
제1 측면의 구현 방식에서, 상기 제어 신호는 상기 동작의 동작 속도 또는 상기 입력 장치에서 상기 사용자에 의해 수행되는 상기 조작의 동작 속도에 따라 조정되고, 상기 비디오 컨텐츠를 디스플레이하는 방식은, 상기 비디오를 가속 속도, 감속 속도 또는 정상 속도로 재생하고, 특정 위치 또는 시간을 건너뛴 후 상기 비디오를 재생하거나, 또는 특정 위치 또는 시간에서 상기 비디오를 재생하는 것을 포함한다.
상기 방식 중 어느 하나를 참조하여, 일 구현 해결책에서, 상기 비디오 컨텐츠를 디스플레이하는 방식은 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지를 더 포함하고, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계는, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 비디오 컨텐츠의 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지를 수행하는 단계를 포함한다.
제1 측면의 구현 방식에서, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계는, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항을 결정하는 단계 - 상기 타깃 이미지는 타깃 프레임에 대응함 -; 및 비디오 컨텐츠 재생의 상기 타깃 이미지 요구사항 및 상기 모션 방향 요구사항에 따라 상기 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계를 포함한다.
상기 방식 중 어느 하나를 참조하여, 일 구현 해결책에서, 상기 방법은 또한, 상기 비디오 소스로부터 비디오 프레임, 각 비디오 프레임의 프레임 번호 및 상기 비디오 컨텐츠의 특성 정보를 획득하기 위해 상기 비디오 소스를 파싱하는 단계를 더 포함하고, 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하는 단계는, 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 재생할 타깃 프레임의 프레임 번호를 결정하는 단계 - 상기 타깃 프레임의 프레임 번호는 비디오 재생 시작 위치 또는 비디오 재생 연속 위치에 대응함 -; 및 상기 타깃 프레임의 프레임 번호 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 타깃 프레임을 재생하기 위한 재생 시퀀스를 결정하는 단계 - 상기 재생 시퀀스는 상기 타깃 프레임을 재생하는 방식에 대응함 -;를 포함한다.
또한, 상기 비디오 컨텐츠의 특성 정보는 타깃 컨텐츠의 모션 정보를 포함하고, 상기 비디오 컨텐츠의 특성 정보를 획득하기 위해 상기 비디오 소스를 파싱하는 단계는, 비디오 캡쳐의 스캔 방향을 획득하기 위해 상기 비디오 소스를 파싱하는 단계 - 상기 스캔 방향은 상기 타깃 컨텐츠의 모션 정보임 -; 또는 식별점의 모션 트랙을 획득하기 위해 상기 비디오 소스를 파싱하고, 상기 식별점의 모션 트랙에 따라 상기 타깃 컨텐츠의 모션 정보를 획득하는 단계를 포함한다.
제1 측면의 상기 특정 해결책의 특정 구현에서, 상기 타깃 컨텐츠의 모션 정보는, 상기 타깃 컨텐츠의 모션 특성을 포함하고, 상기 모션 특성은 상기 객체의 좌에서 우로, 우에서 좌로, 위에서 아래로 또는 아래에서 위로 상기 객체의 회전을 포함한다.
본 발명의 실시예의 제2 측면은 비디오를 재생하는 방법을 제공하며, 상기 방법은, 비디오 소스를 획득하는 단계 - 상기 비디오 소스는 비디오 컨텐츠를 포함함 -; 3차원 이미지를 생성하기 위해 상기 비디오 소스의 비디오 컨텐츠를 파싱하는 단계 - 상기 3차원 이미지는 상기 비디오 컨텐츠에 기록된 객체를 디스플레이하는 데 사용됨 -; 사용자에 의해 입력된 제어 신호를 획득하는 단계 - 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -; 및 상기 3차원 이미지를 디스플레이하는 방식을 결정하고 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 3차원 이미지를 디스플레이하는 단계를 포함한다.
제2 측면의 구현 방식에서, 상기 사용자에 의해 입력된 제어 신호를 획득하는 단계는, 상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하는 단계; 상기 사용자의 제어 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하는 단계; 상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나 또는 입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 정보를 획득하는 단계를 포함한다.
제2 측면의 상기 특정 해결책의 특정 구현에서, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 3차원 이미지를 디스플레이하는 방식을 결정하고 상기 3차원 이미지를 디스플레이하는 단계는, 상기 제어 신호에 따라 상기 3차원 이미지를 회전 방식으로 디스플레이하는 단계; 상기 제어 신호에 따라 시야각을 조정한 이후에 상기 3차원 이미지를 디스플레이하는 단계; 및 상기 제어 신호에 따라 배율이 조정된 이후에 상기 3차원 이미지를 디스플레이하는 단계를 포함한다.
본 발명의 실시예의 제3 측면은 단말 장치를 제공하고, 사용자에 의해 입력된 제어 신호를 획득하도록 구성된 수신기 회로 - 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -; 상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하고, 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하도록 구성된 프로세서 - 상기 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함함 -; 및 상기 비디오 재생 제어 명령의 제어 하에 상기 비디오 컨텐츠를 디스플레이 및 재생하도록 구성된 표시기를 포함한다.
제3 측면의 구현 방식에서, 상기 수신기 회로는 비디오 소스를 획득하도록 더 구성되고, 상기 비디오 소스는 상기 비디오 컨텐츠를 포함하며, 상기 표시기는, 상기 수신기 회로가 상기 사용자에 의해 입력된 상기 제어 신호를 획득하기 이전에, 상기 비디오의 프리뷰 화면을 디스플레이하거나 상기 비디오 컨텐츠를 재생하도록 더 구성된다.
구현 방식에서, 또한, 상기 수신기 회로는 구체적으로, 상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하며; 상기 사용자의 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하며; 상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나; 또는 상기 수신기 회로에 연결된 입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 정보를 획득하도록 구성된다.
제3 측면의 구현 방식에서, 상기 수신기 회로는 상기 수신기 회로에 연결된 상기 입력 장치에서 상기 동작의 동작 속도 또는 상기 사용자에 의해 수행된 상기 동작의 동작 속도에 따라, 상기 제어 신호를 조정하도록 더 구성되며, 상기 프로세서는 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 비디오 컨텐츠를 디스플레이하는 방식을 결정하고, 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 비디오 재생 제어 명령을 결정하도록 구성되고, 상기 비디오 재생 제어 명령은 상기 재생 시작 위치 및 상기 재생 방식을 포함하고, 상기 비디오 컨텐츠를 디스플레이하는 방식은, 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지; 또는 가속 속도, 감속 속도 또는 정상 속도로 비디오를 재생하고, 특정 위치 또는 시간을 건너뛴 후 상기 비디오를 재생하거나, 특정 위치 또는 시간에서 상기 비디오를 재생하는 것을 포함한다.
또한, 제3 측면의 구현 방식에서, 상기 프로세서는 구체적으로, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항을 결정하고 - 상기 타깃 이미지는 타깃 프레임에 대응함 -; 비디오 컨텐츠 재생의 상기 타깃 이미지 요구사항 및 모션 방향 요구사항에 따라 상기 비디오 컨텐츠를 디스플레이하는 방식을 결정하며; 및 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 비디오 재생 제어 명령을 결정하도록 구성되며, 상기 비디오 재생 제어 명령은 상기 재생 시작 위치 및 상기 재생 방식을 포함한다.
상기 방식 중 어느 하나를 참조하여, 제3 측면의 구현 해결책에서, 상기 프로세서는, 상기 비디오 소스로부터 비디오 프레임, 각 비디오 프레임의 프레임 번호 및 상기 비디오 컨텐츠의 특성 정보를 획득하기 위해 상기 비디오 소스를 파싱하고; 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 재생할 타깃 프레임의 프레임 번호를 결정하고 - 상기 타깃 프레임의 프레임 번호는 비디오 재생 시작 위치 또는 비디오 재생 연속 위치에 대응함 -; 및 상기 타깃 프레임의 프레임 번호 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 타깃 프레임을 재생하기 위한 재생 시퀀스를 결정하도록 더 구성되며, 상기 재생 시퀀스는 상기 타깃 프레임을 재생하는 방식에 대응한다.
본 발명의 실시예의 제4 측면은 단말을 제공하고, 사용자에 의해 입력된 비디오 소스 및 제어 신호를 획득하도록 구성된 수신기 회로 - 상기 비디오 소스는 비디오 컨텐츠를 포함하고, 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -; 3차원 이미지를 생성하기 위해 상기 비디오 소스의 비디오 컨텐츠를 파싱하고 - 상기 3차원 이미지는 상기 비디오 컨텐츠에 기록된 객체를 디스플레이하는 데 사용됨 -; 및 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 3차원 이미지를 디스플레이하는 방식을 결정하도록 구성된 프로세서; 및 상기 프로세서의 제어 하에 상기 3차원 이미지를 디스플레이하도록 구성된 표시기를 포함한다.
제4 측면의 구현 방식에서, 상기 수신기 회로는 구체적으로 상기 비디오 소스를 획득하도록 구성되며, 상기 수신기 회로는 구체적으로, 상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하고; 상기 사용자의 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하고; 상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나; 또는 상기 수신기 회로에 연결된 입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 정보를 획득하도록 더 구성된다.
본 발명의 실시예에서, 비디오 재생 제어 명령은 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 결정된다. 비디오 컨텐츠를 디스플레이하는 방식은 사용자에 의해 입력된 제어 신호에 따라 결정된다. 따라서, 사용자는 비디오 컨텐츠를 유연하게 재생할 수 있으며, 사용자(조작자, 관찰자 또는 비디오를 재생하는 사람)의 의도에 따라 임의의 각도에서 모든 각도의 비디오의 객체를 볼 수 있다. 따라서, 상호작용 프로세스가 더 편리하며, 이는 조작자에 대한 비디오의 객체를 직접 제어하는 것과 동등하며, 따라서 보다 실제적인 경험을 제공하며 개인화되고 맞춤화된 방식으로 비디오 소스의 컨텐츠를 재생하는 방식의 선택을 구현한다. 본 발명의 실시예의 해결책에 의해, 기록된 비디오 컨텐츠의 단순한 재생 대신에, 사용자는 임의의 시야각, 임의의 재생 시퀀스 또는 임의의 재생 방식을 사용함으로써 비디오 컨텐츠 소스를 디스플레이할 수 있다. 사용자는 제어 명령을 입력함으로써 비디오 컨텐츠를 디스플레이 및 재생하는 방식을 결정할 수 있으며, 이로써 재생될 비디오 컨텐츠 및 재생 방식이 비디오를 재생하는 사람의 의도에 따라 선택된다.
본 발명의 실시예에서의 기술적 해결책을 보다 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하기 위해 필요한 첨부 도면을 간략하게 설명한다. 명확한 것은, 이하의 설명에서의 첨부 도면은 본 발명의 단지 일부 실시예를 나타내며, 통상의 기술자는 창의적인 노력 없이도 이들 도면으로부터 다른 도면을 여전히 유도할 수 있다는 것이다.
도 1은 본 발명의 일 실시예에 따라 임의의 위치 및 임의의 시간으로부터 비디오를 재생하기 위한 상호작용 방법을 구현하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 슬라이딩 조작의 개략도이다.
도 3은 본 발명의 일 실시예에 따라 좌에서 우로 회전하는 객체의 모든 각도의 비디오의 개략도이다.
도 4는 본 발명의 일 실시예에 따라 우에서 좌로 회전하는 객체의 모든 각도의 비디오의 개략도이다.
도 5는 본 발명의 일 실시예에 따라 위에서 아래로 회전하는 객체의 모든 각도의 비디오의 개략도이다.
도 6은 본 발명의 일 실시예에 따라 아래에서 위로 회전하는 객체의 모든 각도의 비디오의 개략도이다.
도 7은 본 발명의 일 실시예에 따라 임의의 위치 및 임의의 시간으로부터 비디오 재생을 구현하기 위한 지능형 단말의 개략적인 구조도이다.
본 발명의 목적, 기술적 해결책 및 이점을 보다 명확하고 이해하기 쉽게 하기 위해, 이하에서는 첨부 도면 및 실시예를 참조하여 본 발명을 더 상세하게 설명한다. 여기서 기술된 특정 실시예는 단지 본 발명을 설명하기 위해 사용되었지만 본 발명을 제한하려는 것은 아니라는 것을 이해해야 한다.
본 발명의 일 실시예에서, 예를 들어, 비디오 소스는 객체, 이미지 또는 환경에 대해 360도(또는 대략 360도)의 비디오 캡쳐를 수행함으로써 획득되고, 이로써 객체 또는 이미지의 비교적 포괄적인 비디오 기록을 획득할 수 있다. 비디오 소스의 비디오 컨텐츠는 사용자에 의해 입력된 제어 신호에 따라 결정된 비디오 컨텐츠를 디스플레이하는 방식에 따라 맞춤화되고 개인화된 방식(재생 위치, 재생 시퀀스, 재생 방식 또는 재생 시야각)으로 재생된다. 본 발명의 본 실시예에서, 비디오를 단순히 재생하는 대신에, 비디오 컨텐츠의 재생 방식, 재생 위치 등이 정의될 수 있다.
원본 비디오 소스로부터 캡쳐된 비디오 컨텐츠는 큰 환경에 관한 포괄적인 정보일 수 있다. 큰 환경에는 다수의 타깃 또는 객체가 있다. 각각의 타깃 또는 객체에 대해, 360도(또는 대략 360도) 비디오 캡쳐가 수행된다. 비디오 컨텐츠를 재생하는 프로세스에서, 타깃 또는 객체는 순차적으로 완전히 디스플레이될 수 있다. 또한, 비디오를 재생하는 프로세스에서, 명령 또는 제어 제스쳐 신호가 수신되면, 비디오의 타깃 또는 시간 주기는 스킵되어 다음 타깃에 관한 포괄적인 정보를 계속 디스플레이할 수 있으며, 이 타깃은 맞춤화되거나 또는 개인화된 방식으로 비디오 컨텐츠에 디스플레이될 수 있다. 이 프로세스는 비디오 컨텐츠를 검색하거나 매칭함으로써 구현될 수 있다.
본 발명의 본 실시예에서, 사용자에 의해 입력된 명령에 기초하여, 비디오는 비디오 컨텐츠의 임의의 위치 및 임의의 시점으로부터 재생될 수 있거나, 비디오 재생 동안, 비디오 컨텐츠의 임의의 클립이 스킵될 수 있다. 예를 들어, 구현에서, 사용자의 입력 명령은 빨리 감기 명령일 수 있다. 비디오 처리 동안, 빨리 감기 시간 주기는 타깃과 관련된 정보를 디스플레이하는 시간 주기로 설정된다. 따라서, 빨리 감기 제어 신호는 현재 타깃으로부터 다음 타깃 또는 사용자에 의해 특정된 타깃으로 점프하는 것과 매칭될 수 있고, 비디오의 다음 타깃에 대응하는 컨텐츠는 사용자에 의해 제어되는 재생 방식에 따라 재생된다. 사용자는 또한, 음성 입력을 통해 특정 장면이나 객체의 이미지를 볼 수 있으며, 매칭 후, 점프한 해당 위치에서 재생을 시작할 수 있다.
본 발명의 실시예에서의 기술적 해결책을 더 설명하기 위해, 특정 실시예를 사용하여 이하에 설명된다.
도 1은 본 발명의 일 실시예에 따른 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법을 구현하는 프로세스를 나타내며, 상기 방법은 이하를 포함한다:
S101: 사용자에 의해 입력된 제어 신호를 획득한다. 여기서 제어 신호는 사용자의 조작 의도를 반영한다.
사용자에 의해 입력된 제어 신호는 터치스크린 상에서 슬라이딩하는 것과 같이 지능형 단말에서 사용자에 의해 수행된 조작(예를 들어, 터치스크린 상에서의 조작)을 검출함으로써 트리거되고 생성된다. 또는 사용자에 의해 입력된 제어 신호는 손의 파동, 손가락의 움직임, 손가락 트월링(twirling), 손바닥 펼치기 및 손목 회전, 응시 또는 시선 전환, 머리 움직임 또는 신체 움직임과 같은 사용자의 제어 동작을 검출함으로써 트리거되고 생성될 수 있거나; 또는 사용자에 의해 입력된 제어 신호는 또한 음성 입력일 수 있고, 음성 입력은 마이크로폰을 사용하여 검출된다.
제어 신호는 사용자의 조작 의도를 반영하고, 즉 제어 신호는 사용자가 비디오에서 수행하기를 원하는 조작을 반영하며, 사용자의 조작 의도가 신호 된 이후에 획득되는 제어 신호이다.
사용자에 의해 입력된 제어 신호가 획득된다. 예를 들어, 터치스크린 상에서의 슬라이딩은 좌측, 우측, 상향 및 하향 슬라이딩(도 2a, 도 2c, 도 2e 및 도 2g)을 포함하고, 대략 좌측, 우측, 상향 및 하향 슬라이딩을 포함한다. 예를 들어, 좌측 커브(도 2b)는 또한 대략 좌측으로 슬라이딩하는 것으로 고려될 수 있고, 상향 커브(도 2f)는 또한 대략 상향으로 슬라이딩하는 것으로 고려될 수 있으며, 하향 커브(도 2h)는 또한 대략 하향으로 슬라이딩하는 것으로 고려될 수 있다.
유사하게, 손의 파동 또는 손가락의 움직임은 좌측, 우측, 상향 및 하향 파동 또는 움직임 및 대략 좌측, 우측, 상향 및 하향 파동 또는 움직임을 포함한다. 예를 들어, 좌측 커빙 파동 또는 움직임은 또한 대략 좌측 파동 또는 움직임으로 고려될 수 있으며, 우측, 상향 및 하향의 경우도 이와 유사하다.
사용자의 입력은, 손가락 트월링이 좌측 트월링, 우측 트월링, 상향 트월링 및 하향 트월링을 포함하는 센서를 사용하여 획득된다.
사용자의 입력은, 손바닥 펼치기 및 손목 회전이 좌에서 우로 회전하고, 우에서 좌로 회전하고, 위에서 아래로 회전하며, 아래에서 위로 회전하는 것을 포함하는 센서를 사용하여 획득된다.
사용자의 입력은, 응시 또는 시선 전환이 비디오 화면의 상부를 응시하는 것 또는 시선을 정면에서 상부로 전환하는 것을 포함하는 센서를 사용하여 획득된다. 유사하게, 응시 또는 시선 전환은 비디오 화면의 하부, 좌측 또는 우측을 응시하거나, 또는 시선을 정면에서 하부로, 좌측으로 또는 우측으로 전환하는 것을 더 포함한다.
사용자의 음성 입력은, 음성 명령이 "좌로 이동" 및 "좌로 턴하기" 또는 유사한 의미와 같은 명령을 포함하고, 우측, 상부 및 하부 명령은 상기와 유사한 마이크로폰을 사용하여 획득된다. 특정 이미지를 재생하는 음성 명령은, 예를 들어 상부 각도로 X 객체의 비디오를 재생하고, Y 객체의 파노라마를 좌에서 우로 재생하는 것은 또한 출력되어 비디오의 위치를 결정할 수 있다.
사용자의 입력은, 머리 움직임이 좌 전방으로의 머리 움직임, 우 전방으로의 머리 움직임, 위를 보거나 또는 아래를 내려다보는 센서를 사용하여 획득된다.
사용자의 입력은, 신체 움직임이 좌 전방 또는 전방으로의 움직임, 상향 신체 움직임 또는 하향 신체 움직임을 포함하는 센서를 사용하여 획득된다.
전술한 방향에 대해, 사용자는 기준으로서 사용된다. 상기 좌측은 사용자에 대해 좌측이고, 상기 우측은 사용자에 대해 우측이다. 필연적으로, 일부 사용자는 "좌" 및 "우" 개념을 설명하기 위해 비디오 화면에서 객체를 참조로서 사용하는 것이 익숙하며, 이 경우 "좌" 및 "우"는 해당 음성 명령에서 전환될 수 있다.
이 실시예에서, 하나의 방식 또는 다수의 방식의 조합이 사용자의 입력을 획득하는 데 사용될 수 있으며, 터치 센서를 사용하여 사용자의 손가락 슬라이딩 움직임을 획득하는 단계; 카메라에 의해 캡쳐된 이미지를 분석하거나, 적외선 기술 및 초음파 기술과 같은 기술을 사용하여 사용자의 제스쳐 움직임 또는 사용자의 머리 움직임 또는 신체 움직임의 방향을 획득하는 단계; 시선 트래킹 센서를 사용하여 사용자의 시선의 초점 변경 또는 전환 방향 변경을 획득하는 단계; 및 마이크로폰을 사용하여 사용자의 음성을 획득하는 단계를 포함한다. 또한, 터치 센서를 사용하여 사용자의 손가락 슬라이딩을 획득한 경우, 사용자의 입력은 또한 압력 센서를 사용하여 획득된 사용자의 조작의 압력을 포함할 수 있다.
일 구현에서, 예를 들어, 사용자가 비디오 이미지에서 객체를 보기를 원하면, 사용자는 객체를 회전시키고 객체의 이미지를 좌에서 우로 재생하는 것과 같이, 객체에 대응하는 비디오를 재생하는 비디오를 제어하기 위해 터치스크린 또는 제스쳐를 사용하여 이미지의 객체에서 조작을 수행할 수 있다.
본 실시예에서, 사용자에 의해 입력된 제어 신호를 획득하는 단계 이전에, 상기 방법은, 비디오의 프리뷰 화면을 디스플레이하거나 비디오를 재생하는 단계를 더 포함한다.
S102: 사용자에 의해 입력된 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정한다.
비디오 컨텐츠를 디스플레이하는 방식은 사용자(관찰자 또는 비디오를 재생하는 사람)의 의도를 반영한다. 비디오 컨텐츠를 디스플레이하는 방식은: 비디오 화면의 컨텐츠를 재생하기 위한 시야각, 타깃 컨텐츠의 회전 방향, 재생 방식, 재생을 계속하기 위한 타깃 컨텐츠를 스킵하는 것 등을 포함한다.
비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항은 사용자에 의해 입력된 제어 신호에 따라 결정되고, 여기서 타깃 이미지는 타깃 프레임에 대응하고, 비디오 컨텐츠를 디스플레이하는 방식은 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항에 따라 결정된다. 타깃 프레임이 먼저 결정되고, 타깃 프레임이 결정된 이후에, 비디오의 위치가 결정될 수 있으며, 그 후 제어 신호에 따라, 빨리 감기 또는 되감기가 수행될지 여부 또는 비디오가 좌에서 우 시퀀스 등의 시야각으로 재생될지 여부가 결정될 수 있다. 이들은 제어 신호에 따라 획득되는 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항이다.
바람직하게는, 비디오 화면의 컨텐츠를 시청하기 위한 시야각 요구사항을 결정하는 단계는, 사용자에 의해 입력된 모션 방향 및 모션 증가량에 따른 시청 시야각의 변경을 결정하여 시청을 위한 시야각 요구사항을 결정하는 단계를 포함한다.
모션 증가량은 구체적으로, 슬라이딩 트랙의 시작점의 변위 증가량 및 손의 파동 또는 손가락 움직임의 모션 트랙의 시작점의 변위 증가량; 손가락 트월링 동안 손가락 움직임 각도의 변화; 손바닥 펼치기 및 손목 회전 동안 손목 회전 각도의 변화; 응시 또는 시선 전환 동안 응시 시작점에서 응시 종점까지의 시선의 변위 증가량; 각 음성 명령의 출력 동안 미리 설정된 시야각 변화; 머리 움직임의 모션 트랙의 시작점의 변위 증가량; 및 신체 움직임의 모션 트랙의 시작점의 변위 증가량을 포함한다.
예를 들어, 시야각 증가량(DeltV)은 모션 증가량(DeltX)을 사용하여 결정되며, 시야각 파라미터(V_i)는 누적을 통해 획득된다. V_i = V_i - 1 + DeltV = V_i - 1 + alfa * DeltX, 여기서 alfa > 0, V_i의 값 간격은 [0, 1]이다.
비디오 화면의 객체에 대한 회전 방향 요구사항을 결정하는 단계는, 사용자에 의해 입력된 모션 방향을 획득하는 단계를 포함하며, 여기서 비디오 화면의 객체에 대한 회전 방향 요구사항은 사용자에 의해 입력된 모션 방향과 동일하다.
S103: 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정한다. 여기서 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함한다.
재생 제어 명령은 사용자의 의도, 예를 들어, 비디오 화면의 객체를 시청하기 위한 시야각 요구사항 및 사용자의 비디오 화면의 객체에 대한 회전 방향 요구사항을 구현하는 데 사용된다.
비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함한다. 재생 시작 위치는 재생될 타깃 프레임에 대응하고, 재생 시작 위치 또는 재생 연속 위치는 타깃 프레임을 결정함으로써 결정될 수 있다. 재생 방식은 순방향, 역방향, 빨리 감기, 되감기 등일 수 있거나, 또는 객체나 타깃 주위를 회전하는 시야각으로 비디오를 재생하는 방식일 수 있다.
구현에서, 비디오의 특성 정보는 비디오 화면의 객체의 위치 정보 및 타깃 컨텐츠의 모션 정보를 포함할 수 있다. 모션 정보는, 예를 들어 회전 정보이고, 비디오 화면의 객체의 회전 특성은 비디오가 재생될 때 좌에서 우(도 3a 내지 도 3f), 우에서 좌(도 4a 내지 도 4f), 위에서 아래(도 5a 내지 도 5f) 및 아래에서 위(도 6a 내지 도 6f)로 회전하는 것을 포함한다.
본 발명의 일 실시예에서, 비디오 화면의 객체의 회전 특성을 결정하도록 방법이 제공된다. 본 방법에서, 비디오 촬영 프로세스 도중에 추가 회전 방향 정보가 기록 될 필요가 있다. 촬영 장치는 3축 자이로스코프와 같은 모션 상태의 센서가 장착되어야 하며, 촬영 프로세스 동안, 촬영 장치가 촬영 객체를 촬영하는 방향을 비디오 파일에 기록하고, 비디오 파일이 파싱될 때, 방향 데이터를 읽고, 이로써 촬영 객체의 회전 특성을 결정한다.
본 발명의 다른 실시예에서, 임의의 비디오에서 객체의 회전 특성을 분석하는 다른 방법이 제공된다. 본 방법에서, 촬영 프로세스 동안 추가 기록이 필요하지 않다. 구체적으로, 비디오의 객체가 분석될 수 있다. 객체에서 식별점이 정의되고, 비디오의 정상적인 재생 동안 식별점의 모션 트랙이 분석되고, 객체의 회전 특성이 모션 트랙의 방향에 따라 결정된다.
특정 구현에서, 비디오 소스는 객체 또는 이미지에 대한 360도(또는 대략 360도) 비디오 캡쳐를 수행함으로써 획득되고, 이로써 객체 또는 이미지의 포괄적인 비디오 기록이 획득될 수 있다. 비디오 소스의 비디오 컨텐츠는 사용자에 의해 입력된 제어 신호에 따라 결정된 비디오 컨텐츠를 디스플레이하는 방식에 따라 맞춤화 된 방식으로 재생된다.
비디오 재생 제어 명령을 결정하는 단계는: 적절한 비디오 재생 위치 및 적절한 비디오 재생 방식을 결정하는 단계를 포함한다.
비디오 재생 제어 명령은 구체적으로, 비디오의 순방향 재생 또는 역방향 재생, 재생 시작 위치 또는 재생 시작 시간, 재생 시야각 및 재생 위치 또는 빨리 감기 또는 점프 후의 시간, 비디오의 루프 재생, 가속 속도, 감속 속도 또는 정상 속도로 비디오의 재생 및 비디오의 재생을 일시 정지 또는 중지하도록 구현할 수 있다.
객체를 촬영하는 프로세스에서 생성되는 비디오는 본질적으로 객체의 모든 각도(360도 또는 대략 360도)의 화면으로 형성된 화면 시퀀스이며, 3개의 데이터가 비디오 파일에 기록되고, P', 즉 압축된 화면 시퀀스, Q, 즉 스캔 방향(0은 좌에서 우를 나타내고, 1은 우에서 좌를 나타내며, 2는 위에서 아래를 나타내고, 3은 아래에서 위를 나타냄), N+1, 즉 화면의 수량을 포함한다. 화면 시퀀스는 Pi로 나타나고, 여기서 i는 0에서 N까지의 범위이며, N은 정수이다. 즉, 화면의 일련 번호는 P0, P1, P2, ..., 및 PN이다. 스캔 방향은 촬영 장치에서 3축 자이로스코프에 의해 결정되고 획득된다. 화면의 총 수량은 N+1이다.
재생 단말은 비디오 파일을 파싱하여 P', 즉 압축된 화상 시퀀스, Q, 즉 스캔 방향 및 N+1, 즉 화면의 수량인 3개의 데이터를 획득한다.
단계 S102에서 결정된 시청 시야각 Vi에 따라, 타깃 프레임 O_i은 이하 식을 사용하여 계산된다:
Q=0 or Q=2, O_i = V_i*(N+1); 및
Q=1 or Q=3, O_i = (1-V_i)*(N+1).
촬영 완료 후에 비디오를 시청하는 경우가 있으며, 이 경우에는 촬영 단말도 재생 단말이다. 비디오가 전송된 후, 재생 단말은 촬영 단말과 상이하다. 일 구현에서, 비디오 프레임의 다양한 유형의 정보를 획득하기 위해 비디오 파일을 파싱하는 프로세스는 비디오를 수신하는 재생 단말에서 완료될 수 있거나; 또는 촬영 단말 또는 중간 서비스 장치에서 완료될 수 있다. 비디오 프레임 및 비디오 컨텐츠의 다양한 유형의 정보는 재생 단말로서 작용하는 수신 단말에 함께 전송된다.
적절한 비디오 재생 방식을 결정하는 방법은 비디오 화면의 객체에 대한 회전 방향 요구사항과 비디오 화면의 객체의 회전 특성을 비교하는 것이고, 두 개가 동일할 때, 비디오를 순방향으로 재생하거나, 또는 두 개가 반대일 때, 비디오를 역방향으로 재생한다.
예를 들어, 사용자의 입력이 좌에서 우로 슬라이딩하고, 이는 사용자의 회전 방향 요구사항이 좌에서 우를 나타내며, 비디오 화면의 객체 또한 좌에서 우로 회전하는 것을 나타낸다. 이 경우, 사용자의 회전 방향 요구사항은 객체의 회전 특성과 동일하다. 따라서, 비디오는 순방향으로 타깃 프레임으로 재생된다. 비디오 화면의 객체가 우에서 좌로 회전하면, 사용자의 회전 방향 요구사항과 객체의 회전 특성이 반대이며, 비디오는 역방향으로 타깃 프레임에 재생된다.
도 4는 설명을 위해 예로서 사용된다. 현재 비디오 재생 프레임이 4a이고 타깃 프레임이 4c이며, 비디오 화면의 객체의 회전 특성이 좌에서 우이고, 터치스크린 장치에서 비디오가 재생된다고 가정하면, 사용자가 비디오에서 우측으로 슬라이딩하는, 즉 사용자에 의해 입력된 모션 방향이 비디오 화면의 객체의 회전 특성과 동일할 때, 비디오는 시퀀스 4a-4b-4c, 즉 비디오가 순방향으로 타깃 프레임 4c으로 재생된다. 사용자가 비디오에서 좌측으로 슬라이딩하는, 즉 사용자에 의해 입력된 모션 방향이 비디오 화면의 객체의 회전 특성과 반대일 때, 비디오는 시퀀스 4a/4f-4e-4d-4c, 즉 비디오가 역방향으로 타깃 프레임 4c으로 재생된다.
비디오 재생 제어 명령은 비디오의 루프 재생을 더 포함할 수 있다. 구체적으로, 비디오가 마지막 또는 처음으로 재생될 때, 비디오는 처음 또는 마지막에서 계속 재생될 수 있고, 이로써 사용자는 객체가 연속적으로 회전하는 것을 경험할 수 있다.
비디오 재생 제어 명령은 가속 속도, 감속 속도 또는 정상 속도로 비디오를 재생하는 것을 포함한다. 구체적으로, 사용자의 입력이 터치스크린 상에서 슬라이딩하거나, 손의 파동 또는 손가락 움직임, 손가락 트월링, 손바닥 펼치기 및 손목 회전일 때, 비디오는 사용자의 입력 속도에 따라 가속 속도, 감속 속도 또는 정상 속도로 재생된다. 사용자의 입력이 터치스크린 상에서 슬라이딩할 때, 비디오는 사용자의 입력 압력 값에 따라 가속 속도, 감속 속도 또는 정상 속도로 재생된다.
비디오 재생 제어 명령은 비디오의 재생을 일시 정지 또는 중지하는 것을 포함한다. 구체적으로, 사용자가 입력을 일시 정지하거나 중지할 때, 비디오 또한 일시 정지되거나 중지되며, 이로써 비디오를 시청하는 대신에, 사용자는 객체를 실제로 조작한다. 즉, 비디오는 완전히 재생되지 않고 사용자의 동작에 따라 재생될 수 있다. 도 5를 예로서 사용하면, 도 5의 객체는 우에서 좌로 회전하고, 현재 재생 프레임이 5a이며 타깃 프레임이 5d이고, 사용자의 입력은 우에서 좌로 슬라이딩한다. 따라서, 비디오는 순방향으로 재생된다. 비디오가 5d로 재생될 때, 사용자는 입력을 일시 정지하고, 즉 비디오는 시퀀스 5a-5b-5c-5d에 따라 재생되고 5d에서 일시 정지된 후, 사용자의 입력은 좌에서 우로 슬라이딩하며, 비디오는 역방향으로 5d에서 재생된다고 가정된다. 사용자는 비디오가 5b로 재생될 때, 즉 비디오가 시퀀스 5d-5c-5b에 따라 재생되고 4d에서 일시 정지될 때, 입력을 일시 정지한다고 가정된다.
S104: 비디오 재생 제어 명령의 제어 하에 비디오 컨텐츠를 재생한다.
또한, 본 발명의 다른 실시예에서, 본 발명에서 구현되는 상호작용 프로세스가 비디오 유형의 파일이고, 비디오 파일에 의해 차지되는 저장 공간이 비교적 크기 때문에, 사용자 장비의 저장 공간에 대한 요구사항이 비교적 높거나 사용자 장비의 실행 속도가 영향을 받는다. 본 발명의 실제적인 적용 가능성을 향상시키기 위해, 3차원 모델링이 본 발명에서 비디오 화면의 객체에 대해 수행될 수 있으며, 비디오 소스가 수신된 이후에, 비디오 소스가 파싱되고 3차원 이미지가 재구성된다. 비디오 소스의 비디오 컨텐츠는 3차원 이미지를 생성하도록 파싱되며, 여기서 3차원 이미지는 비디오 컨텐츠에 기록되는 객체를 디스플레이하는 데 사용된다. 표시기는 3차원 이미지를 디스플레이하며, 사용자 장비는 상기 방법을 사용하여 사용자에 의해 입력된 제어 신호를 수신하고, 여기서 제어 신호는 사용자의 조작 의도를 반영한다. 3차원 이미지를 디스플레이하는 방식은 사용자에 의해 입력된 제어 신호에 따라 결정되며, 3차원 이미지가 디스플레이된다.
본 실시예에서, 모든 각도의 비디오를 필요로 하는 장치는 깊이 센서를 갖추며, 3차원 장면 정보 등록 소프트웨어 및 텍스쳐 융합 및 맵핑 소프트웨어는 장치에 설치된다. 촬영 프로세스에서, 깊이 센서가 가능해지며, 이로써 모든 각도의 비디오 및 깊이 센서를 동시에 촬영하는 장치의 카메라와 촬영 장치를 지지하는 촬영자는 모델링이 요구되는 장면에서 연속 촬영을 수행한다. 특정 구현 프로세스에서, 시간 간격이 주어질 수 있고, 깊이 센서는 각 시간 간격에서 깊이 센서 앞에서 한 프레임의 3D 점군 데이터를 획득하기 위해 촬영을 수행하며, 여기서 점군 데이터는 Ft로 나타나는 시간 t에서 촬영을 통해 획득된다. 카메라는 장면의 화면, 즉 텍스쳐 데이터를 동시에 찍으며, 여기서 텍스쳐 데이터는 It로 나타난다. 촬영이 완료된 후, 점군 시퀀스 및 이미지 시퀀스는 촬영 장치에 저장되고, 점군 시퀀스는 3차원 장면 정보 등록 소프트웨어를 사용하여 밀집 점군에 등록되며, 이 점군은 타깃 장면의 3차원 공간 정보를 반영한다.
인접한 프레임 사이의 로컬 등록이 점군 시퀀스에서 먼저 수행되고, 점군 F_j의 각 점 u_i에 대해, F_(j+1)에서 u_i에 가장 가까운 점 v_i가 검색되고, 대응 관계 (u_i, v_i)가 성립된다. 두 프레임의 점군에서 모든 대응하는 점 간의 관계에 따라, 이하와 같은 타깃 함수가 성립된다:
Figure pct00001
여기서 n은 점군 F_j 와 F_(j+1)에 있는 모든 대응하는 점 쌍의 수량이다. E가 최소화될 때, 대응하는 점들 사이의 제곱 유클리드 거리의 오차가 최소화되고, 최적화가 완료될 때, 두 프레임의 점군 사이의 자세 변화 파라미터 R 및 t가 획득될 수 있으며, 이로써 인접하는 프레임 사이의 등록이 구현된다.
인접한 프레임의 점군의 자세 변화 파라미터는 로컬 등록 알고리즘을 사용하여 계산되고, 전체 점군 시퀀스는 이들 파라미터에 따라 타깃 장면의 밀집점 클라우드로 통합될 수 있으며, T_k ()는 F_k 와 F_(k+1) 사이의 태도 변화 파라미터(p_k)에 따라 주어진 점군에 대해 태도 변화 조작이 수행되었음을 나타내는 데 사용된다. 즉, T_k()=R_k ()+t_k이고, 이하에 태도 변화 조작이 재정의된다:
Figure pct00002
여기서 k={1,2, …, 및 N-2}이고, 축적된 점군은 F'로 나타난다:
Figure pct00003
.
촬영 장치 및 깊이 센서에 대한 카메라의 상대적인 태도가 결정되고, 촬영에 의해 이미지 데이터와 점군 데이터가 동시에 획득되기 때문에, 각 점군 프레임을 촬영하는 깊이 센서의 공간 자세 파라미터가 획득될 때, 각 화면을 촬영하는 카메라의 공간 자세 파라미터 또한 획득된다. 따라서, 카메라에 의한 촬영을 통해 획득된 텍스쳐 데이터(이미지)와 장면 밀집 점군 사이의 대응 관계가 구성되고, 고화질 텍스쳐 데이터가 텍스쳐 융합 및 맵핑 소프트웨어를 사용하여 장면의 3차원 모델로 렌더링되어, 고정밀 장면의 3차원 재구성 모델을 형성한다.
이 경우, 단계 S102에서, 사용자가 시청하기 위한 시야각 요구사항은 사용자의 입력에 따라 직접 결정될 수 있다. 단계 S103에서, 비디오의 타깃 프레임을 결정하기 위한 특정 방법에서, 비디오의 타깃 프레임은 시청을 위한 시야각 요구사항에 대응하는 비디오의 각 프레임의 공간 자세 파라미터에 따라 결정된다. 구체적으로, 대응하는 공간 자세 파라미터는 시청을 위한 시야각에 따라 결정될 수 있고, 대응하는 공간 자세 파라미터에 가장 가까운 공간 자세 파라미터는 매칭을 통해 비디오의 프레임의 공간 자세 파라미터 세트로부터 획득되며, 매칭된 공간 자세 파라미터에 대응하는 프레임은 타깃 프레임이다.
도 7은 본 발명의 일 실시예에 따른 상기 방법을 구현하기 위한 지능형 단말(70)을 나타낸다. 지능형 단말은 스마트폰, 모바일 개인용 컴퓨터, 미디어 플레이어 및 휴대용 오디오-비디오 장치와 같은 미디어 재생 기능을 갖는 단말 장치일 수 있다. 설명의 편의를 위해, 이 실시예와 관련된 부분만이 나타난다. 지능형 단말은 신체 감각적인 상호작용을 수행할 수 있다. 지능형 단말(70)은 상기 방법 실시예를 구현하기 위한 디바이스 또는 장치이며, 이에 따라, 지능형 단말(70)의 각 구성 요소 또는 물리적 기능 하드웨어는 상기 방법 실시예의 각 단계를 구현할 수 있으며 상기 방법 실시예의 각 프로세스를 수행할 수 있다. 따라서, 지능형 단말은 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위해 상기 방법을 사용한다.
지능형 단말(70)은 안테나(701), 송신기 회로(702), 수신기 회로(703), 표시기(704), 프로세서(705), 메모리(706), 버스(707) 등을 포함한다. 지능형 단말(70)의 구성 요소는 버스 시스템(707)을 사용하여 함께 결합된다. 데이터 버스 외에, 버스 시스템(707)은 전력 공급 버스, 제어 버스 및 상태 신호 버스를 더 포함한다. 그러나, 명확한 설명을 위해, 도면에서 다양한 버스가 버스 시스템(707)으로 마킹된다. 그러나, 본 발명의 본 실시예를 구현하기 위한 단말에서, 예를 들어, 송신기 회로(702)는 선택적이거나 불필요할 수 있다. 지능형 단말(70)은 비디오 소스 및 신호를 수신하도록 구성되지만, 비디오 소스 또는 신호를 전송하지는 않는다. 본 발명의 본 실시예에서, 안테나 또한 선택적이거나 불필요하다. 본 발명의 본 실시예는 유선 방식으로 구현될 수 있다. 본 실시예에서는 일부 기능이 영향을 받을 수 있지만, 유선 방식 또한 선택사항이다. 메모리(706)는 획득된 비디오 소스를 저장하도록 구성될 수 있다.
구현 방식에서, 제공된 지능형 단말(70)은 이하: 사용자에 의해 입력된 제어 신호를 획득하도록 구성된 수신기 회로(703) - 여기서 제어 신호는 사용자의 조작 의도를 반영함 -; 사용자에 의해 입력된 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하고, 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하도록 구성된 프로세서(705) - 여기서 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함함 -; 및 비디오 재생 제어 명령의 제어 하에서 비디오 컨텐츠를 디스플레이하고 재생하도록 구성된 표시기(704)를 포함한다.
또한, 방식에서, 수신기 회로(703)는 비디오 소스를 획득하도록 더 구성되며, 여기서 비디오 소스는 비디오 컨텐츠를 포함한다. 본 방식의 본 해결책에서, 표시기(704)는: 수신기 회로가 사용자에 의해 입력된 제어 신호를 획득하기 이전에, 비디오의 프리뷰 화면을 디스플레이하거나, 비디오 컨텐츠를 재생하도록 더 구성된다. 다른 구현 방식에서, 수신기 회로(703)는 사용자의 음성 명령을 수신하고, 제어 신호를 획득하기 위해 음성 명령을 파싱하고, 사용자의 동작을 검출하며, 제어 신호를 획득하기 위해 제어 동작을 파싱하고, 제어 신호를 획득하기 위해 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나 수신기 회로에 연결된 입력 장치에서 사용자에 의해 수행된 동작을 검출함으로써 제어 정보를 획득할 수 있다.
상기 방식과 조합될 수 있는 방식에서, 수신기 회로(703)는 수신기 회로에 연결된 입력 장치에서 사용자에 의해 수행되는 동작의 동작 속도 또는 조작의 동작 속도에 따라 제어 신호를 조정하도록 더 구성된다. 또한, 프로세서(705)는 사용자에 의해 입력된 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하고, 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하도록 구성되며, 여기서 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함한다. 비디오 컨텐츠를 디스플레이하는 방식은: 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지 또는 비디오를 가속 속도, 감속 속도 또는 정상 속도로 재생하고, 특정 위치 또는 시간이 점프된 이후에 비디오를 재생하거나, 특정 위치 또는 시간에서 비디오를 재생하는 것을 포함한다.
프로세서(705)는 사용자에 의해 입력된 제어 신호에 따라 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항을 결정할 수 있으며, 여기서 타깃 이미지는 타깃 프레임에 대응하며, 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하며, 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정한다. 상기 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함한다.
프로세서는 비디오 소스로부터 비디오 프레임, 각 비디오 프레임의 프레임 번호 및 비디오 컨텐츠의 특성 정보를 획득하기 위해 비디오 소스를 더 파싱할 수 있으며, 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 재생할 타깃 프레임의 프레임 번호를 결정할 수 있으며, 여기서 타깃 프레임의 프레임 번호는 비디오 재생 시작 위치 또는 비디오 재생 연속 위치에 대응한다. 또한, 타깃 프레임의 프레임 번호 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 타깃 프레임을 재생하기 위한 재생 시퀀스를 결정할 수 있으며, 여기서 재생 시퀀스는 타깃 프레임을 재생하는 방식에 대응한다.
해결책을 설명하기 위해 사용되는 다른 실시예에서, 수신기 회로(703)는 사용자의 입력을 획득하도록 구성된다. 바람직하게, 수신기 회로(703)는 구체적으로, 터치 센서를 사용하여 사용자의 손가락 슬라이딩 움직임을 획득하고, 카메라로 캡쳐된 이미지를 분석함으로써 또는 적외선 기술 및 초음파 기술과 같은 기술을 사용함으로써, 사용자의 제스쳐 움직임 또는 머리 움직임 또는 신체 움직임의 방향을 획득하고, 시선 트래킹 센서를 사용하여 사용자의 시선의 초점 변경 또는 초점 방향 변경을 획득하며, 마이크로폰을 사용하여 사용자의 음성을 획득하도록 구성된다. 여기서 사용자의 입력은 구체적으로, 터치스크린 상에서의 슬라이딩, 손의 파동 또는 손가락 움직임, 손가락 트월링, 손바닥 펼치기 및 손목 회전, 응시 또는 시선 전환, 음성 명령, 머리 움직임 및 신체 움직임을 출력하는 것을 포함한다. 사용자의 입력은 사용자의 조작의 압력 또한 포함할 수 있다.
사용자의 입력이 획득되고, 터치스크린 상에서의 슬라이딩은 좌측, 우측, 상향 및 하향(도 2a, 도 2c, 도 2e 및 도 2g)을 포함한다. 예를 들어, 좌측 커브(도 2b)는 또한 대략 좌측으로 슬라이딩하는 것으로 고려될 수 있고, 우측 커브(도 2d) 또한 대략 우측으로 슬라이딩하는 것으로 고려될 수 있으며, 상향 커브(도 2f) 또한 대략 상향으로 슬라이딩하는 것으로 고려될 수 있고, 하향 커브(도 2h) 또한 대략 하향으로 슬라이딩하는 것으로 고려될 수 있다.
유사하게, 손의 파동 또는 손가락 움직임은 좌측, 우측, 상향 및 하향의 파동 또는 움직임 및 대략적인 좌측, 우측, 상향 및 하향의 파동 또는 움직임을 포함한다. 예를 들어, 좌측 커빙 파동 또는 움직임은 또한 대략적인 좌측 파동 또는 움직임으로 간주될 수 있으며, 우측, 상향 또는 하향 커빙 파동 또는 움직임 또한 대략적인 우측, 상향 또는 하향 파동 또는 움직임으로 간주될 수 있다.
사용자의 입력이 획득되고, 손가락 트월링은 좌측 트월링, 우측 트월링, 상향 트월링 및 하향 트월링을 포함한다.
사용자의 입력이 획득되고, 손바닥 펼치기 및 손목 회전은 좌에서 우, 우에서 좌, 위에서 아래 및 아래에서 위로 회전하는 것을 포함한다.
사용자의 입력이 획득되고, 응시 또는 시선 전환은 비디오 화면의 상부를 응시하는 것을 포함하거나 또는 시선이 정면에서 상부로 전환된다. 유사하게, 응시 또는 시선 전환은 비디오 화면의 하부, 좌측 및 상부를 더 포함하거나, 시선은 정면에서 하부, 좌측 또는 우측으로 전환된다.
사용자의 입력이 획득되고, 음성 명령은 "좌로 이동하기" 및 "좌로 턴하기" 또는 동일한 의미의 명령을 포함하고, 우측, 상향 및 하향 명령은 전술한 바와 유사하다.
사용자의 입력이 획득되고, 머리 움직임은 좌 전방으로의 머리 움직임, 우 전방으로의 머리 움직임, 위를 보거나 아래를 내려다보는 것을 포함한다.
사용자의 입력이 획득되고, 신체 움직임은 좌 전방 또는 전방으로의 움직임, 상향 신체 움직임 또는 하향 신체 움직임을 포함한다.
상기 방향에 대해, 사용자가 기준으로서 사용된다. 상기 좌측은 사용자에 대한 좌측이고, 상기 우측은 사용자에 대한 우측이다. 필연적으로, 일부 사용자는 비디오 화면의 객체를 "좌" 및 "우" 개념을 설명하기 위한 참조로서 사용하는 데 익숙하며, 이 경우, 대응하는 음성 명령에서 "좌" 및 "우"는 전환될 수 있다.
프로세서(705)는 사용자의 입력에 따라 사용자의 의도를 결정하고, 사용자의 의도 및 비디오의 특성에 따라 비디오 재생 제어 명령을 결정하도록 구성된다. 사용자의 의도를 결정하는 단계는 비디오 화면의 객체를 시청하기 위한 시야각 요구사항 및 비디오 화면의 객체의 회전 방향 요구사항을 결정하는 단계를 포함한다. 비디오 화면의 객체를 시청하기 위한 시야각 요구사항을 결정하는 단계는 선택적으로, 사용자에 의해 입력된 모션 방향 및 모션 증가량에 따라 시청 시야각의 변화를 결정한 후, 시청을 위한 시야각 요구사항을 결정하는 단계를 포함한다. 비디오 화면의 객체에 대한 회전 방향 요구사항을 결정하는 단계는 사용자에 의해 입력된 모션 방향을 획득하는 단계를 포함하며, 여기서 비디오 화면의 객체에 대한 회전 방향 요구사항은 사용자에 의해 입력된 모션 방향과 동일하다. 비디오 재생 제어 명령을 결정하는 단계는 적절한 재생 위치 및 적절한 재생 방식을 결정하는 단계를 포함한다. 비디오 재생 제어 명령은 구체적으로 비디오의 순방향 재생 또는 역방향 재생, 비디오의 루프 재생, 비디오를 가속 속도, 감속 속도 또는 정상 속도로 재생하고, 비디오의 재생을 일시 정지 또는 중지하는 것을 포함한다. 적절한 비디오 재생 위치를 결정하는 방법은 비디오 화면의 객체를 시청하기 위한 시야각 요구사항에 따라 비디오의 타깃 프레임을 결정하는 것이다. 적절한 비디오 재생 방식을 결정하는 방법은 비디오 화면의 객체에 대한 회전 방향 요구사항과 비디오 화면의 객체의 회전 특성을 비교하는 단계; 및 두 개가 동일할 때, 비디오를 순방향으로 재생하거나, 두 개가 반대일 때, 비디오를 역방향으로 재생하는 단계이다.
프로세서(705)는 비디오 재생 제어 명령을 실행하고, 대응하는 비디오 이미지를 디스플레이하도록 표시기(704)를 제어하도록 구성된다. 프로세서(705)는 또한 비디오 화면의 객체의 위치 및 회전 특성을 더 결정할 수 있다. 비디오 화면의 객체의 회전 특성은 좌에서 우(도 3), 우에서 좌(도 4), 위에서 아래(도 5) 및 아래에서 위(도 6)로 회전하는 것을 포함한다.
또한, 구현 방법에서 3차원 이미지의 다른 실시예에서, 지능형 장치의 구조는 도 7에 나타난 구조일 수 있다. 새로운 지능형 단말(70')로서, 지능형 단말(70')은: 비디오 소스 및 사용자에 의해 입력된 제어 신호를 획득하도록 구성된 수신기 회로(703') - 상기 비디오 소스는 비디오 컨텐츠를 포함하며, 제어 신호는 사용자의 조작 의도를 반영함 -; 3차원 이미지를 생성하기 위해 비디오 소스에서 비디오 컨텐츠를 파싱하도록 구성된 프로세서(705') - 상기 3차원 이미지는 비디오 컨텐츠에 기록된 객체를 디스플레이하고, 사용자에 의해 입력된 제어 신호에 따라 3차원 이미지를 디스플레이하는 방식을 결정하는 데 사용됨 -; 및 프로세서의 제어 하에 3차원 이미지를 디스플레이하도록 구성된 표시기(704')를 포함한다.
일 구현 해결책에서, 수신기 회로(703')는 구체적으로 비디오 소스를 획득하도록 구성되고, 구체적으로, 사용자의 음성 명령을 수신하고, 제어 신호를 획득하기 위해 음성 명령을 파싱하고, 사용자의 동작을 검출하며, 제어 신호를 획득하기 위해 제어 동작을 파싱하며, 제어 신호를 획득하기 위해 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나, 수신기 회로에 연결된 입력 장치에서 사용자에 의해 수행되는 조작을 검출함으로써 제어 정보를 획득하도록 더 구성된다.
지능형 단말의 각 실시예에서, 단말을 수행하거나 단말에 의한 비디오 재생을 구현하는 것에 대한 상세한 설명은 본 방법 실시예에서 이미 설명되었기 때문에 해결책에 설명되지 않는다. 본 방법의 모든 부분은 지능형 단말에 의해 본 발명의 실시예에서의 비디오 재생을 구현하기 위해 상속될 수 있다. 프로세서는 방법 실시예의 단계 및 기능을 완전히 구현하기 위해 다른 구성요소와 협력할 수 있다.
본 발명의 본 실시예에서, 비디오 재생 제어 명령은 비디오 컨텐츠의 특성 정보 및 비디오 컨텐츠를 디스플레이하는 방식에 따라 결정된다. 비디오 컨텐츠를 디스플레이하는 방식은 사용자에 의해 입력된 제어 신호에 따라 결정된다. 따라서, 사용자는 비디오 컨텐츠를 유연하게 재생할 수 있고, 사용자(오퍼레이터, 관찰자 또는 비디오를 재생하는 사람)의 의도에 따라 임의의 각도에서 모든 각도의 비디오의 객체를 시청할 수 있다. 따라서, 상호작용 프로세스가 더 편리하며, 이는 오퍼레이터에 대한 비디오의 객체를 직접 제어하는 것과 동등하며, 이에 따라 실제적인 경험을 제공하고 개인화되고 맞춤화 된 방식으로 비디오 소스에서 컨텐츠를 재생하는 방식의 선택을 구현한다.

Claims (20)

  1. 비디오를 재생하는 방법으로서,
    사용자에 의해 입력된 제어 신호를 획득하는 단계 - 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -;
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계;
    상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하는 단계 - 상기 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함함 -; 및
    상기 비디오 재생 제어 명령의 제어 하에 상기 비디오 컨텐츠를 재생하는 단계
    를 포함하는
    비디오를 재생하는 방법.
  2. 제1항에 있어서,
    비디오 소스를 획득하는 단계 - 상기 비디오 소스는 상기 비디오 컨텐츠를 포함함 -; 및
    상기 사용자에 의해 입력된 제어 신호를 획득하는 단계 이전에, 상기 비디오의 프리뷰 화면을 디스플레이하거나 상기 비디오 컨텐츠를 재생하는 단계
    를 더 포함하는
    비디오를 재생하는 방법.
  3. 제1항에 있어서,
    상기 사용자에 의해 입력된 제어 신호를 획득하는 단계는,
    상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하는 단계;
    상기 사용자의 동작을 검출하고, 상기 제어 신호를 획득하기 위해 제어 동작을 파싱하는 단계;
    상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하는 단계; 또는
    입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 신호를 획득하는 단계
    를 포함하는,
    비디오를 재생하는 방법.
  4. 제3항에 있어서,
    상기 제어 신호는 상기 동작의 동작 속도 또는 상기 입력 장치에서 상기 사용자에 의해 수행되는 상기 조작의 동작 속도에 따라 조정되고,
    상기 비디오 컨텐츠를 디스플레이하는 방식은, 상기 비디오를 가속 속도, 감속 속도 또는 정상 속도로 재생하고, 특정 위치 또는 시간을 건너뛴 후 상기 비디오를 재생하거나, 또는 특정 위치 또는 시간에서 상기 비디오를 재생하는 것을 포함하는,
    비디오를 재생하는 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 비디오 컨텐츠를 디스플레이하는 방식은 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지를 포함하고,
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계는, 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 비디오 컨텐츠의 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지를 수행하는 단계를 포함하는,
    비디오를 재생하는 방법.
  6. 제1항에 있어서,
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계는,
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항을 결정하는 단계 - 상기 타깃 이미지는 타깃 프레임에 대응함 -; 및
    비디오 컨텐츠 재생의 상기 타깃 이미지 요구사항 및 상기 모션 방향 요구사항에 따라 상기 비디오 컨텐츠를 디스플레이하는 방식을 결정하는 단계
    를 포함하는,
    비디오를 재생하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 방법은 또한, 상기 비디오 소스로부터 비디오 프레임, 각 비디오 프레임의 프레임 번호 및 상기 비디오 컨텐츠의 특성 정보를 획득하기 위해 상기 비디오 소스를 파싱하는 단계를 더 포함하고,
    상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하는 단계는,
    상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 재생할 타깃 프레임의 프레임 번호를 결정하는 단계 - 상기 타깃 프레임의 프레임 번호는 비디오 재생 시작 위치 또는 비디오 재생 연속 위치에 대응함 -; 및
    상기 타깃 프레임의 프레임 번호 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 타깃 프레임을 재생하기 위한 재생 시퀀스를 결정하는 단계 - 상기 재생 시퀀스는 상기 타깃 프레임을 재생하는 방식에 대응함 -;
    를 포함하는,
    비디오를 재생하는 방법.
  8. 제7항에 있어서,
    상기 비디오 컨텐츠의 특성 정보는 타깃 컨텐츠의 모션 정보를 포함하고,
    상기 비디오 컨텐츠의 특성 정보를 획득하기 위해 상기 비디오 소스를 파싱하는 단계는,
    비디오 캡쳐의 스캔 방향을 획득하기 위해 상기 비디오 소스를 파싱하는 단계 - 상기 스캔 방향은 상기 타깃 컨텐츠의 모션 정보임 -; 또는
    식별점의 모션 트랙을 획득하기 위해 상기 비디오 소스를 파싱하고, 상기 식별점의 모션 트랙에 따라 상기 타깃 컨텐츠의 모션 정보를 획득하는 단계
    를 포함하는,
    비디오를 재생하는 방법.
  9. 제8항에 있어서,
    상기 타깃 컨텐츠의 모션 정보는, 상기 타깃 컨텐츠의 모션 특성을 포함하고, 상기 모션 특성은 상기 객체의 좌에서 우, 우에서 좌, 위에서 아래 또는 아래에서 위로 상기 객체의 회전을 포함하는, 비디오를 재생하는 방법.
  10. 비디오를 재생하는 방법으로서,
    비디오 소스를 획득하는 단계 - 상기 비디오 소스는 비디오 컨텐츠를 포함함 -;
    3차원 이미지를 생성하기 위해 상기 비디오 소스의 비디오 컨텐츠를 파싱하는 단계 - 상기 3차원 이미지는 상기 비디오 컨텐츠에 기록된 객체를 디스플레이하는 데 사용됨 -;
    사용자에 의해 입력된 제어 신호를 획득하는 단계 - 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -; 및
    상기 3차원 이미지를 디스플레이하는 방식을 결정하고 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 3차원 이미지를 디스플레이하는 단계
    를 포함하는
    비디오를 재생하는 방법.
  11. 제10항에 있어서,
    상기 사용자에 의해 입력된 제어 신호를 획득하는 단계는,
    상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하는 단계;
    상기 사용자의 제어 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하는 단계;
    상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나 또는 입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 정보를 획득하는 단계
    를 포함하는,
    비디오를 재생하는 방법.
  12. 제10항에 있어서,
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 3차원 이미지를 디스플레이하는 방식을 결정하고 상기 3차원 이미지를 디스플레이하는 단계는,
    상기 제어 신호에 따라 상기 3차원 이미지를 회전 방식으로 디스플레이하는 단계;
    상기 제어 신호에 따라 시야각을 조정한 이후에 상기 3차원 이미지를 디스플레이하는 단계; 및
    상기 제어 신호에 따라 배율이 조정된 이후에 상기 3차원 이미지를 디스플레이하는 단계
    를 포함하는,
    비디오를 재생하는 방법.
  13. 단말 장치로서,
    사용자에 의해 입력된 제어 신호를 획득하도록 구성된 수신기 회로 - 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -;
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠를 디스플레이하는 방식을 결정하고, 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 비디오 재생 제어 명령을 결정하도록 구성된 프로세서 - 상기 비디오 재생 제어 명령은 재생 시작 위치 및 재생 방식을 포함함 -; 및
    상기 비디오 재생 제어 명령의 제어 하에 상기 비디오 컨텐츠를 디스플레이 및 재생하도록 구성된 표시기
    를 포함하는
    단말 장치.
  14. 제13항에 있어서,
    상기 수신기 회로는 비디오 소스를 획득하도록 더 구성되고, 상기 비디오 소스는 상기 비디오 컨텐츠를 포함하며,
    상기 표시기는, 상기 수신기 회로가 상기 사용자에 의해 입력된 상기 제어 신호를 획득하기 이전에, 상기 비디오의 프리뷰 화면을 디스플레이하거나 상기 비디오 컨텐츠를 재생하도록 더 구성되는,
    단말 장치.
  15. 제13항에 있어서,
    상기 수신기 회로는 구체적으로,
    상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하며;
    상기 사용자의 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하며;
    상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나; 또는
    상기 수신기 회로에 연결된 입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 정보를 획득하도록 구성되는,
    단말 장치.
  16. 제13항에 있어서,
    상기 수신기 회로는 상기 수신기 회로에 연결된 상기 입력 장치에서 상기 동작의 동작 속도 또는 상기 사용자에 의해 수행된 상기 조작의 동작 속도에 따라, 상기 제어 신호를 조정하도록 더 구성되며,
    상기 프로세서는 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 비디오 컨텐츠를 디스플레이하는 방식을 결정하고, 상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 비디오 재생 제어 명령을 결정하도록 구성되고, 상기 비디오 재생 제어 명령은 상기 재생 시작 위치 및 상기 재생 방식을 포함하고, 상기 비디오 컨텐츠를 디스플레이하는 방식은, 순방향 재생, 역방향 재생, 루프 재생 또는 재생 중지; 또는 가속 속도, 감속 속도 또는 정상 속도로 비디오를 재생하고, 특정 위치 또는 시간을 건너뛴 후 상기 비디오를 재생하거나, 특정 위치 또는 시간에서 상기 비디오를 재생하는 것을 포함하는,
    단말 장치.
  17. 제13항에 있어서,
    상기 프로세서는 구체적으로,
    상기 사용자에 의해 입력된 상기 제어 신호에 따라 비디오 컨텐츠 재생의 타깃 이미지 요구사항 및 모션 방향 요구사항을 결정하고 - 상기 타깃 이미지는 타깃 프레임에 대응함 -;
    비디오 컨텐츠 재생의 상기 타깃 이미지 요구사항 및 모션 방향 요구사항에 따라 상기 비디오 컨텐츠를 디스플레이하는 방식을 결정하며; 및
    상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 비디오 재생 제어 명령을 결정하도록 구성되며,
    상기 비디오 재생 제어 명령은 상기 재생 시작 위치 및 상기 재생 방식을 포함하는,
    단말 장치.
  18. 제13항 내지 제17항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 비디오 소스로부터 비디오 프레임, 각 비디오 프레임의 프레임 번호 및 상기 비디오 컨텐츠의 특성 정보를 획득하기 위해 상기 비디오 소스를 파싱하고;
    상기 비디오 컨텐츠의 특성 정보 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 재생 될 타깃 프레임의 프레임 번호를 결정하고 - 상기 타깃 프레임의 프레임 번호는 비디오 재생 시작 위치 또는 비디오 재생 연속 위치에 대응함 -; 및
    상기 타깃 프레임의 프레임 번호 및 상기 비디오 컨텐츠를 디스플레이하는 방식에 따라 상기 타깃 프레임을 재생하기 위한 재생 시퀀스를 결정하도록 더 구성되며,
    상기 재생 시퀀스는 상기 타깃 프레임을 재생하는 방식에 대응하는,
    단말 장치.
  19. 단말로서,
    사용자에 의해 입력된 비디오 소스 및 제어 신호를 획득하도록 구성된 수신기 회로 - 상기 비디오 소스는 비디오 컨텐츠를 포함하고, 상기 제어 신호는 상기 사용자의 조작 의도를 반영함 -;
    3차원 이미지를 생성하기 위해 상기 비디오 소스의 비디오 컨텐츠를 파싱하고 - 상기 3차원 이미지는 상기 비디오 컨텐츠에 기록된 객체를 디스플레이하는 데 사용됨 -; 및 상기 사용자에 의해 입력된 상기 제어 신호에 따라 상기 3차원 이미지를 디스플레이하는 방식을 결정하도록 구성된 프로세서; 및
    상기 프로세서의 제어 하에 상기 3차원 이미지를 디스플레이하도록 구성된 표시기
    를 포함하는
    단말.
  20. 제19항에 있어서,
    상기 수신기 회로는 구체적으로 상기 비디오 소스를 획득하도록 구성되며,
    상기 수신기 회로는 구체적으로,
    상기 사용자의 음성 명령을 수신하고, 상기 제어 신호를 획득하기 위해 상기 음성 명령을 파싱하고;
    상기 사용자의 동작을 검출하고, 상기 제어 신호를 획득하기 위해 상기 제어 동작을 파싱하고;
    상기 제어 신호를 획득하기 위해 상기 사용자의 시선의 초점 변경 또는 초점 방향 변경을 검출하거나; 또는
    상기 수신기 회로에 연결된 입력 장치에서 상기 사용자에 의해 수행된 조작을 검출함으로써 상기 제어 정보를 획득하도록 더 구성되는,
    단말.
KR1020187008179A 2015-08-29 2016-08-24 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치 KR102087690B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510543434.0A CN105357585B (zh) 2015-08-29 2015-08-29 对视频内容任意位置和时间播放的方法及装置
CN201510543434.0 2015-08-29
PCT/CN2016/096568 WO2017036329A1 (zh) 2015-08-29 2016-08-24 对视频内容任意位置和时间播放的方法及装置

Publications (2)

Publication Number Publication Date
KR20180042386A true KR20180042386A (ko) 2018-04-25
KR102087690B1 KR102087690B1 (ko) 2020-03-11

Family

ID=55333423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008179A KR102087690B1 (ko) 2015-08-29 2016-08-24 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치

Country Status (10)

Country Link
US (1) US20180192146A1 (ko)
EP (1) EP3334173A4 (ko)
JP (1) JP6770061B2 (ko)
KR (1) KR102087690B1 (ko)
CN (1) CN105357585B (ko)
AU (2) AU2016315038A1 (ko)
BR (1) BR112018003691A2 (ko)
CA (1) CA2997034C (ko)
RU (1) RU2679316C1 (ko)
WO (1) WO2017036329A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10376231B2 (en) * 2015-03-27 2019-08-13 3Shape A/S Method of reducing the x-ray dose in an x-ray system
CN105357585B (zh) * 2015-08-29 2019-05-03 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
CN105872698B (zh) * 2016-03-31 2019-03-22 宇龙计算机通信科技(深圳)有限公司 播放方法、播放系统和虚拟现实终端
CN106162358A (zh) * 2016-06-30 2016-11-23 乐视控股（北京）有限公司 一种vr播放视频进度的调节方法及设备
CN106445437A (zh) * 2016-09-08 2017-02-22 深圳市金立通信设备有限公司 一种终端及其视角切换方法
CN107888987B (zh) 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
CN106454401A (zh) * 2016-10-26 2017-02-22 乐视网信息技术（北京）股份有限公司 一种播放视频的方法及装置
CN106777119A (zh) * 2016-12-16 2017-05-31 福建福光股份有限公司 在线式同步旅游方法
CN106792224B (zh) * 2017-01-04 2020-06-09 南京白下高新技术产业园区投资发展有限责任公司 一种终端和视频播放方法
CN106992004B (zh) * 2017-03-06 2020-06-26 华为技术有限公司 一种调整视频的方法及终端
CN106954093B (zh) * 2017-03-15 2020-12-04 北京小米移动软件有限公司 全景视频处理方法、装置及系统
CN108632661A (zh) 2017-03-17 2018-10-09 北京京东尚科信息技术有限公司 播放方法和播放装置
CN107105163B (zh) * 2017-04-28 2020-12-18 努比亚技术有限公司 一种视频拍摄方法、播放方法及装置
CN107547930A (zh) * 2017-06-02 2018-01-05 北京小嘿科技有限责任公司 一种基于移动设备旋转检测的视频播放控制器及控制方法
CN107481324B (zh) * 2017-07-05 2021-02-09 微幻科技(北京)有限公司 一种虚拟漫游的方法及装置
US10951950B2 (en) * 2017-07-31 2021-03-16 Nokia Technologies Oy Method and apparatus for presenting a video loop during a storyline
JP7077604B2 (ja) * 2017-12-21 2022-05-31 オムロン株式会社 操作受付装置、制御システム、制御方法、及び、制御プログラム
CN109618204B (zh) * 2018-12-12 2021-04-23 百度在线网络技术（北京）有限公司 多媒体资源播放方法和装置
CN109587572B (zh) * 2018-12-12 2021-03-23 金瓜子科技发展（北京）有限公司 一种展示产品的方法、装置、存储介质及电子设备
CN109948546B (zh) * 2019-03-20 2022-04-15 四川长虹电器股份有限公司 媒体播放交互控制系统及方法
CN110187820A (zh) * 2019-05-09 2019-08-30 浙江开奇科技有限公司 用于数字导览的显示控制方法及移动终端
CN110188212A (zh) * 2019-05-21 2019-08-30 浙江开奇科技有限公司 用于数字导览的影像处理方法及终端设备
CN110308849A (zh) * 2019-06-20 2019-10-08 浙江开奇科技有限公司 基于全景视频影像的显示控制方法及移动终端
CN110312152A (zh) * 2019-06-20 2019-10-08 浙江开奇科技有限公司 用于数字导览的显示控制方法及移动终端
CN110286837A (zh) * 2019-06-20 2019-09-27 浙江开奇科技有限公司 用于数字导览的显示控制方法及移动终端
CN110366010B (zh) * 2019-06-21 2021-08-10 深圳市轱辘车联数据技术有限公司 控制视频播放的方法、装置、服务器及介质
KR20220020927A (ko) * 2019-06-25 2022-02-21 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 전방향 미디어 재생 방법, 기기 및 컴퓨터 판독 가능 저장 매체
CN110839180A (zh) * 2019-09-29 2020-02-25 王东 一种视频播放进度控制方法、装置及电子设备
CN111526426A (zh) * 2020-04-24 2020-08-11 Oppo广东移动通信有限公司 一种视频播放方法、终端设备及存储介质
CN111447462B (zh) * 2020-05-20 2022-07-05 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN111836108B (zh) * 2020-07-24 2023-04-14 广州酷狗计算机科技有限公司 媒体资源播放方法、装置、终端及存储介质
CN113490000B (zh) * 2020-09-11 2023-04-14 青岛海信电子产业控股股份有限公司 一种智能设备及其控制方法
CN112218136B (zh) * 2020-10-10 2021-08-10 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备及存储介质
CN112261459B (zh) * 2020-10-23 2023-03-24 北京字节跳动网络技术有限公司 一种视频处理方法、装置、电子设备和存储介质
CN112954486B (zh) * 2021-04-02 2022-07-12 成都艾体验科技有限公司 基于视线注意力的车载视频留痕处理方法
CN113596564B (zh) * 2021-09-29 2021-12-28 卡莱特云科技股份有限公司 一种画面播放方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124866A (ko) * 2012-05-07 2013-11-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20140340404A1 (en) * 2011-12-16 2014-11-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272517A (ja) * 1995-03-28 1996-10-18 Sanyo Electric Co Ltd 視線対応選択装置及び方法並びに情報処理装置
US7433581B2 (en) * 2002-05-31 2008-10-07 Hewlett-Packard Development Company, L.P. Interactive video playback
US7620301B2 (en) * 2003-04-04 2009-11-17 Lg Electronics Inc. System and method for resuming playback
JP5047830B2 (ja) * 2008-02-07 2012-10-10 株式会社タイトー 撮影装置及び撮影情報通信システム
US20100017747A1 (en) * 2008-07-17 2010-01-21 Sagent Pharmaceuticals, Inc. Product Viewer
JP2012175694A (ja) * 2011-02-24 2012-09-10 Kyocera Corp 電子機器
KR101758164B1 (ko) * 2011-04-08 2017-07-26 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법
CN103455253B (zh) * 2012-06-04 2018-06-08 乐金电子(中国)研究开发中心有限公司 一种与视频设备交互的方法及用于交互的视频设备
US9077896B2 (en) * 2012-06-11 2015-07-07 Lg Electronics Inc. Mobile terminal for capturing image and controlling method thereof
KR101392936B1 (ko) * 2012-06-29 2014-05-09 한국과학기술연구원 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
US9189884B2 (en) * 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
JP2014199990A (ja) * 2013-03-29 2014-10-23 尚山 秀光 多視点画像表示装置、多視点画像表示方法、多視点画像表示プログラム及び記録媒体
JP6234164B2 (ja) * 2013-10-25 2017-11-22 キヤノン株式会社 画像再生装置、方法及びプログラム
CN203706134U (zh) * 2013-11-25 2014-07-09 吉林省装饰工程设计院有限公司 360度全景展示体感互动系统
CN103607578B (zh) * 2013-12-03 2016-08-17 西安电子科技大学 基于视频编码的全视角图片浏览系统
CN104007826A (zh) * 2014-06-17 2014-08-27 合一网络技术(北京)有限公司 基于脸部动作识别技术的视频控制方法和系统
CN104010225B (zh) * 2014-06-20 2016-02-10 合一网络技术(北京)有限公司 显示全景视频的方法和系统
CN104602129B (zh) * 2015-01-27 2018-03-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
US9865306B2 (en) * 2015-03-30 2018-01-09 International Business Machines Corporation System to distinguish between visually identical objects
CN105357585B (zh) * 2015-08-29 2019-05-03 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140340404A1 (en) * 2011-12-16 2014-11-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
KR20130124866A (ko) * 2012-05-07 2013-11-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
EP3334173A1 (en) 2018-06-13
CN105357585A (zh) 2016-02-24
AU2016315038A1 (en) 2018-03-29
RU2679316C1 (ru) 2019-02-07
CA2997034C (en) 2022-03-08
AU2019216671A1 (en) 2019-09-05
WO2017036329A1 (zh) 2017-03-09
JP2018530950A (ja) 2018-10-18
BR112018003691A2 (pt) 2018-09-25
US20180192146A1 (en) 2018-07-05
CA2997034A1 (en) 2017-03-09
JP6770061B2 (ja) 2020-10-14
KR102087690B1 (ko) 2020-03-11
AU2019216671B2 (en) 2021-01-07
CN105357585B (zh) 2019-05-03
EP3334173A4 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
KR102087690B1 (ko) 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
CN110944727B (zh) 控制虚拟照相机的系统和方法
JP6548203B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
US11735225B2 (en) Systems and methods for generating time-lapse videos
JP6124517B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6006536B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5975739B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US20220222028A1 (en) Guided Collaborative Viewing of Navigable Image Content
US9928665B2 (en) Method and system for editing scene in three-dimensional space
TW201501510A (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
US20190149886A1 (en) An apparatus and associated methods
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
JP6628343B2 (ja) 装置および関連する方法
WO2018192094A1 (zh) 场景展示方法及装置
EP3489955A1 (en) Method and apparatus for interactive videos
CN115174812A (zh) 视频生成方法、视频生成装置及电子设备
JPH10243383A (ja) 映像再生装置、映像記録装置、情報記録装置及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant