KR20200014415A - 비디오 처리방법, 장치 및 저장매체 - Google Patents

비디오 처리방법, 장치 및 저장매체 Download PDF

Info

Publication number
KR20200014415A
KR20200014415A KR1020207000333A KR20207000333A KR20200014415A KR 20200014415 A KR20200014415 A KR 20200014415A KR 1020207000333 A KR1020207000333 A KR 1020207000333A KR 20207000333 A KR20207000333 A KR 20207000333A KR 20200014415 A KR20200014415 A KR 20200014415A
Authority
KR
South Korea
Prior art keywords
thumbnail
pass
keyframe
videostream
video stream
Prior art date
Application number
KR1020207000333A
Other languages
English (en)
Other versions
KR102309318B1 (ko
Inventor
빈 펭
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20200014415A publication Critical patent/KR20200014415A/ko
Application granted granted Critical
Publication of KR102309318B1 publication Critical patent/KR102309318B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 실시예에서는 비디오 처리방법, 장치 및 저장매체를 공개하였고, 여기서, 해당 방법은: 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계; 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계-여기서, 상기 씬 썸네일은 가상현실/증강현실(AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및 상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하는 단계; 를 포함한다.

Description

비디오 처리방법, 장치 및 저장매체
본 발명은 통신 분야에 관한 것으로서, 구체적으로는 비디오 처리방법, 장치 및 저장매체에 관한 것이다.
본 발명은 출원번호가 201710829230.2이고, 출원일자가 2017년 9월 14일인 중국특허출원을 기초로 제출하였고, 해당 중국특허출원의 우선권을 주장하는바, 해당 중국특허출원의 전부 내용은 참조로서 본 발명에 포함된다.
전통적인 화상회의 또는 모니터링 등 비디오 응용 시스템은 디스플레이 스크린의 해상도와 사이즈, 회의실의 물리적 공간, 시스템 비용 등의 제한을 받아, 단지 동시에 2 패스 또는 3 패스의 비디오스트림 화면만을 구현할 수 있다. 시스템이 더 많은 패스의 비디오스트림을 지원하고자 할 경우, 해상도와 사이즈가 매우 큰 스크린 또는 여러 개의 스크린이 필요하거나, 화면을 축소하여야만, 동시에 멀티패스 비디오스트림을 표시할 수 있다. 전자는 비용이 많이 들고, 후자는 선명도가 떨어지므로, 사용자가 영활하고 간편하게 비디오를 브라우징(browsing)할 수가 없다.
관련기술에서 사용자가 영활하고 간편하게 비디오를 브라우징할 수 없는 과제에 대해, 아직 해결방안이 제시되지 않았다.
본 발명의 실시예에서는 비디오 처리방법, 장치 및 저장매체를 제공하여, 적어도 관련기술에서 사용자가 영활하고 간편하게 비디오를 브라우징할 수 없는 과제를 해결하고자 한다.
본 발명의 일실시예에 따르면, 비디오 처리방법을 제공하고, 해당 방법은:
브라우징될 원 패스(one path) 또는 멀티패스(multipath) 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-;
상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일(thumbnail) 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계-여기서, 상기 씬 섬네일은 가상현실/증강현실(Augmented Reality/Virtual Reality, AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성됨; 및
상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시(present)하는 단계; 를 포함한다.
일 실시예에 있어서, 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계 전에, 상기 방법은: 원 패스 또는 멀티패스 비디오스트림에 따라 비디오스트림 썸네일을 생성하는 단계-여기서, 원 패스 비디오스트림은 하나의 비디오스트림 썸네일을 생성함; 또는 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하고, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임에 따라 키프레임 썸네일을 생성하는 단계-여기서, 원 패스 비디오스트림의 키프레임은 하나의 키프레임 썸네일을 생성함-; 를 더 포함한다.
일 실시예에 있어서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 것은: 네트워크 설비에 사전 설정된 키프레임 큐로부터 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 것을 포함하고, 여기서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임은, 상기 네트워크 설비가 상기 원 패스 또는 멀티패스 비디오스트림을 디코딩하는 과정에서, 수집된 코드워드 정보(codeword information)와 양자화 파라미터(quantization parameter) 정보에 따라 생성 및 저장된 키프레임이다.
일 실시예에 있어서, 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계 전에, 상기 방법은: 상기 씬 썸네일을 선택하기 위한 선택명령을 수신하는 단계; 및 상기 선택명령에 따라, 상기 씬 썸네일을 소정된 배수로 확대하여 상기 AR/VR 인터페이스에 디스플레이하는 단계; 를 더 포함한다.
일 실시예에 있어서, 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계는: 상기 선택명령에 따라, 상기 비디오스트림 썸네일 또는 상기 키프레임 썸네일의 크기를 조정하는 단계; 가상 TV의 유형을 선택하고, 상기 가상 TV를 상기 씬 썸네일에 렌더링하는 단계; 및 상기 씬 썸네일의 상기 AR/VR 인터페이스에서의 좌표에 따라, 원 패스 또는 멀티패스 비디오스트림, 및 상기 가상 TV를 상기 AR/VR 인터페이스에 렌더링하고, 상기 씬 썸네일을 업데이트하는 단계; 를 포함한다.
일 실시예에 있어서, 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계 전에, 상기 방법은: AR/VR 카메라를 통해 손짓에 의해 소정된 방향으로 형성된 가상프레임을 수집하는 단계; 계산을 통해 상기 가상프레임의 상기 AR/VR 인터페이스에서의 좌표 및 사이즈를 얻는 단계; 및 상기 AR/VR 인터페이스에 상기 가상프레임이 표시하는 가상 TV를 렌더링하는 단계; 를 더 포함한다.
일 실시예에 있어서, 상기 방법은: AR/VR 카메라가 피드백하는 사용자의 현재 응시방향(gaze direction) 및 실시간 화면의 레이아웃 정보를 수신하는 단계; 및 상기 레이아웃 정보에 따라, 상기 원 패스 또는 멀티패스 비디오스트림에서의 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트 중 적어도 하나의 파라미터를 조정하는 단계; 를 더 포함한다.
본 발명의 다른 실시예에 따르면, AR/VR 설비에 응용되는 비디오 처리장치를 제공하며, 해당 장치는:
브라우징될 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하도록 구성된 제1 수신모듈-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-;
상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여, 화면 레이아웃스트림을 생성하도록 구성된 제1 생성모듈-여기서, 상기 씬 썸네일은 AR/VR 인터페이스에 디스플레이되는 씬에 따라 생성 됨-; 및
상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하도록 구성된 표시모듈; 을 포함한다.
일 실시예에 있어서, 상기 장치는:
원 패스 또는 멀티패스 비디오스트림에 따라 비디오스트림 썸네일을 생성하도록 구성된 제2 생성모듈-여기서, 원 패스 비디오스트림은 하나의 비디오스트림 썸네일을 생성함-; 또는
원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하고, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임에 따라 키프레임 썸네일을 생성하도록 구성된 획득모듈-여기서, 원 패스 비디오스트림의 키프레임은 하나의 키프레임 썸네일을 생성함-; 을 더 포함한다.
일 실시예에 있어서, 상기 획득모듈은, 네트워크 설비에 사전 설정된 키프레임 큐로부터 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하도록 구성되며, 여기서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임은, 상기 네트워크 설비가 상기 원 패스 또는 멀티패스 비디오스트림을 디코딩하는 과정에서, 수집된 코드워드 정보와 양자화 파라미터 정보에 따라 생성 및 저장된 키프레임이다.
일 실시예에 있어서, 상기 장치는:
상기 씬 썸네일을 선택하기 위한 선택명령을 수신하도록 구성된 제2 수신모듈; 및
상기 선택명령에 따라, 상기 씬 썸네일을 소정된 배수로 확대하여 상기 AR/VR 인터페이스에 디스플레이하도록 구성된 확대모듈(enlarging module); 을 더 포함한다.
일 실시예에 있어서, 상기 제1 생성모듈은, 상기 선택명령에 따라, 상기 비디오스트림 썸네일 또는 상기 키프레임 썸네일의 크기를 조정하고; 가상 TV의 유형을 선택하고, 상기 가상 TV를 상기 씬 썸네일에 렌더링하며; 상기 씬 썸네일의 상기 AR/VR 인터페이스에서의 좌표에 따라, 원 패스 또는 멀티패스 비디오스트림, 및 상기 가상 TV를 상기 AR/VR 인터페이스에 렌더링하고, 상기 씬 썸네일을 업데이트하도록 구성된다.
일 실시예에 있어서, 상기 장치는:
AR/VR 카메라를 통해 손짓에 의해 소정된 방향으로 형성된 가상프레임을 수집하도록 구성된 수집모듈;
계산을 통해 상기 가상프레임의 상기 AR/VR 인터페이스에서의 좌표 및 사이즈를 얻도록 구성된 계산모듈; 및
상기 AR/VR 인터페이스에 상기 가상프레임이 표시하는 가상 TV를 렌더링하도록 구성된 렌더링모듈; 을 더 포함한다.
일 실시예에 있어서, 상기 장치는:
AR/VR 카메라가 피드백하는 사용자의 현재 응시방향 및 실시간 화면의 레이아웃 정보를 수신하도록 구성된 제3 수신모듈; 및
상기 레이아웃 정보에 따라, 상기 원 패스 또는 멀티패스 비디오스트림에서의 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트 중 적어도 하나의 파라미터를 조정하도록 구성된 조정모듈; 을 더 포함한다.
본 발명의 또 다른 실시예에 따르면, 저장매체를 더 제공하며, 상기 저장매체는, 저장된 프로그램을 포함하고, 여기서, 상기 프로그램이 실행될 경우, 상기 어느 하나의 실시예에 따른 방법이 수행된다.
본 발명의 또 다른 실시예에 따르면, 프로세서를 더 제공하며, 상기 프로세서는 프로그램을 실행하는데 사용되고, 여기서, 상기 프로그램이 실행될 경우, 상기 어느 하나의 실시예에 따른 방법이 수행된다.
본 발명의 실시예를 통해, 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하고; 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하며, 여기서, 상기 씬 썸네일은 가상현실/증강현실(AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성되고; 상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시한다. 가상의 멀티패스 비디오스트림 화면의 레이아웃 인터페이스를 제공하는 것을 통해, 관련기술에서 사용자가 영활하고 편리하게 비디오를 브라우징할 수 없는 과제를 해결하며, 사용자는 핸들 또는 손짓을 통해 전체 레이아웃 인터페이스 내의 멀티패스 비디오스트림 화면의 조작을 제어할 수 있다.
여기서 설명되는 도면은 본 발명의 추가적인 이해를 제공하기 위한 것으로서 본 출원의 일부를 구성하고, 본 발명의 개략적 실시예 및 그 설명은 본 발명을 이해하는데 사용되며, 본 발명을 부당하게 한정하지 않는다. 도면에서:
도 1은 본 발명의 실시예에 따른 비디오 처리방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 비디오 처리의 시스템의 아키텍처 도이다.
도 3은 본 발명의 실시예에 따른 단말기가 비디오스트림을 자유롭게 선택하는 개략도이다.
도 4는 본 발명의 실시예에 따른 서버로부터 모든 단말기의 비디오스트림 썸네일을 획득하는 흐름도이다.
도 5는 본 발명의 실시예에 따른 로컬로부터 현재 수신한 비디오스트림 썸네일을 획득하는 흐름도이다.
도 6은 본 발명의 실시예에 따른 로컬로부터 어느 하나의 패스로 수신한 비디오스트림의 키프레임(keyframe)을 획득하는 흐름도이다.
도 7은 본 발명의 실시예에 따른 로컬로부터 멀티패스로 수신한 비디오스트림의 키프레임을 획득하는 흐름도이다.
도 8은 본 발명의 실시예에 따른 가상현실에서 멀티패스 비디오스트림의 표시 및 레이아웃 방식의 흐름도이다.
도 9는 본 발명의 실시예에 따른 증강현실에서 멀티패스 비디오스트림의 표시 및 레이아웃 방식의 흐름도이다.
도 10은 본 발명의 실시예에 따른 가상현실 인터페이스에서 가상 TV의 개략도이다.
도 11은 본 발명의 실시예에 따른 비디오 처리장치의 구조 블록도이다.
아래, 첨부된 도면을 참고하고 실시예를 결합하여 본 발명을 구체적으로 설명한다. 설명해야 할 것은, 본 출원에서의 실시예 및 실시예에서의 특징은 모순되지 않는 한 서로 조합될 수 있다.
더 설명해야 할 것은, 본 발명의 명세서와 특허청구범위 및 상기 첨부된 도면에서의 용어 "제1", "제2" 등은 유사한 대상을 구별하기 위함이지, 특정된 순서 또는 선후 순서를 설명하는데 사용되어서는 안된다.
실시예 1
본 실시예에서는 네트워크 설비에서 실행되는 비디오 처리방법을 제공하였고, 도 1은 본 발명의 실시예에 따른 비디오 처리방법의 흐름도이며, 도 1에 도시된 바와 같이, 해당 방법은:
브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계(S102)-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-;
상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일(scene thumbnail)에 설정하여 화면 레이아웃스트림을 생성하는 단계(S104)-여기서, 상기 씬 썸네일은 AR/VR 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및
상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하는 단계(S106); 를 포함한다.
상기 단계들을 통해, 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하고; 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하며, 여기서, 상기 씬 썸네일은 가상현실/증강현실(AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성되고; 상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시한다. 가상의 멀티패스 비디오스트림 화면의 레이아웃 인터페이스를 제공하는 것을 통해, 관련기술에서 사용자가 영활하고 간편하게 비디오를 브라우징할 수 없는 과제를 해결하며, 사용자는 핸들 또는 손짓을 통해 전체 레이아웃 인터페이스 내의 멀티패스 비디오스트림 화면의 조작을 제어할 수 있다.
일 실시예에 있어서, 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계 전에, 상기 방법은:
원 패스 또는 멀티패스 비디오스트림에 따라 비디오스트림 썸네일을 생성하는 단계-여기서, 원 패스 비디오스트림은 하나의 비디오스트림 썸네일을 생성함-; 또는
원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하고, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임에 따라 키프레임 썸네일을 생성하는 단계-여기서, 원 패스 비디오스트림의 키프레임은 하나의 키프레임 썸네일을 생성함-; 을 더 포함한다.
일 실시예에 있어서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 과정은: 네트워크 설비에 사전 설정된 키프레임 큐(queue)로부터 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 단계를 포함할 수 있고, 여기서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임은, 상기 네트워크 설비가 상기 원 패스 또는 멀티패스 비디오스트림을 디코딩하는 과정에서, 수집된 코드워드 정보와 양자화 파라미터(quantization parameter) 정보에 따라 생성 및 저장된 키프레임이다. 여기서, 상기 네트워크 설비는 원 패스 또는 멀티패스 비디오스트림의 키프레임의 획득서비스를 제공하는 설비이다. 일예로서, 네트워크 설비는 서버일 수 있다.
일 실시예에 있어서, 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계 전에, 상기 방법은: 상기 씬 썸네일을 선택하기 위한 선택명령을 수신하는 단계; 및 상기 선택명령에 따라, 상기 씬 썸네일을 소정된 배수로 확대하여 상기 AR/VR 인터페이스에 디스플레이하는 단계; 를 더 포함한다.
일 실시예에 있어서, 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계는: 상기 선택명령에 따라, 상기 비디오스트림 썸네일 또는 상기 키프레임 썸네일의 크기를 조정하는 단계; 가상 TV의 유형을 선택하고, 상기 가상 TV를 상기 씬 썸네일에 렌더링(rendering)하는 단계; 및 상기 씬 썸네일의 상기 AR/VR 인터페이스에서의 좌표에 따라, 원 패스 또는 멀티패스 비디오스트림, 및 상기 가상 TV를 상기 AR/VR 인터페이스에 렌더링하고, 상기 씬 썸네일을 업데이트하는 단계; 를 포함한다.
일 실시예에 있어서, 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계 전에, 상기 방법은: AR/VR 카메라를 통해 손짓에 의해 소정된 방향으로 형성된 가상프레임을 수집하는 단계; 계산을 통해 상기 가상프레임의 상기 AR/VR 인터페이스에서의 좌표 및 사이즈를 얻는 단계; 및 상기 AR/VR 인터페이스에 상기 가상프레임이 표시하는 가상 TV를 렌더링하는 단계; 를 더 포함한다.
일 실시예에 있어서, 상기 방법은: AR/VR 카메라가 피드백하는 사용자의 현재 응시방향 및 실시간 화면의 레이아웃 정보를 수신하는 단계; 및 상기 레이아웃 정보에 따라, 상기 원 패스 또는 멀티패스 비디오스트림에서의 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트(bitrate) 중 적어도 하나의 파라미터를 조정하는 단계; 를 더 포함한다.
본 발명의 실시예는 멀티패스 비디오스트림의 표시방식을 제시하며, 가상현실 또는 증강현실 기술을 이용하는 가상디스플레이 설비를 통해 원 패스 또는 멀티패스 비디오스트림을 수신 및 디스플레이하여, 가격이 저렴한 AR/VR 안경을 통해 사용자 체험이 보다 좋은 멀티패스 비디오스트림의 표시를 실현할 수 있다.
본 발명의 실시예에서 각 단말기는 모두 원 패스 또는 멀티패스 비디오스트림을 전송할 수 있으며, 각 단말기는 수신된 각 패스 비디오스트림을 제어할 수도 있다. 또한, 가상의 멀티패스 비디오스트림 화면의 레이아웃 인터페이스를 제공하여, 사용자가 핸들 또는 손짓을 통해 전체 레이아웃 인터페이스 내의 멀티패스 비디오스트림 화면에 대한 조작을 제어할 수 있게 된다. AR/VR의 시야가 매우 넓기 때문에, 더욱 편리하게 화면을 조작하기 위해, 사용자는 씬 썸네일을 이용하여 AR/VR 시야의 전체 인터페이스 레이아웃에서 멀티패스 비디오스트림을 조정할 수 있고, 또한 비디오스트림 썸네일을 이용하여 멀티패스 비디오스트림 화면에 대해 화면선택, 화면전환 및 화면의 역추적과 비교 등 조작을 진행할 수도 있다. 이밖에, 시스템은 안구 초점을 추적하거나 사용자 이벤트를 감지하여, 각 패스 비디오스트림의 코딩 대역폭(coding bandwidth)을 동적으로 조정하고, 전체 시스템의 전송 대역폭을 감소한다.
본 발명의 실시예에서는 가상현실 또는 증강현실을 기초로 하는 멀티패스 비디오스트림을 표시하는 시스템을 제공하고, 이는 각 단말기가 하나 또는 복수의 단말기에서 전송하는 원 패스 또는 멀티패스 비디오스트림을 선택 및 수신할 수 있게 하고, 동시에 멀티패스 비디오스트림을 표시할 수 있으며, 멀티패스 비디오스트림을 편리하게 레이아웃, 스위칭, 역추적 및 비교할 수 있어, 비디오 표시시스템의 사용성(usability) 및 몰입감을 향상시킨다.
도 2는 본 발명의 실시예에 따른 비디오 처리시스템의 아키텍처 도이고, 도 2에 도시된 바와 같이, 주로 멀티화면 레이아웃모듈(22), 키프레임 추출모듈(24) 및 대역폭 동적조정모듈(26) 3 개의 기능모듈을 포함한다.
멀티화면 레이아웃모듈(22)은, 단말기가 수신한 멀티패스 비디오스트림 화면의 썸네일을 생성하거나, 또는 서버에서 획득한 모든 단말기가 전송한 멀티패스 비디오스트림 화면의 썸네일을 생성하거나, 또는 어느 하나의 패스의 비디오스트림 또는 멀티패스 비디오스트림의 복수의 키프레임의 썸네일을 생성하도록 구성된다. 사용자는 브라우징할 비디오스트림 또는 키프레임을 선택하고, 이를 씬 썸네일에 넣어 레이아웃을 진행하며, 최종적으로 시스템은 씬 썸네일에 따라 AR/VR 인터페이스에, 해당하는 화면 레이아웃스트림을 생성하여 사용자에게 표시한다. 해당 모듈은 비디오스트림 썸네일, 키프레임 썸네일 및 씬 썸네일 세 부분을 포함하며, 비디오스트림 썸네일의 구현 단계는: 각 단말기의 원 패스 또는 멀티패스 비디오스트림을 획득하는 단계; 비디오스트의 썸네일을 생성하는 단계; 및 비디오스트림에서 비디오스트림 화면을 선택하여 조작하는 단계; 를 포함한다.
키프레임 썸네일의 구현 단계는: 어느 하나의 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 단계; 키프레임 썸네일을 생성하는 단계; 및 키프레임 썸네일에서 키프레임 화면을 선택하여 조작하는 단계; 를 포함한다.
씬 썸네일의 구현 단계는: 현재 AR/VR 인터페이스 레이아웃에 따라 씬 썸네일을 생성하는 단계; 비디오스트림 썸네일 및 키프레임 썸네일로부터 디스플레이하려는 화면을 선택하여 씬 썸네일에 넣는 단계; 씬 썸네일의 레이아웃을 감지 및 업데이트하는 단계; 및 AR/VR 인터페이스에서의 해당하는 위치에 화면을 디스플레이하는 단계; 를 포함한다.
키프레임 추출모듈(24)은, 디코딩 과정에서 코드워드, 양자화 파라미터 등 정보를 수집하고, 이러한 정보에 따라, 현재 비디오스트림의 키프레임을 생성하여 해당하는 키프레임 큐에 저장하도록 구성된다.
대역폭 동적조정모듈(26)은, 사용자의 안구 초점을 추적하거나 현재의 레이아웃 위치에 따라, 사용자가 관심을 갖는 비디오스트림의 대역폭, 해상도 및 프레임률 등 파라미터를 증가시키며, 사용자가 관심을 갖지 않는 비디오스트림의 대역폭, 해상도 및 프레임율 등 파라미터를 감소시켜, 총체적인 대역폭이 변하지 않도록 유지하는 상황에서, 사용자의 시각적 감각을 극대화하도록 구성된다. 해당 모듈의 구현 단계는: AR/VR 안경의 안구 추적 기능을 통해, 사용자가 현재 응시하는 방향을 추적하면서, 사용자의 레이아웃 조정 여부를 감지하는 단계; 및 안구 초점 및 실시간 화면 레이아웃을 네트워크 설비에 피드백하는 단계; 를 포함한다.
네트워크 설비는 단말기가 실시간으로 피드백하는 레이아웃 정보에 따라, 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트 등 파라미터를 조정하여, 비관심화면의 대역폭을 감소시키고, 관심화면의 대역폭을 향상시킨다.
본 발명의 실시예는 가상현실 또는 증강현실 기술에 기반하여, 멀티패스 비디오스트림의 표시방식 및 시스템을 구현하였고, 각 단말기는 브라우징할 비디오스트림을 용이하게 선택하며, 가상현실 또는 증강현실에서 비디오스트림 화면 레이아웃을 편리하게 조정할 수 있고, 또한 비디오스트림 화면에 대해 역주척 및 비교를 진행할 수도 있으며, 코딩대역폭을 크게 증가시키지 않는 기초상, 각 단말기가 하나 또는 복수의 단말기가 전송하는 원 패스 또는 멀티패스 비디오스트림을 수신하도록 구현할 수 있다.
키프레임 추출모듈(24)은 비디오스트림을 디코딩하는 과정에서 MB 또는 최대 부호화 단위(Largest Coding Unit, LCU) 레벨의 코드워드, 양자화 파라미터 등 정보를 수집하고, 이러한 정보에 따라, 현재 비디오스트림의 키프레임을 생성하여 키프레임 큐에 저장한다.
멀티화면 레이아웃모듈(22)은 우선 AR/VR 시야의 전체 인터페이스를 하나의 씬 썸네일로 생성하고, 다음, 수신된 비디오스트림을 비디오스트림 썸네일로 생성하며, 키프레임 화면을 키프레임 썸네일로 생성하며, 사용자가 자신의 수요에 따라 보고자 하는 비디오스트림과 키프레임을 씬 썸네일에 넣어 레이아웃 조정을 진행하면, 최종적으로 씬 썸네일의 레이아웃 결과를, AR/VR 시야의 전체 인터페이스의 해당하는 위치에 디스플레이한다.
대역폭 동적조정모듈(26)은 AR/VR 안경의 안구 추적 기능을 통해, 사용자가 현재 응시하는 방향을 추적한다. 시스템은 결과를 네트워크 설비에 피드백하고, 네트워크 설비는 피드백 결과에 따라, 해당 단말기에 전송되는 해당 비디오스트림의 프레임률, 해상도 등 파라미터를 조정하여 대역폭을 증가 또는 감소시킨다.
도 3은 본 발명의 실시예에 따른 단말기가 비디오스트림을 자유롭게 선택하는 개략도이고, 도 3에 도시된 바와 같이, 화상회의를 예로 들어, 다지점 회의를 개최하여, 단말기(T1), 단말기(T2), 단말기(T3) 및 단말기(T4) 4 개 단말기가 회의에 참여하였으며, 4 개 단말기 모두 원 패스 또는 멀티패스 비디오스트림을 전송하였고, 4 개 단말기는 모두 기타 단말기의 비디오스트림을 자유롭게 선택하여 브라우징할 수 있으며, 또한 자신의 비디오스트림을 브라우징할 수도 있다. 예를 들면, 단말기(T1)가 단말기(T1), 단말기(T2), 단말기(T3) 및 단말기(T4)의 비디오스트림을 브라우하징하고, 단말기(T2)가 단말기(T1), 단말기(T2), 단말기(T3) 및 단말기(T4)의 비디오스트림을 브라우징하며, 단말기(T3)가 단말기(T1) 및 단말기(T2)의 비디오스트림을 브라우징하고, 단말기(T4)가 단말기(T1)의 비디오스트림을 브라우징할 수 있다.
도 4는 본 발명의 실시예에 따른 서버로부터 모든 단말기의 비디오스트림 썸네일을 획득하는 흐름도이고, 도 4에 도시된 바와 같이,
각 단말기가 회의에 참여하여 서버에 비디오스트림을 전송하고, 서버는 각 비디오스트림의 코드스트림에, 동시디코딩리프레시(Instantaneous Decoding Refresh, IDR) 프레임의 존재 여부를 감지하고, 현재 비디오스트림에 새로운 IDR 프레임이 존재할 경우, 서버는 해당 IDR 프레임을 디코딩하고 축소하여, 현재 비디오스트림의 썸네일을 얻는 단계(401);
현재 단말기가 서버로부터 모든 단말기의 비디오스트림 썸네일을 획득하고자 서버에 메세지를 전송하는 단계(402);
서버는 모든 단말기 비디오스트림의 썸네일을 일정한 순서에 따라 배열 및 레이아웃하여, 비교적 큰 썸네일 화면을 형성한 후, 코딩하여 단말기로 전송하는 단계(403);
현재 단말기(T3)가 수신 및 디코딩하여 썸네일 화면을 얻은 후, 썸네일 화면에서의 각 서브 화면을 잘라내어, 각 패스 비디오스트림에 대응되는 썸네일을 획득하는 단계(404);
현재 AR/VR 안경에서 디스플레이되는 씬을 축소하여 씬 썸네일을 생성하는 단계(405);
각 패스 비디오스트림에 대응되는 썸네일을 적합한 방식으로, 레이아웃 인터페이스에 디스플레이하는 동시에, 씬 썸네일도 레이아웃 인터페이스에 디스플레이하는 단계(406);
사용자가 핸들 또는 손짓 등 방식의 조작을 통해, 선택된 비디오스트림 썸네일을 씬 썸네일(scene thumbnail)에 넣어, 해당 비디오스트림 화면을 보려하고 해당하는 위치에 디스플레이하고자 하는 의사를 나타내는 단계(407);
사용자가 씬 썸네일의 레이아웃을 결정한 후, 시스템이 해당 비디오스트림을 AR/VR 인터페이스의 위치에 디스플레이하는 단계(408); 및
사용자가 최종 멀티화면 레이아웃을 결정한 후, 시스템이 사용자가 선택한 비디오스트림의 시퀀스 번호(sequence number), 디스플레이하고자 하는 위치, 사이즈 등 정보를 서버에 피드백하고, 서버는 상기 정보에 따라 대역폭을 동적으로 조정하며, 대응되는 코드스트림을 현재 단말기에 포워딩(forwarding)하는 단계(409); 를 포함한다.
도 5는 본 발명의 실시예에 따른 로컬로부터 현재 수신한 비디오스트림 썸네일을 획득하는 흐름도이고, 도 5에 도시된 바와 같이,
모든 비디오스트림 화면을 로컬 수신하는 단계(501);
시스템이 로컬 수신된 모든 비디오스트림 화면을 축소하여 각 패스 비디오스트림의 썸네일을 획득하는 단계(502);
현재 AR/VR 안경에 디스플레이되는 씬을 축소하여 씬 썸네일을 생성하는 단계(503);
각 패스 비디오스트림에 대응되는 썸네일을 적합한 방식으로, 레이아웃 인터페이스에 디스플레이하는 동시에, 씬 썸네일도 레이아웃 인터페이스에 디스플레이하는 단계(504);
사용자가 핸들 또는 손짓 등 방식의 조작을 통해, 선택된 비디오스트림 썸네일을 씬 썸네일에 넣어, 해당 비디오스트림 화면을 보려하고 해당하는 위치에 디스플레이하고자 하는 의사를 나타내는 단계(505);
사용자가 씬 썸네일의 레이아웃을 결정한 후, 시스템이 해당 비디오스트림을 AR/VR 인터페이스의 위치에 디스플레이하는 단계(506); 및
사용자가 최종 멀티화면 레이아웃을 결정한 후, 시스템이 사용자가 선택한 비디오스트림의 시퀀스 번호, 디스플레이하고자 하는 위치, 사이즈 등 정보를 서버에 피드백하고, 서버는 상기 정보에 따라 대역폭을 동적으로 조정하며, 대응되는 코드스트림을 현재 단말기에 포워딩하는 단계(507); 를 포함한다.
도 6은 본 발명의 실시예에 따른 로컬로부터 어느 하나의 패스(path)로 수신한 비디오스트림의 키프레임을 획득하는 흐름도이고, 도 6에 도시된 바와 같이,
어느 하나의 패스로 수신한 비디오스트림을 로컬 획득하는 단계(501);
시스템이 현재 AR/VR 안경에 디스플레이되는 씬을 축소하여 씬 썸네일을 생성하는 단계(602);
시스템이 해당 패스 비디오스트림의 과거 키프레임 큐(historical key frame queue)로부터 일정한 수의 키프레임을 취하고, 썸네일을 생성하여 적합한 방식으로 레이아웃 인터페이스에 디스플레이하는 단계(603);
사용자가 핸들 또는 손짓 등 방식의 조작을 통해, 선택된 키프레임 썸네일을 씬 썸네일에 넣어, 해당 키프레임 화면을 보려하고 해당하는 위치에 디스플레이하고자 하는 의사를 나타내는 단계(604); 및
시스템이 사용자가 설정한 키프레임의 레이아웃에 따라, 해당하는 AR/VR 인터페이스 위치에 선택된 키프레임 화면을 디스플레이하는 단계(605); 를 포함한다.
도 7은 본 발명의 실시예에 따른 로컬로부터 멀티패스로 수신한 비디오스트림의 키프레임을 획득하는 흐름도이고, 도 7에 도시된 바와 같이,
시스템이 현재 AR/VR 안경에 디스플레이되는 씬을 축소하여 씬 썸네일을 생성하는 단계(701);
시스템이 해당 패스 비디오스트림의 과거 키프레임 큐로부터 일정한 수의 키프레임을 취하고, 썸네일을 생성하여 적합한 방식으로 레이아웃 인터페이스에 디스플레이하는 단계(702)-예를 들면, 비디오스트림(1)의 키프레임 큐로부터 약간의 키프레임을 취하고, 비디오스트림(1)의 키프레임 썸네일을 생성하여 레이아웃 인터페이스에 디스플레이함-;
사용자가 핸들 또는 손짓 등 방식의 조작을 통해, 선택된 키프레임 썸네일을 씬 썸네일에 넣어, 해당 키프레임 화면을 보려하고 대응되는 위치에 디스플레이하고자 하는 의사를 나타내는 단계(703);
단계(702)~단계(703)를 반복하여, 사용자가 기타 비디오스트림의 키프레임의 썸네일을 씬 썸네일에 넣는 단계(704); 및
시스템이 사용자가 설정한 키프레임의 레이아웃에 따라, 해당하는 AR/VR 인터페이스 위치에 선택된 키프레임 화면을 디스플레이하는 단계(705); 를 포함한다.
도 8은 본 발명의 실시예에 따른 가상현실에서 멀티패스 비디오스트림의 표시 및 레이아웃 방식의 흐름도이고, 도 8에 도시된 바와 같이,
전체 VR 사야의 3D 씬 썸네일을 일정한 비율에 따라 사용자 VR 시야의 바로 앞쪽에 디스플레이하나 사용자의 시선에 영향 주지 않는 위치에 실시간으로 디스플레이하는 단계(801);
사용자가 씬 썸네일을 선택하고, 썸네일을 사용자가 조작하기 용이한 사이즈로 확대하여 레이아웃 인터페이스에 디스플레이하는 단계(802);
사용자가 상기 방법에 따라 비디오스트림 썸네일을 획득하는 단계(803);
사용자가 보고자 하는 비디오스트림의 썸네일을 씬 썸네일 중의 적합한 위치로 드래그(drag)하는 단계(804);
사용자가 씬 썸네일의 참조물에 따라, 비디오스트림 썸네일의 위치 및 사이즈를 조정하며, 해당 비디오스트림을 재생할 가상 TV의 유형(예를 들면, 평면 TV, 곡면 TV 등이고, 도 10은 하나의 가상 TV의 범례로서, 두 개의 곡면 TV와 하나의 평면 TV를 포함함)을 선택하는 단계(805);
사용자가 보고자 하는 비디오스트림이 모두 씬 썸네일로 드래그되어 조정이 완료될 때까지 상기 단계(803)~단계(805)를 반복한 후, 사용자가 조정이 완료되었음을 확정하는 단계(806);
씬 썸네일을 업데이트하고, 가상 TV를 씬 썸네일에 렌더링하는 단계(807);
시스템이 씬 썸네일과 VR 시야의 좌표관계에 따라, 비디오스트림과 가상 TV를 VR 시야에 렌더링하는 단계(808); 및
씬 썸네일을 업데이트하고 축소하여, 사용자의 시선에 영향 주지 않는 위치에 실시간으로 디스플레이하는 단계(809); 를 포함한다.
도 9는 본 발명의 실시예에 따른 증강현실에서 멀티패스 비디오스트림의 표시 및 레이아웃 방식의 흐름도이고, 도 9에 도시된 바와 같이,
사용자가 손짓을 통해 공중에 하나의 프레임을 그리고, AR 안경의 카메라가 사용자의 동작을 수집하는 단계(901);
AR 안경이 계산 및 분석을 통해 사용자가 그린 프레임이 AR 좌표계에 해당하는 좌표 및 사이즈를 얻고, AR 안경에 해당 프레임을 렌더링하여 하나의 가상 TV를 표시하도록 하는 단계(902);
사용자가 상기 방법에 따라, 하나의 비디오스트림의 썸네일을 선택하는 단계(903);
사용자가 보고자 하는 비디오스트림의 썸네일을 가상 TV로 드래그하는 단계(904);
사용자가 비디오스트림 썸네일의 사이즈 및 위치를 조정하고, 가상 TV의 유형(예를 들면, 평면 TV, 곡면 TV 등이고, 도 10은 본 발명의 실시예에 따른 가상현실 인터페이스에서 가상 TV의 개략도로서, 도 10에 도시된 바와 같이, 두 개의 곡면 TV와 하나의 평면 TV를 포함함)을 선택하는 단계(905);
사용자가 보고자 하는 모든 비디오스트림의 사이즈 및 위치가 모두 조정이 완료될 때까지 상기 단계(901)~단계(905)를 반복한 후, 사용자가 조정이 완료되었음을 확정하는 단계(906); 및
AR 안경이 가상 TV의 좌표 및 사이즈에 따라, 사용자가 선택한 비디오스트림을 렌더링 및 재생하는 단계(907); 를 포함한다.
이상의 실시형태의 설명을 통해, 해당 분야의 기술자들은 상기 실시예들에 따른 방법은 소프트웨어에 필요한 범용 하드웨어 플랫폼을 추가하는 방식으로 구현될 수 있음을 명확하게 이해할 수 있을 것이며, 물론 하드웨어를 통해 구현될 수도 있으나, 많은 경우에 전자가 더욱 바람직한 실시형태이다. 이러한 이해에 기초하여, 본 발명의 기술방안은 본질적으로, 또는 종래의 기술에 대해 기여한 부분은, 소프트웨어 제품의 형식으로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은 하나의 저장매체(예를 들면, ROM/RAM, 디스켓(diskette), 광디스크)에 저장되며, 여러 명령을 포함하여 하나의 단말기 설비(핸드폰, 컴퓨터, 서버 또는 네트워크 설비 등일 수 있음)가 본 발명의 각 실시예에서 설명한 방법을 실행하도록 한다.
실시예 2
본 실시예에서는 비디오 처리장치를 더 제공하였으며, 해당 장치는 상기 실시예 및 바람직한 실시형태를 구현하는데 사용되며, 이미 설명하였던 부분은 더 이상 반복하지 않는다. 아래에서 사용되는 용어 "모듈"은 소정된 기능을 구현할 수 있는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합일 수 있다. 비록 아래의 실시예에서 설명하는 장치는 소프트웨어로 구현되는 것이 비교적 바람직하지만, 하드웨어 또는 소프트웨어와 하드웨어의 조합도 가능하며 구상될 수 있는 것이다.
본 발명의 다른 실시예에 따라 비디오 처리장치를 더 제공하였고, 도 11은 본 발명의 실시예에 따른 비디오 처리장치의 구조 블록도이며, 도 11에 도시된 바와 같이, 비디오 처리장치는 AR/VR 설비에 응용되며, 해당 장치는:
브라우징될 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하도록 구성된 제1 수신모듈(112)-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-;
상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하도록 구성된 제1 생성모듈(114)-여기서, 상기 씬 썸네일은 AR/VR 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및
상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하도록 구성된 표시모듈(116); 을 포함한다.
일 실시예에 있어서, 상기 장치는:
원 패스 또는 멀티패스 비디오스트림에 따라 비디오스트림 썸네일을 생성하도록 구성된 제2 생성모듈-여기서, 원 패스 비디오스트림은 하나의 비디오스트림 썸네일을 생성함-; 또는
원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하고, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임에 따라 키프레임 썸네일을 생성하도록 구성된 획득모듈-여기서, 원 패스 비디오스트림의 키프레임은 하나의 키프레임 썸네일을 생성함-; 을 더 포함한다.
일 실시예에 있어서, 상기 획득모듈은, 또한 네트워크 설비에 사전 설정된 키프레임 큐로부터 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하도록 구성되며, 여기서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임은, 상기 네트워크 설비가 상기 원 패스 또는 멀티패스 비디오스트림을 디코딩하는 과정에서, 수집된 코드워드 정보와 양자화 파라미터 정보에 따라 생성 및 저장된 키프레임이다.
일 실시예에 있어서, 상기 장치는:
상기 씬 썸네일을 선택하기 위한 선택명령을 수신하도록 구성된 제2 수신모듈; 및
상기 선택명령에 따라, 상기 씬 썸네일을 소정된 배수로 확대하여 상기 AR/VR 인터페이스에 디스플레이하도록 구성된 확대모듈; 을 더 포함한다.
일 실시예에 있어서, 상기 제1 생성모듈은, 또한 상기 선택명령에 따라, 상기 비디오스트림 썸네일 또는 상기 키프레임 썸네일의 크기를 조정하고; 가상 TV의 유형을 선택하고, 상기 가상 TV를 상기 씬 썸네일에 렌더링하며; 상기 씬 썸네일의 상기 AR/VR 인터페이스에서의 좌표에 따라, 원 패스 또는 멀티패스 비디오스트림, 및 상기 가상 TV를 상기 AR/VR 인터페이스에 렌더링하고, 상기 씬 썸네일을 업데이트하도록 구성된다.
일 실시예에 있어서, 상기 장치는:
AR/VR 카메라를 통해 손짓에 의해 소정된 방향으로 형성된 가상프레임을 수집하도록 구성된 수집모듈;
계산을 통해 상기 가상프레임의 상기 AR/VR 인터페이스에서의 좌표 및 사이즈를 얻도록 구성된 계산모듈; 및
상기 AR/VR 인터페이스에 상기 가상프레임이 표시하는 가상 TV를 렌더링하도록 구성된 렌더링모듈; 을 더 포함한다.
일 실시예에 있어서, 상기 장치는:
AR/VR 카메라가 피드백하는 사용자의 현재 응시방향 및 실시간 화면의 레이아웃 정보를 수신하도록 구성된 제3 수신모듈; 및
상기 레이아웃 정보에 따라, 상기 원 패스 또는 멀티패스 비디오스트림에서의 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트 중 적어도 하나의 파라미터를 조정하도록 구성된 조정모듈; 을 더 포함한다.
설명해야 할 것은, 상기 각 모듈은 소프트웨어 또는 하드웨어를 통해 구현될 수 있으며, 하드웨어인 경우, 상기 모듈은 모두 동일한 프로세서에 위치하거나; 또는 상기 각 모듈은 임의로 조합된 형태로 각각 상이한 프로세서에 위치하는 방식으로 구현될 수 있으나, 이에 한정되지 않는다.
실시예 3
본 발명의 실시예는 저장된 프로그램을 포함하는 저장매체를 더 제공하며, 여기서, 상기 프로그램이 실행될 경우, 상기 어느 하나의 실시예에 따른 방법이 실행된다.
선택적으로, 본 실시예에서, 상기 저장매체는: 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-; 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계-여기서, 상기 씬 썸네일은 가상현실/증강현실(AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및 상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하는 단계; 를 실행하기 위한 프로그램 코드를 저장하도록 구성될 수 있다.
선택적으로, 본 실시예에서, 상기 저장매체는 U디스크, 읽기전용메모리(Read-Only Memory, ROM), 랜덤액세스메모리(Random Access Memory, RAM), 외장하드, 디스켓 또는 광디스크 등 프로그램 코드가 저장가능한 다양한 매체를 포함하나, 이에 한정되지 않는다.
실시예 4
본 발명의 실시예는 프로그램을 실행하기 위한 프로세서를 더 제공하며, 여기서, 해당 프로그램이 실행될 경우, 상기 어느 하나의 실시예에 따른 방법 중의 단계가 실행된다.
선택적으로, 본 실시예에서, 상기 프로그램은: 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-; 상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계-여기서, 상기 씬 썸네일은 가상현실/증강현실(AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및 상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하는 단계; 를 실행하기 위해 사용된다.
선택적으로, 본 실시예에서의 구체적인 예는 상기 실시예 및 선택가능한 실시형태에서 설명하는 예를 참고할 수 있으며, 본 실시예에서는 더 이상 반복하지 않는다.
물론, 해당 분야 기술자가 이해할 수 있는 것은, 상기의 본 발명의 각 모듈 또는 각 단계가 범용의 컴퓨팅장치에 의해 구현될 수 있고, 이들은 단일 컴퓨팅장치에 집중되거나, 두 개의 컴퓨팅장치로 구성된 네트워크에 분배될 수 있으며, 선택적으로, 이들은 컴퓨팅장치에 의해 실행가능한 프로그램 코드로 구현될 수 있고, 따라서, 이들은 저장장치에 저장되어 컴퓨팅장치에 의해 실행될 수 있다. 또한 일부 경우에는, 여기서 설명된 순서와 다른 순서로 도시 또는 설명된 단계들을 실행하거나, 이들 각각을 각 집적회로모듈로 제작하거나, 또는, 이들 중의 두 개의 모듈 또는 단계를 단일 집적회로모듈로 제작하여 실현할 수 있다. 이와 같이, 본 발명은 하드웨어 및 스프트웨어의 임의의 특정 조합에 한정되지 않는다.
이상에서 서술한 내용은 본 발명의 바람직한 실시예일 뿐, 본 발명을 한정하는데 사용되지 않는다. 해당 분야 기술자에게 있어서, 본 발명은 다양한 변경 및 변화를 가질 수 있다. 본 발명의 원칙 내에서의 임의의 보정, 동등한 대체 및 개량은 모두 본 발명의 보호 범위에 포함되어야 한다.

Claims (16)

  1. 브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-;
    상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계-여기서, 상기 씬 썸네일은 가상현실/증강현실(AR/VR) 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및
    상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하는 단계; 를 포함하는 비디오 처리방법.
  2. 제 1 항에 있어서,
    브라우징될 원 패스 또는 멀티패스 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하는 단계 전에, 상기 비디오 처리방법은,
    원 패스 또는 멀티패스 비디오스트림에 따라 비디오스트림 썸네일을 생성하는 단계-여기서, 원 패스 비디오스트림은 하나의 비디오스트림 썸네일을 생성함; 또는
    원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하고, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임에 따라 키프레임 썸네일을 생성하는 단계-여기서, 원 패스 비디오스트림의 키프레임은 하나의 키프레임 썸네일을 생성함-; 를 더 포함하는 비디오 처리방법.
  3. 제 2 항에 있어서,
    상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 과정은:
    네트워크 설비에 사전 설정된 키프레임 큐로부터 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하는 단계를 포함하고, 여기서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임은, 상기 네트워크 설비가 상기 원 패스 또는 멀티패스 비디오스트림을 디코딩하는 과정에서, 수집된 코드워드 정보와 양자화 파라미터 정보에 따라 생성 및 저장된 키프레임인 것을 특징으로 하는 비디오 처리방법.
  4. 제 1 항에 있어서,
    상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계 전에, 상기 비디오 처리방법은,
    상기 씬 썸네일을 선택하기 위한 선택명령을 수신하는 단계; 및
    상기 선택명령에 따라, 상기 씬 썸네일을 소정된 배수로 확대하여 상기 AR/VR 인터페이스에 디스플레이하는 단계; 를 더 포함하는 비디오 처리방법.
  5. 제 4 항에 있어서,
    상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계는:
    상기 선택명령에 따라, 상기 비디오스트림 썸네일 또는 상기 키프레임 썸네일의 크기를 조정하는 단계;
    가상 TV의 유형을 선택하고, 상기 가상 TV를 상기 씬 썸네일에 렌더링하는 단계; 및
    상기 씬 썸네일의 상기 AR/VR 인터페이스에서의 좌표에 따라, 원 패스 또는 멀티패스 비디오스트림, 및 상기 가상 TV를 상기 AR/VR 인터페이스에 렌더링하고, 상기 씬 썸네일을 업데이트하는 단계; 를 포함하는 비디오 처리방법.
  6. 제 5 항에 있어서,
    상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하는 단계 전에, 상기 비디오 처리방법은,
    AR/VR 카메라를 통해 손짓에 의해 소정된 방향으로 형성된 가상프레임을 수집하는 단계;
    계산을 통해 상기 가상프레임의 상기 AR/VR 인터페이스에서의 좌표 및 사이즈를 얻는 단계; 및
    상기 AR/VR 인터페이스에 상기 가상프레임이 표시하는 가상 TV를 렌더링하는 단계; 를 더 포함하는 비디오 처리방법.
  7. 제 1 항 내지 제 6 항의 어느 한 항에 있어서,
    AR/VR 카메라가 피드백하는 사용자의 현재 응시방향 및 실시간 화면의 레이아웃 정보를 수신하는 단계; 및
    상기 레이아웃 정보에 따라, 상기 원 패스 또는 멀티패스 비디오스트림에서의 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트 중 적어도 하나의 파라미터를 조정하는 단계; 를 더 포함하는 비디오 처리방법.
  8. 가상현실/증강현실(AR/VR) 설비에 응용되는 비디오 처리장치에 있어서,
    브라우징될 비디오스트림 또는 비디오스트림의 키프레임을 선택하기 위한 선택명령을 수신하도록 구성된 제1 수신모듈-여기서, 상기 비디오스트림은 원 패스 또는 멀티패스이며, 하나 또는 복수의 단말기로부터 옴-;
    상기 선택명령에 따라, 상기 비디오스트림이 생성한 비디오스트림 썸네일 또는 상기 키프레임이 생성한 키프레임 썸네일을 씬 썸네일에 설정하여 화면 레이아웃스트림을 생성하도록 구성된 제1 생성모듈-여기서, 상기 씬 썸네일은 AR/VR 인터페이스에 디스플레이되는 씬에 따라 생성됨-; 및
    상기 AR/VR 인터페이스에 상기 화면 레이아웃스트림을 표시하도록 구성된 표시모듈; 을 포함하는 비디오 처리장치.
  9. 제 8 항에 있어서,
    원 패스 또는 멀티패스 비디오스트림에 따라 비디오스트림 썸네일을 생성하도록 구성된 제2 생성모듈-여기서, 원 패스 비디오스트림은 하나의 비디오스트림 썸네일을 생성함-; 또는
    원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하고, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임에 따라 키프레임 썸네일을 생성하도록 구성된 획득모듈-여기서, 원 패스 비디오스트림의 키프레임은 하나의 키프레임 썸네일을 생성함-; 을 더 포함하는 비디오 처리장치.
  10. 제 9 항에 있어서,
    상기 획득모듈은, 네트워크 설비에 사전 설정된 키프레임 큐로부터 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임을 획득하도록 구성되며, 여기서, 상기 원 패스 또는 멀티패스 비디오스트림의 키프레임은, 상기 네트워크 설비가 상기 원 패스 또는 멀티패스 비디오스트림을 디코딩하는 과정에서, 수집된 코드워드 정보와 양자화 파라미터 정보에 따라 생성 및 저장된 키프레임인 것을 특징으로 하는 비디오 처리장치.
  11. 제 8 항에 있어서,
    상기 씬 썸네일을 선택하기 위한 선택명령을 수신하도록 구성된 제2 수신모듈; 및
    상기 선택명령에 따라, 상기 씬 썸네일을 소정된 배수로 확대하여 상기 AR/VR 인터페이스에 디스플레이하도록 구성된 확대모듈; 을 더 포함하는 비디오 처리장치.
  12. 제 11 항에 있어서,
    상기 제1 생성모듈은, 상기 선택명령에 따라, 상기 비디오스트림 썸네일 또는 상기 키프레임 썸네일의 크기를 조정하고; 가상 TV의 유형을 선택하고, 상기 가상 TV를 상기 씬 썸네일에 렌더링하며; 상기 씬 썸네일의 상기 AR/VR 인터페이스에서의 좌표에 따라, 원 패스 또는 멀티패스 비디오스트림, 및 상기 가상 TV를 상기 AR/VR 인터페이스에 렌더링하고, 상기 씬 썸네일을 업데이트하도록 구성되는 것을 특징으로 하는 비디오 처리장치.
  13. 제 12 항에 있어서,
    AR/VR 카메라를 통해 손짓에 의해 소정된 방향으로 형성된 가상프레임을 수집하도록 구성된 수집모듈;
    계산을 통해 상기 가상프레임의 상기 AR/VR 인터페이스에서의 좌표 및 사이즈를 얻도록 구성된 계산모듈; 및
    상기 AR/VR 인터페이스에 상기 가상프레임이 표시하는 가상 TV를 렌더링하도록 구성된 렌더링모듈; 을 더 포함하는 비디오 처리장치.
  14. 제 8 항 내지 제 13 항의 어느 한 항에 있어서,
    AR/VR 카메라가 피드백하는 사용자의 현재 응시방향 및 실시간 화면의 레이아웃 정보를 수신하도록 구성된 제3 수신모듈; 및
    상기 레이아웃 정보에 따라, 상기 원 패스 또는 멀티패스 비디오스트림에서의 각 패스 비디오스트림의 해상도, 프레임률 및 코드레이트 중 적어도 하나의 파라미터를 조정하도록 구성된 조정모듈; 을 더 포함하는 비디오 처리장치.
  15. 저장된 프로그램을 포함하되, 여기서, 상기 프로그램이 실행될 경우, 제 1 항 내지 제 7 항의 어느 한 항에 따른 비디오 처리방법이 수행되는 것을 특징으로 하는 저장매체.
  16. 프로그램을 실행하는데 사용되되, 여기서, 상기 프로그램이 실행될 경우, 제 1 항 내지 제 7 항의 어느 한 항에 따른 비디오 처리방법이 수행되는 것을 특징으로 하는 프로세서.
KR1020207000333A 2017-09-14 2018-08-17 비디오 처리방법, 장치 및 저장매체 KR102309318B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710829230.2A CN109511004B (zh) 2017-09-14 2017-09-14 一种视频处理方法及装置
CN201710829230.2 2017-09-14
PCT/CN2018/100979 WO2019052306A1 (zh) 2017-09-14 2018-08-17 一种视频处理方法、装置和存储介质

Publications (2)

Publication Number Publication Date
KR20200014415A true KR20200014415A (ko) 2020-02-10
KR102309318B1 KR102309318B1 (ko) 2021-10-06

Family

ID=65723904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000333A KR102309318B1 (ko) 2017-09-14 2018-08-17 비디오 처리방법, 장치 및 저장매체

Country Status (6)

Country Link
US (1) US11582506B2 (ko)
EP (1) EP3684062A4 (ko)
JP (1) JP7111288B2 (ko)
KR (1) KR102309318B1 (ko)
CN (1) CN109511004B (ko)
WO (1) WO2019052306A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366024A (zh) 2019-07-01 2019-10-22 北京达佳互联信息技术有限公司 一种播放视频的方法及装置
CN110989840B (zh) * 2019-12-03 2023-07-25 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN114415907B (zh) * 2022-01-21 2023-08-18 腾讯科技（深圳）有限公司 媒体资源显示方法、装置、设备及存储介质
CN115086758A (zh) * 2022-05-09 2022-09-20 全芯(佛山)科技有限公司 一种视频封面的生成方法及终端
CN114615458B (zh) * 2022-05-10 2022-07-19 全时云商务服务股份有限公司 一种云会议中实时合屏快速出图的方法、装置、存储介质和服务器
CN114979732B (zh) * 2022-05-12 2023-10-20 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278824A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 画像表示システム、画像表示装置、および画像表示方法
KR20130112162A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001264723A1 (en) * 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
CN100505858C (zh) * 2004-05-13 2009-06-24 索尼株式会社 图像数据处理装置和图像数据处理方法
US20080111822A1 (en) * 2006-09-22 2008-05-15 Yahoo, Inc.! Method and system for presenting video
US8713439B2 (en) * 2006-12-15 2014-04-29 Yahoo! Inc. Systems and methods for providing a video playlist
KR20080092501A (ko) * 2007-04-12 2008-10-16 엘지전자 주식회사 모바일 서비스 데이터 수신 장치 및 제어 방법
US20090207316A1 (en) 2008-02-19 2009-08-20 Sorenson Media, Inc. Methods for summarizing and auditing the content of digital video
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
JP5493531B2 (ja) * 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
JP4902765B2 (ja) * 2010-03-31 2012-03-21 新日鉄ソリューションズ株式会社 情報処理システム及び情報処理方法
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US9363579B2 (en) * 2010-12-22 2016-06-07 Google Inc. Video player with assisted seek
CN102332001B (zh) * 2011-07-26 2013-06-26 深圳万兴信息科技股份有限公司 一种视频缩略图生成方法及装置
CN102364960B (zh) * 2011-11-04 2015-05-27 播思通讯技术（北京）有限公司 移动数字电视画中画和频道缩略图的播放方法及移动终端
EP2680615B1 (en) * 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
WO2014031899A1 (en) * 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
KR101472015B1 (ko) * 2012-11-01 2014-12-12 주식회사 케이티 컨텐츠의 재생을 제어하는 제어 장치 및 방법
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN104904231A (zh) * 2012-12-17 2015-09-09 英特尔公司 将缩略图信息嵌入视频流
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
CN104378578A (zh) * 2013-08-15 2015-02-25 中兴通讯股份有限公司 一种切换视频源的方法及装置、显示装置
US9179096B2 (en) * 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
KR20160091316A (ko) * 2013-11-27 2016-08-02 울트라덴트 프로덕츠, 인코포레이티드 물리적 위치들 간 비디오 대화
US9454289B2 (en) * 2013-12-03 2016-09-27 Google Inc. Dyanmic thumbnail representation for a video playlist
CN103970894B (zh) * 2014-05-27 2017-04-05 合一网络技术(北京)有限公司 自适应调整的界面流式布局显示的方法和系统
JP6326996B2 (ja) * 2014-06-13 2018-05-23 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20170280098A1 (en) * 2014-09-26 2017-09-28 Intel Corporation Techniques for enhancing user experience in video conferencing
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
CN104618788B (zh) * 2014-12-29 2018-08-07 北京奇艺世纪科技有限公司 一种显示视频信息的方法及装置
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10290156B2 (en) * 2015-03-11 2019-05-14 Facebook Technologies, Llc Display device with dual data drivers
KR102304023B1 (ko) * 2015-04-03 2021-09-24 한국과학기술원 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
CN104765156B (zh) * 2015-04-22 2017-11-21 京东方科技集团股份有限公司 一种三维显示装置和三维显示方法
CN104915374A (zh) * 2015-04-27 2015-09-16 厦门理工学院 一种旅游景区360度全景构建系统及方法
CN104918095A (zh) * 2015-05-19 2015-09-16 乐视致新电子科技（天津）有限公司 多媒体流数据预览展示方法及装置
CN105549934A (zh) * 2015-12-16 2016-05-04 广东威创视讯科技股份有限公司 显示界面控制方法和系统
CN105898342A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频的多点同屏播放方法及系统
CN106993152B (zh) * 2016-01-21 2019-11-08 杭州海康威视数字技术股份有限公司 三维监控系统及其快速部署方法
CN106249879A (zh) * 2016-07-19 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实图像的显示方法及终端
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
CN106527709B (zh) * 2016-10-28 2020-10-02 Tcl移动通信科技（宁波）有限公司 一种虚拟场景调整方法及头戴式智能设备
CN106534963A (zh) * 2016-11-24 2017-03-22 北京小米移动软件有限公司 直播处理方法、装置及终端
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股（北京）有限公司 一种生成视频摘要视点图的方法及装置
CN106875244A (zh) * 2016-12-19 2017-06-20 乐视控股（北京）有限公司 一种虚拟现实购物方法、装置和电子设备
CN114390350B (zh) * 2017-01-18 2023-08-01 交互数字Vc控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
EP3603058B1 (en) * 2017-03-22 2024-07-03 Magic Leap, Inc. Depth based foveated rendering for display systems
CN106980379B (zh) * 2017-03-30 2020-05-19 联想(北京)有限公司 一种显示方法及终端
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统
CN107147882A (zh) * 2017-06-08 2017-09-08 柳州智视科技有限公司 一种自动实时跟踪目标对象的多分辨率观测系统
US10687119B2 (en) * 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10437328B2 (en) * 2017-09-27 2019-10-08 Igt Gaze detection using secondary input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278824A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 画像表示システム、画像表示装置、および画像表示方法
KR20130112162A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법

Also Published As

Publication number Publication date
US11582506B2 (en) 2023-02-14
EP3684062A4 (en) 2021-01-27
JP7111288B2 (ja) 2022-08-02
CN109511004A (zh) 2019-03-22
KR102309318B1 (ko) 2021-10-06
WO2019052306A1 (zh) 2019-03-21
JP2020527883A (ja) 2020-09-10
US20210152876A1 (en) 2021-05-20
EP3684062A1 (en) 2020-07-22
CN109511004B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
KR102309318B1 (ko) 비디오 처리방법, 장치 및 저장매체
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
CN113347405B (zh) 缩放相关的方法和装置
AU2012205012B2 (en) Video conference control method and conference terminal
JP2020527883A5 (ko)
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
CN105323532B (zh) 一种移动终端图像的自适应显示方法和装置
EP2685715B1 (en) Method and device for managing video resources in video conference
CN106210858B (zh) 一种终端界面的切换方法及装置
US20240040211A1 (en) Methods, Systems, and Media For Presenting Interactive Elements Within Video Content
EP2815582A1 (en) Rendering of an interactive lean-backward user interface on a television
CN104469398B (zh) 一种网络视频画面处理方法及装置
US20190045178A1 (en) Generating a Three-Dimensional Preview of a Three-Dimensional Video
CN114339363B (zh) 画面切换处理方法、装置、计算机设备和存储介质
US20150142875A1 (en) Method, server, client and software
US10817129B2 (en) Methods, systems, and media for presenting media content previews
CN112711459B (zh) 多媒体数据处理方法、装置、设备及计算机可读存储介质
JP2017182706A (ja) サーバ装置、情報処理方法およびプログラム
CN117376658A (zh) 一种视频播放方法以及相关装置
CN110633062A (zh) 显示信息的控制方法、装置、电子设备及可读介质
CN115514736A (zh) 屏幕共享方法、装置及智能交互平板

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant